AI › 인공지능 개요 › 머신러닝 › 모델 평가 › 과적합

조기 종료Early Stopping

반복 학습 도중 학습에 쓰지 않은 검증 데이터의 손실을 계속 재다가, 정해 둔 횟수 동안 나아지지 않으면 학습을 멈추고 검증 손실이 가장 낮았던 시점의 파라미터를 결과로 쓰는 규제 방법이다.

1요약

  1. 조기 종료는 신경망 · 부스팅처럼 반복으로 학습하는 모델의 학습 루프 바깥에 붙는 감시 규칙이다. Prechelt 가 정지 기준을 GL · PQ · UP 세 계열로 정리했고(Prechelt 1998 2.1절), 지금은 Keras 의 patience · scikit-learn 의 n_iter_no_change 같은 학습 함수 매개변수로 돈다.
  2. 끝까지 학습하면 학습 손실은 계속 내려가도 검증 손실은 U자로 다시 오른다 — 합성 데이터 사례에서 3,000 에포크 모델의 테스트 손실은 0.783, 검증 최저인 254 에포크로 되돌린 모델은 0.506 이었다.
  3. 「일찍 멈췄는데 성능이 나쁘다」는 멈춘 에포크와 되돌아간 에포크의 차이로 가른다 — 차이가 patience 와 같으면 정상 정지이고, 되돌아간 에포크가 학습 초반이면 검증 세트가 작거나 흔들리는 것이다.

2등장 배경

1980년대 말 역전파 신경망은 은닉 단위를 늘릴수록 학습 오차가 줄었지만 새 표본에서는 더 틀렸다. Morgan · Bourlard 는 음성 멜 켑스트럼 분류 실험에서 이 현상을 보이고, 학습에 쓰지 않은 데이터로 오차를 재어 과적합을 막는 방법을 썼다(Morgan · Bourlard 1989).

1998년 Prechelt 는 「검증 오차가 오르면 멈춘다」는 단순 규칙이 실제 곡선에서는 국소 최소 16개에 걸려 너무 일찍 멈춘다는 점을 보이고, 12개 문제 · 1,296회 학습으로 정지 기준을 견주었다 — 늦게 멈추는 기준이 일반화 오차를 평균 약 4% 줄이는 대신 학습 시간이 약 4배 들었다(Prechelt 1998 1.3 · 2.2절). 2000년 Caruana 외는 용량이 남는 큰 신경망도 조기 종료와 함께면 작은 신경망만큼 일반화된다고 보고했고(Caruana 2000), 2007년 Yao 외는 커널 회귀의 경사 하강에서 편향-분산 균형으로 멈출 반복 수를 이론으로 냈다(Yao 2007).

지금은 딥러닝에서 가장 흔히 쓰는 규제로 꼽히며(Goodfellow 2016 7.8절) 프레임워크마다 콜백 · 매개변수로 들어 있다. 다만 에포크 수에 따라 테스트 오차가 두 번 내려가는 «에포크 이중 하강»이 보고되어(Nakkiran 2019), 첫 반등에서 멈추는 것이 언제나 최선은 아니다.

3쉽게 이해하기 — 모의고사로 공부를 멈추는 수험생

수험생 민서는 같은 기출 문제집 100문제를 몇 번이고 다시 푼다. 문제집 점수는 매번 오르지만 어느새 답 번호까지 외워 버렸다. 그래서 민서는 매주 처음 보는 모의고사를 보고 가장 잘 본 주의 정리 노트를 한 부 복사해 둔다. 모의고사 최고 기록이 3주 연속 깨지지 않자 민서는 문제집 반복을 그만두고, 복사해 둔 그 주의 노트를 들고 본시험에 들어간다.

기출 문제집 반복 같은 100문제를 또 품 1 학습 데이터 매주 모의고사 처음 보는 100문제 2 검증 데이터 · 매 에포크 수험생 민서 모델 · 학습 답 번호까지 외움 문제집 점수만 오름 과적합 시작 3 최고점 주 노트 복사 사본은 한 부만 최적 사본 저장 4 3주 연속 제자리 patience 3 5 공부 멈추기 정지 · 사본 복원 6 본시험 통과 테스트 · 일반화 데이터 모델 · 학습 규칙 평가 · 검증 과적합

그림 1 · 문제집 점수가 아니라 처음 보는 모의고사 점수로 멈출 때를 정하고, 본시험에는 최고 기록 주의 노트를 가져간다.

문제집 반복같은 문제를 또 품
모의고사매주 처음 보는 문제
노트 복사최고 기록 주만
기다리기3주 연속 제자리
공부 멈춤문제집을 덮음
본시험복사한 노트로 응시
비유 — 8주 모의고사 기록(patience 3) 1주 2주 3주 4주 5주 6주 7주 8주 모의고사 점수 최고 기록 기다린 주 j 62 70 74 73 76 75 74 72 62 70 74 74 76 76 76 76 0 0 0 1 0 1 2 3 멈춤 8주차에 멈추고 5주차 노트로 본시험 실제 — 주차 = 에포크 · 점수 = 검증 손실(낮을수록 좋음) · 최고 기록 = v* · j 가 patience 에 닿으면 정지 굵은 테두리 = 최고 기록 경신(노트 복사) 정지 시점 지금까지의 최고 기록

그림 2 · 최고 기록은 5주차의 76점이고, 그 뒤 3주를 기다려도 깨지지 않아 8주차에 멈추고 5주차 노트를 꺼낸다.

비유 속 역할실제 이름실제로 하는 일
기출 문제집 반복학습 데이터 · 에포크같은 학습 표본으로 파라미터를 거듭 갱신한다
답 번호까지 외움과적합학습 손실은 내려가도 새 표본의 손실이 오른다
매주 모의고사검증 세트 · 감시 지표학습에 쓰지 않은 표본으로 에포크마다 손실을 잰다
최고점 주 노트 복사최적 사본 θ*검증 손실이 최저일 때 파라미터를 한 벌 저장한다
3주 연속 제자리patience · 카운터 j최저 기록을 못 넘은 평가 횟수를 센다
공부 멈추기정지 · 복원j 가 patience 에 닿으면 멈추고 θ* 로 되돌린다
본시험테스트 세트멈춘 뒤 한 번만 재서 일반화 성능을 보고한다

⚠ 비유가 맞지 않는 곳: 민서는 멈춘 뒤에도 노트를 고칠 수 있지만, 조기 종료는 멈춘 시점 이후의 학습을 버리고 저장한 사본만 쓴다. 또 모의고사 점수는 오를수록 좋지만 실제 감시 지표인 검증 손실은 내려갈수록 좋다.

4구조 — 감시 지표 · 인내 · 최적 사본

조기 종료는 학습 알고리즘을 바꾸지 않고 바깥에서 «n 스텝 학습 → 검증 → 판정»을 되풀이하는 메타 알고리즘이다(Goodfellow 2016 알고리즘 7.1). 손실 함수 · 파라미터 범위를 건드리지 않으므로 규제 · 드롭아웃과 함께 쓸 수 있고, 추가 비용은 주기적인 검증 평가와 사본 한 벌이다.

학습 세트 100개 학습 n 스텝 SGD 갱신 5회 = 1 에포크 검증 손실 v monitor 검증 세트 100개 v < v* − δ ? δ = min_delta 0 θ* ← θ · j ← 0 최적 사본 저장 예 j ← j + 1 j ≥ patience(50) ? 아니오 정지 θ* 복원 예 아니오 · 다음 n 스텝 데이터 학습 · 사본 갱신 평가 · 결과 판정 규칙

그림 3 · 학습 루프 바깥에서 검증 손실이 최저를 경신하면 사본을 저장하고, patience 번 연속 경신하지 못하면 멈춰 그 사본으로 되돌린다.

요소역할사례 값근거
감시 지표(monitor)멈춤을 판정하는 값 · 학습에 쓰지 않은 데이터에서 잰다검증 로그 손실Keras EarlyStopping 문서
검증 세트학습 세트에서 떼어 낸 표본100개(scikit-learn 기본 = 학습의 10%)scikit-learn MLPClassifier 문서
최소 개선폭(min_delta)이보다 작게 낮아지면 개선으로 치지 않는다0(scikit-learn tol 1e-4)Keras · scikit-learn 문서
인내(patience)개선 없이 기다리는 평가 횟수50 에포크(Keras 기본 0 · scikit-learn 10)Goodfellow 2016 알고리즘 7.1
평가 간격 n몇 스텝마다 검증하는가1 에포크 = 미니배치 5회Prechelt 1998 2.1절(5 에포크 구간)
최적 사본 θ*최저 시점 파라미터 · 한 벌만 둔다254 에포크 · 파라미터 401개Prechelt 1998 2.1절
복원(restore_best_weights)멈춘 뒤 θ* 로 되돌릴지켬(Keras 기본값은 끔)Keras EarlyStopping 문서

🔑 조기 종료의 결과는 «멈춘 시점»이 아니라 «되돌아간 시점»이다 — 복원을 끄면 patience 200 에서는 454 에포크 모델(테스트 0.515), GL5 에서는 615 에포크 모델(0.526)이 남는다.

5동작 — 두 반달 합성 데이터에서 patience 50

직접 실행(합성 데이터) · NumPy 로 구현한 신경망과 조기 종료이며, 난수는 시드 0 하나로 정했다. 손실은 로그 손실(교차 엔트로피)이다.

  1. 두 반달 모양 2차원 데이터(잡음 표준편차 0.2 · 레이블 15% 뒤집음)를 학습 100 · 검증 100 · 테스트 5,000개로 만들고, 은닉 단위 100개 tanh 신경망(파라미터 401개)을 미니배치 20 · 학습률 0.05 의 SGD 로 최대 3,000 에포크 학습한다.
  2. 에포크마다 검증 손실 v 를 재어 최저값 v* 보다 낮으면 사본을 저장한다 — 9 에포크에서 v 가 0.430 → 0.431 로 처음 오르며, patience 1 이면 여기서 멈춘다.
  3. 254 에포크에 검증 손실이 최저 0.414(학습 손실 0.415)가 되어 사본이 저장된다.
  4. 255 ~ 304 에포크의 50번 동안 0.414 를 넘지 못해 304 에포크에 멈춘다 — 이때 학습 손실은 0.404 로 더 내려가 있다.
  5. 254 에포크 사본으로 되돌려 테스트 5,000개를 한 번 재면 손실 0.506 · 정확도 79.9% 다(뒤집은 레이블 15% 때문에 정확도는 85% 안팎이 한계).
  6. 멈추지 않고 3,000 에포크까지 가면 학습 손실은 0.245 로 내려가지만 검증 0.822 · 테스트 0.783 · 정확도 78.1% 로 나빠진다.
  7. 304 에포크는 3,000 에포크의 10.1% 다 — 학습 계산을 약 90% 줄이면서 테스트 손실은 0.277 낮다.
로그 손실 — 학습 100 · 검증 100 · 테스트 5,000 · 시드 0 0.2 0.4 0.6 0.8 1 10 100 1,000 3,000 에포크(로그 눈금) 2 3 4 5 6 학습 손실 검증 손실(monitor) 테스트 손실(학습 중에는 보지 않음) 2 = 9 에포크 첫 반등 · 3 = 254 에포크 검증 최저 0.414 · 4 = 304 에포크 정지(50번 못 넘음) 5 = 254 에포크로 되돌린 모델의 테스트 0.506 · 6 = 3,000 에포크 끝 — 검증 0.822 · 테스트 0.783

그림 4 · 학습 손실은 끝까지 내려가지만 검증 손실은 254 에포크에서 바닥을 친 뒤 오르고, patience 50 은 304 에포크에 멈춰 254 에포크로 되돌아간다.

선형 회귀(표본 40 · 상관된 특징 둘) — 경사 하강 궤적과 L2 규제 경로 0 0.5 1.0 1.5 w1 0 1 2 w2 τ 5 α 2 τ 20 α 0.5 τ 100 α 0.1 w* 최소제곱 해 α = 1/(τε) · ε = 0.1 고유 방향별 배운 비율 1 − (1 − ελ)^τ τ α λ 1.143 λ 0.062 5 2 45.5% 3.0% 20 0.5 91.2% 11.6% 100 0.1 100.0% 46.1% 곡률이 큰 방향(λ 1.143)은 τ 20 에 91% 를 배우고 작은 방향(λ 0.062)은 12% 만 배운다 — 일찍 멈추면 작은 방향의 계수가 0 쪽에 남아 L2 규제처럼 줄어든다. 채운 셀 = 45% 이상 배움 · λ = 헤시안 고유값 경사 하강 궤적(조기 종료 τ) L2 규제 해(α 를 줄여 감) 학습 손실 등고선 규제 없는 해

그림 5 · 경사 하강은 곡률이 큰 방향부터 배우므로, τ 번에서 멈춘 점은 α = 1/(τε) 의 L2 규제 해와 같은 쪽에 놓인다.

그림 5 는 표본 40개 · 상관계수가 높은 특징 둘의 선형 회귀에서 원점 출발 경사 하강(ε = 0.1)과 리지 해를 직접 계산한 것이다. 같은 τ 와 α = 1/(τε) 의 두 점은 최대 0.47 떨어진다 — 식 7.44 는 ελ 가 1 보다 훨씬 작을 때의 근사여서 ελ = 0.114 인 큰 곡률 방향에서 어긋난다(Goodfellow 2016 7.8절).

🔑 반복 수 τ 는 규제 강도의 역수다 — τ 번에서 멈추면 α ≈ 1/(τε) 의 L2 규제를 건 것과 비슷하고, 조기 종료는 그 α 를 학습 한 번으로 고른다.

6비교 — 정지 기준 여섯

같은 실행의 검증 곡선에 기준만 바꿔 적용한 결과다. Prechelt 계열(GL · PQ · UP)은 원 논문대로 5 에포크 구간 끝에서만 검증 손실을 본다(Prechelt 1998 2.1절).

기준멈추는 조건멈춘 · 고른 에포크테스트 손실 · 정확도맞는 경우
끝까지 학습최대 에포크 3,0003,000 · 3,0000.783 · 78.1%검증 세트를 둘 수 없을 때(규제를 따로 건다)
patience 1직전 최저보다 한 번 오름9 · 80.536 · 75.6%검증 곡선이 매끈할 때만
patience 50최저를 50번 연속 못 넘음304 · 2540.506 · 79.9%기본 선택 · 에포크가 싸고 곡선이 흔들릴 때
GL5최저 대비 5% 넘게 오름615 · 2600.508 · 79.8%좋은 해를 찾을 확률을 높일 때(Prechelt 규칙 2)
PQ0.5GL ÷ 학습 진척 P5 > 0.5320 · 2600.508 · 79.8%과적합이 약하고 학습이 아직 빠를 때
UP35 에포크 구간 3번 연속 오름310 · 2600.508 · 79.8%과적합이 뚜렷할 때(Prechelt 규칙 3)

분석첫 반등에서 멈추는 patience 1 만 크게 나쁘고, 나머지 다섯 기준은 254 ~ 260 에포크를 골라 테스트 손실 차이가 0.002 다 — 기준을 가르는 것은 성능이 아니라 정지까지의 비용(304 ~ 615 에포크)이다. Prechelt 1998 2.2절도 늦은 기준의 이득을 평균 약 4%, 비용을 약 4배로 보고했다.

7실무 진단 — 조기 종료가 기대와 다를 때

분석먼저 멈춘 에포크와 되돌아간 에포크의 차이를 보고, 그다음 되돌아간 에포크가 학습 초반인지, 마지막으로 구현 설정(복원 · min_delta)을 본다. 차이가 patience 와 같은지는 기록 두 줄로 바로 확인되고(Goodfellow 2016 알고리즘 7.1), 검증 세트 문제는 시드를 바꿔 보아야 드러나기 때문이다.

#증상의심 원인단계확인 자료판정 기준(근거)
1몇 에포크 만에 멈춤patience 가 검증 곡선의 흔들림보다 짧음정지 규칙에포크별 검증 손실 · 국소 최소 수정지 − 복원 = 1 이면 patience 1 수준 · 사례는 9 에포크 정지(Prechelt 1998 1.3절)
2되돌아간 에포크가 1 · 학습 초반검증 세트가 작아 우연한 최저데이터시드를 바꾼 최저 에포크 분포사례 시드 0 ~ 4 중 하나가 1 에포크 → 검증 세트를 늘리거나 교차 검증으로 에포크 수를 고름
3최대 에포크까지 멈추지 않음아주 작은 개선이 이어짐정지 규칙에포크별 개선 폭min_delta 0 이면 0.0001 개선도 개선으로 셈 → 개선 폭 기록을 보고 min_delta 를 정함(Keras EarlyStopping 문서)
4결과 모델이 마지막 에포크와 같음복원 · 조기 종료가 꺼짐구현콜백 · 학습 함수 설정 · 검증 점수 기록(validation_scores_)Keras restore_best_weights · scikit-learn early_stopping 기본값이 모두 False(각 공식 문서)

순서는 1행 → 2행 → 3 · 4행이다. 2행에서 시드마다 최저 에포크가 크게 갈리면(사례 1 ~ 530 에포크) patience 를 늘려도 고쳐지지 않으므로, 검증 데이터를 먼저 늘린다.

8시험 대비

시험에서는 조기 종료의 정의 · 절차 · 매개변수를 묻는 정의 · 특징형과, 정지 기준의 변화와 대형 모델에서의 한계를 묻는 동향 · 발전형이 나올 수 있다. 「검증 오차가 오르면 멈춘다」 한 줄 대신 patience · 최적 사본 복원과 L2 규제와의 등가를 그림으로 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의(검증 손실 감시 · 정지 · 최적 사본 복원) · 과적합 대책 중 «학습 반복 수»를 다루는 규제
  2. 구조 — 그림 3 판정 루프(monitor · min_delta · patience · θ* · restore) + 요소 표
  3. 동작 사례 — 그림 4 학습 · 검증 곡선(254 에포크 최저 0.414 · 304 정지 · 테스트 0.783 → 0.506)
  4. 정지 기준 비교 — patience · GL · PQ · UP 표(멈춘 에포크 · 고른 에포크 · 비용)
  5. 규제 원리 — 그림 5 경사 하강 궤적과 L2 경로 · α ≈ 1/(τε)(Goodfellow 식 7.44)
  6. 한계와 동향 — 작은 검증 세트 · 흔들리는 곡선 · 에포크 이중 하강 · 전체 데이터 재학습(알고리즘 7.2)

꼭 쓸 키워드
검증 손실patiencemin_deltarestore_best_weights최적 사본일반화 손실 GLUP 기준유효 용량L2 등가에포크 이중 하강

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 일찍 멈춘 경사 하강이 곡률이 작은 방향의 계수를 덜 배워 L2 규제와 같은 쪽에 서는 모습을 실제 계산값으로 보인다.

9오해와 사실

  • 오해조기 종료는 학습을 멈춘 시점의 모델을 쓰는 것이다.
    사실결과는 검증 손실이 최저였던 시점의 사본이며, Keras 는 restore_best_weights 기본값이 False 라 따로 켜야 한다(Keras EarlyStopping 문서).
  • 오해patience 를 길게 잡을수록 결과가 좋아진다.
    사실사례에서 patience 50 과 200 은 같은 254 에포크를 골랐고 정지만 304 → 454 에포크로 늦어졌다 — 늦은 기준의 평균 이득은 약 4% 에 비용은 약 4배다(Prechelt 1998 2.2절).
  • 오해검증 손실이 한 번 오르면 과적합이 시작된 것이다.
    사실사례 검증 곡선은 3,000 에포크 동안 국소 최소가 835개였고, 첫 반등(9 에포크)에서 멈추면 테스트 손실이 0.536 으로 254 에포크 모델보다 나빴다(Prechelt 1998 1.3절).

10핵심 정리

구분정하는 것사례 값구현 기본값효과
감시 지표무엇이 나아지는가검증 로그 손실Keras val_loss · scikit-learn 검증 정확도학습 데이터와 분리해 잰다
patience기다리는 평가 횟수50 → 304 에포크 정지Keras 0 · scikit-learn n_iter_no_change 10짧으면 9 에포크에서 멈춤
min_delta개선으로 칠 최소 폭0Keras 0 · scikit-learn tol 1e-4크면 일찍 멈춤
최적 사본 복원되돌아갈 파라미터254 에포크 · 테스트 0.506Keras restore_best_weights False끄면 멈춘 시점 모델이 남음
GL · PQ · UP오름 폭 · 학습 진척 · 연속 오름GL5 615 · UP3 310 에포크 정지Prechelt 5 에포크 구간고른 에포크는 260 으로 같음
반복 수 τ유효 용량τ 20 ≈ α 0.5(ε 0.1)—α ≈ 1/(τε) 의 L2 규제
끝까지 학습정지 없음3,000 에포크 · 테스트 0.783Keras epochs · scikit-learn max_iter 200검증 손실 0.822 로 과적합

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Early Stopping - But When? (Neural Networks: Tricks of the Trade · LNCS 1524 55-69 · 저자 공개판) — 정지 기준 GL · PQ · UP 의 정의(2.1절)와 느린 기준이 얻는 이득 · 비용(2.2절)을 볼 때
    Springer · 저자 공개판(FU Berlin) · 1998 · page.mi.fu-berlin.de/prechelt/Biblio/stop_tricks1997.pdf · 확인 2026-11-13
  3. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 7.8 Early Stopping — 알고리즘 7.1 ~ 7.3 과 조기 종료가 L2 규제와 같아지는 조건(식 7.40 ~ 7.45)을 따라갈 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/regularization.html · 확인 2026-11-13
  4. ★ Keras 3 API documentation - EarlyStopping callback — monitor · min_delta · patience · restore_best_weights · start_from_epoch 의 뜻과 기본값을 확인할 때
    Keras team · 2026-11 · keras.io/api/callbacks/early_stopping/ · 확인 2026-11-13
  5. ★ scikit-learn 1.9.1 API Reference - sklearn.neural_network.MLPClassifier — early_stopping · validation_fraction · n_iter_no_change · tol 을 설정할 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPClassifier.html · 확인 2026-11-13
  6. 본문 근거
  7. Overfitting in Neural Nets: Backpropagation, Conjugate Gradient, and Early Stopping (NIPS 13) — NeurIPS Proceedings · 2000 · papers.nips.cc/paper_files/paper/2000/hash/059fdcd96baeb75112f09fa1dcc740cc-Abstract.html · 확인 2026-11-13
  8. Generalization and Parameter Estimation in Feedforward Nets: Some Experiments (NIPS 2) — NeurIPS Proceedings · 1989 · papers.nips.cc/paper_files/paper/1989/hash/63923f49e5241343aa7acb6a06a751e7-Abstract.html · 확인 2026-11-13
  9. On Early Stopping in Gradient Descent Learning (Constructive Approximation 26 289-315) — Springer · 2007-08 · doi.org/10.1007/s00365-006-0663-2 · 확인 2026-11-13
  10. Deep Double Descent: Where Bigger Models and More Data Hurt (arXiv 1912.02292) — arXiv · 2019-12 · arxiv.org/abs/1912.02292 · 확인 2026-11-13
  11. NumPy 2.4 Reference - numpy.random.Generator.permutation — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generated/numpy.random.Generator.permutation.html · 확인 2026-11-13