조기 종료Early Stopping
반복 학습 도중 학습에 쓰지 않은 검증 데이터의 손실을 계속 재다가, 정해 둔 횟수 동안 나아지지 않으면 학습을 멈추고 검증 손실이 가장 낮았던 시점의 파라미터를 결과로 쓰는 규제 방법이다.
1요약
- 조기 종료는 신경망 · 부스팅처럼 반복으로 학습하는 모델의 학습 루프 바깥에 붙는 감시 규칙이다. Prechelt 가 정지 기준을 GL · PQ · UP 세 계열로 정리했고(Prechelt 1998 2.1절), 지금은 Keras 의 patience · scikit-learn 의 n_iter_no_change 같은 학습 함수 매개변수로 돈다.
- 끝까지 학습하면 학습 손실은 계속 내려가도 검증 손실은 U자로 다시 오른다 — 합성 데이터 사례에서 3,000 에포크 모델의 테스트 손실은 0.783, 검증 최저인 254 에포크로 되돌린 모델은 0.506 이었다.
- 「일찍 멈췄는데 성능이 나쁘다」는 멈춘 에포크와 되돌아간 에포크의 차이로 가른다 — 차이가 patience 와 같으면 정상 정지이고, 되돌아간 에포크가 학습 초반이면 검증 세트가 작거나 흔들리는 것이다.
2등장 배경
1980년대 말 역전파 신경망은 은닉 단위를 늘릴수록 학습 오차가 줄었지만 새 표본에서는 더 틀렸다. Morgan · Bourlard 는 음성 멜 켑스트럼 분류 실험에서 이 현상을 보이고, 학습에 쓰지 않은 데이터로 오차를 재어 과적합을 막는 방법을 썼다(Morgan · Bourlard 1989).
1998년 Prechelt 는 「검증 오차가 오르면 멈춘다」는 단순 규칙이 실제 곡선에서는 국소 최소 16개에 걸려 너무 일찍 멈춘다는 점을 보이고, 12개 문제 · 1,296회 학습으로 정지 기준을 견주었다 — 늦게 멈추는 기준이 일반화 오차를 평균 약 4% 줄이는 대신 학습 시간이 약 4배 들었다(Prechelt 1998 1.3 · 2.2절). 2000년 Caruana 외는 용량이 남는 큰 신경망도 조기 종료와 함께면 작은 신경망만큼 일반화된다고 보고했고(Caruana 2000), 2007년 Yao 외는 커널 회귀의 경사 하강에서 편향-분산 균형으로 멈출 반복 수를 이론으로 냈다(Yao 2007).
지금은 딥러닝에서 가장 흔히 쓰는 규제로 꼽히며(Goodfellow 2016 7.8절) 프레임워크마다 콜백 · 매개변수로 들어 있다. 다만 에포크 수에 따라 테스트 오차가 두 번 내려가는 «에포크 이중 하강»이 보고되어(Nakkiran 2019), 첫 반등에서 멈추는 것이 언제나 최선은 아니다.
3쉽게 이해하기 — 모의고사로 공부를 멈추는 수험생
수험생 민서는 같은 기출 문제집 100문제를 몇 번이고 다시 푼다. 문제집 점수는 매번 오르지만 어느새 답 번호까지 외워 버렸다. 그래서 민서는 매주 처음 보는 모의고사를 보고 가장 잘 본 주의 정리 노트를 한 부 복사해 둔다. 모의고사 최고 기록이 3주 연속 깨지지 않자 민서는 문제집 반복을 그만두고, 복사해 둔 그 주의 노트를 들고 본시험에 들어간다.
그림 1 · 문제집 점수가 아니라 처음 보는 모의고사 점수로 멈출 때를 정하고, 본시험에는 최고 기록 주의 노트를 가져간다.
그림 2 · 최고 기록은 5주차의 76점이고, 그 뒤 3주를 기다려도 깨지지 않아 8주차에 멈추고 5주차 노트를 꺼낸다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 기출 문제집 반복 | 학습 데이터 · 에포크 | 같은 학습 표본으로 파라미터를 거듭 갱신한다 |
| 답 번호까지 외움 | 과적합 | 학습 손실은 내려가도 새 표본의 손실이 오른다 |
| 매주 모의고사 | 검증 세트 · 감시 지표 | 학습에 쓰지 않은 표본으로 에포크마다 손실을 잰다 |
| 최고점 주 노트 복사 | 최적 사본 θ* | 검증 손실이 최저일 때 파라미터를 한 벌 저장한다 |
| 3주 연속 제자리 | patience · 카운터 j | 최저 기록을 못 넘은 평가 횟수를 센다 |
| 공부 멈추기 | 정지 · 복원 | j 가 patience 에 닿으면 멈추고 θ* 로 되돌린다 |
| 본시험 | 테스트 세트 | 멈춘 뒤 한 번만 재서 일반화 성능을 보고한다 |
⚠ 비유가 맞지 않는 곳: 민서는 멈춘 뒤에도 노트를 고칠 수 있지만, 조기 종료는 멈춘 시점 이후의 학습을 버리고 저장한 사본만 쓴다. 또 모의고사 점수는 오를수록 좋지만 실제 감시 지표인 검증 손실은 내려갈수록 좋다.
4구조 — 감시 지표 · 인내 · 최적 사본
조기 종료는 학습 알고리즘을 바꾸지 않고 바깥에서 «n 스텝 학습 → 검증 → 판정»을 되풀이하는 메타 알고리즘이다(Goodfellow 2016 알고리즘 7.1). 손실 함수 · 파라미터 범위를 건드리지 않으므로 규제 · 드롭아웃과 함께 쓸 수 있고, 추가 비용은 주기적인 검증 평가와 사본 한 벌이다.
그림 3 · 학습 루프 바깥에서 검증 손실이 최저를 경신하면 사본을 저장하고, patience 번 연속 경신하지 못하면 멈춰 그 사본으로 되돌린다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 감시 지표(monitor) | 멈춤을 판정하는 값 · 학습에 쓰지 않은 데이터에서 잰다 | 검증 로그 손실 | Keras EarlyStopping 문서 |
| 검증 세트 | 학습 세트에서 떼어 낸 표본 | 100개(scikit-learn 기본 = 학습의 10%) | scikit-learn MLPClassifier 문서 |
| 최소 개선폭(min_ | 이보다 작게 낮아지면 개선으로 치지 않는다 | 0(scikit-learn tol 1e-4) | Keras · scikit-learn 문서 |
| 인내(patience) | 개선 없이 기다리는 평가 횟수 | 50 에포크(Keras 기본 0 · scikit-learn 10) | Goodfellow 2016 알고리즘 7.1 |
| 평가 간격 n | 몇 스텝마다 검증하는가 | 1 에포크 = 미니배치 5회 | Prechelt 1998 2.1절(5 에포크 구간) |
| 최적 사본 θ* | 최저 시점 파라미터 · 한 벌만 둔다 | 254 에포크 · 파라미터 401개 | Prechelt 1998 2.1절 |
| 복원(restore_ | 멈춘 뒤 θ* 로 되돌릴지 | 켬(Keras 기본값은 끔) | Keras EarlyStopping 문서 |
🔑 조기 종료의 결과는 «멈춘 시점»이 아니라 «되돌아간 시점»이다 — 복원을 끄면 patience 200 에서는 454 에포크 모델(테스트 0.515), GL5 에서는 615 에포크 모델(0.526)이 남는다.
5동작 — 두 반달 합성 데이터에서 patience 50
직접 실행(합성 데이터) · NumPy 로 구현한 신경망과 조기 종료이며, 난수는 시드 0 하나로 정했다. 손실은 로그 손실(교차 엔트로피)이다.
- 두 반달 모양 2차원 데이터(잡음 표준편차 0.2 · 레이블 15% 뒤집음)를 학습 100 · 검증 100 · 테스트 5,000개로 만들고, 은닉 단위 100개 tanh 신경망(파라미터 401개)을 미니배치 20 · 학습률 0.05 의 SGD 로 최대 3,000 에포크 학습한다.
- 에포크마다 검증 손실 v 를 재어 최저값 v* 보다 낮으면 사본을 저장한다 — 9 에포크에서 v 가 0.430 → 0.431 로 처음 오르며, patience 1 이면 여기서 멈춘다.
- 254 에포크에 검증 손실이 최저 0.414(학습 손실 0.415)가 되어 사본이 저장된다.
- 255 ~ 304 에포크의 50번 동안 0.414 를 넘지 못해 304 에포크에 멈춘다 — 이때 학습 손실은 0.404 로 더 내려가 있다.
- 254 에포크 사본으로 되돌려 테스트 5,000개를 한 번 재면 손실 0.506 · 정확도 79.9% 다(뒤집은 레이블 15% 때문에 정확도는 85% 안팎이 한계).
- 멈추지 않고 3,000 에포크까지 가면 학습 손실은 0.245 로 내려가지만 검증 0.822 · 테스트 0.783 · 정확도 78.1% 로 나빠진다.
- 304 에포크는 3,000 에포크의 10.1% 다 — 학습 계산을 약 90% 줄이면서 테스트 손실은 0.277 낮다.
그림 4 · 학습 손실은 끝까지 내려가지만 검증 손실은 254 에포크에서 바닥을 친 뒤 오르고, patience 50 은 304 에포크에 멈춰 254 에포크로 되돌아간다.
그림 5 · 경사 하강은 곡률이 큰 방향부터 배우므로, τ 번에서 멈춘 점은 α = 1/(τε) 의 L2 규제 해와 같은 쪽에 놓인다.
그림 5 는 표본 40개 · 상관계수가 높은 특징 둘의 선형 회귀에서 원점 출발 경사 하강(ε = 0.1)과 리지 해를 직접 계산한 것이다. 같은 τ 와 α = 1/(τε) 의 두 점은 최대 0.47 떨어진다 — 식 7.44 는 ελ 가 1 보다 훨씬 작을 때의 근사여서 ελ = 0.114 인 큰 곡률 방향에서 어긋난다(Goodfellow 2016 7.8절).
🔑 반복 수 τ 는 규제 강도의 역수다 — τ 번에서 멈추면 α ≈ 1/(τε) 의 L2 규제를 건 것과 비슷하고, 조기 종료는 그 α 를 학습 한 번으로 고른다.
6비교 — 정지 기준 여섯
같은 실행의 검증 곡선에 기준만 바꿔 적용한 결과다. Prechelt 계열(GL · PQ · UP)은 원 논문대로 5 에포크 구간 끝에서만 검증 손실을 본다(Prechelt 1998 2.1절).
| 기준 | 멈추는 조건 | 멈춘 · 고른 에포크 | 테스트 손실 · 정확도 | 맞는 경우 |
|---|---|---|---|---|
| 끝까지 학습 | 최대 에포크 3,000 | 3,000 · 3,000 | 0.783 · 78.1% | 검증 세트를 둘 수 없을 때(규제를 따로 건다) |
| patience 1 | 직전 최저보다 한 번 오름 | 9 · 8 | 0.536 · 75.6% | 검증 곡선이 매끈할 때만 |
| patience 50 | 최저를 50번 연속 못 넘음 | 304 · 254 | 0.506 · 79.9% | 기본 선택 · 에포크가 싸고 곡선이 흔들릴 때 |
| GL5 | 최저 대비 5% 넘게 오름 | 615 · 260 | 0.508 · 79.8% | 좋은 해를 찾을 확률을 높일 때(Prechelt 규칙 2) |
| PQ0.5 | GL ÷ 학습 진척 P5 > 0.5 | 320 · 260 | 0.508 · 79.8% | 과적합이 약하고 학습이 아직 빠를 때 |
| UP3 | 5 에포크 구간 3번 연속 오름 | 310 · 260 | 0.508 · 79.8% | 과적합이 뚜렷할 때(Prechelt 규칙 3) |
분석첫 반등에서 멈추는 patience 1 만 크게 나쁘고, 나머지 다섯 기준은 254 ~ 260 에포크를 골라 테스트 손실 차이가 0.002 다 — 기준을 가르는 것은 성능이 아니라 정지까지의 비용(304 ~ 615 에포크)이다. Prechelt 1998 2.2절도 늦은 기준의 이득을 평균 약 4%, 비용을 약 4배로 보고했다.
7실무 진단 — 조기 종료가 기대와 다를 때
분석먼저 멈춘 에포크와 되돌아간 에포크의 차이를 보고, 그다음 되돌아간 에포크가 학습 초반인지, 마지막으로 구현 설정(복원 · min_delta)을 본다. 차이가 patience 와 같은지는 기록 두 줄로 바로 확인되고(Goodfellow 2016 알고리즘 7.1), 검증 세트 문제는 시드를 바꿔 보아야 드러나기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 몇 에포크 만에 멈춤 | patience 가 검증 곡선의 흔들림보다 짧음 | 정지 규칙 | 에포크별 검증 손실 · 국소 최소 수 | 정지 − 복원 = 1 이면 patience 1 수준 · 사례는 9 에포크 정지(Prechelt 1998 1.3절) |
| 2 | 되돌아간 에포크가 1 · 학습 초반 | 검증 세트가 작아 우연한 최저 | 데이터 | 시드를 바꾼 최저 에포크 분포 | 사례 시드 0 ~ 4 중 하나가 1 에포크 → 검증 세트를 늘리거나 교차 검증으로 에포크 수를 고름 |
| 3 | 최대 에포크까지 멈추지 않음 | 아주 작은 개선이 이어짐 | 정지 규칙 | 에포크별 개선 폭 | min_ |
| 4 | 결과 모델이 마지막 에포크와 같음 | 복원 · 조기 종료가 꺼짐 | 구현 | 콜백 · 학습 함수 설정 · 검증 점수 기록(validation_ | Keras restore_ |
순서는 1행 → 2행 → 3 · 4행이다. 2행에서 시드마다 최저 에포크가 크게 갈리면(사례 1 ~ 530 에포크) patience 를 늘려도 고쳐지지 않으므로, 검증 데이터를 먼저 늘린다.
8시험 대비
시험에서는 조기 종료의 정의 · 절차 · 매개변수를 묻는 정의 · 특징형과, 정지 기준의 변화와 대형 모델에서의 한계를 묻는 동향 · 발전형이 나올 수 있다. 「검증 오차가 오르면 멈춘다」 한 줄 대신 patience · 최적 사본 복원과 L2 규제와의 등가를 그림으로 보이면 답안이 갈린다.
- 개요 — 정의(검증 손실 감시 · 정지 · 최적 사본 복원) · 과적합 대책 중 «학습 반복 수»를 다루는 규제
- 구조 — 그림 3 판정 루프(monitor · min_delta · patience · θ* · restore) + 요소 표
- 동작 사례 — 그림 4 학습 · 검증 곡선(254 에포크 최저 0.414 · 304 정지 · 테스트 0.783 → 0.506)
- 정지 기준 비교 — patience · GL · PQ · UP 표(멈춘 에포크 · 고른 에포크 · 비용)
- 규제 원리 — 그림 5 경사 하강 궤적과 L2 경로 · α ≈ 1/(τε)(Goodfellow 식 7.44)
- 한계와 동향 — 작은 검증 세트 · 흔들리는 곡선 · 에포크 이중 하강 · 전체 데이터 재학습(알고리즘 7.2)
꼭 쓸 키워드
검증 손실patiencemin_deltarestore_best_weights최적 사본일반화 손실 GLUP 기준유효 용량L2 등가에포크 이중 하강
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 일찍 멈춘 경사 하강이 곡률이 작은 방향의 계수를 덜 배워 L2 규제와 같은 쪽에 서는 모습을 실제 계산값으로 보인다.
9오해와 사실
- 오해조기 종료는 학습을 멈춘 시점의 모델을 쓰는 것이다.사실결과는 검증 손실이 최저였던 시점의 사본이며, Keras 는 restore_best_weights 기본값이 False 라 따로 켜야 한다(Keras EarlyStopping 문서).
- 오해patience 를 길게 잡을수록 결과가 좋아진다.사실사례에서 patience 50 과 200 은 같은 254 에포크를 골랐고 정지만 304 → 454 에포크로 늦어졌다 — 늦은 기준의 평균 이득은 약 4% 에 비용은 약 4배다(Prechelt 1998 2.2절).
- 오해검증 손실이 한 번 오르면 과적합이 시작된 것이다.사실사례 검증 곡선은 3,000 에포크 동안 국소 최소가 835개였고, 첫 반등(9 에포크)에서 멈추면 테스트 손실이 0.536 으로 254 에포크 모델보다 나빴다(Prechelt 1998 1.3절).
10핵심 정리
| 구분 | 정하는 것 | 사례 값 | 구현 기본값 | 효과 |
|---|---|---|---|---|
| 감시 지표 | 무엇이 나아지는가 | 검증 로그 손실 | Keras val_ | 학습 데이터와 분리해 잰다 |
| patience | 기다리는 평가 횟수 | 50 → 304 에포크 정지 | Keras 0 · scikit-learn n_ | 짧으면 9 에포크에서 멈춤 |
| min_ | 개선으로 칠 최소 폭 | 0 | Keras 0 · scikit-learn tol 1e-4 | 크면 일찍 멈춤 |
| 최적 사본 복원 | 되돌아갈 파라미터 | 254 에포크 · 테스트 0.506 | Keras restore_ | 끄면 멈춘 시점 모델이 남음 |
| GL · PQ · UP | 오름 폭 · 학습 진척 · 연속 오름 | GL5 615 · UP3 310 에포크 정지 | Prechelt 5 에포크 구간 | 고른 에포크는 260 으로 같음 |
| 반복 수 τ | 유효 용량 | τ 20 ≈ α 0.5(ε 0.1) | — | α ≈ 1/(τε) 의 L2 규제 |
| 끝까지 학습 | 정지 없음 | 3,000 에포크 · 테스트 0.783 | Keras epochs · scikit-learn max_ | 검증 손실 0.822 로 과적합 |
11참고 문헌
- 먼저 볼 문헌
- ★ Early Stopping - But When? (Neural Networks: Tricks of the Trade · LNCS 1524 55-69 · 저자 공개판) — 정지 기준 GL · PQ · UP 의 정의(2.1절)와 느린 기준이 얻는 이득 · 비용(2.2절)을 볼 때
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 7.8 Early Stopping — 알고리즘 7.1 ~ 7.3 과 조기 종료가 L2 규제와 같아지는 조건(식 7.40 ~ 7.45)을 따라갈 때
- ★ Keras 3 API documentation - EarlyStopping callback — monitor · min_delta · patience · restore_best_weights · start_from_epoch 의 뜻과 기본값을 확인할 때
- ★ scikit-learn 1.9.1 API Reference - sklearn.neural_network.MLPClassifier — early_stopping · validation_fraction · n_iter_no_change · tol 을 설정할 때
- 본문 근거
- Overfitting in Neural Nets: Backpropagation, Conjugate Gradient, and Early Stopping (NIPS 13) — NeurIPS Proceedings · 2000 ·
papers.nips.cc/paper_files/paper/2000/hash/059fdcd96baeb75112f09fa1dcc740cc-Abstract.html· 확인 2026-11-13 - Generalization and Parameter Estimation in Feedforward Nets: Some Experiments (NIPS 2) — NeurIPS Proceedings · 1989 ·
papers.nips.cc/paper_files/paper/1989/hash/63923f49e5241343aa7acb6a06a751e7-Abstract.html· 확인 2026-11-13 - On Early Stopping in Gradient Descent Learning (Constructive Approximation 26 289-315) — Springer · 2007-08 ·
doi.org/10.1007/s00365-006-0663-2· 확인 2026-11-13 - Deep Double Descent: Where Bigger Models and More Data Hurt (arXiv 1912.02292) — arXiv · 2019-12 ·
arxiv.org/abs/1912.02292· 확인 2026-11-13 - NumPy 2.4 Reference - numpy.random.Generator.permutation — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generated/numpy.random.Generator.permutation.html· 확인 2026-11-13