과적합Overfitting
모델이 학습 데이터의 잡음과 우연한 패턴까지 맞추어, 학습 데이터의 오차는 작지만 처음 보는 데이터의 오차는 커지는 상태다.
1요약
- 과적합은 지도 학습의 모델 선택 단계에서 학습 오차와 테스트 오차의 격차로 드러나는 현상으로, ESL 7.3절은 테스트 오차를 잡음 + 편향² + 분산으로 나누어 설명하고 그 위에서 규제 · 교차 검증 · 조기 종료 · 드롭아웃이 돈다.
- 학습 점수만 보면 외운 모델과 배운 모델을 가릴 수 없다 — 파라미터 1,649,402개의 Inception 은 CIFAR-10 의 레이블을 무작위로 바꿔도 학습 정확도 100.0% 에 테스트 정확도 9.78% 였다(Zhang 2017 표 1).
- 격차가 났을 때의 처방은 학습 곡선으로 가른다 — 표본을 늘릴수록 격차가 줄면 데이터 추가가, 줄지 않으면 규제 · 용량 축소가 먼저다(scikit-learn 3.5.2).
2등장 배경
회귀 계수를 늘리면 학습 데이터의 잔차 제곱합은 0까지 줄어든다. 그래서 학습 오차로 차수 · 계수 수를 고르면 언제나 모든 점을 지나는 모델이 뽑히고, 그 모델은 새 데이터를 맞히지 못한다(ESL 2.9절).
1970년 Delaware 대학 · du Pont 의 Hoerl 과 Kennard 는 설명 변수끼리 상관이 클 때 최소제곱 계수가 크게 틀린다는 점을 보이고, XᵀX 대각선에 작은 양수를 더해 편향은 있지만 평균 제곱 오차가 작은 리지 회귀를 냈다(Hoerl 1970). 1974년 Stone 은 데이터를 나눠 맞추고 남은 부분으로 재는 교차 검증으로 모델을 고르는 틀을 정리했고(Stone 1974), 신경망 쪽은 조기 종료와 가중치 감쇠를 거쳐 2014년 Srivastava 외의 드롭아웃이 MNIST 오류를 1.60% 에서 1.35% 로 낮췄다(Srivastava 2014 6.1.1절).
2017년 Zhang 외는 신경망이 무작위 레이블까지 외운다는 실험으로 «파라미터 수가 곧 과적합»이라는 설명이 모자람을 보였다. 그래도 현장 판정은 여전히 학습 데이터와 분리한 검증 · 테스트 오차로 하며, 이 절차가 생성형 AI 모델의 미세 조정에도 그대로 쓰인다.
3쉽게 이해하기 — 정장을 짓는 재단사
재단사 준호는 손님의 몸을 15곳 재서 정장을 짓는다. 그날 손님은 두꺼운 스웨터를 입었고 줄자도 조금씩 흔들렸는데, 준호는 잰 숫자 15개에 솔기를 하나하나 꺾어 맞췄다. 재던 날 꼭 맞던 옷은 일주일 뒤 셔츠 차림에서 곳곳이 들뜨고 낀다. 선배는 「솔기가 꺾일 때마다 벌점」 규칙을 주고, 다른 날 가봉해 보며 더 나빠지기 전에 손을 멈추고, 치수를 여러 날 다시 재라고 일렀다.
그림 1 · 잰 날의 치수에만 맞춘 옷은 다른 날 맞지 않고, 꺾임에 벌점을 준 옷은 어느 날 입어도 맞는다.
그림 2 · 벌점이 없으면 잰 날에만 맞고, 너무 세면 몸을 무시한 일자 옷이 되며, 알맞은 벌점에서 다른 날의 오차가 가장 작다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님의 실제 몸 | 참 함수 f(x) | 데이터를 만든 진짜 관계 · 사례는 sin(2πx) |
| 그날 잰 치수 15곳 | 학습 데이터 | 모델이 맞추는 표본 15개 |
| 스웨터 · 흔들린 줄자 | 잡음 ε | 표본마다 섞인 우연한 오차 · 표준편차 0.25 |
| 치수마다 꺾은 솔기 | 용량이 큰 모델 | 계수 15개의 14차 다항식이 15점을 모두 지남 |
| 일주일 뒤 입어 보기 | 검증 · 테스트 데이터 | 학습에 쓰지 않은 표본으로 오차를 잰다 |
| 꺾임 벌점 | 규제 | 손실에 λ × 계수 제곱합을 더한다 |
| 가봉에서 멈춤 | 조기 종료 | 검증 오차가 오르기 시작하면 학습을 멈춘다 |
| 여러 날 다시 재기 | 데이터 추가 | 표본 150개면 같은 14차도 테스트 0.264 |
⚠ 비유가 맞지 않는 곳: 재단사는 손님을 다시 불러 볼 수 있지만 모델은 받은 표본밖에 모르고 참 함수를 끝내 보지 못한다. 옷은 한 사람에게 맞으면 되지만 모델은 같은 분포에서 오는 모든 새 표본에 맞아야 한다.
4구조 — 테스트 오차의 세 항과 대책
제곱 오차 손실에서 한 입력 x₀ 의 기대 테스트 오차는 줄일 수 없는 잡음 σ², 평균 예측이 참값에서 벗어난 편향², 학습 세트가 바뀔 때 예측이 흔들리는 분산의 합이다(ESL 7.3절 식 7.9). 과적합은 모델 용량에 비해 표본이 적어 분산 항이 커진 상태이고, 대책은 저마다 이 세 항 중 하나를 겨냥한다.
그림 3 · 과적합은 분산 항이 커진 상태이고, 규제 계열은 용량을 줄여 분산을 덜고 데이터 추가는 표본을 늘리며 교차 검증은 그 결과를 잰다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 학습 오차 | 맞춘 표본에서 잰 오차 · 용량을 키우면 0까지 내려감 | 14차 RMSE 0.000 | ESL 7.2절 |
| 테스트 오차 | 학습에 쓰지 않은 표본의 오차(일반화 오차) | 14차 RMSE 1.904 | ESL 식 7.2 |
| 잡음 σ² | 데이터 자체의 오차 · 어떤 모델도 못 줄임 | 0.0625(σ 0.25) | ESL 식 7.9 |
| 편향² | 학습 세트 평균 예측과 참 함수의 차 | 1차 0.210 | ESL 식 7.9 |
| 분산 | 학습 세트마다 달라지는 예측의 흔들림 | 14차 41.65 | ESL 식 7.9 |
| 모델 용량 | 맞출 수 있는 함수의 범위 · 파라미터 수와 표본 수의 비 | 계수 15 · 표본 15 | Zhang 2017 2절 |
| 규제 강도 λ | 손실에 더하는 계수 크기 벌점의 세기 | 0.01 | ESL 3.4.1 · 11.5.2절 |
🔑 과적합은 오차의 «크기»가 아니라 학습과 테스트의 «격차»다 — 1차 다항식은 테스트 RMSE 0.532 로 14차의 1.904 보다 작지만 격차가 0.075 뿐이라 과적합이 아니라 과소적합이다.
5동작 — 15개 표본에 14차 다항식 맞추기
Python 3.14.0 · NumPy 2.4.3 에서 numpy. 로 만든 데이터에 다항식을 최소제곱(numpy.linalg.lstsq)으로 맞춘 사례다. 값은 RMSE(평균 제곱근 오차)이며 같은 코드로 다시 나온다.
- 참 함수 y = sin(2πx) 에 표준편차 0.25 의 정규 잡음을 더해 x = 0, 1/14, …, 1 의 학습 표본 15개, 무작위 x 의 검증 표본 15개 · 테스트 표본 1,000개를 만든다.
- 계수 15개인 14차 다항식은 15점을 모두 지나 학습 RMSE 0.000 이 되지만, 계수 최댓값이 16,402 로 커지고 곡선이 양 끝 표본 사이에서 8.75 까지 솟아 검증 2.771 · 테스트 1.904 가 된다.
- 차수 0 ~ 14 를 검증 세트로 비교하면 학습 RMSE 는 0.652 에서 0.000 으로 줄기만 하고, 검증 RMSE 는 5차의 0.207 이 가장 낮으며 12차부터 0.765 로 뛴다.
- 차수를 14 로 둔 채 손실에 λ × 계수 제곱합(절편 제외)을 더하고, λ = 0.001 ~ 10 의 10배 간격 다섯 값 중 검증 RMSE 가 가장 낮은 λ = 0.01(0.218)을 고른다 — 계수 최댓값은 2.34 다(ESL 3.4.1절 리지 회귀).
- 고른 두 모델을 테스트 1,000개로 한 번만 재면 5차 0.270 · 14차 + λ 0.285 로, 잡음 표준편차 0.25 에 가깝다.
- 규제 없이 같은 14차를 표본 30개로 맞추면 테스트 37.197, 150개로 맞추면 0.264 로 떨어진다 — 표본이 계수보다 충분히 많아지면 분산이 준다.
그림 4 · 규제 없는 14차 곡선은 표본 15개를 모두 지나며 양 끝에서 그림 밖까지 솟고, λ 0.01 을 준 같은 14차 곡선은 참 함수 가까이 지난다.
그림 5 · 차수를 올리면 편향²은 0에 붙고 분산이 커져, 기대 테스트 오차는 3 ~ 5차에서 바닥을 친 뒤 다시 오른다.
그림 5 는 x 15곳을 고정하고 잡음만 바꾼 학습 세트 500개(default_rng(2026))로 차수마다 편향² 과 분산을 따로 잰 것이다. 3 단계에서 검증 세트가 고른 5차는 이 바닥 구간 안에 있다.
🔑 규제는 편향을 조금 사서 분산을 크게 덜어 낸다 — 같은 14차 다항식에서 λ 0.01 이 계수 최댓값을 16,402 에서 2.34 로, 테스트 RMSE 를 1.904 에서 0.285 로 줄인다.
6비교 — 과적합 대책 네 가지
| 기준 | 규제(L2 · 가중치 감쇠) | 조기 종료 | 드롭아웃 | 데이터 추가 · 증강 |
|---|---|---|---|---|
| 손대는 곳 | 손실 함수에 계수 크기 벌점 | 학습 반복 횟수 | 학습 중 은닉 단위를 무작위로 끔 | 학습 데이터 |
| 정할 값 | λ — 교차 검증으로 고름(ESL 11.5.2절) | 멈출 시점 — 검증 오차가 오르기 시작할 때(ESL 11.5.2절) | 유지 확률 p — 은닉 0.5 · 입력 0.8(Srivastava 2014 6.1.1절) | 모을 표본 수 · 변환 종류 |
| 쓰는 모델 | 선형 모델 · 신경망 | 반복 학습 모델(신경망 · 부스팅) | 신경망 | 모든 모델 |
| 추가 비용 | 거의 없음 | 반복마다 검증 세트 평가 | 같은 성능까지 학습 시간이 늘어남 | 수집 · 레이블 비용 |
| 사례 값 | 14차 테스트 1.904 → 0.285 | — | MNIST 오류 1.60% → 1.35% | 표본 150개 → 테스트 0.264 |
분석표본을 더 모을 수 있으면 학습 곡선으로 효과부터 확인하고, 모을 수 없으면 선형 모델은 λ 를, 신경망은 조기 종료 · 드롭아웃 · 가중치 감쇠를 함께 고른다. 근거는 학습 곡선이 데이터 추가의 이득을 미리 보여 주고(scikit-learn 3.5.2) 표의 「정할 값」 행이 모두 검증 데이터로 정해진다는 점이다.
7실무 진단 — 과적합 원인 가르기
분석학습 · 검증 격차를 먼저 재고, 격차가 있으면 표본 수에 따른 변화를, 그다음 모델 크기와 학습 길이를 본다. 표본 수와 함께 줄지 않는 격차는 용량을 줄여도 사라지지 않으므로(scikit-learn 3.5.2) 그 경우 데이터 쪽을 먼저 의심한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 오차 ≈ 0 · 검증 오차가 큼 | 파라미터가 표본 수에 가까움 | 모델 | 파라미터 수 ÷ 표본 수 · 계수 최댓값 np.abs(w).max() | 규제 뒤 계수가 수천 배 작아지고 검증이 좋아지면 용량 과다(사례 16,402 → 2.34 · ESL 3.4.1절) |
| 2 | 에포크마다 학습 손실은 내려가고 검증 손실은 오름 | 학습을 너무 오래 함 | 학습 | 에포크별 학습 · 검증 손실 기록 | 검증 손실 최저 에포크에서 멈춘 모델을 씀(ESL 11.5.2절) |
| 3 | 표본을 늘려도 격차가 그대로 | 과적합이 아님 — 데이터 누수 · 분포 차이 | 데이터 | sklearn. | 격차가 표본 수에 따라 줄면 분산, 줄지 않으면 다른 원인(scikit-learn 3.5.2) |
| 4 | 레이블을 섞어도 학습 정확도가 높게 나옴 | 모델이 표본을 외울 만큼 큼 | 평가 | 무작위 레이블로 다시 학습 | 무작위 레이블 학습 정확도가 높으면 학습 정확도는 일반화의 근거가 못 됨(Zhang 2017 표 1) |
순서는 1행 → 3행 → 2행이다. 3행에서 격차가 표본 수와 무관하면 모델을 바꿔도 운영 성능이 검증을 따라오지 않으므로, 규제 강도를 고르기 전에 데이터 분할부터 다시 본다.
8시험 대비
www.q-net.or.kr시험에서는 과적합의 정의 · 원인 · 대책을 묻는 정의 · 특징형과, 대형 신경망의 일반화와 드롭아웃 같은 대책의 변화를 묻는 동향 · 발전형이 나올 수 있다. 「학습 데이터에 지나치게 맞춤」 한 줄 대신 오차 분해 식과 실제 값으로 격차를 보이면 답안이 갈린다.
- 개요 — 정의(학습 오차 ↓ · 테스트 오차 ↑) · 일반화 격차 · 과소적합과의 대비 한 줄
- 발생 원리 — 그림 3 오차 분해(잡음 σ² + 편향² + 분산 · ESL 식 7.9) · 원인 둘(용량 · 표본 수)
- 발생 사례 — 그림 4 14차 다항식(학습 0.000 · 테스트 1.904 → λ 0.01 에서 0.285)
- 편향-분산 트레이드오프 — 그림 5 차수별 막대(3 ~ 5차 바닥 · 14차 분산 41.65)
- 대책 — 규제 · 조기 종료 · 드롭아웃 · 데이터 추가 비교표 + 교차 검증으로 설정 선택
- 동향과 진단 — 무작위 레이블 학습 정확도 100.0%(Zhang 2017) · 학습 곡선으로 처방 가르기
꼭 쓸 키워드
일반화 격차편향-분산 트레이드오프분산모델 용량규제가중치 감쇠조기 종료드롭아웃교차 검증학습 곡선
다른 답안과 차이를 내는 한 가지는 그림 5 의 쌓은 막대다 — 차수에 따라 편향² 이 줄고 분산이 늘어 합이 바닥을 치는 모습을 실제 값으로 보인다.
9오해와 사실
- 오해과적합은 데이터를 더 모으면 언제나 사라진다.사실표본을 150개로 늘리면 14차 다항식의 테스트 RMSE 가 0.264 로 줄지만 잡음 표준편차 0.25 아래로는 내려가지 않고, 격차가 표본 수와 함께 줄지 않으면 원인은 누수 · 분포 차이다(scikit-learn 3.5.2).
- 오해규제는 세게 걸수록 안전하다.사실λ = 10 은 학습 0.535 · 테스트 0.653 으로 λ = 0.01 의 0.285 보다 나쁜 과소적합이며, λ 는 교차 검증으로 고른다(ESL 11.5.2절).
- 오해파라미터가 표본보다 많으면 반드시 과적합한다.사실같은 Inception 망이 CIFAR-10 참 레이블에서는 테스트 정확도 89.05%, 무작위 레이블에서는 9.78% 였다 — 용량만으로는 가를 수 없고 검증 격차로 본다(Zhang 2017 표 1).
10핵심 정리
| 구분 | 학습 · 테스트 오차(사례 RMSE) | 손대는 곳 | 오차 항 변화 | 정할 값 |
|---|---|---|---|---|
| 과적합 | 0.000 · 1.904(14차) | — | 분산 41.65 | 차수 · 파라미터 수 |
| 과소적합 | 0.457 · 0.532(1차) | — | 편향² 0.210 | 차수 · 특징 |
| 규제 | 0.144 · 0.285(λ 0.01) | 손실 함수 | 분산 ↓ · 편향² 조금 ↑ | λ |
| 조기 종료 | 검증 손실 최저에서 멈춤 | 학습 반복 | 분산 ↓ | 멈출 에포크 |
| 드롭아웃 | MNIST 오류 1.60% → 1.35% | 은닉 단위 | 분산 ↓ | 유지 확률 p |
| 데이터 추가 | 0.244 · 0.264(표본 150) | 학습 데이터 | 분산 ↓ | 표본 수 |
| 교차 검증 | 테스트 오차의 추정값 | 평가 절차 | 줄이지 않고 잼 | 겹 수 K |
11참고 문헌
- 먼저 볼 문헌
- ★ The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman · corrected 12th printing) — 테스트 오차를 잡음 · 편향² · 분산으로 나누는 식(7.3절)과 모델 복잡도 곡선(7.2절)을 볼 때
- ★ Dropout: A Simple Way to Prevent Neural Networks from Overfitting (JMLR 15(56) 1929-1958) — 드롭아웃의 유지 확률 p 와 시험 때 가중치 축소를 볼 때
- ★ Understanding deep learning requires rethinking generalization (ICLR 2017 · arXiv 1611.03530) — 신경망이 무작위 레이블까지 외우는 실험(표 1)을 볼 때
- ★ scikit-learn 1.9.1 User Guide 3.5 Validation curves: plotting scores to evaluate models — 검증 곡선 · 학습 곡선으로 과적합과 데이터 부족을 가를 때
- 본문 근거
- Ridge Regression: Biased Estimation for Nonorthogonal Problems (Technometrics 12(1) 55-67) — American Statistical Association · ASQ · 1970-02 ·
doi.org/10.1080/00401706.1970.10488634· 확인 2026-11-03 - Cross-Validatory Choice and Assessment of Statistical Predictions (Journal of the Royal Statistical Society Series B 36(2) 111-147) — Royal Statistical Society · 1974-01 ·
doi.org/10.1111/j.2517-6161.1974.tb00994.x· 확인 2026-11-03 - NumPy v2.5 Manual - numpy.linalg.lstsq — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html· 확인 2026-11-03 - NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-03