AI › 인공지능 개요 › 머신러닝 › 모델 평가

과적합Overfitting

모델이 학습 데이터의 잡음과 우연한 패턴까지 맞추어, 학습 데이터의 오차는 작지만 처음 보는 데이터의 오차는 커지는 상태다.

1요약

  1. 과적합은 지도 학습의 모델 선택 단계에서 학습 오차와 테스트 오차의 격차로 드러나는 현상으로, ESL 7.3절은 테스트 오차를 잡음 + 편향² + 분산으로 나누어 설명하고 그 위에서 규제 · 교차 검증 · 조기 종료 · 드롭아웃이 돈다.
  2. 학습 점수만 보면 외운 모델과 배운 모델을 가릴 수 없다 — 파라미터 1,649,402개의 Inception 은 CIFAR-10 의 레이블을 무작위로 바꿔도 학습 정확도 100.0% 에 테스트 정확도 9.78% 였다(Zhang 2017 표 1).
  3. 격차가 났을 때의 처방은 학습 곡선으로 가른다 — 표본을 늘릴수록 격차가 줄면 데이터 추가가, 줄지 않으면 규제 · 용량 축소가 먼저다(scikit-learn 3.5.2).

2등장 배경

회귀 계수를 늘리면 학습 데이터의 잔차 제곱합은 0까지 줄어든다. 그래서 학습 오차로 차수 · 계수 수를 고르면 언제나 모든 점을 지나는 모델이 뽑히고, 그 모델은 새 데이터를 맞히지 못한다(ESL 2.9절).

1970년 Delaware 대학 · du Pont 의 Hoerl 과 Kennard 는 설명 변수끼리 상관이 클 때 최소제곱 계수가 크게 틀린다는 점을 보이고, XᵀX 대각선에 작은 양수를 더해 편향은 있지만 평균 제곱 오차가 작은 리지 회귀를 냈다(Hoerl 1970). 1974년 Stone 은 데이터를 나눠 맞추고 남은 부분으로 재는 교차 검증으로 모델을 고르는 틀을 정리했고(Stone 1974), 신경망 쪽은 조기 종료와 가중치 감쇠를 거쳐 2014년 Srivastava 외의 드롭아웃이 MNIST 오류를 1.60% 에서 1.35% 로 낮췄다(Srivastava 2014 6.1.1절).

2017년 Zhang 외는 신경망이 무작위 레이블까지 외운다는 실험으로 «파라미터 수가 곧 과적합»이라는 설명이 모자람을 보였다. 그래도 현장 판정은 여전히 학습 데이터와 분리한 검증 · 테스트 오차로 하며, 이 절차가 생성형 AI 모델의 미세 조정에도 그대로 쓰인다.

3쉽게 이해하기 — 정장을 짓는 재단사

재단사 준호는 손님의 몸을 15곳 재서 정장을 짓는다. 그날 손님은 두꺼운 스웨터를 입었고 줄자도 조금씩 흔들렸는데, 준호는 잰 숫자 15개에 솔기를 하나하나 꺾어 맞췄다. 재던 날 꼭 맞던 옷은 일주일 뒤 셔츠 차림에서 곳곳이 들뜨고 낀다. 선배는 「솔기가 꺾일 때마다 벌점」 규칙을 주고, 다른 날 가봉해 보며 더 나빠지기 전에 손을 멈추고, 치수를 여러 날 다시 재라고 일렀다.

손님의 실제 몸 아무도 정확히 모름 1 참 함수 sin(2πx) 그날 잰 치수 15곳 줄자로 한 번씩 학습 데이터 15개 두꺼운 스웨터 줄자도 흔들림 잡음 σ = 0.25 재단사 준호 모델 · 학습 치수마다 꺾은 솔기 15곳 모두 맞춤 2 과적합 · 학습 오차 0 꺾일 때마다 벌점 솔기를 매끈하게 3 규제 λ = 0.01 일주일 뒤 입어 보기 셔츠 차림 · 다른 날 4 검증 · 테스트 데이터 들뜨고 끼는 옷 재던 날만 꼭 맞음 테스트 오차가 큼 편하게 맞는 옷 어느 날 입어도 일반화 데이터 모델 · 학습 규칙 평가 · 검증 잡음 · 과적합 · 실패

그림 1 · 잰 날의 치수에만 맞춘 옷은 다른 날 맞지 않고, 꺾임에 벌점을 준 옷은 어느 날 입어도 맞는다.

몸 재기치수 15곳을 적음
박음질치수마다 솔기를 꺾음
들뜬 옷다른 날 입으니 낌
벌점 규칙꺾일 때마다 감점
가봉에서 멈춤나빠지기 전에 손을 뗌
편한 옷어느 날에도 맞음
비유 — 벌점의 세기 실제 — 규제 강도 λ(14차) 결과 벌점 거의 없음 치수만 맞춤 λ = 0 · 최소제곱 학습 0.000 · 테스트 1.904 과적합 계수 최댓값 16,402 알맞은 벌점 꺾임을 아껴 씀 λ = 0.01 · 검증으로 고름 학습 0.144 · 테스트 0.285 알맞음 계수 최댓값 2.34 벌점이 너무 큼 일자로 펴 버림 λ = 10 학습 0.535 · 테스트 0.653 과소적합 계수 최댓값 0.27 값 = RMSE(평균 제곱근 오차) · 표본 15개로 학습 · 테스트 1,000개 · 잡음 σ 0.25 가 바닥

그림 2 · 벌점이 없으면 잰 날에만 맞고, 너무 세면 몸을 무시한 일자 옷이 되며, 알맞은 벌점에서 다른 날의 오차가 가장 작다.

비유 속 역할실제 이름실제로 하는 일
손님의 실제 몸참 함수 f(x)데이터를 만든 진짜 관계 · 사례는 sin(2πx)
그날 잰 치수 15곳학습 데이터모델이 맞추는 표본 15개
스웨터 · 흔들린 줄자잡음 ε표본마다 섞인 우연한 오차 · 표준편차 0.25
치수마다 꺾은 솔기용량이 큰 모델계수 15개의 14차 다항식이 15점을 모두 지남
일주일 뒤 입어 보기검증 · 테스트 데이터학습에 쓰지 않은 표본으로 오차를 잰다
꺾임 벌점규제손실에 λ × 계수 제곱합을 더한다
가봉에서 멈춤조기 종료검증 오차가 오르기 시작하면 학습을 멈춘다
여러 날 다시 재기데이터 추가표본 150개면 같은 14차도 테스트 0.264

⚠ 비유가 맞지 않는 곳: 재단사는 손님을 다시 불러 볼 수 있지만 모델은 받은 표본밖에 모르고 참 함수를 끝내 보지 못한다. 옷은 한 사람에게 맞으면 되지만 모델은 같은 분포에서 오는 모든 새 표본에 맞아야 한다.

4구조 — 테스트 오차의 세 항과 대책

제곱 오차 손실에서 한 입력 x₀ 의 기대 테스트 오차는 줄일 수 없는 잡음 σ², 평균 예측이 참값에서 벗어난 편향², 학습 세트가 바뀔 때 예측이 흔들리는 분산의 합이다(ESL 7.3절 식 7.9). 과적합은 모델 용량에 비해 표본이 적어 분산 항이 커진 상태이고, 대책은 저마다 이 세 항 중 하나를 겨냥한다.

기대 테스트 오차 = 잡음 σ² + 편향² + 분산(ESL 식 7.9) 테스트 오차 잡음 σ² 줄일 수 없음 편향² 모델이 너무 단순 분산 — 과적합 학습 세트마다 예측이 흔들림 모델 용량이 큼 계수 15 · 표본 15 표본 수가 적음 잡음을 평균 못 냄 키운다 키운다 규제 · 조기 종료 · 드롭아웃 유효 용량을 줄임 데이터 추가 증강 포함 교차 검증 · 검증 세트 오차를 추정해 설정을 고름 줄인다 늘린다 조금 키운다 합을 잰다 데이터 모델 · 학습 규칙 평가 · 검증 과적합 점선 = 줄이지 않고 재기만 함

그림 3 · 과적합은 분산 항이 커진 상태이고, 규제 계열은 용량을 줄여 분산을 덜고 데이터 추가는 표본을 늘리며 교차 검증은 그 결과를 잰다.

요소역할사례 값근거
학습 오차맞춘 표본에서 잰 오차 · 용량을 키우면 0까지 내려감14차 RMSE 0.000ESL 7.2절
테스트 오차학습에 쓰지 않은 표본의 오차(일반화 오차)14차 RMSE 1.904ESL 식 7.2
잡음 σ²데이터 자체의 오차 · 어떤 모델도 못 줄임0.0625(σ 0.25)ESL 식 7.9
편향²학습 세트 평균 예측과 참 함수의 차1차 0.210ESL 식 7.9
분산학습 세트마다 달라지는 예측의 흔들림14차 41.65ESL 식 7.9
모델 용량맞출 수 있는 함수의 범위 · 파라미터 수와 표본 수의 비계수 15 · 표본 15Zhang 2017 2절
규제 강도 λ손실에 더하는 계수 크기 벌점의 세기0.01ESL 3.4.1 · 11.5.2절

🔑 과적합은 오차의 «크기»가 아니라 학습과 테스트의 «격차»다 — 1차 다항식은 테스트 RMSE 0.532 로 14차의 1.904 보다 작지만 격차가 0.075 뿐이라 과적합이 아니라 과소적합이다.

5동작 — 15개 표본에 14차 다항식 맞추기

Python 3.14.0 · NumPy 2.4.3 에서 numpy.random.default_rng(7) 로 만든 데이터에 다항식을 최소제곱(numpy.linalg.lstsq)으로 맞춘 사례다. 값은 RMSE(평균 제곱근 오차)이며 같은 코드로 다시 나온다.

  1. 참 함수 y = sin(2πx) 에 표준편차 0.25 의 정규 잡음을 더해 x = 0, 1/14, …, 1 의 학습 표본 15개, 무작위 x 의 검증 표본 15개 · 테스트 표본 1,000개를 만든다.
  2. 계수 15개인 14차 다항식은 15점을 모두 지나 학습 RMSE 0.000 이 되지만, 계수 최댓값이 16,402 로 커지고 곡선이 양 끝 표본 사이에서 8.75 까지 솟아 검증 2.771 · 테스트 1.904 가 된다.
  3. 차수 0 ~ 14 를 검증 세트로 비교하면 학습 RMSE 는 0.652 에서 0.000 으로 줄기만 하고, 검증 RMSE 는 5차의 0.207 이 가장 낮으며 12차부터 0.765 로 뛴다.
  4. 차수를 14 로 둔 채 손실에 λ × 계수 제곱합(절편 제외)을 더하고, λ = 0.001 ~ 10 의 10배 간격 다섯 값 중 검증 RMSE 가 가장 낮은 λ = 0.01(0.218)을 고른다 — 계수 최댓값은 2.34 다(ESL 3.4.1절 리지 회귀).
  5. 고른 두 모델을 테스트 1,000개로 한 번만 재면 5차 0.270 · 14차 + λ 0.285 로, 잡음 표준편차 0.25 에 가깝다.
  6. 규제 없이 같은 14차를 표본 30개로 맞추면 테스트 37.197, 150개로 맞추면 0.264 로 떨어진다 — 표본이 계수보다 충분히 많아지면 분산이 준다.
2 0 -2 0 0.5 1 y x 1 학습 표본 15개 · 잡음 σ 0.25 2 14차 · 학습 0.000 · 테스트 1.904 위로 그림 밖(최대 8.75) 4 14차 + λ 0.01 · 학습 0.144 · 테스트 0.285 학습 표본 참 함수 sin(2πx) 규제 없는 14차 14차 + L2 규제 λ 0.01

그림 4 · 규제 없는 14차 곡선은 표본 15개를 모두 지나며 양 끝에서 그림 밖까지 솟고, λ 0.01 을 준 같은 14차 곡선은 참 함수 가까이 지난다.

기대 테스트 오차(MSE) — 학습 세트 500개 평균 · 표본 15개 · σ 0.25 0 0.1 0.2 0.3 0.281 0.083 0.085 0.105 0.169 41.75 · 축 밖 1차 3차 5차 9차 11차 14차 ← 편향² 이 키움(1차 0.210) 바닥 = 3 ~ 5차 분산이 키움 → 14차 분산 41.65 다항식 차수(계수 수 = 차수 + 1) 잡음 σ² 0.0625(모든 차수 같음) 편향² 분산 물결선 = 막대를 잘라 줄임

그림 5 · 차수를 올리면 편향²은 0에 붙고 분산이 커져, 기대 테스트 오차는 3 ~ 5차에서 바닥을 친 뒤 다시 오른다.

그림 5 는 x 15곳을 고정하고 잡음만 바꾼 학습 세트 500개(default_rng(2026))로 차수마다 편향² 과 분산을 따로 잰 것이다. 3 단계에서 검증 세트가 고른 5차는 이 바닥 구간 안에 있다.

🔑 규제는 편향을 조금 사서 분산을 크게 덜어 낸다 — 같은 14차 다항식에서 λ 0.01 이 계수 최댓값을 16,402 에서 2.34 로, 테스트 RMSE 를 1.904 에서 0.285 로 줄인다.

6비교 — 과적합 대책 네 가지

기준규제(L2 · 가중치 감쇠)조기 종료드롭아웃데이터 추가 · 증강
손대는 곳손실 함수에 계수 크기 벌점학습 반복 횟수학습 중 은닉 단위를 무작위로 끔학습 데이터
정할 값λ — 교차 검증으로 고름(ESL 11.5.2절)멈출 시점 — 검증 오차가 오르기 시작할 때(ESL 11.5.2절)유지 확률 p — 은닉 0.5 · 입력 0.8(Srivastava 2014 6.1.1절)모을 표본 수 · 변환 종류
쓰는 모델선형 모델 · 신경망반복 학습 모델(신경망 · 부스팅)신경망모든 모델
추가 비용거의 없음반복마다 검증 세트 평가같은 성능까지 학습 시간이 늘어남수집 · 레이블 비용
사례 값14차 테스트 1.904 → 0.285—MNIST 오류 1.60% → 1.35%표본 150개 → 테스트 0.264

분석표본을 더 모을 수 있으면 학습 곡선으로 효과부터 확인하고, 모을 수 없으면 선형 모델은 λ 를, 신경망은 조기 종료 · 드롭아웃 · 가중치 감쇠를 함께 고른다. 근거는 학습 곡선이 데이터 추가의 이득을 미리 보여 주고(scikit-learn 3.5.2) 표의 「정할 값」 행이 모두 검증 데이터로 정해진다는 점이다.

7실무 진단 — 과적합 원인 가르기

분석학습 · 검증 격차를 먼저 재고, 격차가 있으면 표본 수에 따른 변화를, 그다음 모델 크기와 학습 길이를 본다. 표본 수와 함께 줄지 않는 격차는 용량을 줄여도 사라지지 않으므로(scikit-learn 3.5.2) 그 경우 데이터 쪽을 먼저 의심한다.

#증상의심 원인단계확인 자료판정 기준(근거)
1학습 오차 ≈ 0 · 검증 오차가 큼파라미터가 표본 수에 가까움모델파라미터 수 ÷ 표본 수 · 계수 최댓값 np.abs(w).max()규제 뒤 계수가 수천 배 작아지고 검증이 좋아지면 용량 과다(사례 16,402 → 2.34 · ESL 3.4.1절)
2에포크마다 학습 손실은 내려가고 검증 손실은 오름학습을 너무 오래 함학습에포크별 학습 · 검증 손실 기록검증 손실 최저 에포크에서 멈춘 모델을 씀(ESL 11.5.2절)
3표본을 늘려도 격차가 그대로과적합이 아님 — 데이터 누수 · 분포 차이데이터sklearn.model_selection.learning_curve격차가 표본 수에 따라 줄면 분산, 줄지 않으면 다른 원인(scikit-learn 3.5.2)
4레이블을 섞어도 학습 정확도가 높게 나옴모델이 표본을 외울 만큼 큼평가무작위 레이블로 다시 학습무작위 레이블 학습 정확도가 높으면 학습 정확도는 일반화의 근거가 못 됨(Zhang 2017 표 1)

순서는 1행 → 3행 → 2행이다. 3행에서 격차가 표본 수와 무관하면 모델을 바꿔도 운영 성능이 검증을 따라오지 않으므로, 규제 강도를 고르기 전에 데이터 분할부터 다시 본다.

8시험 대비

출제 정보 정보관리(139회, 127회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 과적합의 정의 · 원인 · 대책을 묻는 정의 · 특징형과, 대형 신경망의 일반화와 드롭아웃 같은 대책의 변화를 묻는 동향 · 발전형이 나올 수 있다. 「학습 데이터에 지나치게 맞춤」 한 줄 대신 오차 분해 식과 실제 값으로 격차를 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의(학습 오차 ↓ · 테스트 오차 ↑) · 일반화 격차 · 과소적합과의 대비 한 줄
  2. 발생 원리 — 그림 3 오차 분해(잡음 σ² + 편향² + 분산 · ESL 식 7.9) · 원인 둘(용량 · 표본 수)
  3. 발생 사례 — 그림 4 14차 다항식(학습 0.000 · 테스트 1.904 → λ 0.01 에서 0.285)
  4. 편향-분산 트레이드오프 — 그림 5 차수별 막대(3 ~ 5차 바닥 · 14차 분산 41.65)
  5. 대책 — 규제 · 조기 종료 · 드롭아웃 · 데이터 추가 비교표 + 교차 검증으로 설정 선택
  6. 동향과 진단 — 무작위 레이블 학습 정확도 100.0%(Zhang 2017) · 학습 곡선으로 처방 가르기

꼭 쓸 키워드
일반화 격차편향-분산 트레이드오프분산모델 용량규제가중치 감쇠조기 종료드롭아웃교차 검증학습 곡선

다른 답안과 차이를 내는 한 가지는 그림 5 의 쌓은 막대다 — 차수에 따라 편향² 이 줄고 분산이 늘어 합이 바닥을 치는 모습을 실제 값으로 보인다.

9오해와 사실

  • 오해과적합은 데이터를 더 모으면 언제나 사라진다.
    사실표본을 150개로 늘리면 14차 다항식의 테스트 RMSE 가 0.264 로 줄지만 잡음 표준편차 0.25 아래로는 내려가지 않고, 격차가 표본 수와 함께 줄지 않으면 원인은 누수 · 분포 차이다(scikit-learn 3.5.2).
  • 오해규제는 세게 걸수록 안전하다.
    사실λ = 10 은 학습 0.535 · 테스트 0.653 으로 λ = 0.01 의 0.285 보다 나쁜 과소적합이며, λ 는 교차 검증으로 고른다(ESL 11.5.2절).
  • 오해파라미터가 표본보다 많으면 반드시 과적합한다.
    사실같은 Inception 망이 CIFAR-10 참 레이블에서는 테스트 정확도 89.05%, 무작위 레이블에서는 9.78% 였다 — 용량만으로는 가를 수 없고 검증 격차로 본다(Zhang 2017 표 1).

10핵심 정리

구분학습 · 테스트 오차(사례 RMSE)손대는 곳오차 항 변화정할 값
과적합0.000 · 1.904(14차)—분산 41.65차수 · 파라미터 수
과소적합0.457 · 0.532(1차)—편향² 0.210차수 · 특징
규제0.144 · 0.285(λ 0.01)손실 함수분산 ↓ · 편향² 조금 ↑λ
조기 종료검증 손실 최저에서 멈춤학습 반복분산 ↓멈출 에포크
드롭아웃MNIST 오류 1.60% → 1.35%은닉 단위분산 ↓유지 확률 p
데이터 추가0.244 · 0.264(표본 150)학습 데이터분산 ↓표본 수
교차 검증테스트 오차의 추정값평가 절차줄이지 않고 잼겹 수 K

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman · corrected 12th printing) — 테스트 오차를 잡음 · 편향² · 분산으로 나누는 식(7.3절)과 모델 복잡도 곡선(7.2절)을 볼 때
    Springer · 2017-01 · hastie.su.domains/ElemStatLearn/ · 확인 2026-11-03
  3. ★ Dropout: A Simple Way to Prevent Neural Networks from Overfitting (JMLR 15(56) 1929-1958) — 드롭아웃의 유지 확률 p 와 시험 때 가중치 축소를 볼 때
    JMLR · 2014-06 · jmlr.org/papers/v15/srivastava14a.html · 확인 2026-11-03
  4. ★ Understanding deep learning requires rethinking generalization (ICLR 2017 · arXiv 1611.03530) — 신경망이 무작위 레이블까지 외우는 실험(표 1)을 볼 때
    arXiv · 2017-02 · arxiv.org/abs/1611.03530 · 확인 2026-11-03
  5. ★ scikit-learn 1.9.1 User Guide 3.5 Validation curves: plotting scores to evaluate models — 검증 곡선 · 학습 곡선으로 과적합과 데이터 부족을 가를 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/learning_curve.html · 확인 2026-11-03
  6. 본문 근거
  7. Ridge Regression: Biased Estimation for Nonorthogonal Problems (Technometrics 12(1) 55-67) — American Statistical Association · ASQ · 1970-02 · doi.org/10.1080/00401706.1970.10488634 · 확인 2026-11-03
  8. Cross-Validatory Choice and Assessment of Statistical Predictions (Journal of the Royal Statistical Society Series B 36(2) 111-147) — Royal Statistical Society · 1974-01 · doi.org/10.1111/j.2517-6161.1974.tb00994.x · 확인 2026-11-03
  9. NumPy v2.5 Manual - numpy.linalg.lstsq — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html · 확인 2026-11-03
  10. NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-03