과소적합Underfitting
모델이 학습 데이터의 규칙조차 충분히 담지 못해, 학습 데이터에서 잰 오차부터 목표보다 크게 남는 상태다.
1요약
- 과소적합은 모델 평가 단계에서 학습 오차부터 높게 남는 상태로, Goodfellow 2016 5.2절은 머신러닝의 두 과제를 「학습 오차를 작게」(과소적합) · 「학습 · 테스트 격차를 작게」(과적합)로 나누고 그 위에서 용량 · 특징 · 규제 · 학습 길이를 고른다.
- 과소적합한 모델은 데이터를 더 모아도 나아지지 않는다 — 원 모양 경계 사례에서 선형 로지스틱 회귀는 표본을 25개에서 1,600개로 늘려도 검증 오류율이 기준선 0.415 에 머물렀다(직접 실행).
- 「성능이 낮다」는 학습 오류율을 기준선 · 베이즈 오차와 견주어 가른다 — 학습 오류율이 기준선에 가까우면 과소적합, 베이즈 오차에 가까운데 목표 미달이면 모델이 아니라 레이블 · 특징의 한계다.
2등장 배경
입력 두 개의 배타적 논리합(XOR)은 평면에 직선 하나를 그어 가를 수 없다. 1969년 Minsky 와 Papert 는 단층 퍼셉트론이 이런 함수를 표현하지 못함을 보였고(Minsky 1969), 어떤 학습 규칙을 써도 직선 경계 모델의 학습 오차가 줄지 않는다는 사실이 신경망 연구를 한동안 멈춰 세웠다.
1986년 Rumelhart · Hinton · Williams 는 은닉층을 둔 다층 신경망을 역전파로 학습해 그 한계를 넘었다(Rumelhart 1986). 2016년 Goodfellow 외 교재는 용량이 모자란 고정 파라미터 모델은 표본이 아무리 많아도 베이즈 오차보다 큰 오차로 수렴한다고 정리했다(Goodfellow 2016 5.2절).
2022년 Hoffmann 외는 파라미터 2,800억 개 모델이 학습 토큰 3,000억 개에서 멈춘 것을 «덜 학습됨»으로 보고, 700억 개 모델을 1.4조 토큰으로 학습해 앞섰다(Hoffmann 2022 표 1). 과소적합은 지금도 모델 크기와 학습량을 정하는 판단 기준이다.
3쉽게 이해하기 — 안개 속 연못에 밧줄 두르기
공원 관리인 도윤은 안개 낀 둥근 연못에 출입 금지 밧줄을 둘러야 한다. 연못은 보이지 않고, 방문객 200명이 남긴 「여기는 물」 · 「여기는 땅」 신고만 있으며 그중 몇 장은 잘못 적혔다. 도윤이 가진 것은 곧게만 펴지는 밧줄이라 어디에 쳐도 연못을 두르지 못하고, 결국 「전부 땅」 팻말만 세운다. 선배가 휘는 밧줄을 건네자 그제야 신고 대부분과 맞는 둥근 울타리가 생긴다.
그림 1 · 곧은 밧줄로는 신고를 아무리 받아도 연못을 두르지 못하고, 휘는 밧줄을 쥐어야 다음 날 신고와도 맞는다.
그림 2 · 신고를 더 받는 것으로는 곧은 밧줄의 한계가 풀리지 않고, 밧줄을 휘게 해야 하며, 휘지 못하게 막거나 일찍 철수하면 다시 모자라진다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 안개 속 둥근 연못 | 참 결정 경계 | 데이터를 만든 진짜 규칙 · 사례는 x1² + x2² < 0.5 |
| 방문객 신고 200건 | 학습 데이터 · 레이블 | 점 200개에 1(원 안) · 0(원 밖)을 붙인 표본 |
| 잘못 적힌 신고 | 레이블 잡음 · 베이즈 오차 | 5% 를 뒤집어 어떤 모델도 0.050 아래로 못 감 |
| 곧은 밧줄 | 용량이 모자란 모델 | x1 · x2 만 쓴 선형 로지스틱 회귀 · 직선 경계 하나 |
| 「전부 땅」 팻말 | 기준선 | 다수 클래스만 답하는 예측 · 검증 0.415 |
| 휘는 밧줄 | 특징 추가 · 용량 확대 | x1² · x2² · x1x2 를 더해 타원 경계를 그림 |
| 「구부리지 마라」 | 규제 | 손실에 λ × 계수 제곱합을 더해 경계를 다시 편다 |
| 다음 날 다른 신고 | 검증 데이터 | 학습에 쓰지 않은 200개로 오류율을 잰다 |
⚠ 비유가 맞지 않는 곳: 도윤은 안개가 걷히면 연못을 볼 수 있지만 모델은 참 경계를 끝내 보지 못하고 신고(표본)만 안다. 밧줄은 곧음 · 휨 두 가지뿐이지만 실제 용량은 특징 수 · 층 수 · 규제 강도 · 학습 길이로 연속해서 바뀐다.
4구조 — 과소적합의 원인 넷과 판정 눈금
과소적합은 학습 오차를 줄이는 쪽의 실패다(Goodfellow 2016 5.2절). 원인은 특징 · 모델 용량 · 규제 · 학습 길이 넷 가운데 하나 이상이고, 판정은 학습 오류율을 아래쪽 베이즈 오차와 위쪽 기준선 사이 어디에 있는지로 한다. 오차를 편향² · 분산으로 나누는 식은 편향 · 분산이 맡는다.
그림 3 · 원인 넷 중 하나라도 걸리면 학습 오류율이 기준선 쪽에 남고, 베이즈 오차와의 거리가 고칠 수 있는 몫이다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 학습 오류율 | 맞춘 표본에서 잰 오류 · 과소적합 판정의 첫 값 | 선형 0.370 | Goodfellow 2016 5.2절 |
| 검증 오류율 | 학습에 쓰지 않은 표본의 오류 · 과소적합이면 학습과 가까움 | 선형 0.415 | scikit-learn 3.5.1 |
| 기준선 | 다수 클래스만 답한 오류 · 이 값과 같으면 아무것도 못 배움 | 0.415(검증) | 직접 실행 |
| 베이즈 오차 | 참 분포로 예측해도 남는 오류 · 아래 한계 | 0.050(테스트 추정) | Goodfellow 2016 5.2절 |
| 특징 | 모델이 보는 입력 표현 | x1 · x2 → + x1² · x2² · x1x2 | 직접 실행 |
| 용량 | 맞출 수 있는 함수의 범위 | 직선 → 타원 경계 | Goodfellow 2016 5.2절 |
| 규제 강도 λ | 계수 크기 벌점 · 크면 용량을 깎음 | 1 이면 기준선으로 되돌아감 | scikit-learn 3.5.1 |
🔑 과소적합은 학습 오류율을 «검증 오류율»이 아니라 «기준선 · 베이즈 오차»와 견주어 판정한다 — 선형 모델은 학습 · 검증 격차가 0.045 뿐이어도 학습 0.370 이 기준선 0.370 과 같아 아무 경계도 배우지 못했다.
5동작 — 원 모양 경계를 선형 모델로 맞추기
Python 3.14.0 · NumPy 2.4.3 에서 numpy. 으로 만든 합성 데이터에, 경사 하강 로지스틱 회귀(학습률 0.5 · 특징 표준화)를 직접 구현해 맞춘 사례다. 값은 오류율(틀린 비율)이며 같은 코드로 다시 나온다.
- 정사각형 [-1, 1]² 에서 점을 고르게 뽑아 x1² + x2² < 0.5 이면 1, 아니면 0 을 붙이고 레이블 5% 를 뒤집어 학습 200 · 검증 200 · 테스트 2,000개를 만든다 — 참 경계로 예측한 테스트 오류율 0.050 이 베이즈 오차 추정이다.
- 언제나 0 이라고 답하는 기준선의 오류율은 학습 0.370 · 검증 0.415 · 테스트 0.406 이다.
- x1 · x2 두 특징으로 3,000회 학습한 선형 모델은 학습 0.370 · 검증 0.415 로 기준선과 같다 — 정사각형 전체에서 예측 확률이 0.30 ~ 0.46 이라 모든 점을 0 으로 답한다.
- 표본 수를 25 → 1,600 으로 늘려(표본 수마다 20회 평균) 학습 곡선을 그리면 선형 모델의 학습 0.374 → 0.405 · 검증 0.490 → 0.415 로, 격차는 0.116 → 0.010 으로 줄지만 오류율은 기준선에서 만난다.
- 특징에 x1² · x2² · x1x2 를 더하면 같은 학습 규칙으로 학습 0.040 · 검증 0.065 가 된다 — 경계가 참 원과 거의 겹치는 타원이 된다.
- 같은 다섯 특징에 L2 규제를 λ 1 로 걸면 계수가 0.2 안팎으로 눌려 학습 0.370 · 검증 0.415 로 되돌아가고, λ 0.3 은 0.155 · 0.155, λ 0.1 은 0.060 · 0.070 이다.
- 규제 없이 반복 10회에서 멈추면 학습 로그 손실이 0.380 으로 3,000회의 0.181 보다 높고 오류율도 학습 0.060 · 검증 0.075 로 덜 배운 상태다.
- 검증으로 고른 모델(다섯 특징 · λ 0 · 3,000회)을 테스트 2,000개로 한 번 재면 0.064 로 베이즈 오차 추정 0.050 에 가깝다.
그림 4 · 선형 특징만으로는 어떤 직선도 원 안 표본을 가르지 못해 모두 0 으로 답하고, 제곱 특징을 더하면 같은 학습 규칙이 참 원에 가까운 경계를 그린다.
그림 5 · 과소적합한 모델은 표본을 늘려도 학습 · 검증 곡선이 기준선 높이에서 만나고, 용량이 맞는 모델만 베이즈 오차 가까이 내려간다.
그림 5 는 Goodfellow 2016 5.2절의 「용량이 모자란 고정 파라미터 모델은 베이즈 오차보다 큰 값으로 수렴한다」를 실제 값으로 보인 것이다. 시드를 1 ~ 4 로 바꾸어도 선형 모델의 테스트 오류율은 0.386 ~ 0.412 로 언제나 그 시드의 기준선과 같았다.
🔑 과소적합에서는 데이터가 아니라 모델이 병목이다 — 표본을 64배 늘린 선형 모델은 0.415 에 머물렀지만, 표본 200개에 특징 셋을 더한 모델은 0.065 로 내려갔다.
6비교 — 과소적합 처방 네 가지
| 기준 | 특징 추가 | 모델 용량 확대 | 규제 완화 | 학습 연장 |
|---|---|---|---|---|
| 손대는 곳 | 입력 표현 | 모델 구조(층 · 은닉 단위 · 트리 깊이) | 손실의 벌점 항 λ | 반복 수 · 학습률 · 학습 데이터량 |
| 맞는 증상 | 학습 오류율이 기준선 근처 | 특징을 더해도 학습 오류율이 높음 | λ 를 낮추면 학습 · 검증이 함께 줄어듦 | 마지막 반복에서도 학습 손실이 내려감 |
| 사례 값 | 0.370 → 0.040(학습) | — | λ 1 → 0.1 에서 검증 0.415 → 0.070 | 10 → 3,000회에 손실 0.380 → 0.181 |
| 넘치면 | 특징 수가 표본에 가까우면 과적합 | 학습 · 검증 격차가 벌어짐 | λ 0 근처에서 분산이 커짐 | 검증 손실이 다시 오름 |
| 비용 | 도메인 지식 · 전처리 | 계산 · 메모리 | 거의 없음 | 학습 시간 · 계산량 |
분석학습 오류율이 기준선 근처면 특징 · 용량부터, 규제를 건 상태면 λ 부터, 학습 손실이 아직 내려가면 학습 연장부터 손댄다. 근거는 표의 「맞는 증상」 행이 서로 다른 확인 자료로 갈리고, 네 처방 모두 «넘치면» 과적합 쪽으로 가므로 검증 곡선으로 멈출 위치를 정해야 한다는 점이다(scikit-learn 3.5.1).
7실무 진단 — 과소적합 원인 가르기
분석학습 오류율을 기준선 · 베이즈 오차와 먼저 견주고, 그다음 학습 손실 기록 · 규제 강도 · 학습 곡선 순으로 본다. 학습 오류율이 베이즈 오차 근처면 모델을 키워도 나아지지 않으므로(Goodfellow 2016 5.2절) 그때는 레이블 · 특징 쪽을 먼저 의심한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 오류율 ≈ 기준선 · 검증과 격차 작음 | 특징 · 용량 부족 | 모델 | 다수 클래스 예측의 오류율 · 예측 확률 분포 | 학습 오류율이 기준선과 같으면 경계를 못 배움(사례 0.370 = 0.370) |
| 2 | 마지막 반복에서도 학습 손실이 내려감 | 반복 부족 · 학습률이 작음 | 학습 | 반복별 학습 손실 기록 | 손실 곡선이 평평해지기 전이면 더 학습(사례 10회 0.380 · 3,000회 0.181) |
| 3 | λ 를 낮추면 학습 · 검증 오류율이 함께 줄어듦 | 규제 과다 | 학습 규칙 | λ 별 검증 곡선 | 두 점수가 함께 낮으면 과소적합(scikit-learn 3.5.1) |
| 4 | 표본을 늘려도 두 곡선이 높은 값에서 만남 | 모델 형태가 데이터 규칙과 맞지 않음 | 데이터 | 학습 곡선 | 수렴 값이 베이즈 오차보다 크면 용량 부족(Goodfellow 2016 5.2절 · scikit-learn 3.5.2) |
| 5 | 학습 오류율이 베이즈 오차 근처인데 목표 미달 | 과소적합이 아님 — 레이블 잡음 · 정보 없는 특징 | 데이터 | 레이블 재검수 표본 · 사람 판정 일치율 | 잡음 비율 아래로는 어떤 모델도 못 감(사례 잡음 5% · 0.050) |
순서는 1행 → 5행 → 2행 → 3행 → 4행이다. 기준선 · 베이즈 오차 두 값을 먼저 재 두면 「모델을 키울 일」과 「데이터를 고칠 일」이 갈리고, 그다음 학습 설정을 하나씩 푼다.
8시험 대비
www.q-net.or.kr시험에서는 과소적합의 정의 · 원인 · 해결을 묻는 정의 · 특징형과, 과적합과 나란히 판정 기준 · 처방을 묻는 비교형이 나올 수 있다. 「모델이 단순함」 한 줄 대신 기준선 · 베이즈 오차 눈금과 학습 곡선 값으로 판정을 보이면 답안이 갈린다.
- 개요 — 정의(학습 오차부터 큼) · 머신러닝 두 과제 중 하나(Goodfellow 2016 5.2절) · 과적합과의 대비 한 줄
- 원인과 판정 — 그림 3 원인 넷(특징 · 용량 · 규제 · 학습 길이) + 기준선 · 베이즈 오차 눈금
- 발생 사례 — 그림 4 원 모양 경계(선형 학습 0.370 = 기준선 → 제곱 특징 0.040)
- 판별 원리 — 그림 5 학습 곡선(표본 64배에도 0.415 에서 수렴 · 용량이 맞으면 0.076)
- 해결 — 특징 추가 · 용량 확대 · 규제 완화 · 학습 연장 비교표와 넘칠 때의 과적합 위험
- 동향 — 대형 언어 모델의 학습량 부족(2,800억 파라미터 · 3,000억 토큰 대 700억 · 1.4조 · Hoffmann 2022)
꼭 쓸 키워드
학습 오차기준선베이즈 오차모델 용량특징 공학규제 강도학습 곡선검증 곡선편향덜 학습된 모델
다른 답안과 차이를 내는 한 가지는 그림 5 의 학습 곡선이다 — 데이터를 늘려도 기준선 높이에서 만나는 두 곡선이 「데이터가 아니라 모델이 병목」임을 값으로 보인다.
9오해와 사실
- 오해학습 · 검증 오차가 비슷하면 잘 일반화한 모델이다.사실사례의 선형 모델은 격차가 0.045 뿐이지만 학습 0.370 이 기준선과 같아 아무것도 배우지 못했으며, 판정은 기준선 · 베이즈 오차와 견준 학습 오차로 한다(Goodfellow 2016 5.2절).
- 오해성능이 낮으면 데이터를 더 모으면 된다.사실표본을 25개에서 1,600개로 늘려도 선형 모델의 검증 오류율은 0.415 에 머물렀고, 두 곡선이 높은 값에서 만나면 데이터 추가의 이득이 작다(scikit-learn 3.5.2).
- 오해과소적합은 작은 모델에서만 생긴다.사실2,800억 파라미터 모델도 3,000억 토큰에서 멈춰 덜 학습됐다는 분석이 있고, 같은 계산량으로 700억 파라미터 · 1.4조 토큰 모델이 앞섰다(Hoffmann 2022 표 1).
10핵심 정리
| 구분 | 학습 · 검증 오류율(사례) | 판정 | 손대는 곳 | 넘치면 |
|---|---|---|---|---|
| 과소적합(선형) | 0.370 · 0.415 | 학습 ≈ 기준선 | 특징 · 용량 | — |
| 알맞은 적합 | 0.040 · 0.065 | 테스트 0.064 ≈ 베이즈 0.050 | — | — |
| 특징 추가 | 0.370 → 0.040(학습) | 기준선에서 멀어짐 | 입력 표현 | 과적합 |
| 규제 완화 | λ 1 → 0.1 · 검증 0.415 → 0.070 | λ 별 검증 곡선 | 벌점 항 | 분산 증가 |
| 학습 연장 | 손실 0.380 → 0.181 | 손실이 평평해질 때까지 | 반복 수 · 학습률 | 검증 손실 상승 |
| 베이즈 오차 | 0.050(잡음 5%) | 아래 한계 | 레이블 · 특징 정보 | — |
| 학습 곡선 | 선형 0.405 · 0.415(표본 1,600) | 높은 값에서 수렴 = 용량 부족 | 평가 절차 | — |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Goodfellow · Bengio · Courville) Chapter 5 Machine Learning Basics — 과소적합 · 과적합의 정의와 용량 · 베이즈 오차 · 표본 수에 따른 오차 수렴(5.2절)을 볼 때
- ★ scikit-learn 1.9.1 User Guide 3.5 Validation curves: plotting scores to evaluate models — 검증 곡선(3.5.1)과 학습 곡선(3.5.2)으로 과소적합을 가를 때
- ★ Training Compute-Optimal Large Language Models (arXiv 2203.15556) — 대형 언어 모델이 학습 토큰 부족으로 덜 학습된 사례(표 1)를 볼 때
- 본문 근거
- Perceptrons: An Introduction to Computational Geometry — MIT Press · 1969 ·
mitpress.mit.edu/9780262630221/perceptrons/· 확인 2026-11-12 - Learning representations by back-propagating errors (Nature 323 533-536) — Nature · 1986-10 ·
doi.org/10.1038/323533a0· 확인 2026-11-12 - NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12