AI › 인공지능 개요 › 머신러닝 › 모델 평가

과소적합Underfitting

모델이 학습 데이터의 규칙조차 충분히 담지 못해, 학습 데이터에서 잰 오차부터 목표보다 크게 남는 상태다.

1요약

  1. 과소적합은 모델 평가 단계에서 학습 오차부터 높게 남는 상태로, Goodfellow 2016 5.2절은 머신러닝의 두 과제를 「학습 오차를 작게」(과소적합) · 「학습 · 테스트 격차를 작게」(과적합)로 나누고 그 위에서 용량 · 특징 · 규제 · 학습 길이를 고른다.
  2. 과소적합한 모델은 데이터를 더 모아도 나아지지 않는다 — 원 모양 경계 사례에서 선형 로지스틱 회귀는 표본을 25개에서 1,600개로 늘려도 검증 오류율이 기준선 0.415 에 머물렀다(직접 실행).
  3. 「성능이 낮다」는 학습 오류율을 기준선 · 베이즈 오차와 견주어 가른다 — 학습 오류율이 기준선에 가까우면 과소적합, 베이즈 오차에 가까운데 목표 미달이면 모델이 아니라 레이블 · 특징의 한계다.

2등장 배경

입력 두 개의 배타적 논리합(XOR)은 평면에 직선 하나를 그어 가를 수 없다. 1969년 Minsky 와 Papert 는 단층 퍼셉트론이 이런 함수를 표현하지 못함을 보였고(Minsky 1969), 어떤 학습 규칙을 써도 직선 경계 모델의 학습 오차가 줄지 않는다는 사실이 신경망 연구를 한동안 멈춰 세웠다.

1986년 Rumelhart · Hinton · Williams 는 은닉층을 둔 다층 신경망을 역전파로 학습해 그 한계를 넘었다(Rumelhart 1986). 2016년 Goodfellow 외 교재는 용량이 모자란 고정 파라미터 모델은 표본이 아무리 많아도 베이즈 오차보다 큰 오차로 수렴한다고 정리했다(Goodfellow 2016 5.2절).

2022년 Hoffmann 외는 파라미터 2,800억 개 모델이 학습 토큰 3,000억 개에서 멈춘 것을 «덜 학습됨»으로 보고, 700억 개 모델을 1.4조 토큰으로 학습해 앞섰다(Hoffmann 2022 표 1). 과소적합은 지금도 모델 크기와 학습량을 정하는 판단 기준이다.

3쉽게 이해하기 — 안개 속 연못에 밧줄 두르기

공원 관리인 도윤은 안개 낀 둥근 연못에 출입 금지 밧줄을 둘러야 한다. 연못은 보이지 않고, 방문객 200명이 남긴 「여기는 물」 · 「여기는 땅」 신고만 있으며 그중 몇 장은 잘못 적혔다. 도윤이 가진 것은 곧게만 펴지는 밧줄이라 어디에 쳐도 연못을 두르지 못하고, 결국 「전부 땅」 팻말만 세운다. 선배가 휘는 밧줄을 건네자 그제야 신고 대부분과 맞는 둥근 울타리가 생긴다.

안개 속 둥근 연못 아무도 직접 못 봄 1 참 경계 · 원 방문객 신고 200건 물 · 땅 둘 중 하나 학습 데이터 · 레이블 잘못 적힌 신고 스무 장에 한 장꼴 레이블 잡음 5% 관리인 도윤 모델 · 학습 곧은 밧줄 한 줄 둥글게 못 휨 2 선형 모델 · 과소적합 선배가 준 휘는 밧줄 둥글게 두를 수 있음 3 제곱 특징 추가 다음 날 다른 신고 밧줄과 맞는지 확인 4 검증 데이터 「전부 땅」 팻말 연못 쪽 신고를 다 틀림 기준선과 같은 오류 연못을 두른 밧줄 잘못된 신고만 어긋남 알맞은 적합 참 관계 레이블 모델 · 학습 규칙 평가 · 검증 잡음 · 과소적합 · 실패

그림 1 · 곧은 밧줄로는 신고를 아무리 받아도 연못을 두르지 못하고, 휘는 밧줄을 쥐어야 다음 날 신고와도 맞는다.

신고 모으기물 · 땅 신고 200건
곧은 밧줄어디에 쳐도 연못을 못 두름
전부 땅팻말 하나로 포기
신고 더 받기1,600건이어도 그대로
휘는 밧줄둥근 울타리
다음 날 확인다른 신고와도 맞음
비유 — 도윤이 바꾼 것 실제 — 바꾼 설정과 오류율 결과 신고를 더 받기 곧은 밧줄 그대로 선형 · 표본 25 → 1,600 검증 0.490 → 0.415 기준선에 머묾 데이터로는 안 풀림 휘는 밧줄 둥글게 두름 제곱 특징 추가 학습 0.040 · 검증 0.065 알맞음 잡음 5% 가까이 「구부리지 마라」 휘는 밧줄을 펴 버림 같은 특징 + 규제 λ 1 학습 0.370 · 검증 0.415 다시 과소적합 용량을 규칙이 막음 2분 만에 철수 밧줄을 덜 당김 반복 10회에서 멈춤 학습 손실 0.380(3,000회 0.181) 덜 배움 손실이 아직 내려감 값 = 오류율(틀린 표본의 비율) · 학습 200 · 검증 200 · 손실 = 로그 손실 · 기준선 = 언제나 「땅」이라고 답한 오류율

그림 2 · 신고를 더 받는 것으로는 곧은 밧줄의 한계가 풀리지 않고, 밧줄을 휘게 해야 하며, 휘지 못하게 막거나 일찍 철수하면 다시 모자라진다.

비유 속 역할실제 이름실제로 하는 일
안개 속 둥근 연못참 결정 경계데이터를 만든 진짜 규칙 · 사례는 x1² + x2² < 0.5
방문객 신고 200건학습 데이터 · 레이블점 200개에 1(원 안) · 0(원 밖)을 붙인 표본
잘못 적힌 신고레이블 잡음 · 베이즈 오차5% 를 뒤집어 어떤 모델도 0.050 아래로 못 감
곧은 밧줄용량이 모자란 모델x1 · x2 만 쓴 선형 로지스틱 회귀 · 직선 경계 하나
「전부 땅」 팻말기준선다수 클래스만 답하는 예측 · 검증 0.415
휘는 밧줄특징 추가 · 용량 확대x1² · x2² · x1x2 를 더해 타원 경계를 그림
「구부리지 마라」규제손실에 λ × 계수 제곱합을 더해 경계를 다시 편다
다음 날 다른 신고검증 데이터학습에 쓰지 않은 200개로 오류율을 잰다

⚠ 비유가 맞지 않는 곳: 도윤은 안개가 걷히면 연못을 볼 수 있지만 모델은 참 경계를 끝내 보지 못하고 신고(표본)만 안다. 밧줄은 곧음 · 휨 두 가지뿐이지만 실제 용량은 특징 수 · 층 수 · 규제 강도 · 학습 길이로 연속해서 바뀐다.

4구조 — 과소적합의 원인 넷과 판정 눈금

과소적합은 학습 오차를 줄이는 쪽의 실패다(Goodfellow 2016 5.2절). 원인은 특징 · 모델 용량 · 규제 · 학습 길이 넷 가운데 하나 이상이고, 판정은 학습 오류율을 아래쪽 베이즈 오차와 위쪽 기준선 사이 어디에 있는지로 한다. 오차를 편향² · 분산으로 나누는 식은 편향 · 분산이 맡는다.

원인 넷 → 과소적합 → 오류율 눈금으로 판정 특징 부족 x1 · x2 만으로는 원을 못 그림 모델 용량 부족 직선 경계 하나 · 얕은 망 규제 과다 λ 가 커서 계수가 0 근처 학습 부족 반복 · 학습률 · 데이터량 모자람 과소적합 학습 오류율이 높게 남음 학습 ≈ 검증(격차 작음) 오류율 0.415 기준선 0.370 선형 학습 0.050 베이즈 추정 고칠 수 있는 몫 0.320 0 입력 표현(특징) 모델 · 학습 규칙 과소적합 · 고칠 수 있는 오차 데이터의 잡음(줄일 수 없음)

그림 3 · 원인 넷 중 하나라도 걸리면 학습 오류율이 기준선 쪽에 남고, 베이즈 오차와의 거리가 고칠 수 있는 몫이다.

요소역할사례 값근거
학습 오류율맞춘 표본에서 잰 오류 · 과소적합 판정의 첫 값선형 0.370Goodfellow 2016 5.2절
검증 오류율학습에 쓰지 않은 표본의 오류 · 과소적합이면 학습과 가까움선형 0.415scikit-learn 3.5.1
기준선다수 클래스만 답한 오류 · 이 값과 같으면 아무것도 못 배움0.415(검증)직접 실행
베이즈 오차참 분포로 예측해도 남는 오류 · 아래 한계0.050(테스트 추정)Goodfellow 2016 5.2절
특징모델이 보는 입력 표현x1 · x2 → + x1² · x2² · x1x2직접 실행
용량맞출 수 있는 함수의 범위직선 → 타원 경계Goodfellow 2016 5.2절
규제 강도 λ계수 크기 벌점 · 크면 용량을 깎음1 이면 기준선으로 되돌아감scikit-learn 3.5.1

🔑 과소적합은 학습 오류율을 «검증 오류율»이 아니라 «기준선 · 베이즈 오차»와 견주어 판정한다 — 선형 모델은 학습 · 검증 격차가 0.045 뿐이어도 학습 0.370 이 기준선 0.370 과 같아 아무 경계도 배우지 못했다.

5동작 — 원 모양 경계를 선형 모델로 맞추기

Python 3.14.0 · NumPy 2.4.3 에서 numpy.random.default_rng(0) 으로 만든 합성 데이터에, 경사 하강 로지스틱 회귀(학습률 0.5 · 특징 표준화)를 직접 구현해 맞춘 사례다. 값은 오류율(틀린 비율)이며 같은 코드로 다시 나온다.

  1. 정사각형 [-1, 1]² 에서 점을 고르게 뽑아 x1² + x2² < 0.5 이면 1, 아니면 0 을 붙이고 레이블 5% 를 뒤집어 학습 200 · 검증 200 · 테스트 2,000개를 만든다 — 참 경계로 예측한 테스트 오류율 0.050 이 베이즈 오차 추정이다.
  2. 언제나 0 이라고 답하는 기준선의 오류율은 학습 0.370 · 검증 0.415 · 테스트 0.406 이다.
  3. x1 · x2 두 특징으로 3,000회 학습한 선형 모델은 학습 0.370 · 검증 0.415 로 기준선과 같다 — 정사각형 전체에서 예측 확률이 0.30 ~ 0.46 이라 모든 점을 0 으로 답한다.
  4. 표본 수를 25 → 1,600 으로 늘려(표본 수마다 20회 평균) 학습 곡선을 그리면 선형 모델의 학습 0.374 → 0.405 · 검증 0.490 → 0.415 로, 격차는 0.116 → 0.010 으로 줄지만 오류율은 기준선에서 만난다.
  5. 특징에 x1² · x2² · x1x2 를 더하면 같은 학습 규칙으로 학습 0.040 · 검증 0.065 가 된다 — 경계가 참 원과 거의 겹치는 타원이 된다.
  6. 같은 다섯 특징에 L2 규제를 λ 1 로 걸면 계수가 0.2 안팎으로 눌려 학습 0.370 · 검증 0.415 로 되돌아가고, λ 0.3 은 0.155 · 0.155, λ 0.1 은 0.060 · 0.070 이다.
  7. 규제 없이 반복 10회에서 멈추면 학습 로그 손실이 0.380 으로 3,000회의 0.181 보다 높고 오류율도 학습 0.060 · 검증 0.075 로 덜 배운 상태다.
  8. 검증으로 고른 모델(다섯 특징 · λ 0 · 3,000회)을 테스트 2,000개로 한 번 재면 0.064 로 베이즈 오차 추정 0.050 에 가깝다.
선형 특징 (x1, x2) 학습 0.370 · 검증 0.415 · 모두 0 으로 예측 제곱 특징 추가 (+ x1² · x2² · x1x2) 학습 0.040 · 검증 0.065 3 5 -1 1 (x1) -1 1 (x1) 레이블 1(원 안) 레이블 0(원 밖) 틀린 표본 참 경계(반지름² 0.5) 학습한 경계 값 = 오류율 · 표본 200개 · 레이블 5%를 뒤집음 · 정사각형 = x1, x2 각각 -1 ~ 1

그림 4 · 선형 특징만으로는 어떤 직선도 원 안 표본을 가르지 못해 모두 0 으로 답하고, 제곱 특징을 더하면 같은 학습 규칙이 참 원에 가까운 경계를 그린다.

학습 곡선 — 표본 수별 오류율(표본 수마다 20회 평균) 0.0 0.1 0.2 0.3 0.4 0.5 25 50 100 200 400 800 1,600 학습 표본 수(로그 눈금) 기준선 0.415 베이즈 0.050 4 선형 — 표본을 64배 늘려도 기준선에서 만남 격차 0.116 → 0.010 · 오류율은 0.405 에 머묾 제곱 특징 — 학습 0.062 · 검증 0.076 선형 검증 선형 학습 제곱 특징 검증 제곱 특징 학습 기준선(항상 0) 점선(촘촘) = 베이즈 오차 추정(참 경계로 잰 테스트 오류율) · 검증 세트 200개 고정

그림 5 · 과소적합한 모델은 표본을 늘려도 학습 · 검증 곡선이 기준선 높이에서 만나고, 용량이 맞는 모델만 베이즈 오차 가까이 내려간다.

그림 5 는 Goodfellow 2016 5.2절의 「용량이 모자란 고정 파라미터 모델은 베이즈 오차보다 큰 값으로 수렴한다」를 실제 값으로 보인 것이다. 시드를 1 ~ 4 로 바꾸어도 선형 모델의 테스트 오류율은 0.386 ~ 0.412 로 언제나 그 시드의 기준선과 같았다.

🔑 과소적합에서는 데이터가 아니라 모델이 병목이다 — 표본을 64배 늘린 선형 모델은 0.415 에 머물렀지만, 표본 200개에 특징 셋을 더한 모델은 0.065 로 내려갔다.

6비교 — 과소적합 처방 네 가지

기준특징 추가모델 용량 확대규제 완화학습 연장
손대는 곳입력 표현모델 구조(층 · 은닉 단위 · 트리 깊이)손실의 벌점 항 λ반복 수 · 학습률 · 학습 데이터량
맞는 증상학습 오류율이 기준선 근처특징을 더해도 학습 오류율이 높음λ 를 낮추면 학습 · 검증이 함께 줄어듦마지막 반복에서도 학습 손실이 내려감
사례 값0.370 → 0.040(학습)—λ 1 → 0.1 에서 검증 0.415 → 0.07010 → 3,000회에 손실 0.380 → 0.181
넘치면특징 수가 표본에 가까우면 과적합학습 · 검증 격차가 벌어짐λ 0 근처에서 분산이 커짐검증 손실이 다시 오름
비용도메인 지식 · 전처리계산 · 메모리거의 없음학습 시간 · 계산량

분석학습 오류율이 기준선 근처면 특징 · 용량부터, 규제를 건 상태면 λ 부터, 학습 손실이 아직 내려가면 학습 연장부터 손댄다. 근거는 표의 「맞는 증상」 행이 서로 다른 확인 자료로 갈리고, 네 처방 모두 «넘치면» 과적합 쪽으로 가므로 검증 곡선으로 멈출 위치를 정해야 한다는 점이다(scikit-learn 3.5.1).

7실무 진단 — 과소적합 원인 가르기

분석학습 오류율을 기준선 · 베이즈 오차와 먼저 견주고, 그다음 학습 손실 기록 · 규제 강도 · 학습 곡선 순으로 본다. 학습 오류율이 베이즈 오차 근처면 모델을 키워도 나아지지 않으므로(Goodfellow 2016 5.2절) 그때는 레이블 · 특징 쪽을 먼저 의심한다.

#증상의심 원인단계확인 자료판정 기준(근거)
1학습 오류율 ≈ 기준선 · 검증과 격차 작음특징 · 용량 부족모델다수 클래스 예측의 오류율 · 예측 확률 분포학습 오류율이 기준선과 같으면 경계를 못 배움(사례 0.370 = 0.370)
2마지막 반복에서도 학습 손실이 내려감반복 부족 · 학습률이 작음학습반복별 학습 손실 기록손실 곡선이 평평해지기 전이면 더 학습(사례 10회 0.380 · 3,000회 0.181)
3λ 를 낮추면 학습 · 검증 오류율이 함께 줄어듦규제 과다학습 규칙λ 별 검증 곡선두 점수가 함께 낮으면 과소적합(scikit-learn 3.5.1)
4표본을 늘려도 두 곡선이 높은 값에서 만남모델 형태가 데이터 규칙과 맞지 않음데이터학습 곡선수렴 값이 베이즈 오차보다 크면 용량 부족(Goodfellow 2016 5.2절 · scikit-learn 3.5.2)
5학습 오류율이 베이즈 오차 근처인데 목표 미달과소적합이 아님 — 레이블 잡음 · 정보 없는 특징데이터레이블 재검수 표본 · 사람 판정 일치율잡음 비율 아래로는 어떤 모델도 못 감(사례 잡음 5% · 0.050)

순서는 1행 → 5행 → 2행 → 3행 → 4행이다. 기준선 · 베이즈 오차 두 값을 먼저 재 두면 「모델을 키울 일」과 「데이터를 고칠 일」이 갈리고, 그다음 학습 설정을 하나씩 푼다.

8시험 대비

출제 정보 정보관리(139회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 과소적합의 정의 · 원인 · 해결을 묻는 정의 · 특징형과, 과적합과 나란히 판정 기준 · 처방을 묻는 비교형이 나올 수 있다. 「모델이 단순함」 한 줄 대신 기준선 · 베이즈 오차 눈금과 학습 곡선 값으로 판정을 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의(학습 오차부터 큼) · 머신러닝 두 과제 중 하나(Goodfellow 2016 5.2절) · 과적합과의 대비 한 줄
  2. 원인과 판정 — 그림 3 원인 넷(특징 · 용량 · 규제 · 학습 길이) + 기준선 · 베이즈 오차 눈금
  3. 발생 사례 — 그림 4 원 모양 경계(선형 학습 0.370 = 기준선 → 제곱 특징 0.040)
  4. 판별 원리 — 그림 5 학습 곡선(표본 64배에도 0.415 에서 수렴 · 용량이 맞으면 0.076)
  5. 해결 — 특징 추가 · 용량 확대 · 규제 완화 · 학습 연장 비교표와 넘칠 때의 과적합 위험
  6. 동향 — 대형 언어 모델의 학습량 부족(2,800억 파라미터 · 3,000억 토큰 대 700억 · 1.4조 · Hoffmann 2022)

꼭 쓸 키워드
학습 오차기준선베이즈 오차모델 용량특징 공학규제 강도학습 곡선검증 곡선편향덜 학습된 모델

다른 답안과 차이를 내는 한 가지는 그림 5 의 학습 곡선이다 — 데이터를 늘려도 기준선 높이에서 만나는 두 곡선이 「데이터가 아니라 모델이 병목」임을 값으로 보인다.

9오해와 사실

  • 오해학습 · 검증 오차가 비슷하면 잘 일반화한 모델이다.
    사실사례의 선형 모델은 격차가 0.045 뿐이지만 학습 0.370 이 기준선과 같아 아무것도 배우지 못했으며, 판정은 기준선 · 베이즈 오차와 견준 학습 오차로 한다(Goodfellow 2016 5.2절).
  • 오해성능이 낮으면 데이터를 더 모으면 된다.
    사실표본을 25개에서 1,600개로 늘려도 선형 모델의 검증 오류율은 0.415 에 머물렀고, 두 곡선이 높은 값에서 만나면 데이터 추가의 이득이 작다(scikit-learn 3.5.2).
  • 오해과소적합은 작은 모델에서만 생긴다.
    사실2,800억 파라미터 모델도 3,000억 토큰에서 멈춰 덜 학습됐다는 분석이 있고, 같은 계산량으로 700억 파라미터 · 1.4조 토큰 모델이 앞섰다(Hoffmann 2022 표 1).

10핵심 정리

구분학습 · 검증 오류율(사례)판정손대는 곳넘치면
과소적합(선형)0.370 · 0.415학습 ≈ 기준선특징 · 용량—
알맞은 적합0.040 · 0.065테스트 0.064 ≈ 베이즈 0.050——
특징 추가0.370 → 0.040(학습)기준선에서 멀어짐입력 표현과적합
규제 완화λ 1 → 0.1 · 검증 0.415 → 0.070λ 별 검증 곡선벌점 항분산 증가
학습 연장손실 0.380 → 0.181손실이 평평해질 때까지반복 수 · 학습률검증 손실 상승
베이즈 오차0.050(잡음 5%)아래 한계레이블 · 특징 정보—
학습 곡선선형 0.405 · 0.415(표본 1,600)높은 값에서 수렴 = 용량 부족평가 절차—

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Goodfellow · Bengio · Courville) Chapter 5 Machine Learning Basics — 과소적합 · 과적합의 정의와 용량 · 베이즈 오차 · 표본 수에 따른 오차 수렴(5.2절)을 볼 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/ml.html · 확인 2026-11-12
  3. ★ scikit-learn 1.9.1 User Guide 3.5 Validation curves: plotting scores to evaluate models — 검증 곡선(3.5.1)과 학습 곡선(3.5.2)으로 과소적합을 가를 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/learning_curve.html · 확인 2026-11-12
  4. ★ Training Compute-Optimal Large Language Models (arXiv 2203.15556) — 대형 언어 모델이 학습 토큰 부족으로 덜 학습된 사례(표 1)를 볼 때
    arXiv · 2022-03 · arxiv.org/abs/2203.15556 · 확인 2026-11-12
  5. 본문 근거
  6. Perceptrons: An Introduction to Computational Geometry — MIT Press · 1969 · mitpress.mit.edu/9780262630221/perceptrons/ · 확인 2026-11-12
  7. Learning representations by back-propagating errors (Nature 323 533-536) — Nature · 1986-10 · doi.org/10.1038/323533a0 · 확인 2026-11-12
  8. NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12