편향 · 분산Bias-Variance Tradeoff
같은 입력에 대한 기대 예측 오차를 줄일 수 없는 잡음, 평균 예측이 참값에서 벗어난 편향², 학습 세트가 바뀔 때 예측이 흔들리는 분산으로 나누고, 모델 용량을 바꾸면 앞의 두 항이 반대로 움직인다는 관계다.
1요약
- 편향 · 분산은 모델 평가 단계에서 기대 테스트 오차를 잡음 σ² + 편향² + 분산으로 나누는 분해로, 학습 세트를 바꿔 가며 같은 입력의 예측을 모았을 때 평균이 참값에서 벗어난 몫과 흩어진 몫을 가르고, 그 위에서 모델 용량 · 규제 · 하이퍼파라미터 선택이 돈다(Goodfellow 2016 식 5.54) — 학습 데이터가 모집단을 고르게 담지 못하는 「데이터 편향」과는 다른 뜻이다.
- 두 항은 한 손잡이에 반대로 걸려 있어 한쪽만 줄이면 합이 커진다 — k-최근접 이웃 회귀에서 k 1 은 분산 0.2508, k 80 은 편향² 0.6220 이 오차를 키웠고 합의 바닥은 k 13 의 0.2772 였다(직접 실행).
- 「검증 성능이 나쁘다」는 학습 오차와 검증 오차의 거리로 가른다 — 둘이 함께 높으면 편향을, 학습 오차만 낮고 검증 오차가 멀면 분산을, 용량을 어떻게 바꿔도 내려가지 않는 바닥이면 잡음을 먼저 의심한다.
2등장 배경
편향이 0 인 표본 평균도 표본이 적으면 값이 크게 흔들리고, 언제나 같은 값을 내는 추정량은 흔들림이 0 이지만 참값을 맞히지 못한다. 오차를 한 숫자로만 보면 이 두 원인이 섞여 무엇을 고칠지 정할 수 없다(Goodfellow 2016 5.4.4절).
1992년 Geman · Bienenstock · Doursat 는 신경망과 비모수 회귀의 제곱 오차를 편향과 분산으로 나누고, 낮은 편향의 대가가 높은 분산이라는 「편향 · 분산 딜레마」를 정리했다(Geman 1992). 2000년 Domingos 는 같은 분해를 0-1 손실까지 넓혀, 분류에서는 편향이 있는 점의 분산이 오히려 손실을 줄인다는 것을 보였다(Domingos 2000 2절).
2019년 Belkin 외는 MNIST 일부(표본 10⁴개)에서 특징 수가 표본 수와 같아지는 보간 임계에 테스트 위험의 정점이 있고, 그 너머에서 다시 내려가는 이중 하강을 보고했다(Belkin 2019 그림 2). U자 곡선은 지금도 용량을 고르는 기본 틀이지만, 매우 큰 신경망에는 그대로 맞지 않는다는 단서가 붙었다(Neal 2018).
3쉽게 이해하기 — 바람 부는 활터의 궁수 셋
양궁 코치 하린은 바람이 날마다 바뀌는 활터에서 궁수 셋을 지켜본다. 민재는 조준기를 한 번 맞춘 뒤 고정해 화살이 늘 과녁 중심 왼쪽 아래 한곳에 모이고, 소율은 깃발이 흔들릴 때마다 조준을 크게 고쳐 화살 무리의 가운데는 중심인데 화살은 곳곳에 흩어진다. 하린은 바람을 반만 따라가는 태오의 화살이 가장 중심 가까이 모인다는 것을 연습 기록으로 확인하고, 시합 날 그 조준법을 쓰게 한다.
그림 1 · 같은 바람을 맞아도 조준을 고정하면 무리가 한쪽으로 비켜 모이고, 바람마다 고치면 넓게 흩어지며, 코치는 두 거리의 합이 가장 작은 조준법을 연습 기록으로 고른다.
그림 2 · 과녁 중심에서 무리 가운데까지가 편향, 무리의 퍼짐이 분산, 돌풍이 흔드는 몫이 잡음이고, 시합 점수는 이 세 몫의 합이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 날마다 다른 바람 | 학습 세트 표집 | 같은 분포에서 뽑은 학습 세트 500개가 서로 다름 |
| 화살마다 부는 돌풍 | 잡음 ε · σ² | 출력에 섞인 오차 · 어떤 모델도 0.25 아래로 못 줄임 |
| 과녁 중심 | 참값 f(x₀) | 봉우리 x₀ 6 에서 3.30 |
| 조준을 고정한 민재 | 용량이 작은 모델 · 고편향 | k 80 · 평균 예측 2.179 로 1.121 낮음 |
| 매번 고치는 소율 | 용량이 큰 모델 · 고분산 | k 1 · 예측 표준편차 0.484 |
| 반만 따라가는 태오 | 균형 잡힌 용량 | k 13 · 기대 오차 0.2772 |
| 하린의 연습 기록 | 교차 검증 | 가진 학습 세트 하나를 10겹으로 나눠 k 를 고름 |
| 시합 날 | 테스트 데이터 | 학습에 쓰지 않은 새 입력 |
⚠ 비유가 맞지 않는 곳: 궁수는 꽂힌 화살을 보고 무리의 가운데를 바로 알지만, 실무에서는 학습 세트가 하나뿐이라 편향과 분산을 따로 잴 수 없다 — 학습 세트를 여러 번 새로 뽑을 수 있는 합성 데이터에서만 두 항을 직접 나눈다. 조준 손잡이도 하나가 아니라 k · 규제 강도 · 특징 수 · 학습 길이처럼 여럿이다.
4구조 — 기대 오차의 세 항과 기댓값의 대상
새 관측 y₀ = f(x₀) + ε 를 맞히는 기대 제곱 오차는 E[(y₀ − f̂_D(x₀))²] = σ² + (f̄(x₀) − f(x₀))² + E_D[(f̂_D(x₀) − f̄(x₀))²] 로 나뉜다(Goodfellow 2016 식 5.54 · ESL 7.3절). f̄(x₀) 는 학습 세트 D 를 바꿔 가며 얻은 예측의 평균이며, 편향² · 분산은 «학습 세트»에 대한 기댓값이고 잡음은 «새 관측»에 대한 기댓값이다.
그림 3 · 잡음은 데이터를 만드는 단계에서, 분산은 학습 세트마다 달라지는 예측에서, 편향은 참값과 예측 평균을 견주는 데서 나온다.
| 요소 | 정의 | 기댓값의 대상 | 사례 값(k 13) | 근거 |
|---|---|---|---|---|
| 잡음 σ² | 같은 x 에서 y 가 흔들리는 정도 | 새 관측 y₀ | 0.25(σ 0.5 · 가정 값) | 데이터 생성 규칙 |
| 편향² | 평균 예측과 참값의 차를 제곱 | 학습 세트 D | 0.0037 | Goodfellow 2016 식 5.20 |
| 분산 | 예측이 평균 예측 둘레로 흩어진 정도 | 학습 세트 D | 0.0236 | Goodfellow 2016 식 5.54 |
| 평균 예측 f̄(x₀) | 학습 세트 500개 예측의 평균 | 학습 세트 D | x₀ 6 에서 3.138 | 직접 실행 |
| 용량 손잡이 | 편향² · 분산을 반대로 움직이는 설정 | — | k · 표본 수 N | Goodfellow 2016 그림 5.6 |
5동작 — k-최근접 이웃 회귀로 세 항 재기
사례는 직접 실행(합성 데이터)이며 참 함수 · 잡음 · 표본 수는 설명용 가정 값이다. k-최근접 이웃 회귀는 가장 가까운 학습 표본 k 개 출력의 평균을 예측으로 내므로, k 가 작을수록 용량이 크다(scikit-learn KNeighborsRegressor · 균등 가중 weights=).
- 입력 x 를 [0, 10] 에서 고르게 뽑고 y = 0.3x + 1.5·exp(−(x − 6)²/1.5) + ε(σ 0.5)로 출력을 만든다 — 표본 100개짜리 학습 세트를
default_rng(0)하나로 500개 뽑는다. - 세트마다 k = 1 · 2 · 3 · 5 · 8 · 13 · 20 · 30 · 50 · 80 으로 맞추고, x₀ 0.5 ~ 9.5 의 91곳에서 예측한다.
- 봉우리 x₀ 6(참값 3.30)의 예측 500개는 k 1 에서 평균 3.216 · 표준편차 0.484(1.47 ~ 4.58)이고, k 80 에서 평균 2.179 · 표준편차 0.129 로 봉우리를 1.121 깎는다.
- 91곳 평균으로 k 1 은 편향² 0.0005 · 분산 0.2508, k 80 은 편향² 0.6220 · 분산 0.0199 다 — k 1 의 분산은 이웃 k 개 잡음을 평균한 이론값 σ²/k = 0.25 와 맞는다(ESL 7.3절).
- 합의 바닥은 k 13 의 0.25 + 0.0037 + 0.0236 = 0.2772 이고, 양옆 k 8 · 20 은 0.2849 · 0.2825 다.
- 실무처럼 첫 세트 하나만 가졌다면 학습 오차는 k 1 에서 0.0000 이라 판단에 쓸 수 없고, 10겹 교차 검증은 k 13(0.2477)을 고른다 — 시드 1 ~ 4 로 다시 돌려도 바닥은 늘 k 13(0.2766 ~ 0.2773)이었고, 교차 검증은 넷 중 셋이 k 13 · 하나가 k 20 을 골랐다.
- 표본을 400개로 늘리면 k 80 의 편향² 은 0.6220 → 0.0117 로 줄지만 k 1 의 분산은 0.2507 로 그대로이고, 바닥은 k 50 의 0.2581 로 옮겨 간다.
그림 4 · k 1 은 평균이 참 함수를 따라가지만 띠가 넓고, k 80 은 띠가 좁지만 평균이 봉우리와 양 끝을 깎으며, k 13 은 두 문제가 함께 작다.
그림 5 · k 를 키우면 분산은 σ²/k 를 따라 줄고 편향²은 오르며, 합은 k 13 에서 바닥을 치고, 표본이 4배가 되면 바닥이 k 50 쪽으로 옮겨 간다.
그림 5 에서 k 30 이상의 분산(k 80 에서 0.0199)이 σ²/k(0.0031)보다 큰 까닭은 학습 세트마다 입력 위치가 달라 «이웃 집합» 자체가 바뀌기 때문이다. 입력 100곳을 고정하고 잡음만 500번 바꾸면 k 80 의 분산은 0.0030 으로 공식과 맞는다.
🔑 표본을 늘린 효과는 손잡이를 함께 옮길 때 나온다 — 표본을 4배로 늘려도 k 1 의 분산은 0.25 그대로였고, 바닥이 k 13 에서 k 50 으로 옮겨 가서야 기대 오차가 0.2772 → 0.2581 로 내려갔다.
6비교 — 고편향 · 균형 · 고분산
과소적합 · 과적합을 편향 · 분산의 눈으로 나란히 놓는다. 두 상태의 원인 · 처방 상세는 과소적합 · 과적합이 맡는다.
| 기준 | 고편향 — 과소적합 쪽 | 균형점 | 고분산 — 과적합 쪽 |
|---|---|---|---|
| 사례 설정 · 큰 항 | k 80 · 편향² 0.6220 | k 13 · 편향² 0.0037 + 분산 0.0236 | k 1 · 분산 0.2508 |
| 학습 · 10겹 검증 오차(첫 세트) | 0.898 · 1.126 — 둘 다 높음 | 0.211 · 0.248 | 0.000 · 0.551 — 격차가 큼 |
| 표본 100 → 400 | 편향² 0.0117 로 줆(이웃 폭이 좁아짐) | 바닥이 k 50 으로 옮겨 감 | 분산 0.2507 그대로 |
| 손대는 방향 | 용량 키움(k 줄임 · 특징 추가) | 교차 검증으로 고정 | 용량 줄임(k 키움 · 규제 · 배깅) |
| 넘쳤을 때 | 분산이 커져 과적합 쪽으로 | 표본 · 분포가 바뀌면 다시 고름 | 편향이 커져 과소적합 쪽으로 |
분석학습 오차가 이미 높으면 용량을 키우고, 학습 오차는 낮은데 검증 오차가 멀면 용량을 줄이며, 데이터를 더 모았으면 손잡이를 다시 고른다. 근거는 표의 셋째 행 — 같은 표본 추가가 k 80 의 편향은 크게 덜었지만 k 1 의 분산에는 효과가 없었다.
배깅은 같은 학습기를 붓스트랩 표본 여러 벌에 맞춰 평균하므로 흔들리는 학습기의 분산을 줄이는 쪽이다(Breiman 1996). 하이퍼파라미터를 고르는 탐색 방법 자체는 하이퍼파라미터 튜닝이 맡는다.
7실무 진단 — 오차 원인을 세 항으로 가르기
분석학습 오차부터 보고, 다음에 학습 · 검증 격차, 마지막으로 폴드 사이 흔들림과 내려가지 않는 바닥을 본다. 학습 오차가 높은 상태에서 격차만 줄이면 편향이 남기 때문이다(scikit-learn 3.5.2).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준 |
|---|---|---|---|---|---|
| 1 | 학습 · 검증 오차가 함께 높고 서로 가까움 | 용량 부족 · 특징 부족 | 편향 | validation_curve 로 k · 용량 축을 훑음 | 용량을 키울수록 두 점수가 함께 좋아지면 편향(scikit-learn 3.5.1) |
| 2 | 학습 오차는 0 근처, 검증 오차는 멂 | 용량 과다 · 표본 부족 | 분산 | learning_curve | 표본을 늘릴수록 검증 점수가 학습 점수에 다가오면 분산(scikit-learn 3.5.2) |
| 3 | 후보 k 사이 검증 점수 차가 작고 순위가 실행마다 바뀜 | 평가 자체의 흔들림 | 분산(평가) | cross_val_score 폴드별 표준편차 | 차가 폴드 표준편차보다 작으면 우열을 정하지 않음 — 사례 k 13 · 20 차 0.005 |
| 4 | 용량을 어떻게 바꿔도 일정 값 아래로 안 내려감 | 측정 · 레이블 잡음 | 잡음 | 같은 입력 반복 측정의 분산 | 남은 오차가 반복 측정 분산(사례 0.25)과 비슷하면 모델이 아니라 데이터 한계 |
| 5 | 파라미터를 표본 수 가까이 늘리자 오차가 튀고, 더 늘리자 다시 내려감 | 보간 임계 근처 | 이중 하강 | 파라미터 수 축의 검증 곡선 | 정점이 파라미터 수 ≈ 표본 수에 있으면 이중 하강(Belkin 2019 2절) |
8시험 대비
시험에서는 정의 · 특징형(트레이드오프의 뜻과 오차 분해)과 동향 · 발전형(이중 하강 · 큰 신경망의 편향과 분산)이 나올 수 있다. 정의형이면 분해 식 → 기댓값의 대상 → 용량에 따른 U자 곡선 → 진단 순서로 쓰고, 동향형이면 U자 곡선에서 보간 임계 · 이중 하강으로 그림을 이어 간다.
- 개요 — 정의(기대 오차 = 잡음 σ² + 편향² + 분산 · Goodfellow 2016 식 5.54) · 데이터 편향과 다른 뜻
- 구성 — 그림 3 세 항과 기댓값의 대상(학습 세트 · 새 관측) · 요소 표
- 트레이드오프 원리 — 그림 5 k 에 따른 U자 곡선(k 1 분산 0.2508 · k 80 편향² 0.6220 · 바닥 k 13)
- 사례 — 그림 4 평균 예측 ± 표준편차 띠 세 장 · 10겹 교차 검증이 k 13 을 고름
- 진단과 처방 — 고편향 · 고분산 비교표(용량 키움 · 줄임 · 배깅) · 표본이 늘면 손잡이를 다시 고름
- 동향 — 0-1 손실 통합 분해(Domingos 2000) · 이중 하강(Belkin 2019 · Nakkiran 2019) · 너비에 따라 둘 다 줄어듦(Neal 2018)
꼭 쓸 키워드
편향분산잡음오차 분해모델 용량k-최근접 이웃교차 검증U자 곡선이중 하강보간 임계
다른 답안과 차이를 내는 한 가지는 그림 5 의 σ²/k 점이다 — 분산이 공식대로 1/k 로 줄고 편향²이 따라 올라오는 교차를 실제 값으로 보이고, 표본이 늘면 바닥이 옮겨 가는 것까지 한 장에 담는다.
9오해와 사실
- 오해편향과 분산은 학습한 모델 하나에서 잴 수 있다.사실두 항은 학습 세트를 바꿔 가며 모은 예측의 평균과 흩어짐이라 세트가 하나뿐이면 따로 잴 수 없고, 사례도 합성 학습 세트 500개를 만들어서야 나눴다(Goodfellow 2016 식 5.20 = 데이터에 대한 기댓값).
- 오해k-최근접 이웃은 언제나 중간 k 에서 오차가 가장 작다.사실0-1 손실 분류를 여러 공개 데이터로 잰 실험에서는 중간 k 의 바닥이 드물었고, 13개 데이터는 k 1, 11개 데이터는 가장 큰 k 에서 손실이 가장 작았다(Domingos 2000 4.3절).
- 오해부스팅은 편향만 줄이는 방법이다.사실결정 트리 C4.5 에 AdaBoost 를 건 실험에서 손실 감소는 분산 감소(평균 2.5%p)가 편향 감소(0.6%p)보다 컸다(Domingos 2000 4.2절).
- 오해파라미터를 늘리면 분산은 언제나 커진다.사실MNIST 에서 신경망 너비를 늘리자 편향과 분산이 함께 줄었다(Neal 2018 그림 1).
10핵심 정리
| 구분 | 정의 | 키우는 것 | 줄이는 것 | 사례 값 | 확인 자료 |
|---|---|---|---|---|---|
| 잡음 σ² | 같은 x 에서 y 의 흔들림 | 측정 · 레이블 오류 | 데이터 품질 개선만 | 0.25 | 반복 측정 분산 |
| 편향² | (평균 예측 − 참값)² | 작은 용량 · 큰 k · 강한 규제 | 용량 키움 · 표본 추가(k-NN) | k 80 0.6220 | 학습 오차 |
| 분산 | 세트마다 달라지는 예측의 흔들림 | 큰 용량 · 작은 k · 적은 표본 | k 키움 · 규제 · 배깅 | k 1 0.2508 | 학습 · 검증 격차 |
| 기대 오차 | 세 항의 합 | 손잡이가 한쪽 끝 | 손잡이를 바닥에 | k 13 0.2772 | 교차 검증 |
| 용량 손잡이 | 두 항을 반대로 움직이는 설정 | — | — | k · λ · 특징 수 | 검증 곡선 |
| 이중 하강 | 보간 임계 너머에서 오차가 다시 내려감 | 파라미터 수 ≈ 표본 수 | 임계를 피하거나 크게 넘김 | MNIST 표본 10⁴개 | 파라미터 수 축 곡선 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Goodfellow · Bengio · Courville) Chapter 5 Machine Learning Basics — 추정량의 편향 정의(5.4.2절)와 MSE = 편향² + 분산(식 5.54) · 용량에 따른 U자 곡선(그림 5.6)을 볼 때
- ★ A Unified Bias-Variance Decomposition and its Applications (ICML 2000) — 0-1 손실에서 편향이 있는 점의 분산이 손실을 줄이는 통합 분해(2절)와 k-최근접 이웃 · 부스팅 실험(4절)을 볼 때
- ★ Reconciling modern machine learning practice and the bias-variance trade-off (PNAS 116(32) · arXiv 1812.11118) — 보간 임계를 넘으면 테스트 위험이 다시 내려가는 이중 하강 곡선(그림 1 · 2)을 볼 때
- ★ scikit-learn 1.9.1 User Guide 3.5 Validation curves: plotting scores to evaluate models — 검증 곡선 · 학습 곡선으로 편향 쪽 · 분산 쪽 오차를 가를 때
- ★ A Modern Take on the Bias-Variance Tradeoff in Neural Networks (arXiv 1810.08591) — 신경망 너비를 늘릴 때 편향과 분산이 함께 줄어드는 측정(그림 1)을 볼 때
- 본문 근거
- Neural Networks and the Bias/Variance Dilemma (Neural Computation 4(1) 1-58) — MIT Press · 1992-01 ·
doi.org/10.1162/neco.1992.4.1.1· 확인 2026-11-12 - The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman) 7.3 The Bias-Variance Decomposition — Springer · 2017-01 ·
hastie.su.domains/ElemStatLearn/· 확인 2026-11-12 - Deep Double Descent: Where Bigger Models and More Data Hurt (arXiv 1912.02292) — arXiv · 2019-12 ·
arxiv.org/abs/1912.02292· 확인 2026-11-12 - Bagging Predictors (Machine Learning 24(2) 123-140) — Springer · 1996-08 ·
doi.org/10.1007/BF00058655· 확인 2026-11-12 - scikit-learn 1.9.1 API sklearn.neighbors.KNeighborsRegressor — scikit-learn developers · 2026-11 ·
scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsRegressor.html· 확인 2026-11-12 - NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12