손실 함수Loss Function
모델의 예측과 정답의 차이를 표본마다 0 이상의 숫자 하나로 바꾸는 함수다. 그 평균에 필요하면 규제 항을 더한 값을 줄이는 방향이 곧 학습이 가는 방향이다.
1요약
- 손실 함수는 학습 단계에서 예측 ŷ 와 정답 y 를 숫자 하나로 바꾸는 함수이고(Goodfellow 2016 4.3절), 표본 평균에 규제 항을 더한 목적 함수 J 를 역전파가 미분하고 옵티마이저가 줄인다.
- 무엇을 벌점으로 삼는지가 학습 결과를 정한다 — 사례에서 이상치 20개(10%)가 MSE 기울기의 76.5% 를 차지해 절편이 1.0 에서 3.46 으로 끌려갔고, Huber 손실로 바꾸자 깨끗한 시험 세트 MAE 가 1.300 에서 0.400 으로 줄었다.
- 「손실은 줄었는데 결과가 나쁘다」는 손실이 최소가 되는 예측(평균 · 중앙값 · 확률)과 평가 지표가 재는 것이 같은가로 가른다 — 다르면 모델이 아니라 손실을 바꾼다.
2등장 배경
오차의 제곱 합을 최소로 하는 최소 제곱은 계산이 쉬워 오래 표준이었지만, 측정값 몇 개가 크게 틀리면 추정 전체가 그쪽으로 끌려갔다. 1964년 Huber 는 작은 오차에는 제곱, 큰 오차에는 절댓값을 쓰는 손실로 큰 오차 한 개가 미치는 힘에 상한을 두었다(Huber 1964). 분류에서는 맞고 틀림만 세는 0-1 손실이 미분값이 거의 어디서나 0이라 기울기 학습에 쓸 수 없어(Goodfellow 2016 8.1.2절), 1995년 Cortes · Vapnik 의 힌지 손실(Cortes 1995)과 최대우도에서 나온 교차 엔트로피가 대리 손실로 자리 잡았다.
신경망에서는 출력 함수와 손실의 조합이 기울기 크기를 정한다는 점이 드러났다 — 포화하는 출력에 MSE · MAE 를 붙이면 기울기가 작아져, 교차 엔트로피가 더 널리 쓰인다(Goodfellow 2016 6.2.1.2절). 그 뒤 손실이 과제 구조를 직접 담기 시작했다. 2006년 Hadsell 외는 정답 클래스 대신 «닮은 쌍 · 다른 쌍»으로 거리를 배우는 대조 손실을(Hadsell 2006), 2017년 Lin 외는 배경 대 물체가 1:1000 에 이르는 검출에서 쉬운 표본의 손실을 줄이는 초점 손실을(Lin 2017), 2018년 Oord 외는 양성 하나를 N 개 가운데 골라내는 InfoNCE 를 내놓았다(Oord 2018).
지금 손실 함수는 모델 구조와 따로 고르는 설계 값이다. 같은 신경망이 회귀면 MSE · Huber, 분류면 교차 엔트로피, 표현 학습이면 대조 손실로 학습되고, 총 목적 함수에는 대개 규제 항이 함께 들어간다(Goodfellow 2016 7.1절).
3쉽게 이해하기 — 활쏘기 연습의 채점표
궁수가 과녁을 향해 화살을 쏘면 채점원이 자국마다 «중심에서 얼마나 빗나갔나»를 채점표대로 감점한다. 코치는 감점을 모두 더해 보고 「조준을 오른쪽 아래로 조금」처럼 방향과 크기를 알려 주고, 궁수는 그대로 자세를 고친 뒤 다시 쏜다. 그런데 바람에 날린 한 발이 과녁 밖 벽에 꽂히자, 「빗나간 거리의 제곱」 채점표에서는 그 한 발의 감점이 나머지를 합친 것보다 커져 코치가 조준을 벽 쪽으로 크게 옮기라고 한다. 채점표를 바꾸면 같은 화살을 쏘고도 궁수가 배우는 조준이 달라진다.
그림 1 · 궁수는 채점표가 매긴 감점의 합이 줄어드는 쪽으로만 조준을 고친다 — 그래서 채점표(손실 함수)가 무엇을 크게 감점하느냐가 곧 무엇을 배우느냐다.
그림 2 · 제곱 채점표에서는 날린 한 발의 감점과 당기는 힘이 보통 화살의 150배여서 조준이 벽 쪽으로 끌리고, 상한 채점표는 그 힘을 1 로 묶는다.
| 비유 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 궁수의 조준 | 모델 f(x; θ) | 파라미터 θ 로 입력을 예측 ŷ 로 바꿈 |
| 과녁 중심 · 날린 한 발 | 정답 y · 이상치 | 정답 레이블과, 잔차가 유난히 큰 표본 |
| 채점표 | 손실 함수 ℓ(ŷ, y) | 표본 하나의 차이를 0 이상의 숫자로 |
| 감점 합계 | 평균 손실 L(θ) | 미니배치 · 데이터 전체의 ℓ 평균(경험적 위험) |
| 자세 규칙 | 규제 항 λΩ(θ) | 가중치 크기에 붙는 벌점 · J = L + λΩ |
| 코치의 조언 | 기울기 ∇θJ | 역전파가 구한, J 가 가장 빨리 커지는 방향 |
| 자세 고치기 | 갱신 θ ← θ − η∇J | 경사 하강법 · 옵티마이저가 맡음 |
| 대회 순위 | 평가 지표 | 정확도 · F1 · MAE 처럼 사람이 판단에 쓰는 값 |
⚠ 비유가 맞지 않는 곳: 채점원은 화살을 다 쏜 뒤 한 번 채점하지만, 실제 학습은 미니배치마다 손실과 기울기를 다시 구한다. 또 코치는 감점 «값»을 보고 말하는 것처럼 그렸으나 실제 갱신은 값이 아니라 손실의 기울기만 쓰므로, 상수를 더하거나 곱한 손실은 최솟값 위치가 같다.
4구조 — 표본 손실에서 목적 함수까지
손실 함수는 모델 바깥에서 예측과 정답을 받아 숫자를 내고, 그 숫자가 기울기로 바뀌어 모델 안으로 돌아간다. 평가 지표는 같은 예측을 받지만 미분되지 않고 사람의 판단으로만 간다.
그림 3 · 표본 손실 ℓ 을 평균하고 규제 항을 더한 목적 함수 J 만 미분되어 모델로 돌아가고, 평가 지표는 같은 예측을 받지만 학습 고리 밖에 있다.
| 요소 | 범위 | 역할 | 값 · 근거 |
|---|---|---|---|
| 표본 손실 ℓ | 표본 하나 | 예측 · 정답 차이를 0 이상의 수로 | 회귀 ½(ŷ − y)² · 분류 −log p_ |
| 평균 손실 L | 배치 · 데이터 | 경험적 위험 | reduction= 기본(PyTorch HuberLoss) |
| 목적 함수 J | 학습 전체 | 실제로 미분하는 값 | J = L + λΩ(θ)(Goodfellow 2016 7.1절) |
| 정답 형식 | 레이블 | 손실 꼴을 정함 | 실수 → MSE · Huber / 클래스 → 교차 엔트로피 / 쌍 → 대조 손실 |
| 출력 함수 짝 | 출력 계층 | 기울기 크기 | 시그모이드 · 소프트맥스 + 교차 엔트로피(Goodfellow 2016 6.2.2절) |
| 설계 값 | 하이퍼파라미터 | 손실 모양 | Huber δ 1.0(PyTorch HuberLoss) · 초점 γ 2 · α 0.25(Lin 2017 4.1절) |
| 평가 지표 | 검증 세트 | 판단 · 보고 | 미분하지 않음 · 0-1 손실은 미분값이 거의 0(Goodfellow 2016 8.1.2절) |
손실은 확률 모형을 정하면 함께 정해진다 — 가우스 잡음을 가정한 최대우도는 MSE 와 같은 해를 내고(Goodfellow 2016 5.5.1절), 범주 분포를 가정한 음의 로그 우도가 교차 엔트로피다(6.2.1.1절). 로그 손실 자체의 식과 최대우도 풀이는 로지스틱 회귀가, 출력 함수를 고르는 기준은 활성화 함수가 맡는다.
🔑 학습은 손실의 값이 아니라 기울기만 본다 — 그래서 손실 함수는 «오차를 재는 자»이기 전에 «어느 표본이 모델을 얼마나 세게 당기는가»를 정하는 규칙이다.
5동작 — 이상치가 섞인 회귀에서 손실만 바꾼 학습
합성 데이터로 직접 실행했다(NumPy default_rng 문서 · 시드 0). 모델은 직선 ŷ = wx + b 하나이고, 손실만 바꾸어 각 손실의 최솟값을 찾았다.
- 데이터 — x ~ U(0, 10) 200점에 y = 2x + 1 + N(0, 0.5²) 를 만들고, 무작위 20점(10%)에 +12 를 더해 이상치로 둔다. 시험 세트는 이상치 없는 200점이다. 참 직선에서 보통 표본의 |잔차| 평균은 0.41, 이상치의 잔차 평균은 11.96 이다.
- MSE — 최소 제곱 해는 ŷ = 1.759x + 3.456 이다. 절편이 참값 1 보다 2.46 크고, 이상치가 많이 놓인 쪽으로 기울기가 눕는다.
- MAE — 반복 재가중으로 구한 해는 1.966x + 1.154 다. MAE 의 최솟값은 조건부 중앙값이라(Goodfellow 2016 식 6.16) 10% 의 이상치가 위치를 거의 옮기지 못한다.
- Huber(δ = 1.0) — 해는 1.963x + 1.276 이고, |잔차| > δ 로 직선 구간에 들어간 표본 30개에 이상치 20개가 모두 있다.
- 기울기 몫 — 참 직선 위에서 각 손실의 표본별 기울기 크기를 더하면, 이상치 20개의 몫이 MSE 76.5% · Huber 22.2% · MAE 10.0% 다. MSE 에서는 10% 의 표본이 당기는 힘의 4분의 3을 가진다.
- 시험 — 깨끗한 시험 세트의 MAE 는 MSE 모델 1.300 · Huber 0.400 · MAE 모델 0.390 이고, MSE 모델은 평균 1.28 만큼 높게 예측한다. 학습 세트 MSE 로 재면 MSE 모델이 12.70 으로 Huber 모델(14.24)보다 «좋다» — 자기 손실로 잰 성적은 판단 기준이 아니다.
- 시드 0 ~ 9 — MSE 모델 시험 MAE 1.169 ~ 1.312 · Huber 0.382 ~ 0.453 · MAE 0.384 ~ 0.438 로 순위는 10번 모두 같다. 이상치 몫은 MSE 75.5 ~ 78.5% · Huber 20.6 ~ 23.4% 이고, MSE 절편은 0.856 ~ 3.456 으로 이상치가 어디 놓였느냐에 따라 크게 흔들린다(시드 0 이 가장 크다).
그림 4 · ① 위쪽 이상치 20개가 ② MSE 직선을 끌어올리고, ③ MAE 와 ④ Huber 직선은 참 직선에 붙어 ⑥ 깨끗한 시험 MAE 가 3분의 1 아래로 준다.
그림 5 · 기울기 크기 ψ(r) 가 상한 없이 자라는 MSE 에서는 r ≈ 12 인 이상치 20개가 당기는 힘의 76.5% 를 갖고, ψ 를 δ 에서 묶는 Huber 는 22.2%, 부호만 보는 MAE 는 표본 수 비율 10.0% 로 줄인다.
🔑 이상치를 지우지 않아도 손실의 기울기에 상한을 두면 이상치의 힘이 줄어든다 — 사례에서 같은 데이터 · 같은 직선 모델로 MSE 를 Huber 로 바꾸자 이상치 몫이 76.5% → 22.2%, 시험 MAE 가 1.300 → 0.400 이 됐다.
6비교 — 과제별 대표 손실
| 손실 | 과제 | 식(표본 하나) | 최소가 되는 예측 | 크게 틀린 표본의 기울기 | 쓰는 곳 |
|---|---|---|---|---|---|
| MSE | 회귀 | (ŷ − y)² | 조건부 평균(Goodfellow 2016 6.2.1.2절) | 잔차에 비례 · 상한 없음 | 잡음이 고른 회귀 · 가우스 최대우도 |
| MAE | 회귀 | |ŷ − y| | 조건부 중앙값(식 6.16) | 크기와 무관하게 1 | 이상치가 많은 회귀 · 0 에서 미분 불가 |
| Huber | 회귀 | |r| ≤ δ 면 ½r² · 넘으면 δ(|r| − ½δ) | 평균과 중앙값 사이 | δ 에서 멈춤 | 이상치가 섞인 회귀 · δ 는 잡음 크기에 맞춤 |
| 교차 엔트로피 | 분류 | −log p_ | 참 클래스 확률 | 확신한 오답일수록 큼(p − y) | 분류 기본 · 확률 출력 |
| 힌지 | 분류 | max(0, 1 − m) · m = y·f(x) | 여유 1 이상이면 0 | 오답 쪽으로 일정(1) | SVM · 확률이 필요 없을 때(Cortes 1995) |
| 초점 | 불균형 분류 | −(1 − p_ | 쉬운 표본 무시 | p_ | 배경이 압도하는 검출 |
| 대조(InfoNCE) | 표현 학습 | 양성을 N 개 가운데 고르는 교차 엔트로피 | 양성 쌍 가깝게 · 음성 멀게 | 가까운 음성일수록 큼 | 레이블 없는 사전 학습(Oord 2018 2.3절) |
분석회귀는 MSE 로 시작하되 잔차 분포의 꼬리가 길면 Huber, 중앙값이 목표면 MAE 로 바꾸고, 분류는 교차 엔트로피를 기본으로 두며 양성이 드물고 쉬운 음성이 압도할 때만 초점 손실을 쓴다. 근거는 표의 「최소가 되는 예측」 열과 사례의 시험 MAE(1.300 ↔ 0.400)이며, 손실을 바꾼 뒤에는 평가 지표를 따로 잰다.
시그모이드 출력에 MSE 를 붙이면 기울기가 출력 함수의 미분 p(1 − p) 에 한 번 더 곱해진다. 정답 1 인 표본을 z = −5(p = 0.0067)로 확신 있게 틀렸을 때 ∂ℓ/∂z 는 교차 엔트로피 −0.993 · ½MSE −0.0066 으로 150배 차이다(원문 식 직접 계산 · Goodfellow 2016 6.2.2.2절).
7실무 진단 — 손실 때문에 학습이 어긋날 때
분석먼저 손실이 최소로 만드는 예측과 평가 지표가 같은 것을 가리키는지 보고, 다음에 표본별 손실 · 기울기 분포에서 소수 표본이 몫을 차지하는지, 마지막에 목적 함수 안 데이터 항과 규제 항의 비율을 본다. 손실이 가리키는 목표가 어긋나면 옵티마이저 · 학습률 조정이 소용없기 때문이다(Goodfellow 2016 8.1.2절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 손실은 주는데 검증 F1 · 재현율이 그대로 | 손실과 지표가 다른 것을 잼 · 쉬운 음성이 손실을 차지 | 손실 설계 | 클래스별 평균 손실 · 표본 손실 상위 1% 의 클래스 | 음성 쪽 손실 합이 대부분 → 클래스 가중치 · 초점 손실(γ 2 · α 0.25 · Lin 2017 4.1절) · 임계값은 성능 지표에서 다룸 |
| 2 | 회귀 예측이 한쪽으로 치우침(검증 잔차 평균 ≠ 0) | 소수 이상치가 MSE 를 끎 | 손실 선택 | 표본별 |잔차| 상위 10% 가 기울기에서 차지하는 몫 | 몫이 표본 비율보다 크게 높음(사례 76.5% ↔ 10%) → Huber · MAE(Huber 1964) |
| 3 | 학습 · 검증 손실이 함께 높게 멈춤 | 규제 항이 데이터 항을 누름 | 목적 함수 | J 를 L 과 λΩ 로 나눠 기록 | λΩ 가 L 과 같은 자릿수 이상 → λ 를 10분의 1씩 낮춤(Goodfellow 2016 7.1절) |
| 4 | 손실 값이 배치 크기를 바꾸자 함께 바뀜 · 학습률이 맞지 않음 | 합(sum) 과 평균(mean) 집계 차이 | 집계 | 손실 객체의 reduction 값 | 기본 'mean' · 'sum' 이면 기울기가 배치 크기배 → 학습률을 다시 정함(PyTorch HuberLoss) |
3행의 λ 는 PyTorch 옵티마이저의 weight_decay 로 넣는 경우가 많아 손실 기록에 보이지 않는다 — 이때는 가중치 노름을 따로 기록한다. TensorFlow 쪽의 같은 집계 설정은 손실 객체의 reduction 인자다.
8시험 대비
www.q-net.or.kr시험에서는 손실 함수의 역할과 종류를 쓰는 정의 · 특징형과, MSE · 교차 엔트로피 · Huber 같은 손실을 과제 · 이상치 민감도로 견주는 비교형이 나올 수 있다. 정의형이면 목적 함수 J = L + λΩ 와 평가 지표의 차이를 구조 그림으로 먼저 세우고, 비교형이면 기울기 크기 ψ(r) 그래프 한 장으로 «왜 이상치에 약한가»를 설명한다.
- 개요 — 정의(예측 · 정답 → 0 이상의 수) · 비용 · 목적 함수와의 관계 · 최대우도와의 연결(MSE = 가우스 · 교차 엔트로피 = 범주)
- 구조 — 그림 3 표본 손실 → 평균 손실 → 규제 항 → 목적 함수 → 역전파 · 옵티마이저 · 평가 지표는 고리 밖
- 종류 — 회귀(MSE · MAE · Huber) · 분류(교차 엔트로피 · 힌지 · 초점) · 표현 학습(대조 · InfoNCE) 비교표
- 핵심 원리 — 그림 5 기울기 크기 ψ(r)(이상치 몫 76.5% · 22.2% · 10.0%) · 시그모이드 + MSE 기울기 150배 차이
- 적용 사례 — 그림 4 이상치 10% 회귀(절편 3.456 ↔ 1.276 · 시험 MAE 1.300 ↔ 0.400)
- 선택 기준과 주의 — 손실 ≠ 평가 지표 · reduction · 규제 항 비율 · 클래스 불균형
꼭 쓸 키워드
경험적 위험목적 함수대리 손실평균 제곱 오차평균 절대 오차Huber 손실교차 엔트로피힌지 손실초점 손실대조 손실
다른 답안과 차이를 내는 한 가지는 그림 5 의 ψ(r) 그래프다 — 손실 곡선 모양만 그리면 «이상치에 민감하다»가 말로 남지만, 기울기 크기를 겹쳐 그리고 이상치 몫(76.5% ↔ 22.2%)을 함께 적으면 손실을 바꾸는 이유가 숫자로 선다.
9오해와 사실
- 오해학습 손실이 가장 낮은 모델이 가장 좋은 모델이다.사실사례에서 학습 세트 MSE 는 MSE 모델 12.70 · Huber 모델 14.24 였지만 깨끗한 시험 MAE 는 1.300 · 0.400 으로 뒤집혔다 — 손실은 학습이 미분하는 값이고 판단은 평가 지표로 한다(Goodfellow 2016 8.1.2절).
- 오해교차 엔트로피와 로그 손실은 서로 다른 손실이다.사실두 클래스에서 교차 엔트로피는 음의 로그 우도이고 로그 손실과 같은 식이다(Goodfellow 2016 6.2.1.1절) — 학습에 쓰면 손실, 검증 세트에서 확률 품질을 보고하면 지표라고 부를 뿐이다.
- 오해이상치가 있으면 반드시 데이터에서 지워야 한다.사실표본을 지우지 않아도 Huber 처럼 기울기에 상한이 있는 손실은 이상치의 몫을 사례 기준 76.5% 에서 22.2% 로 줄인다(Huber 1964).
10핵심 정리
| 구분 | 과제 | 식 | 최소가 되는 예측 | 이상치 · 오답에 대한 기울기 | 사례 · 기준 값 |
|---|---|---|---|---|---|
| MSE | 회귀 | (ŷ − y)² | 조건부 평균 | 잔차에 비례 | 이상치 몫 76.5% · 시험 MAE 1.300 |
| MAE | 회귀 | |ŷ − y| | 조건부 중앙값 | 일정(1) | 이상치 몫 10.0% · 시험 MAE 0.390 |
| Huber | 회귀 | δ 안은 제곱 · 밖은 직선 | 평균과 중앙값 사이 | δ 에서 멈춤 | δ 1.0 · 이상치 몫 22.2% · 0.400 |
| 교차 엔트로피 | 분류 | −log p_ | 참 클래스 확률 | 확신한 오답일수록 큼 | z = −5 에서 MSE 의 150배 |
| 힌지 | 분류 | max(0, 1 − m) | 여유 1 이상 | 일정(1) · 여유 넘으면 0 | SVM(Cortes 1995) |
| 초점 | 불균형 분류 | −(1 − p_ | 어려운 표본 위주 | 쉬운 표본 100분의 1 | γ 2 · α 0.25 |
| 대조(InfoNCE) | 표현 학습 | N 개 중 양성 고르기 | 양성 가깝게 | 가까운 음성일수록 큼 | Oord 2018 |
| 규제 항 | 공통 | J = L + λΩ(θ) | 작은 가중치 쪽 | λ 로 조절 | L2 = 가중치 감쇠(Goodfellow 2016 7.1.1절) |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6.2 Gradient-Based Learning — 음의 로그 우도 = 교차 엔트로피 · MSE 는 평균 · MAE 는 중앙값을 내는 이유를 식으로 볼 때
- ★ Robust Estimation of a Location Parameter (Annals of Mathematical Statistics 35(1) 73-101) — 제곱과 절댓값을 이은 Huber 손실이 처음 나온 논문을 볼 때
- ★ Focal Loss for Dense Object Detection (Lin et al.) — 쉬운 표본의 손실을 (1 − p_t)^γ 로 줄이는 초점 손실과 γ · α 값을 볼 때
- ★ Representation Learning with Contrastive Predictive Coding (van den Oord et al.) — 양성 하나를 N 개 가운데 골라내는 InfoNCE 대조 손실을 볼 때
- ★ PyTorch 2.15 documentation - torch.nn.HuberLoss — Huber 손실의 식 · delta 기본값 1.0 · reduction 을 구현에서 확인할 때
- 본문 근거
- Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 4.3 Gradient-Based Optimization — MIT Press · 2016-11 ·
www.deeplearningbook.org/contents/numerical.html· 확인 2026-11-12 - Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 5.5 Maximum Likelihood Estimation — MIT Press · 2016-11 ·
www.deeplearningbook.org/contents/ml.html· 확인 2026-11-12 - Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 7.1 Parameter Norm Penalties — MIT Press · 2016-11 ·
www.deeplearningbook.org/contents/regularization.html· 확인 2026-11-12 - Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8.1.2 Surrogate Loss Functions and Early Stopping — MIT Press · 2016-11 ·
www.deeplearningbook.org/contents/optimization.html· 확인 2026-11-12 - Support-Vector Networks (Machine Learning 20 273-297) — Springer · 1995-09 ·
doi.org/10.1007/BF00994018· 확인 2026-11-12 - Dimensionality Reduction by Learning an Invariant Mapping (CVPR 2006) — IEEE · 2006-06 ·
doi.org/10.1109/CVPR.2006.100· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.CrossEntropyLoss — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html· 확인 2026-11-12 - scikit-learn 1.9 API - sklearn.linear_model.HuberRegressor — scikit-learn developers · 2026-11 ·
scikit-learn.org/stable/modules/generated/sklearn.linear_model.HuberRegressor.html· 확인 2026-11-12 - NumPy v2.4 Manual - numpy.random.default_rng — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12