AI › 인공지능 개요 › 딥러닝 › 신경망 기본

손실 함수Loss Function

모델의 예측과 정답의 차이를 표본마다 0 이상의 숫자 하나로 바꾸는 함수다. 그 평균에 필요하면 규제 항을 더한 값을 줄이는 방향이 곧 학습이 가는 방향이다.

1요약

  1. 손실 함수는 학습 단계에서 예측 ŷ 와 정답 y 를 숫자 하나로 바꾸는 함수이고(Goodfellow 2016 4.3절), 표본 평균에 규제 항을 더한 목적 함수 J 를 역전파가 미분하고 옵티마이저가 줄인다.
  2. 무엇을 벌점으로 삼는지가 학습 결과를 정한다 — 사례에서 이상치 20개(10%)가 MSE 기울기의 76.5% 를 차지해 절편이 1.0 에서 3.46 으로 끌려갔고, Huber 손실로 바꾸자 깨끗한 시험 세트 MAE 가 1.300 에서 0.400 으로 줄었다.
  3. 「손실은 줄었는데 결과가 나쁘다」는 손실이 최소가 되는 예측(평균 · 중앙값 · 확률)과 평가 지표가 재는 것이 같은가로 가른다 — 다르면 모델이 아니라 손실을 바꾼다.

2등장 배경

오차의 제곱 합을 최소로 하는 최소 제곱은 계산이 쉬워 오래 표준이었지만, 측정값 몇 개가 크게 틀리면 추정 전체가 그쪽으로 끌려갔다. 1964년 Huber 는 작은 오차에는 제곱, 큰 오차에는 절댓값을 쓰는 손실로 큰 오차 한 개가 미치는 힘에 상한을 두었다(Huber 1964). 분류에서는 맞고 틀림만 세는 0-1 손실이 미분값이 거의 어디서나 0이라 기울기 학습에 쓸 수 없어(Goodfellow 2016 8.1.2절), 1995년 Cortes · Vapnik 의 힌지 손실(Cortes 1995)과 최대우도에서 나온 교차 엔트로피가 대리 손실로 자리 잡았다.

신경망에서는 출력 함수와 손실의 조합이 기울기 크기를 정한다는 점이 드러났다 — 포화하는 출력에 MSE · MAE 를 붙이면 기울기가 작아져, 교차 엔트로피가 더 널리 쓰인다(Goodfellow 2016 6.2.1.2절). 그 뒤 손실이 과제 구조를 직접 담기 시작했다. 2006년 Hadsell 외는 정답 클래스 대신 «닮은 쌍 · 다른 쌍»으로 거리를 배우는 대조 손실을(Hadsell 2006), 2017년 Lin 외는 배경 대 물체가 1:1000 에 이르는 검출에서 쉬운 표본의 손실을 줄이는 초점 손실을(Lin 2017), 2018년 Oord 외는 양성 하나를 N 개 가운데 골라내는 InfoNCE 를 내놓았다(Oord 2018).

지금 손실 함수는 모델 구조와 따로 고르는 설계 값이다. 같은 신경망이 회귀면 MSE · Huber, 분류면 교차 엔트로피, 표현 학습이면 대조 손실로 학습되고, 총 목적 함수에는 대개 규제 항이 함께 들어간다(Goodfellow 2016 7.1절).

3쉽게 이해하기 — 활쏘기 연습의 채점표

궁수가 과녁을 향해 화살을 쏘면 채점원이 자국마다 «중심에서 얼마나 빗나갔나»를 채점표대로 감점한다. 코치는 감점을 모두 더해 보고 「조준을 오른쪽 아래로 조금」처럼 방향과 크기를 알려 주고, 궁수는 그대로 자세를 고친 뒤 다시 쏜다. 그런데 바람에 날린 한 발이 과녁 밖 벽에 꽂히자, 「빗나간 거리의 제곱」 채점표에서는 그 한 발의 감점이 나머지를 합친 것보다 커져 코치가 조준을 벽 쪽으로 크게 옮기라고 한다. 채점표를 바꾸면 같은 화살을 쏘고도 궁수가 배우는 조준이 달라진다.

1 궁수 조준대로 쏨 모델 f(x; θ) 2 날린 한 발 이상치 중심 = 정답 y 자국 = 예측 ŷ 3 채점표 자국마다 감점 손실 함수 ℓ 4 코치 방향 · 크기 조언 기울기 ∇J 5 조언대로 조준 고치기 = 갱신 θ ← θ − η∇J 대회 순위 채점표와 다른 잣대 평가 지표 자세 규칙 조준을 극단으로 틀지 않기 규제 항 λΩ(θ) 감점 합계 모든 자국을 평균 평균 손실 L(θ) 정답 예측 모델 · 학습 규칙 손실 · 평가 사람 이상치 조언이 돌아오는 길(갱신)

그림 1 · 궁수는 채점표가 매긴 감점의 합이 줄어드는 쪽으로만 조준을 고친다 — 그래서 채점표(손실 함수)가 무엇을 크게 감점하느냐가 곧 무엇을 배우느냐다.

쏘기지금 조준으로
감점 매기기자국마다 채점표대로
감점 합하기모든 자국 평균
조언 듣기어느 쪽으로 얼마나
자세 고치기조언만큼 조준 이동
대회 나가기순위는 다른 잣대
비유 — 같은 화살, 다른 채점표 실제 — 사례 시드 0 제곱 채점표 — 빗나간 거리² ÷ 2 보통 화살 0.4 칸 → 감점 0.08 · 당김 0.4 날린 화살 12 칸 → 감점 72 · 당김 12 코치가 조준을 벽 쪽으로 크게 옮김 상한 채점표 — 1 칸 넘으면 직선으로 보통 화살 0.4 칸 → 감점 0.08 · 당김 0.4 날린 화살 12 칸 → 감점 11.5 · 당김 1 날린 한 발은 정해진 만큼만 반영 MSE(½r²) 기울기 ∝ r · 상한 없음 이상치 20개 몫 76.5% 절편 1.0 → 3.46 으로 끌림 Huber δ = 1.0 |r| > δ 에서 기울기 = δ 이상치 20개 몫 22.2% 절편 1.28 · 기울기 1.963 r = 정답 − 예측(잔차)

그림 2 · 제곱 채점표에서는 날린 한 발의 감점과 당기는 힘이 보통 화살의 150배여서 조준이 벽 쪽으로 끌리고, 상한 채점표는 그 힘을 1 로 묶는다.

비유실제 이름실제로 하는 일
궁수의 조준모델 f(x; θ)파라미터 θ 로 입력을 예측 ŷ 로 바꿈
과녁 중심 · 날린 한 발정답 y · 이상치정답 레이블과, 잔차가 유난히 큰 표본
채점표손실 함수 ℓ(ŷ, y)표본 하나의 차이를 0 이상의 숫자로
감점 합계평균 손실 L(θ)미니배치 · 데이터 전체의 ℓ 평균(경험적 위험)
자세 규칙규제 항 λΩ(θ)가중치 크기에 붙는 벌점 · J = L + λΩ
코치의 조언기울기 ∇θJ역전파가 구한, J 가 가장 빨리 커지는 방향
자세 고치기갱신 θ ← θ − η∇J경사 하강법 · 옵티마이저가 맡음
대회 순위평가 지표정확도 · F1 · MAE 처럼 사람이 판단에 쓰는 값

⚠ 비유가 맞지 않는 곳: 채점원은 화살을 다 쏜 뒤 한 번 채점하지만, 실제 학습은 미니배치마다 손실과 기울기를 다시 구한다. 또 코치는 감점 «값»을 보고 말하는 것처럼 그렸으나 실제 갱신은 값이 아니라 손실의 기울기만 쓰므로, 상수를 더하거나 곱한 손실은 최솟값 위치가 같다.

4구조 — 표본 손실에서 목적 함수까지

손실 함수는 모델 바깥에서 예측과 정답을 받아 숫자를 내고, 그 숫자가 기울기로 바뀌어 모델 안으로 돌아간다. 평가 지표는 같은 예측을 받지만 미분되지 않고 사람의 판단으로만 간다.

입력 x 모델 f(x; θ) 예측 ŷ 표본 손실 ℓ(ŷ, y) ≥ 0 정답 y 평균 손실 L(θ) (1/n) Σ ℓ 규제 항 λΩ(θ) 목적 함수 J = L + λΩ 역전파 ∇θ J 옵티마이저 θ ← θ − η∇J 평가 지표 검증 세트 · 미분 안 함 데이터 · 예측 정답 레이블 모델 · 학습 규칙 손실 값 기울기 길(학습 고리) 학습 고리 밖

그림 3 · 표본 손실 ℓ 을 평균하고 규제 항을 더한 목적 함수 J 만 미분되어 모델로 돌아가고, 평가 지표는 같은 예측을 받지만 학습 고리 밖에 있다.

요소범위역할값 · 근거
표본 손실 ℓ표본 하나예측 · 정답 차이를 0 이상의 수로회귀 ½(ŷ − y)² · 분류 −log p_y
평균 손실 L배치 · 데이터경험적 위험reduction='mean' 기본(PyTorch HuberLoss)
목적 함수 J학습 전체실제로 미분하는 값J = L + λΩ(θ)(Goodfellow 2016 7.1절)
정답 형식레이블손실 꼴을 정함실수 → MSE · Huber / 클래스 → 교차 엔트로피 / 쌍 → 대조 손실
출력 함수 짝출력 계층기울기 크기시그모이드 · 소프트맥스 + 교차 엔트로피(Goodfellow 2016 6.2.2절)
설계 값하이퍼파라미터손실 모양Huber δ 1.0(PyTorch HuberLoss) · 초점 γ 2 · α 0.25(Lin 2017 4.1절)
평가 지표검증 세트판단 · 보고미분하지 않음 · 0-1 손실은 미분값이 거의 0(Goodfellow 2016 8.1.2절)

손실은 확률 모형을 정하면 함께 정해진다 — 가우스 잡음을 가정한 최대우도는 MSE 와 같은 해를 내고(Goodfellow 2016 5.5.1절), 범주 분포를 가정한 음의 로그 우도가 교차 엔트로피다(6.2.1.1절). 로그 손실 자체의 식과 최대우도 풀이는 로지스틱 회귀가, 출력 함수를 고르는 기준은 활성화 함수가 맡는다.

🔑 학습은 손실의 값이 아니라 기울기만 본다 — 그래서 손실 함수는 «오차를 재는 자»이기 전에 «어느 표본이 모델을 얼마나 세게 당기는가»를 정하는 규칙이다.

5동작 — 이상치가 섞인 회귀에서 손실만 바꾼 학습

합성 데이터로 직접 실행했다(NumPy default_rng 문서 · 시드 0). 모델은 직선 ŷ = wx + b 하나이고, 손실만 바꾸어 각 손실의 최솟값을 찾았다.

  1. 데이터 — x ~ U(0, 10) 200점에 y = 2x + 1 + N(0, 0.5²) 를 만들고, 무작위 20점(10%)에 +12 를 더해 이상치로 둔다. 시험 세트는 이상치 없는 200점이다. 참 직선에서 보통 표본의 |잔차| 평균은 0.41, 이상치의 잔차 평균은 11.96 이다.
  2. MSE — 최소 제곱 해는 ŷ = 1.759x + 3.456 이다. 절편이 참값 1 보다 2.46 크고, 이상치가 많이 놓인 쪽으로 기울기가 눕는다.
  3. MAE — 반복 재가중으로 구한 해는 1.966x + 1.154 다. MAE 의 최솟값은 조건부 중앙값이라(Goodfellow 2016 식 6.16) 10% 의 이상치가 위치를 거의 옮기지 못한다.
  4. Huber(δ = 1.0) — 해는 1.963x + 1.276 이고, |잔차| > δ 로 직선 구간에 들어간 표본 30개에 이상치 20개가 모두 있다.
  5. 기울기 몫 — 참 직선 위에서 각 손실의 표본별 기울기 크기를 더하면, 이상치 20개의 몫이 MSE 76.5% · Huber 22.2% · MAE 10.0% 다. MSE 에서는 10% 의 표본이 당기는 힘의 4분의 3을 가진다.
  6. 시험 — 깨끗한 시험 세트의 MAE 는 MSE 모델 1.300 · Huber 0.400 · MAE 모델 0.390 이고, MSE 모델은 평균 1.28 만큼 높게 예측한다. 학습 세트 MSE 로 재면 MSE 모델이 12.70 으로 Huber 모델(14.24)보다 «좋다» — 자기 손실로 잰 성적은 판단 기준이 아니다.
  7. 시드 0 ~ 9 — MSE 모델 시험 MAE 1.169 ~ 1.312 · Huber 0.382 ~ 0.453 · MAE 0.384 ~ 0.438 로 순위는 10번 모두 같다. 이상치 몫은 MSE 75.5 ~ 78.5% · Huber 20.6 ~ 23.4% 이고, MSE 절편은 0.856 ~ 3.456 으로 이상치가 어디 놓였느냐에 따라 크게 흔들린다(시드 0 이 가장 크다).
0 2 4 6 8 10 입력 x 0 10 20 30 정답 y 1 이상치 20개(+12) 보통 표본 180개 학습한 직선(시드 0) 2 MSE ŷ = 1.759x + 3.456 3 MAE ŷ = 1.966x + 1.154 4 Huber δ 1.0 ŷ = 1.963x + 1.276 참 직선 y = 2x + 1 6 깨끗한 시험 200점 MAE MSE 1.300 · 평균 1.28 높게 MAE 0.390 · Huber 0.400 시드 0 ~ 9 순위 10번 같음

그림 4 · ① 위쪽 이상치 20개가 ② MSE 직선을 끌어올리고, ③ MAE 와 ④ Huber 직선은 참 직선에 붙어 ⑥ 깨끗한 시험 MAE 가 3분의 1 아래로 준다.

← 보통 표본 띠 |r| 평균 0.41 이상치 r ≈ 12 −2 0 4 8 12 잔차 r = 정답 − 예측 0 4 8 12 기울기 크기 ψ(r) MSE ψ = r r = 12 에서 12 Huber · MAE ψ = 1(r > 1) 5 이상치 20개의 기울기 몫 MSE 76.5% Huber 22.2% MAE 10.0% 막대 120px = 100% MSE(½r²) Huber δ = 1.0 MAE(|r|)

그림 5 · 기울기 크기 ψ(r) 가 상한 없이 자라는 MSE 에서는 r ≈ 12 인 이상치 20개가 당기는 힘의 76.5% 를 갖고, ψ 를 δ 에서 묶는 Huber 는 22.2%, 부호만 보는 MAE 는 표본 수 비율 10.0% 로 줄인다.

🔑 이상치를 지우지 않아도 손실의 기울기에 상한을 두면 이상치의 힘이 줄어든다 — 사례에서 같은 데이터 · 같은 직선 모델로 MSE 를 Huber 로 바꾸자 이상치 몫이 76.5% → 22.2%, 시험 MAE 가 1.300 → 0.400 이 됐다.

6비교 — 과제별 대표 손실

손실과제식(표본 하나)최소가 되는 예측크게 틀린 표본의 기울기쓰는 곳
MSE회귀(ŷ − y)²조건부 평균(Goodfellow 2016 6.2.1.2절)잔차에 비례 · 상한 없음잡음이 고른 회귀 · 가우스 최대우도
MAE회귀|ŷ − y|조건부 중앙값(식 6.16)크기와 무관하게 1이상치가 많은 회귀 · 0 에서 미분 불가
Huber회귀|r| ≤ δ 면 ½r² · 넘으면 δ(|r| − ½δ)평균과 중앙값 사이δ 에서 멈춤이상치가 섞인 회귀 · δ 는 잡음 크기에 맞춤
교차 엔트로피분류−log p_y참 클래스 확률확신한 오답일수록 큼(p − y)분류 기본 · 확률 출력
힌지분류max(0, 1 − m) · m = y·f(x)여유 1 이상이면 0오답 쪽으로 일정(1)SVM · 확률이 필요 없을 때(Cortes 1995)
초점불균형 분류−(1 − p_t)^γ log p_t쉬운 표본 무시p_t = 0.9 면 교차 엔트로피의 100분의 1(Lin 2017 3.2절)배경이 압도하는 검출
대조(InfoNCE)표현 학습양성을 N 개 가운데 고르는 교차 엔트로피양성 쌍 가깝게 · 음성 멀게가까운 음성일수록 큼레이블 없는 사전 학습(Oord 2018 2.3절)

분석회귀는 MSE 로 시작하되 잔차 분포의 꼬리가 길면 Huber, 중앙값이 목표면 MAE 로 바꾸고, 분류는 교차 엔트로피를 기본으로 두며 양성이 드물고 쉬운 음성이 압도할 때만 초점 손실을 쓴다. 근거는 표의 「최소가 되는 예측」 열과 사례의 시험 MAE(1.300 ↔ 0.400)이며, 손실을 바꾼 뒤에는 평가 지표를 따로 잰다.

시그모이드 출력에 MSE 를 붙이면 기울기가 출력 함수의 미분 p(1 − p) 에 한 번 더 곱해진다. 정답 1 인 표본을 z = −5(p = 0.0067)로 확신 있게 틀렸을 때 ∂ℓ/∂z 는 교차 엔트로피 −0.993 · ½MSE −0.0066 으로 150배 차이다(원문 식 직접 계산 · Goodfellow 2016 6.2.2.2절).

7실무 진단 — 손실 때문에 학습이 어긋날 때

분석먼저 손실이 최소로 만드는 예측과 평가 지표가 같은 것을 가리키는지 보고, 다음에 표본별 손실 · 기울기 분포에서 소수 표본이 몫을 차지하는지, 마지막에 목적 함수 안 데이터 항과 규제 항의 비율을 본다. 손실이 가리키는 목표가 어긋나면 옵티마이저 · 학습률 조정이 소용없기 때문이다(Goodfellow 2016 8.1.2절).

#증상의심 원인단계확인 자료판정 기준(근거)
1학습 손실은 주는데 검증 F1 · 재현율이 그대로손실과 지표가 다른 것을 잼 · 쉬운 음성이 손실을 차지손실 설계클래스별 평균 손실 · 표본 손실 상위 1% 의 클래스음성 쪽 손실 합이 대부분 → 클래스 가중치 · 초점 손실(γ 2 · α 0.25 · Lin 2017 4.1절) · 임계값은 성능 지표에서 다룸
2회귀 예측이 한쪽으로 치우침(검증 잔차 평균 ≠ 0)소수 이상치가 MSE 를 끎손실 선택표본별 |잔차| 상위 10% 가 기울기에서 차지하는 몫몫이 표본 비율보다 크게 높음(사례 76.5% ↔ 10%) → Huber · MAE(Huber 1964)
3학습 · 검증 손실이 함께 높게 멈춤규제 항이 데이터 항을 누름목적 함수J 를 L 과 λΩ 로 나눠 기록λΩ 가 L 과 같은 자릿수 이상 → λ 를 10분의 1씩 낮춤(Goodfellow 2016 7.1절)
4손실 값이 배치 크기를 바꾸자 함께 바뀜 · 학습률이 맞지 않음합(sum) 과 평균(mean) 집계 차이집계손실 객체의 reduction 값기본 'mean' · 'sum' 이면 기울기가 배치 크기배 → 학습률을 다시 정함(PyTorch HuberLoss)

3행의 λ 는 PyTorch 옵티마이저의 weight_decay 로 넣는 경우가 많아 손실 기록에 보이지 않는다 — 이때는 가중치 노름을 따로 기록한다. TensorFlow 쪽의 같은 집계 설정은 손실 객체의 reduction 인자다.

8시험 대비

출제 정보 컴퓨터시스템응용(122회, 120회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 손실 함수의 역할과 종류를 쓰는 정의 · 특징형과, MSE · 교차 엔트로피 · Huber 같은 손실을 과제 · 이상치 민감도로 견주는 비교형이 나올 수 있다. 정의형이면 목적 함수 J = L + λΩ 와 평가 지표의 차이를 구조 그림으로 먼저 세우고, 비교형이면 기울기 크기 ψ(r) 그래프 한 장으로 «왜 이상치에 약한가»를 설명한다.

답안 목차
  1. 개요 — 정의(예측 · 정답 → 0 이상의 수) · 비용 · 목적 함수와의 관계 · 최대우도와의 연결(MSE = 가우스 · 교차 엔트로피 = 범주)
  2. 구조 — 그림 3 표본 손실 → 평균 손실 → 규제 항 → 목적 함수 → 역전파 · 옵티마이저 · 평가 지표는 고리 밖
  3. 종류 — 회귀(MSE · MAE · Huber) · 분류(교차 엔트로피 · 힌지 · 초점) · 표현 학습(대조 · InfoNCE) 비교표
  4. 핵심 원리 — 그림 5 기울기 크기 ψ(r)(이상치 몫 76.5% · 22.2% · 10.0%) · 시그모이드 + MSE 기울기 150배 차이
  5. 적용 사례 — 그림 4 이상치 10% 회귀(절편 3.456 ↔ 1.276 · 시험 MAE 1.300 ↔ 0.400)
  6. 선택 기준과 주의 — 손실 ≠ 평가 지표 · reduction · 규제 항 비율 · 클래스 불균형

꼭 쓸 키워드
경험적 위험목적 함수대리 손실평균 제곱 오차평균 절대 오차Huber 손실교차 엔트로피힌지 손실초점 손실대조 손실

다른 답안과 차이를 내는 한 가지는 그림 5 의 ψ(r) 그래프다 — 손실 곡선 모양만 그리면 «이상치에 민감하다»가 말로 남지만, 기울기 크기를 겹쳐 그리고 이상치 몫(76.5% ↔ 22.2%)을 함께 적으면 손실을 바꾸는 이유가 숫자로 선다.

9오해와 사실

  • 오해학습 손실이 가장 낮은 모델이 가장 좋은 모델이다.
    사실사례에서 학습 세트 MSE 는 MSE 모델 12.70 · Huber 모델 14.24 였지만 깨끗한 시험 MAE 는 1.300 · 0.400 으로 뒤집혔다 — 손실은 학습이 미분하는 값이고 판단은 평가 지표로 한다(Goodfellow 2016 8.1.2절).
  • 오해교차 엔트로피와 로그 손실은 서로 다른 손실이다.
    사실두 클래스에서 교차 엔트로피는 음의 로그 우도이고 로그 손실과 같은 식이다(Goodfellow 2016 6.2.1.1절) — 학습에 쓰면 손실, 검증 세트에서 확률 품질을 보고하면 지표라고 부를 뿐이다.
  • 오해이상치가 있으면 반드시 데이터에서 지워야 한다.
    사실표본을 지우지 않아도 Huber 처럼 기울기에 상한이 있는 손실은 이상치의 몫을 사례 기준 76.5% 에서 22.2% 로 줄인다(Huber 1964).

10핵심 정리

구분과제식최소가 되는 예측이상치 · 오답에 대한 기울기사례 · 기준 값
MSE회귀(ŷ − y)²조건부 평균잔차에 비례이상치 몫 76.5% · 시험 MAE 1.300
MAE회귀|ŷ − y|조건부 중앙값일정(1)이상치 몫 10.0% · 시험 MAE 0.390
Huber회귀δ 안은 제곱 · 밖은 직선평균과 중앙값 사이δ 에서 멈춤δ 1.0 · 이상치 몫 22.2% · 0.400
교차 엔트로피분류−log p_y참 클래스 확률확신한 오답일수록 큼z = −5 에서 MSE 의 150배
힌지분류max(0, 1 − m)여유 1 이상일정(1) · 여유 넘으면 0SVM(Cortes 1995)
초점불균형 분류−(1 − p_t)^γ log p_t어려운 표본 위주쉬운 표본 100분의 1γ 2 · α 0.25
대조(InfoNCE)표현 학습N 개 중 양성 고르기양성 가깝게가까운 음성일수록 큼Oord 2018
규제 항공통J = L + λΩ(θ)작은 가중치 쪽λ 로 조절L2 = 가중치 감쇠(Goodfellow 2016 7.1.1절)

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6.2 Gradient-Based Learning — 음의 로그 우도 = 교차 엔트로피 · MSE 는 평균 · MAE 는 중앙값을 내는 이유를 식으로 볼 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/mlp.html · 확인 2026-11-12
  3. ★ Robust Estimation of a Location Parameter (Annals of Mathematical Statistics 35(1) 73-101) — 제곱과 절댓값을 이은 Huber 손실이 처음 나온 논문을 볼 때
    Institute of Mathematical Statistics · 1964-03 · doi.org/10.1214/aoms/1177703732 · 확인 2026-11-12
  4. ★ Focal Loss for Dense Object Detection (Lin et al.) — 쉬운 표본의 손실을 (1 − p_t)^γ 로 줄이는 초점 손실과 γ · α 값을 볼 때
    arXiv · 2017-08 · arxiv.org/abs/1708.02002 · 확인 2026-11-12
  5. ★ Representation Learning with Contrastive Predictive Coding (van den Oord et al.) — 양성 하나를 N 개 가운데 골라내는 InfoNCE 대조 손실을 볼 때
    arXiv · 2018-07 · arxiv.org/abs/1807.03748 · 확인 2026-11-12
  6. ★ PyTorch 2.15 documentation - torch.nn.HuberLoss — Huber 손실의 식 · delta 기본값 1.0 · reduction 을 구현에서 확인할 때
    PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.HuberLoss.html · 확인 2026-11-12
  7. 본문 근거
  8. Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 4.3 Gradient-Based Optimization — MIT Press · 2016-11 · www.deeplearningbook.org/contents/numerical.html · 확인 2026-11-12
  9. Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 5.5 Maximum Likelihood Estimation — MIT Press · 2016-11 · www.deeplearningbook.org/contents/ml.html · 확인 2026-11-12
  10. Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 7.1 Parameter Norm Penalties — MIT Press · 2016-11 · www.deeplearningbook.org/contents/regularization.html · 확인 2026-11-12
  11. Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8.1.2 Surrogate Loss Functions and Early Stopping — MIT Press · 2016-11 · www.deeplearningbook.org/contents/optimization.html · 확인 2026-11-12
  12. Support-Vector Networks (Machine Learning 20 273-297) — Springer · 1995-09 · doi.org/10.1007/BF00994018 · 확인 2026-11-12
  13. Dimensionality Reduction by Learning an Invariant Mapping (CVPR 2006) — IEEE · 2006-06 · doi.org/10.1109/CVPR.2006.100 · 확인 2026-11-12
  14. PyTorch 2.15 documentation - torch.nn.CrossEntropyLoss — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html · 확인 2026-11-12
  15. scikit-learn 1.9 API - sklearn.linear_model.HuberRegressor — scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/generated/sklearn.linear_model.HuberRegressor.html · 확인 2026-11-12
  16. NumPy v2.4 Manual - numpy.random.default_rng — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12