지식 증류Knowledge Distillation
큰 교사 모델이 내는 클래스 확률 분포(소프트 타깃)를 정답 레이블과 함께 작은 학생 모델의 학습 목표로 삼아, 교사의 일반화 방식을 작은 모델로 옮기는 학습 기법이다.
1요약
- 지식 증류는 AI 운영의 경량화 단계에서 큰 교사 모델의 로짓을 온도 T 로 나눈 softmax(Hinton 2015 2절 식 1)로 부드러운 확률을 만들고, 이를 작은 학생 모델의 학습 목표로 쓰는 방법이다 — 그 위에서 앙상블 압축 · 작은 언어 모델 · 기기용 음성 · 비전 모델이 돈다.
- 작은 모델을 정답 레이블만으로 학습하면 데이터의 «닮은 정도»를 배우지 못한다 — MNIST 에서 은닉 800개 신경망은 시험 오류 146개였지만 교사의 소프트 타깃을 함께 배우자 74개로 줄었다(교사 67개 · Hinton 2015 3절).
- 「증류했는데 나아지지 않는다」는 교사 출력이 너무 뾰족한가, 교사와 학생의 크기 차가 너무 큰가로 가른다 — 앞은 온도를 올리면 풀리고, 뒤는 중간 크기 조교 모델을 끼우면 풀린다(Mirzadeh 2020 표 1).
2등장 배경
2000년대 중반 가장 정확한 분류기는 결정 트리 수백 ~ 수천 개를 묶은 앙상블이었다. 평균 크기가 약 500 MB 라 휴대 기기 · 보청기 같은 곳에는 올릴 수 없었고, 예측 하나에 트리 수천 개를 모두 돌려야 했다(Buciluă 2006 1 · 3절).
Buciluă · Caruana · Niculescu-Mizil(2006)은 앙상블이 단 레이블로 신경망 하나를 학습시켜, 성능을 거의 지키면서 앙상블보다 1,000배 넘게 작은 모델을 만들었다(Buciluă 2006 3절 표 4). Ba · Caruana(2014)는 깊은 신경망의 로짓을 제곱 오차로 따라 하게 해 얕은 신경망도 같은 정확도에 이를 수 있음을 보였다. Hinton · Vinyals · Dean(2015)은 softmax 에 온도를 넣어 로짓 맞추기를 일반화하고 «증류»라는 이름을 붙였다 — 로짓 맞추기는 높은 온도에서의 특수한 경우다(Hinton 2015 2.1절 식 4).
그 뒤 출력 대신 중간 표현을 옮기는 FitNets(Romero 2015), 사전 학습 단계의 증류 DistilBERT(Sanh 2019), 학생이 만든 문장에 교사가 점수를 주는 정책 위 증류(Agarwal 2024)로 넓어졌다. 지금은 큰 언어 모델을 작은 모델로 옮기는 기본 수단이고, 양자화 · 가지치기와 함께 쓴다.
3쉽게 이해하기 — 숙련 탐조가의 귀띔
숙련 탐조가 서 선생은 새 사진 2만 장을 보며 감별을 익혔다. 초보 도윤에게는 사진 600장과 정답 카드만 있는데, 서 선생은 이름만 말하지 않고 «참새가 거의 확실하지만, 굳이 고르면 박새와 조금 닮았다»고 귀띔해 준다. 평소 말투로는 «참새 98, 나머지는 1도 안 된다»라 작은 닮음이 묻히니, 서 선생은 말을 풀어서 «참새 44, 박새 13, 딱새 11»로 들려준다. 도윤은 작은 수첩 한 권에 이 귀띔을 받아 적고, 다음부터는 혼자 평소 말투로 감별한다.
그림 1 · 서 선생의 귀띔을 다이얼로 풀어 들려주면 도윤은 작은 수첩만으로 감별을 익힌다 — 다만 너무 풀면 모든 새가 비슷하게 들린다.
그림 2 · 같은 사진도 평소 말투는 닮은 새를 0.8% 아래에 묻고, 풀어 말하면 닮음이 드러나며, 지나치게 풀면 정답까지 흐려진다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 서 선생 | 교사 모델 | 큰 데이터로 미리 학습해 두고, 증류 중에는 가중치를 얼린다 |
| 사진 600장 | 전이 집합 | 학생이 교사 출력을 따라 배우는 입력 묶음(레이블 없어도 됨) |
| 정답 카드 | 정답 레이블 | T = 1 교차 엔트로피로 학생을 정답 쪽으로 당긴다 |
| 말 풀기 다이얼 | 온도 T | 로짓을 T 로 나눠 작은 확률을 키운다 |
| 귀띔 | 소프트 타깃 | 정답 외 클래스 사이의 비율까지 담은 교사 확률 |
| 작은 수첩 | 학생 모델 | 매개변수가 교사의 1/146 인 모델 |
| 혼자 감별 | 추론 | 학습이 끝나면 학생만 T = 1 로 실행한다 |
| 다 비슷하게 들림 | 온도 과다 | 분포가 평평해져 학생 크기에 맞는 정보가 줄어든다 |
⚠ 비유가 맞지 않는 곳: 도윤은 귀띔을 말로 듣지만, 학생 모델은 교사 확률과 자기 확률의 차이를 기울기로 받아 가중치를 고친다. 또 다이얼을 올리면 기울기가 1/T² 로 작아지므로, 실제 학습에서는 그만큼 다시 곱해 준다(그림 3).
4구조 — 두 손실과 온도
학생은 같은 로짓 z 를 두 번 쓴다 — T 로 나눠 교사의 소프트 타깃 p 와 맞추고, T = 1 로 정답 레이블 y 와 맞춘다. 두 손실을 α : (1 − α) 로 섞고 소프트 쪽에 T² 를 곱한다(Hinton 2015 2절).
그림 3 · 학생 로짓 z 하나가 온도 T 의 소프트 손실과 T = 1 의 정답 손실로 갈라졌다가 α 로 합쳐지고, 기울기는 학생에게만 돌아간다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 교사 모델 | 소프트 타깃을 내는 큰 모델 · 증류 중 얼림 | 은닉 256 · 256 · 73,738개 | Hinton 2015 1절 |
| 학생 모델 | 배포할 작은 모델 | 은닉 16 · 506개 | — |
| 온도 T | q_ | 1 · 2 · 4 · 8 · 20 | Hinton 2015 2절 식 1 |
| 소프트 타깃 p | 교사의 T 온도 확률 | 9번 98.4% → 44.0%(T = 4) | Hinton 2015 1절 |
| T² 보정 | 소프트 기울기 (q − p) ÷ T 가 1/T² 로 줄어드는 것을 되돌림 | T = 4 → 16배 | Hinton 2015 2절 · 식 2 |
| 혼합 비율 α | 소프트 : 정답 손실 비중 · 정답 쪽을 작게 | 0.9 : 0.1 | Hinton 2015 2절 |
| 전이 집합 | 교사 출력을 받는 입력 · 레이블 없어도 됨 | 600개(교사 데이터의 3%) | Hinton 2015 1 · 6절 |
증류는 학습이 끝난 모델의 수를 깎는 양자화 · 가지치기와 달리 학생 구조를 처음부터 새로 정하고 다시 학습한다. 그래서 층 수 · 폭을 기기 예산에 맞춰 고를 수 있고, 학생을 다시 양자화할 수도 있다.
5동작 — 600개 레이블로 학생 신경망(은닉 16) 학습하기
아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 의 default_rng(0) 으로 합성 데이터를 만들었고(설명용 가정 값), 신경망과 Adam(학습률 0.003)은 NumPy 로 직접 구현했다.
- 데이터 — 20차원 · 10클래스(클래스마다 가우스 군집 3개)에서 교사용 20,000개를 뽑고, 그 앞 600개(3%)만 학생의 전이 집합으로 쓴다 · 시험 10,000개.
- 교사 — 은닉 256 · 256 신경망(73,738개)을 20,000개 레이블로 30회 학습 → 시험 정확도 99.89%.
- 기준선 — 은닉 16 학생(506개 · 교사의 1/146)을 600개 레이블만으로 300회 학습 → 훈련 100% · 시험 93.85% · 같은 학생에 레이블 20,000개를 주면 98.72%.
- 소프트 타깃 — 교사 로짓을 T 로 나눈다 · 9번 클래스 표본 하나는 T = 1 에서 9번 98.4% · 5번 0.8%, T = 4 에서 44.0% · 13.2%, T = 20 에서 14.5% · 11.4%(그림 2).
- 증류 학습 — 같은 시드 · 같은 300회로 α = 0.9, 소프트 기울기에 T² 를 곱해 T = 1 · 2 · 4 · 8 · 20 다섯 번 학습한다.
- 결과 — 시험 정확도 93.98 · 95.18 · 96.73 · 95.79 · 95.91% · T = 4 가 기준선보다 2.88%p 높아, 레이블 600개 ↔ 20,000개 격차 4.87%p 의 59% 를 메운다.
- 반복 — 학생 시드 3 · 4 · 5 로 다시 돌리면 T = 4 가 기준선보다 3.0 ~ 4.4%p 높고, T = 1 은 0.1 ~ 0.2%p 차이에 그친다 · 가장 좋은 온도는 시드에 따라 4 또는 20.
그림 4 · 교사는 2만 개로 익히고, 학생은 600개 레이블에 교사의 소프트 타깃을 더해 시험 정확도를 93.85% 에서 96.73% 로 올린다.
그림 5 · 온도를 올리면 학생이 좋아지다가 T = 4 근처를 지나면 다시 떨어진다 — T = 1 은 레이블만 쓴 것과 거의 같다.
🔑 증류가 옮기는 것은 정답이 아니라 오답 사이의 비율이다 — T = 1 에서는 그 비율이 1% 아래에 묻혀, 학생은 레이블만 배운 것과 거의 같아진다(사례 93.85 → 93.98%).
🔑 온도는 높을수록 좋은 값이 아니라 학생 크기에 맞춰 고르는 값이다 — 작은 학생일수록 지나치게 평평한 분포를 다 따라가지 못해 중간 온도가 가장 좋다(Hinton 2015 3절 · 은닉 30개에서 T 2.5 ~ 4).
6비교 — 무엇을 옮기는가에 따른 증류 방식
| 방식 | 학생이 따라 하는 것 | 추가로 필요한 것 | 공개 결과 | 맞는 곳 |
|---|---|---|---|---|
| 응답 기반(소프트 타깃) | 교사의 출력 확률(T 온도) | 온도 · α | MNIST 오류 146 → 74(Hinton 2015 3절) | 분류 · 교사 구조를 몰라도 됨 |
| 특징 기반(힌트) | 교사의 중간 표현 | 학생 → 교사 표현 회귀기 | 매개변수 10.4배 적은 학생이 교사 앞섬(Romero 2015 초록) | 얇고 깊은 학생 · 비전 |
| 조교 거친 다단계 | 중간 크기 조교의 출력 | 조교 모델 학습 한 번 더 | CIFAR-10 CNN 70.16 / 72.57 / 73.51%(Mirzadeh 2020 표 1) | 교사 · 학생 크기 차가 클 때 |
| 사전 학습 단계 증류 | 언어 모델 출력 + 은닉 방향 | 사전 학습 말뭉치 | 매개변수 110M → 66M · 성능 97% · 60% 빠름(Sanh 2019) | 범용 언어 모델 축소 |
| 정책 위 증류 | 학생이 만든 문장에 대한 교사 확률 | 학습 중 학생 생성 · 교사 채점 | 요약 · 번역 · 추론 과제에서 효과 확인(Agarwal 2024 초록) | 긴 문장 생성 모델 |
| 양자화 · 가지치기 | — (교사 없이 기존 모델을 깎음) | 보정 데이터 · 재학습 선택 | 양자화 · 가지치기에서 다룸 | 구조를 바꾸지 않고 줄일 때 |
분석분류 모델은 응답 기반부터 쓰고, 학생이 교사보다 훨씬 얇거나 깊으면 특징 기반을, 큰 교사가 오히려 학생을 나쁘게 하면 조교를 끼우며, 문장을 길게 만드는 모델은 정책 위 증류로 간다. 근거는 표의 「공개 결과」 행 — 응답 기반은 교사 구조 없이 오류를 절반으로 줄였고, 조교 하나가 같은 학생을 72.57 → 73.51% 로 더 올렸다.
7실무 진단 — 증류 학생이 기대보다 나쁠 때
분석교사 출력 → 손실 배선 → 크기 차 → 일치도 → 생성 분포 순으로 본다. 소프트 타깃이 뾰족하면 뒤 단계를 아무리 고쳐도 학생이 받는 정보가 없기 때문이다(Hinton 2015 1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 증류 학생이 레이블만 쓴 학생과 같음 | 온도가 낮아 소프트 타깃이 원핫과 비슷 | 교사 출력 | 전이 집합 위 교사 확률의 평균 엔트로피 | 최대 ln K 에 비해 0 가까우면 T 를 올림(사례 T = 1 → 0.10 · T = 4 → 1.81 · K = 10 이면 2.30) |
| 2 | 온도를 바꿀 때마다 좋은 α 가 크게 바뀜 | 소프트 손실에 T² 를 곱하지 않음 | 손실 배선 | 손실 코드 · 두 손실의 기울기 크기 비 | 소프트 기울기 ∝ 1/T² · T² 곱이 맞음(Hinton 2015 2절) |
| 3 | 교사를 더 크게 바꿨더니 학생이 나빠짐 | 교사 · 학생 크기 차 | 크기 차 | 교사 크기별 학생 정확도 · 일찍 멈춘 교사 | 조교 끼움(Mirzadeh 2020) · 교사 조기 종료(Cho 2019) |
| 4 | 정확도는 올랐는데 교사와 답이 자주 다름 | 최적화가 교사 함수를 다 따라가지 못함 | 일치도 | 시험 데이터 위 교사 · 학생 최상위 일치율 | 학생 용량이 충분해도 큰 차이가 남을 수 있음(Stanton 2021 · 사례 T = 4 일치 96.74%) |
| 5 | 생성 모델 학생이 긴 답에서 무너짐 | 학습 때 본 문장과 추론 때 스스로 만든 문장이 다름 | 생성 분포 | 길이별 품질 · 학생 생성문에 대한 교사 확률 | 학생 생성문으로 증류(Agarwal 2024 2절) |
크기 차는 같은 학생에 교사를 둘 이상 붙여 보면 바로 드러난다 — 큰 교사 쪽 학생이 더 나쁘면 온도보다 크기 차가 원인이다(Cho 2019 초록).
8시험 대비
www.q-net.or.kr시험에서는 지식 증류의 정의 · 온도 · 소프트 타깃 · 손실 구성을 묻는 정의 · 특징형, 그리고 응답 기반 → 특징 기반 → 언어 모델 증류로 이어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 식 q_i = exp(z_i / T) ÷ Σ exp(z_j / T) 와 T² 보정을 함께 쓰면 정의 수준을 넘는다.
- 개요 — 정의 · 경량화 셋(양자화 · 가지치기 · 지식 증류) 중 «구조를 새로 정해 다시 학습»하는 방법 · Buciluă 2006 → Hinton 2015
- 구조 — 그림 3 교사 · 학생 · 두 손실 · α · T² 보정 · 온도 softmax 식
- 동작 — 그림 4 전이 집합 600개 사례 단계 · 소프트 타깃 값 98.4 → 44.0%
- 온도 선택 — 그림 5 온도별 학생 정확도 · 중간 온도가 가장 좋은 이유
- 방식 비교 — 응답 · 특징 · 조교 · 사전 학습 · 정책 위 증류 표
- 한계와 동향 — 크기 차 · 교사와의 불일치 · 언어 모델 증류 · 양자화와 함께 쓰기
꼭 쓸 키워드
교사 모델학생 모델소프트 타깃온도 TT² 보정전이 집합힌트(FitNets)조교 모델정책 위 증류앙상블 압축
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 온도를 «T = 1 은 레이블만 쓴 것과 같고 T = 4 가 격차의 59% 를 메운다»로 보이는 것이다 — 「작은 확률에 정보가 있다」를 숫자로 증명한다.
9오해와 사실
- 오해정확한 교사일수록 좋은 교사다.사실더 큰 · 더 정확한 교사가 오히려 작은 학생을 나쁘게 만드는 일이 흔하며, 그 원인은 크기 차이고 교사를 일찍 멈추면 줄어든다(Cho 2019 초록 · Mirzadeh 2020 표 1).
- 오해증류된 학생은 교사를 거의 그대로 따라 한다.사실학생 용량이 충분해도 교사와 예측 분포 차이가 크게 남을 수 있고, 교사와 더 닮는다고 시험 성능이 늘 좋아지지도 않는다(Stanton 2021 초록).
- 오해증류에는 원래 학습 데이터와 레이블이 꼭 있어야 한다.사실전이 집합은 레이블 없는 데이터여도 되고, 음성 모델은 데이터의 3%만으로 시험 프레임 정확도 57.0% 를 내 레이블 학습(44.5%)보다 훨씬 덜 과적합했다(Hinton 2015 6절 표 5).
10핵심 정리
| 구분 | 맡는 일 | 식 · 설정 | 사례 · 공개 값 | 근거 |
|---|---|---|---|---|
| 교사 모델 | 소프트 타깃 생성 · 얼림 | 큰 모델 · 앙상블 | 73,738개 · 99.89% | Hinton 2015 1절 |
| 학생 모델 | 배포용 작은 모델 | 구조를 새로 정함 | 506개 · 93.85 → 96.73% | 사례 |
| 온도 T | 작은 확률을 키움 | exp(z / T) ÷ Σ | 학생이 작으면 2.5 ~ 4 | Hinton 2015 2 · 3절 |
| 소프트 타깃 | 클래스 사이 닮음 전달 | 교사 T 온도 확률 | 98.4 → 44.0%(T = 4) | Hinton 2015 1절 |
| 손실 · T² 보정 | 두 손실을 섞음 | α · T² · KL + (1 − α) · CE | α = 0.9 | Hinton 2015 2절 |
| 전이 집합 | 교사 출력을 받을 입력 | 레이블 없어도 됨 | 3% 로 57.0% | Hinton 2015 6절 |
| 특징 · 조교 증류 | 중간 표현 · 크기 차 메움 | 회귀기 · 중간 모델 | 10.4배 적은 학생 · 73.51% | Romero 2015 · Mirzadeh 2020 |
| 언어 모델 증류 | 큰 언어 모델 축소 | 사전 학습 · 정책 위 | 66M · 97% | Sanh 2019 · Agarwal 2024 |
11참고 문헌
- 먼저 볼 문헌
- ★ Distilling the Knowledge in a Neural Network (NIPS 2014 Deep Learning Workshop · arXiv:1503.02531) — 온도 softmax 식 · T² 보정 · MNIST 와 음성 인식 실험 수치를 볼 때
- ★ Model Compression (KDD 2006 · 저자 공개판) — 앙상블을 작은 신경망 하나로 줄인 첫 출발점을 볼 때
- ★ FitNets: Hints for Thin Deep Nets (ICLR 2015 · arXiv:1412.6550) — 출력 대신 중간 표현을 옮기는 특징 기반 증류를 볼 때
- ★ Improved Knowledge Distillation via Teacher Assistant (AAAI 2020 · arXiv:1902.03393) — 교사 · 학생 크기 차이가 클 때 조교 모델을 끼우는 방법을 볼 때
- ★ On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes (ICLR 2024 · arXiv:2306.13649) — 생성 모델 증류의 학습 · 추론 분포 불일치를 볼 때
- 본문 근거
- Do Deep Nets Really Need to be Deep? (NIPS 2014 · arXiv:1312.6184) — Ba · Caruana · 2013-12 ·
arxiv.org/abs/1312.6184· 확인 2026-11-12 - DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (arXiv:1910.01108) — Sanh · Debut · Chaumond · Wolf · 2019-10 ·
arxiv.org/abs/1910.01108· 확인 2026-11-12 - On the Efficacy of Knowledge Distillation (ICCV 2019 · arXiv:1910.01348) — Cho · Hariharan · 2019-10 ·
arxiv.org/abs/1910.01348· 확인 2026-11-12 - Does Knowledge Distillation Really Work? (NeurIPS 2021 · arXiv:2106.05945) — Stanton et al. · 2021-06 ·
arxiv.org/abs/2106.05945· 확인 2026-11-12 - NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-12