AI › AI 엔지니어링(AI 시스템 운영) › 경량화

지식 증류Knowledge Distillation

큰 교사 모델이 내는 클래스 확률 분포(소프트 타깃)를 정답 레이블과 함께 작은 학생 모델의 학습 목표로 삼아, 교사의 일반화 방식을 작은 모델로 옮기는 학습 기법이다.

1요약

  1. 지식 증류는 AI 운영의 경량화 단계에서 큰 교사 모델의 로짓을 온도 T 로 나눈 softmax(Hinton 2015 2절 식 1)로 부드러운 확률을 만들고, 이를 작은 학생 모델의 학습 목표로 쓰는 방법이다 — 그 위에서 앙상블 압축 · 작은 언어 모델 · 기기용 음성 · 비전 모델이 돈다.
  2. 작은 모델을 정답 레이블만으로 학습하면 데이터의 «닮은 정도»를 배우지 못한다 — MNIST 에서 은닉 800개 신경망은 시험 오류 146개였지만 교사의 소프트 타깃을 함께 배우자 74개로 줄었다(교사 67개 · Hinton 2015 3절).
  3. 「증류했는데 나아지지 않는다」는 교사 출력이 너무 뾰족한가, 교사와 학생의 크기 차가 너무 큰가로 가른다 — 앞은 온도를 올리면 풀리고, 뒤는 중간 크기 조교 모델을 끼우면 풀린다(Mirzadeh 2020 표 1).

2등장 배경

2000년대 중반 가장 정확한 분류기는 결정 트리 수백 ~ 수천 개를 묶은 앙상블이었다. 평균 크기가 약 500 MB 라 휴대 기기 · 보청기 같은 곳에는 올릴 수 없었고, 예측 하나에 트리 수천 개를 모두 돌려야 했다(Buciluă 2006 1 · 3절).

Buciluă · Caruana · Niculescu-Mizil(2006)은 앙상블이 단 레이블로 신경망 하나를 학습시켜, 성능을 거의 지키면서 앙상블보다 1,000배 넘게 작은 모델을 만들었다(Buciluă 2006 3절 표 4). Ba · Caruana(2014)는 깊은 신경망의 로짓을 제곱 오차로 따라 하게 해 얕은 신경망도 같은 정확도에 이를 수 있음을 보였다. Hinton · Vinyals · Dean(2015)은 softmax 에 온도를 넣어 로짓 맞추기를 일반화하고 «증류»라는 이름을 붙였다 — 로짓 맞추기는 높은 온도에서의 특수한 경우다(Hinton 2015 2.1절 식 4).

그 뒤 출력 대신 중간 표현을 옮기는 FitNets(Romero 2015), 사전 학습 단계의 증류 DistilBERT(Sanh 2019), 학생이 만든 문장에 교사가 점수를 주는 정책 위 증류(Agarwal 2024)로 넓어졌다. 지금은 큰 언어 모델을 작은 모델로 옮기는 기본 수단이고, 양자화 · 가지치기와 함께 쓴다.

3쉽게 이해하기 — 숙련 탐조가의 귀띔

숙련 탐조가 서 선생은 새 사진 2만 장을 보며 감별을 익혔다. 초보 도윤에게는 사진 600장과 정답 카드만 있는데, 서 선생은 이름만 말하지 않고 «참새가 거의 확실하지만, 굳이 고르면 박새와 조금 닮았다»고 귀띔해 준다. 평소 말투로는 «참새 98, 나머지는 1도 안 된다»라 작은 닮음이 묻히니, 서 선생은 말을 풀어서 «참새 44, 박새 13, 딱새 11»로 들려준다. 도윤은 작은 수첩 한 권에 이 귀띔을 받아 적고, 다음부터는 혼자 평소 말투로 감별한다.

1 숙련 탐조가 서 선생 교사 모델 · 73,738개 사진 600장 전이 집합 정답 카드 「참새」 정답 레이블 2 말 풀기 다이얼 평소 1 → 풀어서 4 온도 T 서 선생의 귀띔 참새 44 · 박새 13 · 딱새 11 소프트 타깃 3 초보 도윤의 수첩 귀띔 9할 · 정답 1할 학생 모델 · 506개 4 혼자 감별 평소 말투(1)로 답 추론(T = 1) 5 너무 풀면 다 비슷하게 들림 참새 15 · 나머지 8 ~ 11 온도 과다(T = 20) 교사 · 규칙 데이터 레이블 출력 학생 실패

그림 1 · 서 선생의 귀띔을 다이얼로 풀어 들려주면 도윤은 작은 수첩만으로 감별을 익힌다 — 다만 너무 풀면 모든 새가 비슷하게 들린다.

오래 익힘사진 2만 장
사진 건네기600장 · 정답 카드
말 풀기다이얼 1
4
귀띔 듣기참새 44 · 박새 13
수첩에 적기귀띔 9할 · 정답 1할
혼자 감별평소 말투로
비유 — 같은 참새 사진, 세 가지 말투 실제 — 교사 확률 평소 말투 「참새. 끝.」 참새 98.4 박새 0.8 딱새 0.4 나머지 0.0 T = 1 9번 98.4% · 5번 0.8% 엔트로피 0.10 풀어 말하기 「참새, 박새 조금」 참새 44.0 박새 13.2 딱새 11.2 나머지 3.4 T = 4 9번 44.0% · 5번 13.2% 엔트로피 1.81 지나치게 풀기 「다 비슷해요」 참새 14.5 박새 11.4 딱새 11.0 나머지 8.7 T = 20 9번 14.5% · 5번 11.4% 엔트로피 2.29(최대 2.30) 정답 새(9번) 닮은 새(5 · 0 · 8번) 나머지 6종 평균 딱새 = 0 · 8번 중 하나(같은 값)

그림 2 · 같은 사진도 평소 말투는 닮은 새를 0.8% 아래에 묻고, 풀어 말하면 닮음이 드러나며, 지나치게 풀면 정답까지 흐려진다.

비유 속 역할실제 이름실제로 하는 일
서 선생교사 모델큰 데이터로 미리 학습해 두고, 증류 중에는 가중치를 얼린다
사진 600장전이 집합학생이 교사 출력을 따라 배우는 입력 묶음(레이블 없어도 됨)
정답 카드정답 레이블T = 1 교차 엔트로피로 학생을 정답 쪽으로 당긴다
말 풀기 다이얼온도 T로짓을 T 로 나눠 작은 확률을 키운다
귀띔소프트 타깃정답 외 클래스 사이의 비율까지 담은 교사 확률
작은 수첩학생 모델매개변수가 교사의 1/146 인 모델
혼자 감별추론학습이 끝나면 학생만 T = 1 로 실행한다
다 비슷하게 들림온도 과다분포가 평평해져 학생 크기에 맞는 정보가 줄어든다

⚠ 비유가 맞지 않는 곳: 도윤은 귀띔을 말로 듣지만, 학생 모델은 교사 확률과 자기 확률의 차이를 기울기로 받아 가중치를 고친다. 또 다이얼을 올리면 기울기가 1/T² 로 작아지므로, 실제 학습에서는 그만큼 다시 곱해 준다(그림 3).

4구조 — 두 손실과 온도

학생은 같은 로짓 z 를 두 번 쓴다 — T 로 나눠 교사의 소프트 타깃 p 와 맞추고, T = 1 로 정답 레이블 y 와 맞춘다. 두 손실을 α : (1 − α) 로 섞고 소프트 쪽에 T² 를 곱한다(Hinton 2015 2절).

입력 x 전이 집합 교사 → v 73,738개 · 얼림 학생 → z 506개 · 학습 softmax(v / T) 소프트 타깃 p 10개 확률 softmax(z / T) = q_T softmax(z / 1) = q KL(p, q_T) × T² 교차 엔트로피(y, q) 정답 레이블 y 합 L α = 0.9 1 − α = 0.1 기울기는 학생에만 · 교사는 그대로 데이터 모델 · 손실 규칙 학생 모델 출력 · 손실 합 레이블 역전파 기울기

그림 3 · 학생 로짓 z 하나가 온도 T 의 소프트 손실과 T = 1 의 정답 손실로 갈라졌다가 α 로 합쳐지고, 기울기는 학생에게만 돌아간다.

요소역할사례 값근거
교사 모델소프트 타깃을 내는 큰 모델 · 증류 중 얼림은닉 256 · 256 · 73,738개Hinton 2015 1절
학생 모델배포할 작은 모델은닉 16 · 506개—
온도 Tq_i = exp(z_i / T) ÷ Σ exp(z_j / T)1 · 2 · 4 · 8 · 20Hinton 2015 2절 식 1
소프트 타깃 p교사의 T 온도 확률9번 98.4% → 44.0%(T = 4)Hinton 2015 1절
T² 보정소프트 기울기 (q − p) ÷ T 가 1/T² 로 줄어드는 것을 되돌림T = 4 → 16배Hinton 2015 2절 · 식 2
혼합 비율 α소프트 : 정답 손실 비중 · 정답 쪽을 작게0.9 : 0.1Hinton 2015 2절
전이 집합교사 출력을 받는 입력 · 레이블 없어도 됨600개(교사 데이터의 3%)Hinton 2015 1 · 6절

증류는 학습이 끝난 모델의 수를 깎는 양자화 · 가지치기와 달리 학생 구조를 처음부터 새로 정하고 다시 학습한다. 그래서 층 수 · 폭을 기기 예산에 맞춰 고를 수 있고, 학생을 다시 양자화할 수도 있다.

5동작 — 600개 레이블로 학생 신경망(은닉 16) 학습하기

아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 의 default_rng(0) 으로 합성 데이터를 만들었고(설명용 가정 값), 신경망과 Adam(학습률 0.003)은 NumPy 로 직접 구현했다.

  1. 데이터 — 20차원 · 10클래스(클래스마다 가우스 군집 3개)에서 교사용 20,000개를 뽑고, 그 앞 600개(3%)만 학생의 전이 집합으로 쓴다 · 시험 10,000개.
  2. 교사 — 은닉 256 · 256 신경망(73,738개)을 20,000개 레이블로 30회 학습 → 시험 정확도 99.89%.
  3. 기준선 — 은닉 16 학생(506개 · 교사의 1/146)을 600개 레이블만으로 300회 학습 → 훈련 100% · 시험 93.85% · 같은 학생에 레이블 20,000개를 주면 98.72%.
  4. 소프트 타깃 — 교사 로짓을 T 로 나눈다 · 9번 클래스 표본 하나는 T = 1 에서 9번 98.4% · 5번 0.8%, T = 4 에서 44.0% · 13.2%, T = 20 에서 14.5% · 11.4%(그림 2).
  5. 증류 학습 — 같은 시드 · 같은 300회로 α = 0.9, 소프트 기울기에 T² 를 곱해 T = 1 · 2 · 4 · 8 · 20 다섯 번 학습한다.
  6. 결과 — 시험 정확도 93.98 · 95.18 · 96.73 · 95.79 · 95.91% · T = 4 가 기준선보다 2.88%p 높아, 레이블 600개 ↔ 20,000개 격차 4.87%p 의 59% 를 메운다.
  7. 반복 — 학생 시드 3 · 4 · 5 로 다시 돌리면 T = 4 가 기준선보다 3.0 ~ 4.4%p 높고, T = 1 은 0.1 ~ 0.2%p 차이에 그친다 · 가장 좋은 온도는 시드에 따라 4 또는 20.
1 데이터 20차원 · 10클래스 교사 2만 · 학생 600 시험 10,000 2 교사 학습 은닉 256 · 256 매개변수 73,738 시험 99.89% 3 기준선 학생 은닉 16 · 506개 레이블 600개만 시험 93.85% 4 소프트 타깃 교사 로짓 600 × 10 T = 1 · 2 · 4 · 8 · 20 9번 98.4 → 44.0% 5 증류 학습 α = 0.9 · T² 곱 같은 시드 · 300회 학습률 0.003 6 시험 T = 4 · 96.73% 기준선 +2.88%p 격차의 59% 7 시드 반복 학생 시드 3 · 4 · 5 T = 4 · +3.0 ~ 4.4%p T = 1 · +0.1 ~ 0.2%p 참고 기준 학생 + 레이블 20,000개 시험 98.72%

그림 4 · 교사는 2만 개로 익히고, 학생은 600개 레이블에 교사의 소프트 타깃을 더해 시험 정확도를 93.85% 에서 96.73% 로 올린다.

학생(은닉 16) 시험 정확도 · α = 0.9 · 전이 집합 600개 93 95 97 99 교사 99.89% 학생 + 레이블 2만 개 98.72% 레이블 600개만 93.85% 93.98 95.18 T = 4 · 96.73 95.79 95.91 +2.88%p 격차 4.87%p 의 59% 레이블만 T = 1 T = 2 T = 4 T = 8 T = 20 증류 학생 레이블만 학생 기준 · 참고선 가장 좋은 온도(굵은 테두리)

그림 5 · 온도를 올리면 학생이 좋아지다가 T = 4 근처를 지나면 다시 떨어진다 — T = 1 은 레이블만 쓴 것과 거의 같다.

🔑 증류가 옮기는 것은 정답이 아니라 오답 사이의 비율이다 — T = 1 에서는 그 비율이 1% 아래에 묻혀, 학생은 레이블만 배운 것과 거의 같아진다(사례 93.85 → 93.98%).

🔑 온도는 높을수록 좋은 값이 아니라 학생 크기에 맞춰 고르는 값이다 — 작은 학생일수록 지나치게 평평한 분포를 다 따라가지 못해 중간 온도가 가장 좋다(Hinton 2015 3절 · 은닉 30개에서 T 2.5 ~ 4).

6비교 — 무엇을 옮기는가에 따른 증류 방식

방식학생이 따라 하는 것추가로 필요한 것공개 결과맞는 곳
응답 기반(소프트 타깃)교사의 출력 확률(T 온도)온도 · αMNIST 오류 146 → 74(Hinton 2015 3절)분류 · 교사 구조를 몰라도 됨
특징 기반(힌트)교사의 중간 표현학생 → 교사 표현 회귀기매개변수 10.4배 적은 학생이 교사 앞섬(Romero 2015 초록)얇고 깊은 학생 · 비전
조교 거친 다단계중간 크기 조교의 출력조교 모델 학습 한 번 더CIFAR-10 CNN 70.16 / 72.57 / 73.51%(Mirzadeh 2020 표 1)교사 · 학생 크기 차가 클 때
사전 학습 단계 증류언어 모델 출력 + 은닉 방향사전 학습 말뭉치매개변수 110M → 66M · 성능 97% · 60% 빠름(Sanh 2019)범용 언어 모델 축소
정책 위 증류학생이 만든 문장에 대한 교사 확률학습 중 학생 생성 · 교사 채점요약 · 번역 · 추론 과제에서 효과 확인(Agarwal 2024 초록)긴 문장 생성 모델
양자화 · 가지치기— (교사 없이 기존 모델을 깎음)보정 데이터 · 재학습 선택양자화 · 가지치기에서 다룸구조를 바꾸지 않고 줄일 때

분석분류 모델은 응답 기반부터 쓰고, 학생이 교사보다 훨씬 얇거나 깊으면 특징 기반을, 큰 교사가 오히려 학생을 나쁘게 하면 조교를 끼우며, 문장을 길게 만드는 모델은 정책 위 증류로 간다. 근거는 표의 「공개 결과」 행 — 응답 기반은 교사 구조 없이 오류를 절반으로 줄였고, 조교 하나가 같은 학생을 72.57 → 73.51% 로 더 올렸다.

7실무 진단 — 증류 학생이 기대보다 나쁠 때

분석교사 출력 → 손실 배선 → 크기 차 → 일치도 → 생성 분포 순으로 본다. 소프트 타깃이 뾰족하면 뒤 단계를 아무리 고쳐도 학생이 받는 정보가 없기 때문이다(Hinton 2015 1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1증류 학생이 레이블만 쓴 학생과 같음온도가 낮아 소프트 타깃이 원핫과 비슷교사 출력전이 집합 위 교사 확률의 평균 엔트로피최대 ln K 에 비해 0 가까우면 T 를 올림(사례 T = 1 → 0.10 · T = 4 → 1.81 · K = 10 이면 2.30)
2온도를 바꿀 때마다 좋은 α 가 크게 바뀜소프트 손실에 T² 를 곱하지 않음손실 배선손실 코드 · 두 손실의 기울기 크기 비소프트 기울기 ∝ 1/T² · T² 곱이 맞음(Hinton 2015 2절)
3교사를 더 크게 바꿨더니 학생이 나빠짐교사 · 학생 크기 차크기 차교사 크기별 학생 정확도 · 일찍 멈춘 교사조교 끼움(Mirzadeh 2020) · 교사 조기 종료(Cho 2019)
4정확도는 올랐는데 교사와 답이 자주 다름최적화가 교사 함수를 다 따라가지 못함일치도시험 데이터 위 교사 · 학생 최상위 일치율학생 용량이 충분해도 큰 차이가 남을 수 있음(Stanton 2021 · 사례 T = 4 일치 96.74%)
5생성 모델 학생이 긴 답에서 무너짐학습 때 본 문장과 추론 때 스스로 만든 문장이 다름생성 분포길이별 품질 · 학생 생성문에 대한 교사 확률학생 생성문으로 증류(Agarwal 2024 2절)

크기 차는 같은 학생에 교사를 둘 이상 붙여 보면 바로 드러난다 — 큰 교사 쪽 학생이 더 나쁘면 온도보다 크기 차가 원인이다(Cho 2019 초록).

8시험 대비

출제 정보 컴퓨터시스템응용(123회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 지식 증류의 정의 · 온도 · 소프트 타깃 · 손실 구성을 묻는 정의 · 특징형, 그리고 응답 기반 → 특징 기반 → 언어 모델 증류로 이어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 식 q_i = exp(z_i / T) ÷ Σ exp(z_j / T) 와 T² 보정을 함께 쓰면 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의 · 경량화 셋(양자화 · 가지치기 · 지식 증류) 중 «구조를 새로 정해 다시 학습»하는 방법 · Buciluă 2006 → Hinton 2015
  2. 구조 — 그림 3 교사 · 학생 · 두 손실 · α · T² 보정 · 온도 softmax 식
  3. 동작 — 그림 4 전이 집합 600개 사례 단계 · 소프트 타깃 값 98.4 → 44.0%
  4. 온도 선택 — 그림 5 온도별 학생 정확도 · 중간 온도가 가장 좋은 이유
  5. 방식 비교 — 응답 · 특징 · 조교 · 사전 학습 · 정책 위 증류 표
  6. 한계와 동향 — 크기 차 · 교사와의 불일치 · 언어 모델 증류 · 양자화와 함께 쓰기

꼭 쓸 키워드
교사 모델학생 모델소프트 타깃온도 TT² 보정전이 집합힌트(FitNets)조교 모델정책 위 증류앙상블 압축

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 온도를 «T = 1 은 레이블만 쓴 것과 같고 T = 4 가 격차의 59% 를 메운다»로 보이는 것이다 — 「작은 확률에 정보가 있다」를 숫자로 증명한다.

9오해와 사실

  • 오해정확한 교사일수록 좋은 교사다.
    사실더 큰 · 더 정확한 교사가 오히려 작은 학생을 나쁘게 만드는 일이 흔하며, 그 원인은 크기 차이고 교사를 일찍 멈추면 줄어든다(Cho 2019 초록 · Mirzadeh 2020 표 1).
  • 오해증류된 학생은 교사를 거의 그대로 따라 한다.
    사실학생 용량이 충분해도 교사와 예측 분포 차이가 크게 남을 수 있고, 교사와 더 닮는다고 시험 성능이 늘 좋아지지도 않는다(Stanton 2021 초록).
  • 오해증류에는 원래 학습 데이터와 레이블이 꼭 있어야 한다.
    사실전이 집합은 레이블 없는 데이터여도 되고, 음성 모델은 데이터의 3%만으로 시험 프레임 정확도 57.0% 를 내 레이블 학습(44.5%)보다 훨씬 덜 과적합했다(Hinton 2015 6절 표 5).

10핵심 정리

구분맡는 일식 · 설정사례 · 공개 값근거
교사 모델소프트 타깃 생성 · 얼림큰 모델 · 앙상블73,738개 · 99.89%Hinton 2015 1절
학생 모델배포용 작은 모델구조를 새로 정함506개 · 93.85 → 96.73%사례
온도 T작은 확률을 키움exp(z / T) ÷ Σ학생이 작으면 2.5 ~ 4Hinton 2015 2 · 3절
소프트 타깃클래스 사이 닮음 전달교사 T 온도 확률98.4 → 44.0%(T = 4)Hinton 2015 1절
손실 · T² 보정두 손실을 섞음α · T² · KL + (1 − α) · CEα = 0.9Hinton 2015 2절
전이 집합교사 출력을 받을 입력레이블 없어도 됨3% 로 57.0%Hinton 2015 6절
특징 · 조교 증류중간 표현 · 크기 차 메움회귀기 · 중간 모델10.4배 적은 학생 · 73.51%Romero 2015 · Mirzadeh 2020
언어 모델 증류큰 언어 모델 축소사전 학습 · 정책 위66M · 97%Sanh 2019 · Agarwal 2024

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Distilling the Knowledge in a Neural Network (NIPS 2014 Deep Learning Workshop · arXiv:1503.02531) — 온도 softmax 식 · T² 보정 · MNIST 와 음성 인식 실험 수치를 볼 때
    Hinton · Vinyals · Dean · 2015-03 · arxiv.org/abs/1503.02531 · 확인 2026-11-12
  3. ★ Model Compression (KDD 2006 · 저자 공개판) — 앙상블을 작은 신경망 하나로 줄인 첫 출발점을 볼 때
    Buciluă · Caruana · Niculescu-Mizil · 2006-08 · www.cs.cornell.edu/~caruana/compression.kdd06.pdf · 확인 2026-11-12
  4. ★ FitNets: Hints for Thin Deep Nets (ICLR 2015 · arXiv:1412.6550) — 출력 대신 중간 표현을 옮기는 특징 기반 증류를 볼 때
    Romero et al. · 2014-12 · arxiv.org/abs/1412.6550 · 확인 2026-11-12
  5. ★ Improved Knowledge Distillation via Teacher Assistant (AAAI 2020 · arXiv:1902.03393) — 교사 · 학생 크기 차이가 클 때 조교 모델을 끼우는 방법을 볼 때
    Mirzadeh et al. · 2019-02 · arxiv.org/abs/1902.03393 · 확인 2026-11-12
  6. ★ On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes (ICLR 2024 · arXiv:2306.13649) — 생성 모델 증류의 학습 · 추론 분포 불일치를 볼 때
    Agarwal et al. · 2023-06 · arxiv.org/abs/2306.13649 · 확인 2026-11-12
  7. 본문 근거
  8. Do Deep Nets Really Need to be Deep? (NIPS 2014 · arXiv:1312.6184) — Ba · Caruana · 2013-12 · arxiv.org/abs/1312.6184 · 확인 2026-11-12
  9. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (arXiv:1910.01108) — Sanh · Debut · Chaumond · Wolf · 2019-10 · arxiv.org/abs/1910.01108 · 확인 2026-11-12
  10. On the Efficacy of Knowledge Distillation (ICCV 2019 · arXiv:1910.01348) — Cho · Hariharan · 2019-10 · arxiv.org/abs/1910.01348 · 확인 2026-11-12
  11. Does Knowledge Distillation Really Work? (NeurIPS 2021 · arXiv:2106.05945) — Stanton et al. · 2021-06 · arxiv.org/abs/2106.05945 · 확인 2026-11-12
  12. NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-12