양자화Quantization
학습된 신경망의 가중치 · 활성값을 FP32 · FP16 에서 INT8 · INT4 · FP8 같은 좁은 수 격자로 옮겨 저장 크기와 연산 비용을 줄이는 경량화 기법이다. 각 정수는 눈금(scale) · 영점(zero point) 두 값으로 실제 값에 되돌려진다.
1요약
- 양자화는 AI 운영의 경량화 단계에서 학습이 끝난 모델의 수 표현을 좁히는 일로, 눈금 · 영점 식 r = s(q − Z)(Jacob 2018 2.1절 식 1)로 정수와 실제 값을 잇고, 그 위에서 INT8 정수 곱셈 커널 · 4비트 LLM 서빙 · 휴대폰 추론이 돈다.
- FP32 가중치는 값 하나가 4바이트라 큰 모델은 메모리에 들어가지 않는다 — 8비트 가중치는 모델 크기를 1/4 로 줄이고 CPU 에서 2 ~ 3배 빨리 돌며, 채널별 8비트 PTQ 의 정확도 하락은 2% 안쪽이다(Krishnamoorthi 2018 초록).
- 「양자화하니 정확도가 떨어졌다」는 가중치 탓인가 활성값 탓인가로 가른다 — 한쪽만 높은 비트로 되돌려 회복되는 쪽이 원인이다(Nagel 2021 3.7절).
2등장 배경
FP32 로 학습한 신경망을 휴대폰 · 내장 기기에 올리려면 메모리 · 전력 · 정수 연산기만 있는 칩이 걸림돌이었다. 수억 개 값 하나하나에 4바이트를 쓰면서도 실제로는 그만한 정밀도가 필요하지 않다는 것이 문제의 출발이었다.
Han · Mao · Dally(2016)는 가지치기와 함께 학습 중 양자화로 연결 하나의 비트 수를 32 에서 5 로 줄여 AlexNet 을 240 MB 에서 6.9 MB 로 압축했다(Han 2016 초록). Jacob 외(2018)는 눈금 · 영점 방식과 양자화를 흉내 내는 학습으로 정수 연산만 쓰는 추론을 정리했고, 같은 해 Krishnamoorthi 는 채널별 8비트 PTQ 와 QAT 의 정확도 차이를 여러 CNN 에서 쟀다.
거대 언어 모델이 나오며 양자화는 «안 들어가는 모델을 넣는» 수단이 됐다. Dettmers 외(2022)는 6.7B 매개변수 무렵 활성값 이상값이 모든 계층에 나타나는 현상을 보였고(Dettmers 2022 1절), GPTQ(2022) · SmoothQuant(2022) · AWQ(2023)가 4비트 가중치 · 8비트 활성값을 실용 수준으로 끌어올렸다. 지금은 FP8(E4M3 · E5M2 · Micikevicius 2022)과 블록 눈금 형식(Rouhani 2023)이 하드웨어 표준으로 들어오고 있다.
3쉽게 이해하기 — 16단계 카드에 적는 반 학생 키
체육 선생님 민서는 반 학생 30명의 키를 소수점까지 적는 대신, 단계가 16개뿐인 기록 카드에 번호만 적기로 한다. 가장 작은 학생(140 cm)을 0번, 가장 큰 학생을 15번으로 두고 그 사이를 같은 단계 간격으로 나눈다. 그런데 농구부 학생 하나가 190 cm 라 간격이 3.3 cm 로 벌어지고, 150 cm 근처의 학생 넷이 번호 두 개에 몰려 버린다. 민서는 농구부 학생을 따로 적고 반 카드를 다시 만들어 간격을 1.5 cm 로 좁힌다.
그림 1 · 민서는 키를 단계 16개의 번호로 적고 단계 간격 · 기준으로 다시 읽는다 — 큰 학생 하나가 간격을 벌리면 따로 적거나 반마다 카드를 둔다.
그림 2 · 농구부가 낀 카드 하나는 간격이 3.3 cm 라 150 cm 근처 네 명이 번호 두 개에 몰리고, 반 카드(간격 1.5 cm)는 네 명을 번호 네 개에 따로 적는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 학생 키(소수점까지) | FP32 가중치 · 활성값 | 학습이 끝난 모델의 원래 값 |
| 단계 16개짜리 카드 | INT4 정수 격자 | 값을 2⁴ = 16개 정수 중 하나로만 적는다 |
| 단계 간격 | 눈금 s | 정수 1이 실제 값으로 얼마인지 |
| 0번 = 140 cm | 영점 Z | 실제 값의 기준이 정수 몇에 놓이는지(대칭이면 0) |
| 가까운 번호 적기 | 반올림 · 양자화 | q = round(r / s) + Z |
| 번호로 키 되읽기 | 역양자화 | r ≈ s(q − Z) · 오차는 눈금의 절반 이하 |
| 농구부 190 cm | 이상값 | 범위를 넓혀 나머지 값의 눈금을 거칠게 만든다 |
| 반마다 카드 | 채널 · 블록별 눈금 | 값 블록마다 눈금을 따로 둔다 |
⚠ 비유가 맞지 않는 곳: 학생 키는 적은 뒤 읽기만 하지만, 양자화된 값은 정수끼리 곱하고 더한 뒤 눈금을 다시 곱한다. 또 농구부를 «잘라» 162 cm 로 적는 선택(절단)도 있는데, 키 기록에서는 틀린 기록이지만 신경망에서는 전체 오차를 줄이는 정상 방법이다(그림 5).
4구조 — 눈금 · 단위 · 범위 · 정수 연산
양자화는 «무엇을(가중치 · 활성값) · 몇 비트로 · 몇 개 값마다 눈금 하나 · 어떤 범위로» 넷을 정하면 결정된다. 가중치는 미리 알지만 활성값은 입력마다 달라, 정적 방식은 보정 데이터로 범위를 미리 재고 동적 방식은 실행 때 잰다(ONNX Runtime 양자화).
그림 3 · 가중치와 활성값이 각자 범위를 재 눈금을 얻고, 정수끼리 곱한 합을 32비트에 모은 뒤 두 눈금을 곱해 실제 값으로 돌아간다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 눈금 · 영점 | r = s(q − Z) · 대칭 방식은 Z = 0 · s = 최댓값 ÷ 127(INT8) | s = 0.001184 | Jacob 2018 2.1절 식 1 |
| 눈금 단위 | 텐서 하나 · 출력 채널별 · 블록(32 · 128개 값)별 | 눈금 1 · 512 · 8,192개 | Nagel 2021 2.4절 |
| 범위 정하기 | 최댓값(절단 없음) · 백분위 · MSE · 엔트로피 | INT4 최적 2.5σ | Nagel 2021 3.1절 · ONNX Runtime |
| 보정 데이터 | 정적 방식에서 활성값 범위를 재는 표본 | 이미지 500 ~ 1,000장이면 대개 충분 | Nagel 2021 3.6절 각주 |
| 정수 누산 | INT8 곱을 32비트에 모아 넘침 방지 | 최댓값 120,222 | Jacob 2018 2.4절 식 10 |
| 수 형식 | INT8 · INT4 · FP8(E4M3 · E5M2) · 블록 눈금 형식 | 블록 32 | Micikevicius 2022 · Rouhani 2023 |
가지치기가 값의 개수를, 지식 증류가 모델 자체의 크기를 줄인다면 양자화는 값 하나의 비트 수를 줄인다. 셋은 함께 쓸 수 있고(Han 2016), 양자화된 모델을 어떤 커널 · 배치로 서빙하는가는 추론 최적화가, INT8 곱셈기 배열은 AI 가속기가 다룬다.
5동작 — 512 × 512 선형 계층을 INT8 · INT4 로 줄이기
아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 의 default_rng(0) 과 np.round(가까운 짝수 반올림)를 썼고, 가중치 크기는 설명용 가정 값이다.
- 가중치 W 512 × 512 를 만든다 — 출력 행마다 표준편차를 0.005 ~ 0.04 로 달리 주고(가정 값), 입력 X 는 64 × 512 표준 정규 · FP32 크기 1,048,576 B.
- 텐서 하나 INT8 대칭 — max|W| 0.1503 → s = 0.1503 ÷ 127 = 0.001184 · w = 0.004021 은 round(3.40) = 3 → 되읽기 0.003551(오차 0.00047 ≤ s/2) · 크기 262,144 B · SQNR 34.8 dB.
- 채널별 INT8 — 행마다 눈금 512개(FP16 저장 1,024 B 추가) → SQNR 42.6 dB(+7.8 dB) · 작은 행이 큰 행의 거친 눈금을 빌려 쓰지 않게 된다.
- INT4 — 텐서 하나 9.9 dB → 채널별 17.4 dB → 블록 128 18.6 dB → 블록 32 20.2 dB · 크기 131,072 B 에서 블록 32 는 147,456 B(가중치당 4.5비트).
- 정수 경로 — 입력도 INT8(텐서 하나)로 바꿔 INT8 × INT8 곱을 INT32 에 모으면 합의 최댓값 120,222 로 16비트 상한 32,767 을 넘는다 · 두 눈금을 곱해 되돌린 출력 SQNR 38.2 dB.
- 활성값 이상값 — 입력 7번 채널만 20배로 키우면 max|X| 4.32 → 41.16 이 되고 같은 INT8 경로의 출력 SQNR 은 22.7 dB 로 떨어진다.
- 어려움 옮기기 — 채널마다 s_j = √max|X_j| ÷ √max|W_j|(α = 0.5 · Xiao 2023 4절 식 4)로 X 는 나누고 W 는 곱하면(7번 채널 22.1 · 중앙값 5.27) 출력 SQNR 34.2 dB 로 회복된다.
- 범위 고르기 — 행 표준편차로 나눈 가중치를 INT4 로 줄일 때 범위를 최댓값 4.73σ 대신 2.5σ 로 자르면 평균 제곱 오차가 0.0380σ² → 0.0121σ², SQNR 14.2 → 19.2 dB(그림 5).
그림 4 · 같은 4비트라도 눈금을 32개 값마다 두면 텐서 하나일 때보다 SQNR 이 10.3 dB 높고, 저장 크기는 12.5% 늘어난다.
그림 5 · 범위를 좁히면 반올림 오차는 줄고 절단 오차는 늘어, INT4 의 전체 오차는 최댓값(4.73σ)이 아니라 2.5σ 근처에서 가장 작다.
🔑 양자화 오차는 비트 수만이 아니라 «눈금 하나를 몇 개 값이 나눠 쓰는가»가 정한다 — 이상값 하나가 낀 블록은 나머지 값 전부의 눈금을 거칠게 만든다.
🔑 범위를 넓히면 반올림 오차가, 좁히면 절단 오차가 커진다 — 좋은 범위는 최댓값이 아니라 두 오차가 맞먹는 곳이다(Nagel 2021 2.2절).
6비교 — PTQ · 동적 · QAT · 가중치 4비트 · W8A8
| 방식 | 다시 학습 | 필요한 데이터 | 주 비트(가중치 / 활성값) | 공개 결과 | 맞는 곳 |
|---|---|---|---|---|---|
| 정적 PTQ | 없음 | 보정 표본(이미지 500 ~ 1,000장) | 8 / 8 | 채널별 8비트 하락 2% 안(Krishnamoorthi 2018) | CNN · 고정 입력 크기 |
| 동적 양자화 | 없음 | 없음(실행 때 범위) | 8 / 8(실행 중 계산) | 정확도 대개 높고 실행 부담 있음(ONNX Runtime) | RNN · 트랜스포머 CPU 추론 |
| QAT | 미세 조정 | 레이블 있는 학습 데이터 | 8 · 4 / 8 | 8비트 차이 1% · 4비트 2 ~ 10%(Krishnamoorthi 2018) | 4비트 이하 · 정확도 우선 |
| 가중치 4비트(GPTQ · AWQ) | 없음 | 보정 문장 소량 | 3 ~ 4 / 16 | 175B 를 GPU 4시간 · A100 3.25배(Frantar 2023) | LLM 생성(메모리 대역폭 병목) |
| W8A8(SmoothQuant) | 없음 | 보정 문장 소량 | 8 / 8 | 최대 1.56배 · 메모리 1/2(Xiao 2023) | LLM 대량 처리(연산 병목) |
분석8비트면 정적 PTQ 부터, 4비트 이하에서 정확도가 모자라면 QAT 로 가고, LLM 은 토큰을 하나씩 내는 생성이 가중치 읽기에 묶이면 가중치 4비트를, 배치가 커 연산에 묶이면 W8A8 을 고른다. 근거는 표의 「공개 결과」 행 — 가중치만 줄인 GPTQ 가 생성 속도 3.25배, 연산까지 정수로 바꾼 SmoothQuant 가 최대 1.56배를 냈다.
QLoRA 처럼 4비트로 얼린 모델 위에서 학습하는 방식은 미세 조정이 다룬다.
7실무 진단 — 양자화 뒤 정확도 하락 가르기
분석변환 자체 → 가중치 · 활성값 중 어느 쪽 → 어느 계층 → 속도 순으로 본다. 변환 오류는 비트를 32로 되돌려도 남으므로 가장 먼저 걸러야 뒤 단계 판단이 흐려지지 않는다(Nagel 2021 3.7절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 비트를 32로 두어도 FP32 와 결과가 다름 | 그래프 변환 · 전처리 · 연산 융합 오류 | 변환 | 양자화 연산을 건너뛴 모델의 정확도 | FP32 와 같아야 함(Nagel 2021 3.7절 「FP32 sanity check」) |
| 2 | 가중치만 8비트 이상으로 되돌리면 회복 | 텐서 하나 눈금 · 반올림 오차 | 가중치 | 채널별 · 블록별 눈금 · GPTQ 재시험 | 사례 INT4 9.9 → 20.2 dB(그림 4) |
| 3 | 활성값만 높은 비트로 되돌리면 회복 | 이상값 채널 · 보정 범위 | 활성값 | 채널별 max|X| ÷ 표준편차 · 보정 방식 MinMax ↔ Percentile · Entropy | 이상값 채널이 있으면 SmoothQuant · 혼합 정밀도(Xiao 2023 3절) |
| 4 | 특정 계층 출력만 크게 벌어짐 | 민감한 계층(첫 · 끝 계층 등) | 계층 | qdq_loss_debug 의 create_activation_matching() 계층별 비교(ONNX Runtime) | 벌어진 계층만 FP16 으로 남김 |
| 5 | 정확도는 됐는데 빨라지지 않음 | 정수 커널이 없어 역양자화 뒤 FP 연산 | 실행 | 프로파일러의 연산별 시간 · 6.7B 미만 모델 | 작은 모델은 FP16 보다 느릴 수 있음(Dettmers 2022 3.4절) → 추론 최적화 |
가중치 · 활성값 시험은 «한쪽만 높은 비트» 두 번으로 끝난다 — 둘 다 조금씩 회복되면 활성값부터 고친다. 활성값 이상값은 범위 하나만으로 맞추기 어렵기 때문이다(Xiao 2023 3절).
8시험 대비
www.q-net.or.kr시험에서는 양자화의 정의 · 눈금 · 영점 · 이점과 한계를 묻는 정의 · 특징형, 그리고 PTQ 와 QAT(또는 가중치 전용 · W8A8)를 견주는 비교형이 나올 수 있다. 식 r = s(q − Z) 와 «반올림 ↔ 절단» 맞바꿈을 수치로 보이면 정의 수준을 넘는다.
- 개요 — 정의 · 경량화 셋(가지치기 · 지식 증류 · 양자화) 중 위치 · 8비트 = 크기 1/4
- 구조 — 그림 3 범위 → 눈금 · 영점 → 정수 곱셈 · INT32 누산 → 다시 눈금 · 식 r = s(q − Z)
- 눈금 단위 — 그림 4 텐서 · 채널 · 블록별 SQNR 과 저장 크기
- 범위 설정 — 그림 5 반올림 오차 ↔ 절단 오차 · 최댓값 · 백분위 · MSE
- 방식 비교 — 정적 PTQ · 동적 · QAT · GPTQ · SmoothQuant 표(다시 학습 · 데이터 · 비트)
- 한계와 동향 — 활성값 이상값(6.7B) · FP8 · 블록 눈금 형식 · 진단 순서
꼭 쓸 키워드
눈금(scale)영점(zero point)대칭비대칭 양자화채널별 양자화보정 데이터PTQQATSTE이상값SQNR
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 범위를 고르는 판단을 «최댓값 4.73σ 보다 2.5σ 가 오차 3.1배 작다»로 보이는 것이다 — 「정확도가 약간 떨어진다」 대신 오차가 어디서 생기는지를 숫자로 가른다.
9오해와 사실
- 오해범위는 최댓값으로 잡아야 오차가 가장 작다.사실최댓값은 절단 오차를 0으로 만들 뿐 반올림 오차를 키우며, 사례 INT4 에서는 2.5σ 로 잘랐을 때 평균 제곱 오차가 3.1배 작았다(Nagel 2021 3.1절).
- 오해양자화하면 언제나 빨라진다.사실정수 커널이 없으면 역양자화 뒤 FP16 으로 곱해 메모리만 줄고, LLM.int8() 은 6.7B 미만 모델에서 FP16 보다 느릴 수 있다(Dettmers 2022 3.4절).
- 오해QAT 는 정수로 학습한다.사실QAT 는 FP32 로 학습하면서 순전파에만 양자화를 흉내 내고, 반올림의 기울기는 1로 근사한다(STE · Nagel 2021 4.1절 식 36 · Jacob 2018 3절).
10핵심 정리
| 구분 | 맡는 일 | 비트(가중치 / 활성값) | 데이터 · 학습 | 사례 · 공개 값 | 근거 |
|---|---|---|---|---|---|
| 눈금 · 영점 | 정수 ↔ 실제 값 변환 | — | — | s = 0.001184 · 오차 ≤ s/2 | Jacob 2018 2.1절 |
| 채널 · 블록 눈금 | 이상값 영향 범위를 좁힘 | 4 · 8 | — | INT4 9.9 → 20.2 dB | Nagel 2021 2.4절 |
| 범위 설정 | 반올림 ↔ 절단 맞바꿈 | 4 · 8 | 보정 표본 | 4.73σ → 2.5σ · 오차 1/3.1 | Nagel 2021 2.2 · 3.1절 |
| 정적 PTQ | 학습 없이 변환 | 8 / 8 | 보정 500 ~ 1,000장 | 하락 2% 안 | Krishnamoorthi 2018 |
| QAT | 양자화 흉내 학습 · STE | 4 · 8 / 8 | 레이블 데이터 · 미세 조정 | 8비트 1% · 4비트 2 ~ 10% | Jacob 2018 3절 |
| 가중치 4비트 | LLM 메모리 · 대역폭 절감 | 3 ~ 4 / 16 | 보정 문장 | 175B · GPU 4시간 | Frantar 2023 · Lin 2024 |
| W8A8 | 활성값 이상값을 가중치로 옮김 | 8 / 8 | 보정 문장 · α = 0.5 | 22.7 → 34.2 dB | Xiao 2023 4절 |
| FP8 · 블록 형식 | 하드웨어 표준 형식 | 8 · 4 | — | E4M3 · E5M2 · 블록 32 | Micikevicius 2022 · Rouhani 2023 |
11참고 문헌
- 먼저 볼 문헌
- ★ A White Paper on Neural Network Quantization (arXiv:2106.08295) — 반올림 오차와 절단 오차의 맞바꿈 · PTQ 표준 절차 · 디버깅 순서를 볼 때
- ★ Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (arXiv:1712.05877) — 눈금 · 영점 식과 정수만으로 하는 행렬 곱 · 양자화 흉내 학습을 볼 때
- ★ GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (ICLR 2023 · arXiv:2210.17323) — 거대 언어 모델 가중치를 3 ~ 4비트로 한 번에 줄이는 방법을 볼 때
- ★ SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models (ICML 2023 · arXiv:2211.10438) — 활성값 이상값의 어려움을 가중치로 옮기는 식을 볼 때
- ★ Quantize ONNX models (ONNX Runtime documentation) — 정적 · 동적 양자화 함수와 계층별 비교 도구를 볼 때
- 본문 근거
- Quantizing deep convolutional networks for efficient inference: A whitepaper (arXiv:1806.08342) — Krishnamoorthi (Google) · 2018-06 ·
arxiv.org/abs/1806.08342· 확인 2026-11-09 - LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale (NeurIPS 2022 · arXiv:2208.07339) — Dettmers · Lewis · Belkada · Zettlemoyer · 2022-08 ·
arxiv.org/abs/2208.07339· 확인 2026-11-09 - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (MLSys 2024 · arXiv:2306.00978) — Lin et al. · 2023-06 ·
arxiv.org/abs/2306.00978· 확인 2026-11-09 - Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding (ICLR 2016 · arXiv:1510.00149) — Han · Mao · Dally · 2015-10 ·
arxiv.org/abs/1510.00149· 확인 2026-11-09 - FP8 Formats for Deep Learning (arXiv:2209.05433) — Micikevicius et al. · 2022-09 ·
arxiv.org/abs/2209.05433· 확인 2026-11-09 - Microscaling Data Formats for Deep Learning (arXiv:2310.10537) — Rouhani et al. · 2023-10 ·
arxiv.org/abs/2310.10537· 확인 2026-11-09 - NumPy 2.4 Reference numpy.round — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/generated/numpy.round.html· 확인 2026-11-09