가지치기Pruning
학습된 신경망에서 출력에 덜 기여하는 가중치 · 뉴런 · 필터를 골라 0으로 만들거나 구조에서 들어내 매개변수 수와 연산량을 줄이는 경량화 기법이다. 잘라 낸 뒤에는 대개 남은 가중치를 다시 학습해 정확도를 되찾는다.
1요약
- 가지치기는 AI 운영의 경량화 단계에서 «값의 개수»를 줄이는 일로, 크기 기준 |w| 로 가중치를 고르는 비구조적 방식(Han 2015)과 뉴런 · 필터를 통째로 들어내는 구조적 방식(Li 2017)이 있고, 그 위에서 희소 행렬 저장 · 2:4 희소 연산기 · 작은 밀집 모델 서빙이 돈다.
- 큰 신경망은 매개변수 대부분이 없어도 같은 답을 낸다 — AlexNet 은 6,100만 개에서 670만 개로 9배 줄여도 정확도가 그대로였고, VGG-16 은 1억 3,800만 개에서 1,030만 개로 13배 줄었다(Han 2015 초록).
- 「잘랐는데 빨라지지 않는다」는 0이 흩어져 있는가, 행 · 열이 통째로 빠졌는가로 가른다 — 흩어진 0은 희소 커널이 있어야만 시간을 줄이고, 들어낸 행 · 열은 어느 장치에서나 곱셈 수를 줄인다.
2등장 배경
1980년대 말 신경망은 학습 데이터에 비해 매개변수가 많아 일반화가 나빴고, 어떤 연결을 빼도 되는지 가릴 기준이 없었다. LeCun · Denker · Solla(1989)의 Optimal Brain Damage 는 오차 함수의 2차 미분으로 연결마다 «지웠을 때 오차가 얼마나 느는가»를 셈해, 망 크기와 학습 오차를 맞바꾸는 기준을 처음 식으로 냈다(LeCun 1989 초록).
딥러닝이 커지며 목적이 «일반화»에서 «메모리 · 전력»으로 바뀌었다. Han 외(2015)는 크기가 작은 가중치를 지우고 남은 것을 다시 학습하는 세 단계로 AlexNet 매개변수를 9배 줄였고(Han 2015), Li 외(2016)는 필터를 통째로 빼 CIFAR-10 의 VGG-16 추론 연산을 34% 줄였다(Li 2017 초록). Zhu · Gupta(2017)는 희소도를 세제곱 일정으로 늘리는 점진 방식을 학습 과정에 넣었다(Zhu 2017 3절).
지금은 거대 언어 모델이 대상이다. SparseGPT(2023)는 1,750억 매개변수 모델을 다시 학습 없이 4.5시간 안에 50 ~ 60% 잘랐고(Frantar 2023 초록), 같은 해 Wanda 는 가중치 크기에 입력 활성값 크기를 곱한 점수만으로 다시 학습 없이 잘랐다(Sun 2024 초록). 다만 81편을 모아 본 조사는 논문마다 기준 모델 · 지표가 달라 방법끼리 비교가 어렵다고 짚었다(Blalock 2020 초록).
3쉽게 이해하기 — 사과나무 가지를 치는 정원사
정원사 하은은 가지가 너무 많아 열매가 잘고 마당을 다 덮는 사과나무를 손본다. 굵기를 재어 가는 가지부터 치는데, 한 해에 절반 넘게 치면 나무가 몸살을 앓아 열매가 줄어서 해마다 조금씩 치고 한 철씩 기다린다. 그런데 잔가지만 쳐서는 나무가 차지하는 마당 넓이가 그대로라, 마당을 넓히려면 큰 가지를 통째로 쳐야 한다.
그림 1 · 하은은 굵기를 재어 가는 가지를 치고 한 철 길러 열매를 센다 — 해마다 조금씩 치고, 마당을 넓히려면 큰 가지를 통째로 친다.
그림 2 · 잔가지만 친 나무는 마당 넓이가 그대로이고 큰 가지를 통째로 친 나무만 마당이 좁아진다 — 실제로도 흩어진 0은 행렬 크기를 그대로 두고, 들어낸 열만 행렬을 작게 만든다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 가지 많은 나무 | 과매개변수 모델 | 학습은 끝났지만 매개변수 대부분이 답에 덜 기여한다 |
| 굵기 재기 | 중요도 기준 | 크기 |w| · 2차 미분 · |w| × 입력 크기로 점수를 매긴다 |
| 가는 가지 치기 | 마스크 | 점수가 문턱 아래인 가중치를 0으로 두고 학습에서도 0으로 묶는다 |
| 한 철 기르기 | 미세 조정 | 마스크를 고정한 채 남은 가중치를 다시 학습한다 |
| 열매 세기 | 정확도 확인 | 희소도마다 시험 정확도를 재고 목표 희소도를 고른다 |
| 해마다 조금씩 | 점진 일정 | 희소도를 여러 단계로 올리며 단계마다 다시 학습한다 |
| 큰 가지 통째로 | 구조적 가지치기 | 뉴런 · 필터 · 채널을 들어내 행렬 자체를 작게 만든다 |
⚠ 비유가 맞지 않는 곳: 나무는 굵은 가지가 대개 중요하지만, 신경망에서 크기가 큰 가중치가 꼭 중요하다는 보장은 없어 2차 미분 · 활성값을 함께 보는 기준이 따로 있다. 또 친 가지는 영영 사라지지만, 학습 중 마스크를 다시 계산하는 방식에서는 0이 된 가중치가 되살아나기도 한다.
4구조 — 기준 · 단위 · 일정 · 실행 형식
가지치기는 «무엇으로 점수를 매기고 · 어떤 단위로 · 몇 단계에 걸쳐 · 어떤 형식으로 실행하나» 넷을 정하면 결정된다. 문턱을 계층마다 따로 두면 계층별 희소도가 같고, 모델 전체에 하나를 두면(전역) 계층마다 희소도가 달라진다(PyTorch 가지치기 안내서 global_unstructured).
그림 3 · 가중치에 점수를 매겨 마스크를 만들고 다시 학습한 뒤 평가하며, 점진 일정은 이 고리를 목표 희소도까지 되풀이하고 마지막에 실행 형식을 고른다.
| 요소 | 고르는 값 | 사례 · 공개 값 | 근거 |
|---|---|---|---|
| 중요도 기준 | 크기 |w| · 2차 미분 · |w| × 입력 크기 | 90% 문턱 |w| ≤ 0.182 | Han 2015 · LeCun 1989 · Sun 2024 |
| 단위 · 비구조적 | 가중치 하나씩 | 행렬 크기 그대로 · 곱셈 84,480회 | Han 2015 |
| 단위 · N:M | 연속 4개 중 2개 남김(2:4) | 희소도 50% · 연산 처리량 2배 | Mishra 2021 초록 |
| 단위 · 구조적 | 뉴런 · 필터 · 채널 통째 | VGG-16 연산 34% 감소 | Li 2017 초록 |
| 일정 | 한 번 · 점진(세제곱) | 마스크 갱신 간격 100 ~ 1,000단계는 결과 차이 적음 | Zhu 2017 3절 |
| 범위 | 전역 문턱 · 계층별 문턱 | 전역 90% → 계층별 69.0 · 95.5 · 84.3% | PyTorch 가지치기 안내서 |
가지치기는 값의 개수를 줄이고, 양자화는 값 하나의 비트 수를, 지식 증류는 모델 자체를 작은 구조로 바꾼다. 줄인 모델을 어떤 커널로 서빙하는가는 추론 최적화, 휴대폰 · 내장 기기에 올리는 일은 온디바이스 AI 가 다룬다.
5동작 — 손글씨 숫자 신경망을 90 · 95% 자르기
아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 · default_rng(0) · 공개 데이터 UCI 손글씨 숫자(Alpaydin · Kaynak 1998)를 썼다.
- 데이터 · 모델 — 8 × 8 화소 숫자 학습 3,823장 · 시험 1,797장 · 64-256-256-10 완전 연결 ReLU 신경망 · 가중치 84,480개(편향 522개는 자르지 않음).
- 기준 모델 — SGD 학습률 0.05 · 묶음 64 · 30에폭 → 시험 정확도 95.77%.
- 점수 · 문턱 — 전역 크기 기준 90%:
np.partition으로 찾은 문턱 |w| ≤ 0.182 인 76,032개를 0으로 · 남는 8,448개 · 계층별 희소도 69.0 · 95.5 · 84.3%(256 × 256 계층이 가장 많이 잘림). - 한 번 자르기 — 다시 학습 없이 50% 95.33 · 80% 84.31 · 90% 57.32 · 95% 29.38% · 같은 90% 를 무작위로 고르면 10.52%(찍기 수준).
- 미세 조정 — 마스크를 고정하고 학습률 0.02 로 5에폭 → 80% 94.38 · 90% 93.66 · 95% 71.51% · 무작위 90% 는 35.84% 까지만 오른다.
- 점진 일정 — 목표 95% 를 10단계(단계마다 1에폭)로 나눠 s_t = s_f + (s_i − s_f)(1 − t/n)³(Zhu 2017 3절 식 1)로 26 → 46 → 62 → … → 95% 로 올리면 최종 91.49% · 같은 10에폭을 한 번 자르기 뒤에 쓰면 82.47%(그림 4).
- 구조적 — 두 은닉 계층의 뉴런을 들어오는 가중치 L2 노름 순으로 절반씩 남겨 64-128-128-10(가중치 25,856개 · 69.4% 감소) → 바로 70.90% · 5에폭 뒤 95.16% · 같은 개수를 비구조적으로 남기면 92.38 → 95.72%.
- 저장 · 연산 — 7번의 비구조적 모델은 밀집 저장 337,920 B · 곱셈 84,480회 그대로이고 CSR(값 4 B + 열 색인 4 B)로 바꿔야 209,164 B · 구조적 모델은 103,424 B · 곱셈 25,856회다.
그림 4 · 목표 95% 를 10단계로 나누면 자른 직후 정확도가 38.3% 까지 떨어져도 1에폭 뒤 89.9% 로 돌아오며, 최종 91.5% 로 끝난다.
그림 5 · 희소도 80% 까지는 한 번 자르고 5에폭 다시 학습해도 1.4%p 안에서 회복되지만, 95% 에서는 같은 10에폭이라도 나눠 자른 쪽이 9.0%p 높다.
🔑 잘라 낸 직후의 정확도가 아니라 «다시 학습한 뒤 돌아오는 정확도»가 가지치기의 실력이다 — 사례 90% 는 직후 57.3% 였지만 5에폭 뒤 93.7% 로 돌아왔다.
🔑 희소도는 모델을 작게 만들지만 빠르게 만드는 것은 0의 «모양»이다 — 같은 25,856개를 남겨도 흩어진 0은 곱셈 84,480회 그대로, 들어낸 뉴런은 25,856회다.
6비교 — 비구조적 · 점진 · N:M · 구조적 · 한 번 자르기(LLM)
| 방식 | 지우는 단위 | 다시 학습 | 빨라지는 조건 | 공개 결과 · 사례 |
|---|---|---|---|---|
| 비구조적 크기 기준 | 가중치 하나 | 있음(학습 → 절단 → 다시 학습) | 희소 커널 · 희소 저장 | AlexNet 9배(Han 2015) · 사례 90% 93.66% |
| 점진 비구조적 | 가중치 하나 | 학습 중 단계마다 | 위와 같음 | 0 아닌 매개변수 10배 감소(Zhu 2017 초록) · 사례 95% 91.49% |
| N:M(2:4) | 연속 4개 중 2개 | 있음 | 2:4 지원 연산기 | 연산 처리량 2배(Mishra 2021) · 사례 48.5% 95.16% |
| 구조적(뉴런 · 필터) | 행 · 열 · 채널 | 있음 | 어느 장치에서나 | VGG-16 연산 34%(Li 2017) · 사례 69.4% 95.16% |
| LLM 한 번 자르기 | 가중치 하나 · 2:4 | 없음 | 희소 커널 · 2:4 연산기 | 175B 50 ~ 60%(Frantar 2023) · 다시 학습 없음(Sun 2024) |
분석지원 연산기가 있으면 2:4 를, 장치를 고를 수 없으면 구조적 방식을, 모델 파일 크기만 줄이면 되면 비구조적 방식을 고르고, 다시 학습할 수 없는 거대 언어 모델은 한 번 자르기를 쓴다. 근거는 표의 「빨라지는 조건」 열 — 흩어진 0은 희소 커널 없이는 곱셈 수가 그대로였다(동작 8번).
큰 희소 모델이 같은 크기의 작은 밀집 모델보다 낫다는 결과(Zhu 2017 초록)는 큰 모델에서 잰 것이다. 사례에서 가중치 8,832개(89.5% 감소)로 맞춰 5에폭 다시 학습하면 구조적 94.55% · 비구조적 93.77% 로 뒤집혀, 작은 모델은 직접 재 보고 정해야 한다.
7실무 진단 — 잘랐는데 효과가 없거나 정확도가 무너질 때
분석저장 형식 → 실행 커널 → 희소도별 정확도 곡선 → 계층별 희소도 → 범주별 정확도 순으로 본다. 파일 · 속도가 그대로이면 가지치기가 실제로 적용되지 않은 것이므로 정확도 진단보다 먼저 걸러야 한다(PyTorch 가지치기 안내서).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 모델 파일 크기가 오히려 늘어남 | 원래 가중치와 마스크를 둘 다 저장 | 저장 | named_parameters() 의 weight_orig · named_buffers() 의 weight_mask | prune.remove 뒤 희소 형식으로 저장(PyTorch 가지치기 안내서) |
| 2 | 희소도는 목표대로인데 빨라지지 않음 | 흩어진 0을 밀집 커널이 그대로 곱함 | 실행 | 프로파일러의 연산별 시간 · 곱셈 수 | 곱셈 84,480회 그대로면 구조적 · 2:4 로(Mishra 2021) → 추론 최적화 |
| 3 | 자른 직후 정확도 급락 | 다시 학습 없이 높은 희소도 | 일정 | 희소도별 정확도 곡선(다시 학습 전후) | 사례 90% 57.3 → 93.7% 처럼 회복되면 정상(그림 5) |
| 4 | 다시 학습해도 회복 안 됨 | 전역 문턱이 한 계층을 거의 다 자름 | 계층 | 계층별 희소도 | 사례 95% 에서 256 × 256 계층 98.8% → 계층별 상한 · 점진 일정 |
| 5 | 평균 정확도는 비슷한데 일부 범주만 떨어짐 | 잘린 용량을 드문 패턴이 먼저 잃음 | 평가 | 범주별 정확도 | 사례 90% 평균 −2.1%p · 숫자 8 −8.1%p(89.1 → 81.0) |
범주별 정확도는 평균이 가리는 손실을 드러내므로, 희소도를 고를 때 평균과 가장 나쁜 범주를 함께 표에 둔다. 집단별 성능 차이를 따지는 평가는 데이터 편향 쪽으로 넘긴다.
8시험 대비
시험에서는 가지치기의 정의 · 기준 · 절차 · 한계를 묻는 정의 · 특징형, 그리고 구조적 · 비구조적 · LLM 가지치기의 흐름을 묻는 동향 · 발전형이 나올 수 있다. 「희소도가 높다 = 빠르다」가 아니라는 점을 곱셈 수 · 저장 바이트로 보이면 정의 수준을 넘는다.
- 개요 — 정의 · 경량화 셋(가지치기 · 양자화 · 지식 증류) 중 위치 · AlexNet 9배
- 구조 — 그림 3 점수 → 마스크 → 미세 조정 → 평가 고리 · 기준(|w| · 2차 미분 · |w| × 입력)
- 단위 — 비구조적 · 2:4 · 구조적 표(빨라지는 조건) · 곱셈 84,480 ↔ 25,856회
- 절차 — 그림 4 점진 일정 s_t 세제곱 식 · 자른 직후 ↔ 다시 학습 뒤 정확도
- 핵심 원리 — 그림 5 희소도별 정확도 곡선(다시 학습 없음 · 한 번 · 점진)
- 동향 · 한계 — SparseGPT · Wanda(다시 학습 없음) · 2:4 연산기 · 비교 기준 부족(81편 조사)
꼭 쓸 키워드
크기 기준마스크희소도미세 조정점진 가지치기구조적 가지치기N:M 희소로터리 티켓 가설Optimal Brain DamageSparseGPT
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «다시 학습 없음 · 한 번 · 점진» 세 곡선을 희소도별로 겹쳐, 95% 에서 점진 일정이 같은 학습량으로 9.0%p 높다는 것을 숫자로 보이는 것이다.
9오해와 사실
- 오해희소도 90% 면 추론이 10배 빨라진다.사실흩어진 0은 밀집 커널에서 곱셈 수를 줄이지 못해, 사례 비구조적 모델은 곱셈 84,480회 그대로였고 2:4 지원 연산기도 처리량 2배가 상한이다(Mishra 2021 초록).
- 오해크기가 작은 가중치를 지우는 것은 아무 가중치나 지우는 것과 비슷하다.사실사례 90% 에서 크기 기준은 다시 학습 뒤 93.66%, 무작위는 35.84% 로 57.8%p 차이가 났다.
- 오해가지치기로 찾은 희소 구조는 어떤 초기값에서 학습해도 같은 성능을 낸다.사실원래 초기값으로 되돌려 학습한 희소 망이 잘 학습된다는 것이 로터리 티켓 가설이고(Frankle 2019 초록), 사례 90% 마스크도 원래 초기값 94.55% · 새 무작위 초기값 92.54% 였다.
10핵심 정리
| 구분 | 지우는 단위 | 다시 학습 | 빨라지는 조건 | 사례 · 공개 값 | 근거 |
|---|---|---|---|---|---|
| 크기 기준 | 가중치 하나 | 학습 → 절단 → 다시 학습 | 희소 커널 | 90% 57.3 → 93.7% | Han 2015 |
| 2차 미분 기준 | 가중치 하나 | 있음 | 희소 커널 | 오차 증가로 점수 | LeCun 1989 |
| 점진 일정 | 가중치 하나 | 단계마다 | 희소 커널 | 95% 91.5%(한 번 82.5%) | Zhu 2017 3절 식 1 |
| N:M(2:4) | 4개 중 2개 | 있음 | 2:4 연산기 | 처리량 2배 상한 | Mishra 2021 |
| 구조적 | 뉴런 · 필터 · 채널 | 있음 | 어느 장치에서나 | 곱셈 84,480 → 25,856회 | Li 2017 |
| LLM 한 번 자르기 | 가중치 하나 · 2:4 | 없음 | 희소 커널 · 2:4 연산기 | 175B 50 ~ 60% · 4.5시간 | Frantar 2023 · Sun 2024 |
| 로터리 티켓 | 가중치 하나 | 원래 초기값에서 다시 | — | 원래 94.55 · 새 92.54% | Frankle 2019 |
11참고 문헌
- 먼저 볼 문헌
- ★ Learning both Weights and Connections for Efficient Neural Networks (NIPS 2015 · arXiv:1506.02626) — 학습 → 크기 기준 절단 → 다시 학습 세 단계와 AlexNet · VGG-16 압축 결과를 볼 때
- ★ To prune, or not to prune: exploring the efficacy of pruning for model compression (arXiv:1710.01878) — 점진 가지치기의 세제곱 일정 식과 큰 희소 ↔ 작은 밀집 비교를 볼 때
- ★ Pruning Filters for Efficient ConvNets (ICLR 2017 · arXiv:1608.08710) — 필터 단위로 들어내 어느 장치에서나 연산을 줄이는 구조적 방법을 볼 때
- ★ SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023 · arXiv:2301.00774) — 다시 학습 없이 1,750억 매개변수 모델을 한 번에 자르는 방법을 볼 때
- ★ PyTorch Tutorials — Pruning Tutorial (torch.nn.utils.prune) — weight_orig · weight_mask · prune.remove · global_unstructured 를 확인할 때
- 본문 근거
- Optimal Brain Damage (Advances in Neural Information Processing Systems 2) — LeCun · Denker · Solla · 1989 ·
proceedings.neurips.cc/paper/1989/hash/6c9882bbac1c7093bd25041881277658-Abstract.html· 확인 2026-11-12 - The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks (ICLR 2019 · arXiv:1803.03635) — Frankle · Carbin · 2018-03 ·
arxiv.org/abs/1803.03635· 확인 2026-11-12 - Accelerating Sparse Deep Neural Networks (arXiv:2104.08378) — Mishra et al. · 2021-04 ·
arxiv.org/abs/2104.08378· 확인 2026-11-12 - A Simple and Effective Pruning Approach for Large Language Models (ICLR 2024 · arXiv:2306.11695) — Sun · Liu · Bair · Kolter · 2023-06 ·
arxiv.org/abs/2306.11695· 확인 2026-11-12 - What is the State of Neural Network Pruning? (MLSys 2020 · arXiv:2003.03033) — Blalock · Gonzalez Ortiz · Frankle · Guttag · 2020-03 ·
arxiv.org/abs/2003.03033· 확인 2026-11-12 - Optical Recognition of Handwritten Digits (UCI Machine Learning Repository · DOI 10.24432/C50P49 · CC BY 4.0) — Alpaydin · Kaynak · 1998-06 ·
archive.ics.uci.edu/dataset/80/optical+recognition+of+handwritten+digits· 확인 2026-11-12 - NumPy 2.4 Reference numpy.partition — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/generated/numpy.partition.html· 확인 2026-11-12