AI › AI 엔지니어링(AI 시스템 운영) › 경량화

가지치기Pruning

학습된 신경망에서 출력에 덜 기여하는 가중치 · 뉴런 · 필터를 골라 0으로 만들거나 구조에서 들어내 매개변수 수와 연산량을 줄이는 경량화 기법이다. 잘라 낸 뒤에는 대개 남은 가중치를 다시 학습해 정확도를 되찾는다.

1요약

  1. 가지치기는 AI 운영의 경량화 단계에서 «값의 개수»를 줄이는 일로, 크기 기준 |w| 로 가중치를 고르는 비구조적 방식(Han 2015)과 뉴런 · 필터를 통째로 들어내는 구조적 방식(Li 2017)이 있고, 그 위에서 희소 행렬 저장 · 2:4 희소 연산기 · 작은 밀집 모델 서빙이 돈다.
  2. 큰 신경망은 매개변수 대부분이 없어도 같은 답을 낸다 — AlexNet 은 6,100만 개에서 670만 개로 9배 줄여도 정확도가 그대로였고, VGG-16 은 1억 3,800만 개에서 1,030만 개로 13배 줄었다(Han 2015 초록).
  3. 「잘랐는데 빨라지지 않는다」는 0이 흩어져 있는가, 행 · 열이 통째로 빠졌는가로 가른다 — 흩어진 0은 희소 커널이 있어야만 시간을 줄이고, 들어낸 행 · 열은 어느 장치에서나 곱셈 수를 줄인다.

2등장 배경

1980년대 말 신경망은 학습 데이터에 비해 매개변수가 많아 일반화가 나빴고, 어떤 연결을 빼도 되는지 가릴 기준이 없었다. LeCun · Denker · Solla(1989)의 Optimal Brain Damage 는 오차 함수의 2차 미분으로 연결마다 «지웠을 때 오차가 얼마나 느는가»를 셈해, 망 크기와 학습 오차를 맞바꾸는 기준을 처음 식으로 냈다(LeCun 1989 초록).

딥러닝이 커지며 목적이 «일반화»에서 «메모리 · 전력»으로 바뀌었다. Han 외(2015)는 크기가 작은 가중치를 지우고 남은 것을 다시 학습하는 세 단계로 AlexNet 매개변수를 9배 줄였고(Han 2015), Li 외(2016)는 필터를 통째로 빼 CIFAR-10 의 VGG-16 추론 연산을 34% 줄였다(Li 2017 초록). Zhu · Gupta(2017)는 희소도를 세제곱 일정으로 늘리는 점진 방식을 학습 과정에 넣었다(Zhu 2017 3절).

지금은 거대 언어 모델이 대상이다. SparseGPT(2023)는 1,750억 매개변수 모델을 다시 학습 없이 4.5시간 안에 50 ~ 60% 잘랐고(Frantar 2023 초록), 같은 해 Wanda 는 가중치 크기에 입력 활성값 크기를 곱한 점수만으로 다시 학습 없이 잘랐다(Sun 2024 초록). 다만 81편을 모아 본 조사는 논문마다 기준 모델 · 지표가 달라 방법끼리 비교가 어렵다고 짚었다(Blalock 2020 초록).

3쉽게 이해하기 — 사과나무 가지를 치는 정원사

정원사 하은은 가지가 너무 많아 열매가 잘고 마당을 다 덮는 사과나무를 손본다. 굵기를 재어 가는 가지부터 치는데, 한 해에 절반 넘게 치면 나무가 몸살을 앓아 열매가 줄어서 해마다 조금씩 치고 한 철씩 기다린다. 그런데 잔가지만 쳐서는 나무가 차지하는 마당 넓이가 그대로라, 마당을 넓히려면 큰 가지를 통째로 쳐야 한다.

1 가지 많은 사과나무 점선 = 칠 잔가지 가지 = 가중치 w 2 굵기 재기 가는 가지부터 고른다 크기 기준 |w| 3 가는 가지 치기 친 가지는 다시 안 자란다 마스크 0 · 그대로 0 4 한 철 기르기 남은 가지가 굵어진다 미세 조정 5 열매 세기 줄었으면 덜 친다 정확도 확인 6 해마다 조금씩 · 큰 가지는 통째로 점진 일정 구조적 가지치기 모델 · 학습 규칙 잘라 낸 것 평가 사람의 일정 구조 단위

그림 1 · 하은은 굵기를 재어 가는 가지를 치고 한 철 길러 열매를 센다 — 해마다 조금씩 치고, 마당을 넓히려면 큰 가지를 통째로 친다.

나무 보기가지가 너무 많다
굵기 재기가는 가지부터
가지 치기다시 안 자란다
한 철 기르기남은 가지가 굵어짐
열매 세기줄면 덜 친다
해마다 조금씩큰 가지는 통째로
비유 — 마당을 차지하는 넓이 잔가지만 침 · 마당 그대로 큰 가지를 통째로 마당이 좁아진다 실제 — 가중치 행렬 비구조적 · 4 × 8 그대로 CSR 209,164 B(값 + 위치 색인) 열 4개 들어냄 구조적 · 4 × 4 밀집 103,424 B(같은 25,856개 · 색인 없음) 남은 가중치 0 이 된 가중치 친 가지

그림 2 · 잔가지만 친 나무는 마당 넓이가 그대로이고 큰 가지를 통째로 친 나무만 마당이 좁아진다 — 실제로도 흩어진 0은 행렬 크기를 그대로 두고, 들어낸 열만 행렬을 작게 만든다.

비유 속 역할실제 이름실제로 하는 일
가지 많은 나무과매개변수 모델학습은 끝났지만 매개변수 대부분이 답에 덜 기여한다
굵기 재기중요도 기준크기 |w| · 2차 미분 · |w| × 입력 크기로 점수를 매긴다
가는 가지 치기마스크점수가 문턱 아래인 가중치를 0으로 두고 학습에서도 0으로 묶는다
한 철 기르기미세 조정마스크를 고정한 채 남은 가중치를 다시 학습한다
열매 세기정확도 확인희소도마다 시험 정확도를 재고 목표 희소도를 고른다
해마다 조금씩점진 일정희소도를 여러 단계로 올리며 단계마다 다시 학습한다
큰 가지 통째로구조적 가지치기뉴런 · 필터 · 채널을 들어내 행렬 자체를 작게 만든다

⚠ 비유가 맞지 않는 곳: 나무는 굵은 가지가 대개 중요하지만, 신경망에서 크기가 큰 가중치가 꼭 중요하다는 보장은 없어 2차 미분 · 활성값을 함께 보는 기준이 따로 있다. 또 친 가지는 영영 사라지지만, 학습 중 마스크를 다시 계산하는 방식에서는 0이 된 가중치가 되살아나기도 한다.

4구조 — 기준 · 단위 · 일정 · 실행 형식

가지치기는 «무엇으로 점수를 매기고 · 어떤 단위로 · 몇 단계에 걸쳐 · 어떤 형식으로 실행하나» 넷을 정하면 결정된다. 문턱을 계층마다 따로 두면 계층별 희소도가 같고, 모델 전체에 하나를 두면(전역) 계층마다 희소도가 달라진다(PyTorch 가지치기 안내서 global_unstructured).

가중치 W 학습 끝 · 84,480개 점수 매기기 |w| · |w|×입력 · 2차 미분 마스크 M 단위 · 희소도 · 전역 미세 조정 마스크 고정 · 0 유지 평가 희소도별 정확도 실행 형식 희소 커널 · 작은 밀집 점진 일정 — 목표 희소도까지 되풀이 보정 데이터 활성값 기준일 때 가중치 · 데이터 기준 · 학습 규칙 마스크(구조 표현) 평가 되풀이 고리

그림 3 · 가중치에 점수를 매겨 마스크를 만들고 다시 학습한 뒤 평가하며, 점진 일정은 이 고리를 목표 희소도까지 되풀이하고 마지막에 실행 형식을 고른다.

요소고르는 값사례 · 공개 값근거
중요도 기준크기 |w| · 2차 미분 · |w| × 입력 크기90% 문턱 |w| ≤ 0.182Han 2015 · LeCun 1989 · Sun 2024
단위 · 비구조적가중치 하나씩행렬 크기 그대로 · 곱셈 84,480회Han 2015
단위 · N:M연속 4개 중 2개 남김(2:4)희소도 50% · 연산 처리량 2배Mishra 2021 초록
단위 · 구조적뉴런 · 필터 · 채널 통째VGG-16 연산 34% 감소Li 2017 초록
일정한 번 · 점진(세제곱)마스크 갱신 간격 100 ~ 1,000단계는 결과 차이 적음Zhu 2017 3절
범위전역 문턱 · 계층별 문턱전역 90% → 계층별 69.0 · 95.5 · 84.3%PyTorch 가지치기 안내서

가지치기는 값의 개수를 줄이고, 양자화는 값 하나의 비트 수를, 지식 증류는 모델 자체를 작은 구조로 바꾼다. 줄인 모델을 어떤 커널로 서빙하는가는 추론 최적화, 휴대폰 · 내장 기기에 올리는 일은 온디바이스 AI 가 다룬다.

5동작 — 손글씨 숫자 신경망을 90 · 95% 자르기

아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 · default_rng(0) · 공개 데이터 UCI 손글씨 숫자(Alpaydin · Kaynak 1998)를 썼다.

  1. 데이터 · 모델 — 8 × 8 화소 숫자 학습 3,823장 · 시험 1,797장 · 64-256-256-10 완전 연결 ReLU 신경망 · 가중치 84,480개(편향 522개는 자르지 않음).
  2. 기준 모델 — SGD 학습률 0.05 · 묶음 64 · 30에폭 → 시험 정확도 95.77%.
  3. 점수 · 문턱 — 전역 크기 기준 90%: np.partition 으로 찾은 문턱 |w| ≤ 0.182 인 76,032개를 0으로 · 남는 8,448개 · 계층별 희소도 69.0 · 95.5 · 84.3%(256 × 256 계층이 가장 많이 잘림).
  4. 한 번 자르기 — 다시 학습 없이 50% 95.33 · 80% 84.31 · 90% 57.32 · 95% 29.38% · 같은 90% 를 무작위로 고르면 10.52%(찍기 수준).
  5. 미세 조정 — 마스크를 고정하고 학습률 0.02 로 5에폭 → 80% 94.38 · 90% 93.66 · 95% 71.51% · 무작위 90% 는 35.84% 까지만 오른다.
  6. 점진 일정 — 목표 95% 를 10단계(단계마다 1에폭)로 나눠 s_t = s_f + (s_i − s_f)(1 − t/n)³(Zhu 2017 3절 식 1)로 26 → 46 → 62 → … → 95% 로 올리면 최종 91.49% · 같은 10에폭을 한 번 자르기 뒤에 쓰면 82.47%(그림 4).
  7. 구조적 — 두 은닉 계층의 뉴런을 들어오는 가중치 L2 노름 순으로 절반씩 남겨 64-128-128-10(가중치 25,856개 · 69.4% 감소) → 바로 70.90% · 5에폭 뒤 95.16% · 같은 개수를 비구조적으로 남기면 92.38 → 95.72%.
  8. 저장 · 연산 — 7번의 비구조적 모델은 밀집 저장 337,920 B · 곱셈 84,480회 그대로이고 CSR(값 4 B + 열 색인 4 B)로 바꿔야 209,164 B · 구조적 모델은 103,424 B · 곱셈 25,856회다.
목표 95% · 10단계 · 단계마다 1에폭 6 100% 75% 50% 30% 정확도 기준 95.8% 자른 직후 38.3% 1에폭 뒤 89.9% 최종 91.5% 희소도 26 1 46 2 62 3 74 4 83 5 89 6 92 7 94 8 95 9 95 10 자른 직후 정확도 1에폭 다시 학습한 뒤 단계별 희소도(%) · 가로 = 단계

그림 4 · 목표 95% 를 10단계로 나누면 자른 직후 정확도가 38.3% 까지 떨어져도 1에폭 뒤 89.9% 로 돌아오며, 최종 91.5% 로 끝난다.

희소도별 시험 정확도 · 손글씨 숫자 · 직접 실행 0 50 100 0% 50% 70% 80% 90% 95% 98% 희소도(0이 된 가중치 비율) 희소도 95% 에서 점진 10단계 91.5 한 번 + 10에폭 82.5 한 번 + 5에폭 71.5 다시 학습 없음 29.4 57.3 무작위 35.8 무작위 72.5 94.4 다시 학습 없음 한 번 + 5에폭 점진 10단계 한 번 + 10에폭 무작위 + 5에폭

그림 5 · 희소도 80% 까지는 한 번 자르고 5에폭 다시 학습해도 1.4%p 안에서 회복되지만, 95% 에서는 같은 10에폭이라도 나눠 자른 쪽이 9.0%p 높다.

🔑 잘라 낸 직후의 정확도가 아니라 «다시 학습한 뒤 돌아오는 정확도»가 가지치기의 실력이다 — 사례 90% 는 직후 57.3% 였지만 5에폭 뒤 93.7% 로 돌아왔다.

🔑 희소도는 모델을 작게 만들지만 빠르게 만드는 것은 0의 «모양»이다 — 같은 25,856개를 남겨도 흩어진 0은 곱셈 84,480회 그대로, 들어낸 뉴런은 25,856회다.

6비교 — 비구조적 · 점진 · N:M · 구조적 · 한 번 자르기(LLM)

방식지우는 단위다시 학습빨라지는 조건공개 결과 · 사례
비구조적 크기 기준가중치 하나있음(학습 → 절단 → 다시 학습)희소 커널 · 희소 저장AlexNet 9배(Han 2015) · 사례 90% 93.66%
점진 비구조적가중치 하나학습 중 단계마다위와 같음0 아닌 매개변수 10배 감소(Zhu 2017 초록) · 사례 95% 91.49%
N:M(2:4)연속 4개 중 2개있음2:4 지원 연산기연산 처리량 2배(Mishra 2021) · 사례 48.5% 95.16%
구조적(뉴런 · 필터)행 · 열 · 채널있음어느 장치에서나VGG-16 연산 34%(Li 2017) · 사례 69.4% 95.16%
LLM 한 번 자르기가중치 하나 · 2:4없음희소 커널 · 2:4 연산기175B 50 ~ 60%(Frantar 2023) · 다시 학습 없음(Sun 2024)

분석지원 연산기가 있으면 2:4 를, 장치를 고를 수 없으면 구조적 방식을, 모델 파일 크기만 줄이면 되면 비구조적 방식을 고르고, 다시 학습할 수 없는 거대 언어 모델은 한 번 자르기를 쓴다. 근거는 표의 「빨라지는 조건」 열 — 흩어진 0은 희소 커널 없이는 곱셈 수가 그대로였다(동작 8번).

큰 희소 모델이 같은 크기의 작은 밀집 모델보다 낫다는 결과(Zhu 2017 초록)는 큰 모델에서 잰 것이다. 사례에서 가중치 8,832개(89.5% 감소)로 맞춰 5에폭 다시 학습하면 구조적 94.55% · 비구조적 93.77% 로 뒤집혀, 작은 모델은 직접 재 보고 정해야 한다.

7실무 진단 — 잘랐는데 효과가 없거나 정확도가 무너질 때

분석저장 형식 → 실행 커널 → 희소도별 정확도 곡선 → 계층별 희소도 → 범주별 정확도 순으로 본다. 파일 · 속도가 그대로이면 가지치기가 실제로 적용되지 않은 것이므로 정확도 진단보다 먼저 걸러야 한다(PyTorch 가지치기 안내서).

#증상의심 원인단계확인 자료판정 기준(근거)
1모델 파일 크기가 오히려 늘어남원래 가중치와 마스크를 둘 다 저장저장named_parameters() 의 weight_orig · named_buffers() 의 weight_maskprune.remove 뒤 희소 형식으로 저장(PyTorch 가지치기 안내서)
2희소도는 목표대로인데 빨라지지 않음흩어진 0을 밀집 커널이 그대로 곱함실행프로파일러의 연산별 시간 · 곱셈 수곱셈 84,480회 그대로면 구조적 · 2:4 로(Mishra 2021) → 추론 최적화
3자른 직후 정확도 급락다시 학습 없이 높은 희소도일정희소도별 정확도 곡선(다시 학습 전후)사례 90% 57.3 → 93.7% 처럼 회복되면 정상(그림 5)
4다시 학습해도 회복 안 됨전역 문턱이 한 계층을 거의 다 자름계층계층별 희소도사례 95% 에서 256 × 256 계층 98.8% → 계층별 상한 · 점진 일정
5평균 정확도는 비슷한데 일부 범주만 떨어짐잘린 용량을 드문 패턴이 먼저 잃음평가범주별 정확도사례 90% 평균 −2.1%p · 숫자 8 −8.1%p(89.1 → 81.0)

범주별 정확도는 평균이 가리는 손실을 드러내므로, 희소도를 고를 때 평균과 가장 나쁜 범주를 함께 표에 둔다. 집단별 성능 차이를 따지는 평가는 데이터 편향 쪽으로 넘긴다.

8시험 대비

시험에서는 가지치기의 정의 · 기준 · 절차 · 한계를 묻는 정의 · 특징형, 그리고 구조적 · 비구조적 · LLM 가지치기의 흐름을 묻는 동향 · 발전형이 나올 수 있다. 「희소도가 높다 = 빠르다」가 아니라는 점을 곱셈 수 · 저장 바이트로 보이면 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의 · 경량화 셋(가지치기 · 양자화 · 지식 증류) 중 위치 · AlexNet 9배
  2. 구조 — 그림 3 점수 → 마스크 → 미세 조정 → 평가 고리 · 기준(|w| · 2차 미분 · |w| × 입력)
  3. 단위 — 비구조적 · 2:4 · 구조적 표(빨라지는 조건) · 곱셈 84,480 ↔ 25,856회
  4. 절차 — 그림 4 점진 일정 s_t 세제곱 식 · 자른 직후 ↔ 다시 학습 뒤 정확도
  5. 핵심 원리 — 그림 5 희소도별 정확도 곡선(다시 학습 없음 · 한 번 · 점진)
  6. 동향 · 한계 — SparseGPT · Wanda(다시 학습 없음) · 2:4 연산기 · 비교 기준 부족(81편 조사)

꼭 쓸 키워드
크기 기준마스크희소도미세 조정점진 가지치기구조적 가지치기N:M 희소로터리 티켓 가설Optimal Brain DamageSparseGPT

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «다시 학습 없음 · 한 번 · 점진» 세 곡선을 희소도별로 겹쳐, 95% 에서 점진 일정이 같은 학습량으로 9.0%p 높다는 것을 숫자로 보이는 것이다.

9오해와 사실

  • 오해희소도 90% 면 추론이 10배 빨라진다.
    사실흩어진 0은 밀집 커널에서 곱셈 수를 줄이지 못해, 사례 비구조적 모델은 곱셈 84,480회 그대로였고 2:4 지원 연산기도 처리량 2배가 상한이다(Mishra 2021 초록).
  • 오해크기가 작은 가중치를 지우는 것은 아무 가중치나 지우는 것과 비슷하다.
    사실사례 90% 에서 크기 기준은 다시 학습 뒤 93.66%, 무작위는 35.84% 로 57.8%p 차이가 났다.
  • 오해가지치기로 찾은 희소 구조는 어떤 초기값에서 학습해도 같은 성능을 낸다.
    사실원래 초기값으로 되돌려 학습한 희소 망이 잘 학습된다는 것이 로터리 티켓 가설이고(Frankle 2019 초록), 사례 90% 마스크도 원래 초기값 94.55% · 새 무작위 초기값 92.54% 였다.

10핵심 정리

구분지우는 단위다시 학습빨라지는 조건사례 · 공개 값근거
크기 기준가중치 하나학습 → 절단 → 다시 학습희소 커널90% 57.3 → 93.7%Han 2015
2차 미분 기준가중치 하나있음희소 커널오차 증가로 점수LeCun 1989
점진 일정가중치 하나단계마다희소 커널95% 91.5%(한 번 82.5%)Zhu 2017 3절 식 1
N:M(2:4)4개 중 2개있음2:4 연산기처리량 2배 상한Mishra 2021
구조적뉴런 · 필터 · 채널있음어느 장치에서나곱셈 84,480 → 25,856회Li 2017
LLM 한 번 자르기가중치 하나 · 2:4없음희소 커널 · 2:4 연산기175B 50 ~ 60% · 4.5시간Frantar 2023 · Sun 2024
로터리 티켓가중치 하나원래 초기값에서 다시—원래 94.55 · 새 92.54%Frankle 2019

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Learning both Weights and Connections for Efficient Neural Networks (NIPS 2015 · arXiv:1506.02626) — 학습 → 크기 기준 절단 → 다시 학습 세 단계와 AlexNet · VGG-16 압축 결과를 볼 때
    Han · Pool · Tran · Dally · 2015-06 · arxiv.org/abs/1506.02626 · 확인 2026-11-12
  3. ★ To prune, or not to prune: exploring the efficacy of pruning for model compression (arXiv:1710.01878) — 점진 가지치기의 세제곱 일정 식과 큰 희소 ↔ 작은 밀집 비교를 볼 때
    Zhu · Gupta · 2017-10 · arxiv.org/abs/1710.01878 · 확인 2026-11-12
  4. ★ Pruning Filters for Efficient ConvNets (ICLR 2017 · arXiv:1608.08710) — 필터 단위로 들어내 어느 장치에서나 연산을 줄이는 구조적 방법을 볼 때
    Li · Kadav · Durdanovic · Samet · Graf · 2016-08 · arxiv.org/abs/1608.08710 · 확인 2026-11-12
  5. ★ SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot (ICML 2023 · arXiv:2301.00774) — 다시 학습 없이 1,750억 매개변수 모델을 한 번에 자르는 방법을 볼 때
    Frantar · Alistarh · 2023-01 · arxiv.org/abs/2301.00774 · 확인 2026-11-12
  6. ★ PyTorch Tutorials — Pruning Tutorial (torch.nn.utils.prune) — weight_orig · weight_mask · prune.remove · global_unstructured 를 확인할 때
    PyTorch · 2026-11 · docs.pytorch.org/tutorials/intermediate/pruning_tutorial.html · 확인 2026-11-12
  7. 본문 근거
  8. Optimal Brain Damage (Advances in Neural Information Processing Systems 2) — LeCun · Denker · Solla · 1989 · proceedings.neurips.cc/paper/1989/hash/6c9882bbac1c7093bd25041881277658-Abstract.html · 확인 2026-11-12
  9. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks (ICLR 2019 · arXiv:1803.03635) — Frankle · Carbin · 2018-03 · arxiv.org/abs/1803.03635 · 확인 2026-11-12
  10. Accelerating Sparse Deep Neural Networks (arXiv:2104.08378) — Mishra et al. · 2021-04 · arxiv.org/abs/2104.08378 · 확인 2026-11-12
  11. A Simple and Effective Pruning Approach for Large Language Models (ICLR 2024 · arXiv:2306.11695) — Sun · Liu · Bair · Kolter · 2023-06 · arxiv.org/abs/2306.11695 · 확인 2026-11-12
  12. What is the State of Neural Network Pruning? (MLSys 2020 · arXiv:2003.03033) — Blalock · Gonzalez Ortiz · Frankle · Guttag · 2020-03 · arxiv.org/abs/2003.03033 · 확인 2026-11-12
  13. Optical Recognition of Handwritten Digits (UCI Machine Learning Repository · DOI 10.24432/C50P49 · CC BY 4.0) — Alpaydin · Kaynak · 1998-06 · archive.ics.uci.edu/dataset/80/optical+recognition+of+handwritten+digits · 확인 2026-11-12
  14. NumPy 2.4 Reference numpy.partition — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/generated/numpy.partition.html · 확인 2026-11-12