역전파Backpropagation
계산 흐름의 끝(손실)에서 시작해 연쇄 법칙을 출력 쪽에서 입력 쪽 순서로 적용하여, 모든 파라미터에 대한 손실의 기울기를 순전파와 같은 차수의 계산량으로 한 번에 구하는 방법이다. 파라미터를 고치는 일은 경사 하강법 · 옵티마이저가 맡는다.
1요약
- 역전파는 신경망 학습에서 기울기만 계산하는 단계로, 순전파가 남긴 값과 연쇄 법칙으로 손실 L 의 모든 파라미터 기울기를 한 번에 구하며(Goodfellow 2016 6.5절), 그 기울기 위에서 경사 하강법 · 옵티마이저가 가중치를 고친다.
- 파라미터마다 따로 미분하면 203,530개 파라미터 망 한 표본의 기울기에 곱셈 · 덧셈 약 8.3 × 10¹⁰ 번이 들지만, 역전파는 약 4.1 × 10⁵ 번(순전파 포함)으로 끝난다 — 대신 순전파 값을 역전파가 끝날 때까지 메모리에 둔다.
- 「역전파가 문제다」는 어느 단계에서 깨졌는가로 가른다 — 학습 때만 메모리가 넘치면 저장 값, 기울기가 None 이면 끊긴 계산 흐름, 직접 짠 미분이 의심되면 수치 미분과의 차이다.
2등장 배경
여러 계층 신경망의 은닉 가중치를 고치려면 손실이 그 가중치에 얼마나 민감한지 알아야 하는데, 가중치 하나씩 조금 바꿔 순전파를 다시 돌리는 방식은 가중치 수만큼 계산이 늘고 반올림 오차도 생긴다(Baydin 2018 2.1절). 연쇄 법칙 자체는 17세기(Leibniz 1676)부터 있었지만, 같은 부분식을 되풀이 계산하지 않는 «순서»가 문제였다(Goodfellow 2016 6.6절).
1964년 Wengert 가 입력 쪽부터 미분 값을 함께 나르는 전진 모드를, 1970년 Linnainmaa 가 출력 쪽부터 거슬러 가는 후진 모드를 처음 발표했다(Baydin 2018 3.3절). Werbos 는 1974년 박사 논문과 1981년 논문에서 이를 신경망 학습에 쓰자고 했고, 1985년 LeCun · Parker 와 1986년 Rumelhart · Hinton · Williams 가 각각 다시 찾아내며 「역전파」라는 이름으로 퍼졌다(Goodfellow 2016 6.6절 · Rumelhart 1986).
지금 프레임워크는 순전파를 돌릴 때마다 계산 흐름을 새로 기록하고 역전파가 지나간 저장 값을 바로 버린다(PyTorch Autograd mechanics). 모델이 깊어지자 계산량보다 저장 값이 먼저 GPU 메모리에 걸렸고, 2016년 Chen 외는 저장 값 일부를 버렸다가 다시 계산해 1,000계층 망의 메모리를 48 GB 에서 7 GB 로 줄였다(Chen 2016 초록).
3쉽게 이해하기 — 공장 감사관의 책임 쪽지
작은 공장에서 재료가 가공 → 조립 → 검사대를 지나 완성품이 된다. 재료 일부는 가공을 건너뛰고 조립대로 바로 간다. 작업자는 일을 하며 작업 일지에 중간 결과를 적어 둔다. 검사대가 완성품이 목표에서 얼마나 벗어났는지 재면, 감사관이 검사대부터 거꾸로 걸어가며 일지를 펼쳐 「이 공정이 결과를 이만큼 흔들었다」는 책임 쪽지를 앞 공정에 넘긴다. 두 곳에 쓰인 재료는 쪽지 두 장을 받아 더한다.
그림 1 · 물건은 앞에서 뒤로 흐르며 일지를 남기고, 책임 쪽지는 검사대에서 거꾸로 돌아오며 일지를 읽는다 — 두 곳에 쓰인 재료는 쪽지 두 장을 더한다.
그림 2 · 두 곳에 쓰인 재료는 두 길에서 온 쪽지를 더한 만큼 책임을 진다 — 실제로는 두 경로의 기울기를 더한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 재료 | 입력 · 파라미터 | 기울기를 받을 변수(x · w1 · w2) |
| 가공 · 조립 공정 | 연산 노드 | 곱 · 더하기 · tanh 같은 미분을 아는 기본 연산 |
| 작업 일지 | 저장 값 | 역전파 때 국소 미분에 쓰려고 남긴 순전파 값(h 등) |
| 검사대 | 손실 함수 | 출력과 목표의 차이를 숫자 하나 L 로 낸다 |
| 감사관이 거꾸로 걷기 | 역전파 순서 | 손실에서 입력 쪽으로 연쇄 법칙을 적용한다 |
| 책임 쪽지 | 기울기 | 노드마다 ∂L/∂(그 노드)를 받는다 |
| 쪽지 합산 | 기울기 누적 | 여러 곳에 쓰인 변수는 경로마다의 기울기를 더한다 |
| 다 읽은 일지 버리기 | 저장 값 해제 | 역전파가 지나간 저장 값은 메모리에서 지운다 |
⚠ 비유가 맞지 않는 곳: 감사관은 결함을 고치지 않는다 — 역전파는 기울기만 구하고 가중치를 고치는 일은 경사 하강법 · 옵티마이저가 하며, 쪽지 값은 책임의 크기가 아니라 «조금 바꾸면 손실이 얼마나 바뀌나»라는 미분 값이라 부호가 있다.
4구조 — 계산 그래프 · 저장 값 · 기울기 표
역전파는 계산을 변수 = 노드, 연산 = 방향 있는 간선으로 적은 계산 그래프 위에서 돈다(Goodfellow 2016 6.5.1절). 연산마다 «받은 기울기에 자기 국소 미분을 곱하는 규칙(bprop)»만 알면 되고, 프레임워크는 순전파를 돌릴 때 그 규칙과 필요한 값을 함께 기록한다(PyTorch Autograd mechanics).
그림 3 · 순전파는 연산 순서대로 저장 값을 쌓고, 역전파는 손실에서 시작해 마지막에 쌓은 값부터 꺼내 쓰고 버린다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 계산 그래프 | 연산 n 개 | 변수 = 노드 · 연산 = 간선 | 반복마다 새로 기록(PyTorch Autograd mechanics) |
| 연산 bprop 규칙 | 연산 종류마다 1 | 받은 기울기 × 국소 미분 | tanh 는 × (1 − h²) · 곱은 × 상대 입력 |
| 저장 값 | 표본 수 × 은닉 단위 수 × 계층 수 | 국소 미분 계산에 쓸 순전파 값 | 은닉 계층 입력 값 O(m·n_ |
| 시작 값 | 1 | 역전파의 출발 | grad_ |
| 기울기 표 | 노드마다 1 | 소비자마다 받은 기울기를 더해 보관 | G = Σ G(i)(알고리즘 6.6) |
| 가지치기 | — | 손실의 조상이면서 대상 변수의 자손인 노드만 계산 | 그래프 G′(알고리즘 6.5) |
| 계산량 | 간선 수에 비례 | 순전파와 같은 차수 | Goodfellow 2016 6.5.3절 |
🔑 역전파의 메모리는 파라미터가 아니라 «남겨 둔 순전파 값»이 먹는다 — 표본 수 · 깊이에 비례해 커지고, 기울기가 필요 없는 추론에는 남길 이유가 없다.
5동작 — 잔차 연결이 있는 계산 흐름의 기울기
설명용으로 고른 값 x = 0.5 · w1 = 1.2 · w2 = −0.7 · 목표 t = 1.0 으로 ŷ = w2·tanh(w1·x) + x · L = ½(ŷ − t)² 의 기울기를 구한다(직접 실행 · 합성 값). x 는 곱 연산과 더하기 연산 두 곳에 쓰인다.
- 순전파로 z = w1·x = 0.6 을 내고 h = tanh 0.6 = 0.5370 을 저장한다 — tanh 의 미분 1 − h² 에 h 가 다시 필요하다.
- ŷ = −0.7 × 0.5370 + 0.5 = 0.1241, e = ŷ − t = −0.8759, L = 0.3836 이 된다.
- 역전파는 ∂L/∂L = 1 에서 시작해 ∂L/∂ŷ = e = −0.8759 를 얻는다.
- 곱 노드는 상대 입력을 곱한다 — ∂L/∂w2 = −0.8759 × h = −0.4704 · ∂L/∂h = −0.8759 × w2 = 0.6132.
- tanh 노드는 저장한 h 로 1 − h² = 0.7116 을 곱해 ∂L/∂z = 0.4363 을 내고, 곱 노드에서 ∂L/∂w1 = 0.4363 × x = 0.2182 를 얻는다.
- x 는 두 곳에 쓰였으므로 두 경로를 더한다 — 잔차 길 −0.8759 + 곱 길 0.4363 × 1.2 = 0.5236 → ∂L/∂x = −0.3524.
- 중앙 차분(ε = 10⁻⁵)으로 잰 세 기울기와의 차이가 모두 1.2 × 10⁻¹¹ 이하이고, 학습률 0.1 로 w1 · w2 를 한 번 고치면 L 이 0.3575 로 준다.
그림 4 · 위 글자는 순전파 값, 아래 상자는 역전파 기울기다 — 단계 ③ ~ ⑤ 는 곱하고, 두 곳에 쓰인 x 는 단계 ⑥ 에서 더한다.
🔑 역전파의 규칙은 둘뿐이다 — 한 경로를 따라서는 국소 미분을 «곱하고», 한 변수가 여러 곳에 쓰였으면 경로마다 구한 기울기를 «더한다».
출력이 손실 하나이고 입력(파라미터)이 많다는 점이 후진 모드를 고르는 이유다. 입력 n 개 · 출력 m 개 함수의 야코비 행렬을 전진 모드는 n·c·ops(f), 후진 모드는 m·c·ops(f) 에 구하고 c 는 6 보다 작으며 대개 2 ~ 3 이다(Baydin 2018 3.2절). 4-3-1 tanh 망(파라미터 15개)에서 전진 모드를 15번 돌린 기울기와 역전파 1번의 기울기는 2.8 × 10⁻¹⁷ 안에서 같았다(직접 실행 · 합성 데이터).
그림 5 · 손실 하나(m = 1)에 파라미터 203,530개(n)이면 전진 모드는 열마다 한 번씩 n 번, 후진 모드는 행 하나를 한 번에 구해 계산량이 약 20만 배 차이 난다.
🔑 출력이 하나(손실)이고 입력이 많으면 후진 모드다 — 기울기 한 벌의 비용이 파라미터 수와 무관하게 순전파의 몇 배로 묶이고, 그 값으로 메모리를 낸다.
메모리 쪽은 거꾸로 깊이에 비례한다. 100계층 tanh 망(폭 64 · 배치 32)을 모의로 돌리면 모든 계층 출력을 남길 때 저장 값이 100개(204,800개 실수)이고, 10계층마다 한 번만 남겼다가 역전파 때 구간을 다시 계산하면 한때 남는 것이 최대 20개(40,960개)로 줄며 계층 계산은 100번에서 200번으로 늘고 기울기는 차이 0 으로 같다(직접 실행 · 합성 데이터 · Chen 2016 4.3절 O(√n)).
그림 6 · 구간마다 시작 값만 남기면 저장 값은 깊이 n 대신 약 2√n 으로 자라고, 대가는 순전파를 한 번 더 도는 것이다.
6비교 — 기울기를 구하는 방법 넷
| 기준 | 수치 미분(유한 차분) | 기호 미분 | 전진 모드 자동 미분 | 후진 모드 자동 미분(역전파) |
|---|---|---|---|---|
| 계산 방식 | 입력을 ε 만큼 바꿔 f 를 다시 계산 | 식 자체를 미분해 새 식을 만듦 | 입력 쪽부터 값과 미분 값을 함께 나름 | 순전파 뒤 출력 쪽부터 거슬러 감 |
| 파라미터 n 개 기울기 | f 를 n 번 이상 계산 | 식이 부풀 수 있음(Baydin 2018 2.2절) | n·c·ops(f) | 1·c·ops(f) · c < 6 |
| 정확도 | 잘림 · 반올림 오차(Baydin 2018 2.1절) | 정확 | 기계 정밀도 | 기계 정밀도 |
| 추가 메모리 | 거의 없음 | 식 크기만큼 | 미분 값 한 벌 | 순전파 저장 값(깊이 · 배치에 비례) |
| 주로 쓰는 곳 | 기울기 확인(gradcheck) | 식이 짧은 해석 문제 | 입력이 적고 출력이 많은 민감도 분석 | 신경망 학습 · 손실 하나에 파라미터 많음 |
분석신경망 학습은 후진 모드(역전파)를 쓰고, 수치 미분은 새 연산의 역전파 규칙을 확인할 때만, 전진 모드는 입력 수가 출력 수보다 적을 때 쓴다. 근거는 표의 「파라미터 n 개 기울기」 행과 Baydin 2018 3.2절 — 후진 모드는 m ≪ n 일 때 유리하다.
7실무 진단 — 역전파가 깨진 단계 가르기
분석메모리 · 오류 메시지로 저장 단계를 먼저 보고, 다음에 기울기가 None 인지로 계산 흐름을, 마지막에 기울기 값 자체를 수치 미분과 맞춘다. 앞 두 단계는 한 번 실행으로 확인되고, 값 확인은 double 정밀도로 다시 돌려야 해서 가장 비싸다(PyTorch gradcheck).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 때만 GPU 메모리 부족 · 추론은 정상 | 남겨 둔 순전파 값 | 저장 | 같은 배치를 torch.no_grad() 로 돌려 비교 | no_checkpoint(.(PyTorch checkpoint · Chen 2016) |
| 2 | 같은 손실로 backward() 를 두 번 부르면 오류 | 첫 역전파 뒤 저장 값 해제 | 저장 | retain_graph 인자 | 기본은 그래프를 해제 · True 일 때만 유지(PyTorch Tensor.backward) → 대개 순전파를 다시 돌림 |
| 3 | 어떤 파라미터의 .grad 가 None | 계산 흐름 끊김(detach() · NumPy 변환 · requires_grad=False) | 순전파 | 손실에서 grad_fn 을 따라가 그 파라미터가 나오는지 | 손실의 조상이 아닌 노드는 계산하지 않음(Goodfellow 2016 알고리즘 6.5) |
| 4 | 반복마다 기울기 노름이 커지고 손실이 출렁임 | .grad 누적(초기화 빠짐) | 갱신 | 같은 배치로 backward() 두 번 뒤 .grad 가 두 배인지 | backward 는 잎 노드에 누적(PyTorch Tensor.backward) → 반복마다 zero_grad() |
| 5 | 직접 만든 연산의 학습만 이상 | bprop 규칙(국소 미분) 오류 | 역전파 | gradcheck(double · eps 10⁻⁶) | atol 10⁻⁵ · rtol 10⁻³ 안이면 통과(PyTorch gradcheck) |
PyTorch 이름을 쓴 곳은 JAX 에서 jax.grad · jax.checkpoint, TensorFlow 에서 tf.GradientTape · tf.recompute_grad 가 같은 일을 한다. 기울기가 입력 쪽 계층으로 갈수록 작아지는 기울기 소실은 계산이 맞아도 생기는 현상이라 딥러닝이 다룬다.
8시험 대비
www.q-net.or.kr시험에서는 역전파의 정의와 연쇄 법칙 · 계산 그래프를 쓰는 정의 · 특징형과, 작은 망의 기울기를 단계별로 구하게 하는 동작 · 절차 설명형이 나올 수 있다. 정의형이면 «기울기 계산만 · 후진 모드 자동 미분»을 첫 줄에 두고 계산량 · 메모리를 함께 쓰며, 절차형이면 그림 4 처럼 순전파 값 → 시작 값 1 → 곱 · 합 규칙을 숫자로 따라간다.
- 개요 — 정의(연쇄 법칙을 출력 → 입력 순서로 · 기울기 계산만 · 갱신은 경사 하강법) · 후진 모드 자동 미분의 특수한 경우(Goodfellow 2016 6.5.9절)
- 구성 — 그림 3 순전파 · 저장 값 · 역전파 세 줄 + 요소 표(bprop 규칙 · 기울기 표 · 시작 값 1)
- 계산 절차 — 그림 4 잔차 연결 사례(곱 규칙 · 두 경로 합 ∂L/∂x = −0.352) · 중앙 차분 확인 1.2 × 10⁻¹¹
- 계산량 — 그림 5 전진 · 후진 모드(n·c·ops ↔ m·c·ops · 8.3 × 10¹⁰ ↔ 4.1 × 10⁵)
- 메모리와 대응 — 그림 6 체크포인트(저장 100 → 20 · 계산 2배 · O(√n) · 48 GB → 7 GB)
- 비교와 유의점 — 수치 · 기호 · 전진 · 후진 비교 표 · gradcheck · 기울기 소실은 별도 현상
꼭 쓸 키워드
연쇄 법칙계산 그래프순전파저장 값국소 미분기울기 누적후진 모드 자동 미분전진 모드그래디언트 체크포인팅기울기 확인
다른 답안과 차이를 내는 한 가지는 계산량과 메모리를 숫자로 맞세우는 것이다 — 「역전파는 효율적이다」 대신 전진 모드 8.3 × 10¹⁰ ↔ 역전파 4.1 × 10⁵, 그리고 그 대가인 저장 값 100 → 20(체크포인트) 을 함께 보이면 왜 학습 메모리가 추론보다 큰지까지 답이 된다.
9오해와 사실
- 오해역전파는 신경망을 학습시키는 알고리즘 전체다.사실역전파는 기울기를 계산하는 방법일 뿐이고, 그 기울기로 파라미터를 고치는 일은 확률적 경사 하강법 같은 다른 알고리즘이 한다(Goodfellow 2016 6.5절).
- 오해역전파는 다층 신경망에만 쓰는 기법이다.사실미분 규칙을 아는 연산으로 이루어진 어떤 계산 흐름에도 쓸 수 있고, 더 넓은 후진 모드 자동 미분의 특수한 경우다(Goodfellow 2016 6.5.9절).
- 오해역전파의 기울기는 작은 변화로 재는 근사값이다.사실국소 미분을 정확히 곱해 기계 정밀도의 값을 내며, 근사는 유한 차분 쪽이다 — 사례에서 중앙 차분과의 차이는 1.2 × 10⁻¹¹ 이하였다(Baydin 2018 2.1절).
10핵심 정리
| 구분 | 맡는 일 | 규칙 · 식 | 비용 | 사례 값 |
|---|---|---|---|---|
| 계산 그래프 | 계산 기록 | 변수 = 노드 · 연산 = 간선 | 연산 n 개 | 곱 · tanh · 곱 · 더하기 · 손실 |
| 순전파 · 저장 | 값 계산 · 남기기 | 국소 미분에 필요한 값 | 메모리 ∝ 배치 × 깊이 | h = 0.537 저장 |
| 연쇄 법칙(곱) | 경로 따라 전달 | 받은 기울기 × 국소 미분 | 간선 수에 비례 | 1 − h² = 0.712 → ∂L/∂z = 0.436 |
| 기울기 누적(합) | 여러 곳에 쓴 변수 | 경로별 기울기를 더함 | 소비자 수만큼 덧셈 | ∂L/∂x = −0.876 + 0.524 |
| 후진 모드 | 손실 하나 · 입력 많음 | m·c·ops(f) | 순전파의 몇 배 | 4.1 × 10⁵ |
| 전진 모드 | 입력 적음 · 출력 많음 | n·c·ops(f) | 입력 수에 비례 | 8.3 × 10¹⁰ |
| 체크포인트 | 메모리 줄이기 | 구간 시작 값만 남기고 다시 계산 | 저장 O(√n) · 순전파 1번 더 | 100 → 20 · 계산 100 → 200 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6 Deep Feedforward Networks — 계산 그래프 · 연쇄 법칙 · 기울기 표 알고리즘(6.5절)과 역사(6.6절)를 식으로 따라갈 때
- ★ Automatic Differentiation in Machine Learning: a Survey (JMLR 18(153) 1-43) — 전진 모드 · 후진 모드 · 수치 미분 · 기호 미분의 차이와 비용 식을 볼 때
- ★ Training Deep Nets with Sublinear Memory Cost — 저장 값을 버리고 다시 계산해 메모리를 O(√n) 으로 줄이는 방법을 볼 때
- ★ PyTorch 2.15 documentation - Autograd mechanics — 프레임워크가 저장 값 · 그래프를 언제 만들고 버리는지 볼 때
- 본문 근거
- Learning representations by back-propagating errors (Nature 323 533-536) — Nature · 1986-10 ·
www.nature.com/articles/323533a0· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.utils.checkpoint — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/checkpoint.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.autograd.gradcheck.gradcheck — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.autograd.gradcheck.gradcheck.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.Tensor.backward — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.Tensor.backward.html· 확인 2026-11-12 - NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12