AI › 인공지능 개요 › 딥러닝 › 신경망 기본

역전파Backpropagation

계산 흐름의 끝(손실)에서 시작해 연쇄 법칙을 출력 쪽에서 입력 쪽 순서로 적용하여, 모든 파라미터에 대한 손실의 기울기를 순전파와 같은 차수의 계산량으로 한 번에 구하는 방법이다. 파라미터를 고치는 일은 경사 하강법 · 옵티마이저가 맡는다.

1요약

  1. 역전파는 신경망 학습에서 기울기만 계산하는 단계로, 순전파가 남긴 값과 연쇄 법칙으로 손실 L 의 모든 파라미터 기울기를 한 번에 구하며(Goodfellow 2016 6.5절), 그 기울기 위에서 경사 하강법 · 옵티마이저가 가중치를 고친다.
  2. 파라미터마다 따로 미분하면 203,530개 파라미터 망 한 표본의 기울기에 곱셈 · 덧셈 약 8.3 × 10¹⁰ 번이 들지만, 역전파는 약 4.1 × 10⁵ 번(순전파 포함)으로 끝난다 — 대신 순전파 값을 역전파가 끝날 때까지 메모리에 둔다.
  3. 「역전파가 문제다」는 어느 단계에서 깨졌는가로 가른다 — 학습 때만 메모리가 넘치면 저장 값, 기울기가 None 이면 끊긴 계산 흐름, 직접 짠 미분이 의심되면 수치 미분과의 차이다.

2등장 배경

여러 계층 신경망의 은닉 가중치를 고치려면 손실이 그 가중치에 얼마나 민감한지 알아야 하는데, 가중치 하나씩 조금 바꿔 순전파를 다시 돌리는 방식은 가중치 수만큼 계산이 늘고 반올림 오차도 생긴다(Baydin 2018 2.1절). 연쇄 법칙 자체는 17세기(Leibniz 1676)부터 있었지만, 같은 부분식을 되풀이 계산하지 않는 «순서»가 문제였다(Goodfellow 2016 6.6절).

1964년 Wengert 가 입력 쪽부터 미분 값을 함께 나르는 전진 모드를, 1970년 Linnainmaa 가 출력 쪽부터 거슬러 가는 후진 모드를 처음 발표했다(Baydin 2018 3.3절). Werbos 는 1974년 박사 논문과 1981년 논문에서 이를 신경망 학습에 쓰자고 했고, 1985년 LeCun · Parker 와 1986년 Rumelhart · Hinton · Williams 가 각각 다시 찾아내며 「역전파」라는 이름으로 퍼졌다(Goodfellow 2016 6.6절 · Rumelhart 1986).

지금 프레임워크는 순전파를 돌릴 때마다 계산 흐름을 새로 기록하고 역전파가 지나간 저장 값을 바로 버린다(PyTorch Autograd mechanics). 모델이 깊어지자 계산량보다 저장 값이 먼저 GPU 메모리에 걸렸고, 2016년 Chen 외는 저장 값 일부를 버렸다가 다시 계산해 1,000계층 망의 메모리를 48 GB 에서 7 GB 로 줄였다(Chen 2016 초록).

3쉽게 이해하기 — 공장 감사관의 책임 쪽지

작은 공장에서 재료가 가공 → 조립 → 검사대를 지나 완성품이 된다. 재료 일부는 가공을 건너뛰고 조립대로 바로 간다. 작업자는 일을 하며 작업 일지에 중간 결과를 적어 둔다. 검사대가 완성품이 목표에서 얼마나 벗어났는지 재면, 감사관이 검사대부터 거꾸로 걸어가며 일지를 펼쳐 「이 공정이 결과를 이만큼 흔들었다」는 책임 쪽지를 앞 공정에 넘긴다. 두 곳에 쓰인 재료는 쪽지 두 장을 받아 더한다.

재료 일부는 조립대로 바로 감 잔차 연결 1 재료 투입 입력 x 가공 tanh 연산 조립 곱 · 더하기 3 검사대 손실 L 2 작업 일지 저장 값 h 4 감사관이 일지를 읽으며 책임 쪽지를 거꾸로 넘김 역전파 · 기울기 5 쪽지 두 장 더하기 가는 실선 = 물건 흐름(순전파) · 굵은 강조 선 = 책임 쪽지(역전파) · 원 숫자 = 이야기 순서

그림 1 · 물건은 앞에서 뒤로 흐르며 일지를 남기고, 책임 쪽지는 검사대에서 거꾸로 돌아오며 일지를 읽는다 — 두 곳에 쓰인 재료는 쪽지 두 장을 더한다.

재료 투입일부는 조립대로 바로
가공결과를 일지에 적음
조립두 부품을 합침
검사목표와 차이를 잼
거꾸로 감사일지를 읽고 쪽지를 넘김
쪽지 합산두 곳에 쓴 재료는 더함
비유 — 쪽지 두 장 실제 — 경로 두 개의 기울기 조립대 바로 온 재료 가공 가공을 거친 재료 쪽지 합산 재료의 책임 = 합 x + × 잔차 길 곱 길(w1 = 1.2) −0.876 +0.524 ∂L/∂x = −0.876 + 0.524 = −0.352

그림 2 · 두 곳에 쓰인 재료는 두 길에서 온 쪽지를 더한 만큼 책임을 진다 — 실제로는 두 경로의 기울기를 더한다.

비유 속 역할실제 이름실제로 하는 일
재료입력 · 파라미터기울기를 받을 변수(x · w1 · w2)
가공 · 조립 공정연산 노드곱 · 더하기 · tanh 같은 미분을 아는 기본 연산
작업 일지저장 값역전파 때 국소 미분에 쓰려고 남긴 순전파 값(h 등)
검사대손실 함수출력과 목표의 차이를 숫자 하나 L 로 낸다
감사관이 거꾸로 걷기역전파 순서손실에서 입력 쪽으로 연쇄 법칙을 적용한다
책임 쪽지기울기노드마다 ∂L/∂(그 노드)를 받는다
쪽지 합산기울기 누적여러 곳에 쓰인 변수는 경로마다의 기울기를 더한다
다 읽은 일지 버리기저장 값 해제역전파가 지나간 저장 값은 메모리에서 지운다

⚠ 비유가 맞지 않는 곳: 감사관은 결함을 고치지 않는다 — 역전파는 기울기만 구하고 가중치를 고치는 일은 경사 하강법 · 옵티마이저가 하며, 쪽지 값은 책임의 크기가 아니라 «조금 바꾸면 손실이 얼마나 바뀌나»라는 미분 값이라 부호가 있다.

4구조 — 계산 그래프 · 저장 값 · 기울기 표

역전파는 계산을 변수 = 노드, 연산 = 방향 있는 간선으로 적은 계산 그래프 위에서 돈다(Goodfellow 2016 6.5.1절). 연산마다 «받은 기울기에 자기 국소 미분을 곱하는 규칙(bprop)»만 알면 되고, 프레임워크는 순전파를 돌릴 때 그 규칙과 필요한 값을 함께 기록한다(PyTorch Autograd mechanics).

순전파 왼쪽 → 오른쪽 저장 값 쌓기 · 꺼내기 역전파 오른쪽 → 왼쪽 곱 z = w1·x h = tanh z ŷ = w2·h + x L = ½(ŷ − t)² x h h · w2 e = ŷ − t × x → ∂L/∂w1 × w1 → ∂L/∂x 에 더함 × (1 − h²) ∂L/∂z × h · × w2 ∂L/∂w2 · ∂L/∂h 시작 1 × e ∂L/∂ŷ 위 줄 채운 상자 = 연산(순전파 규칙) · 가운데 줄 채운 상자 = 저장 값 · 테두리 상자 = 역전파 bprop 규칙 회색 화살 = 저장 · 꺼내기 · 굵은 강조 선 = 기울기가 가는 방향

그림 3 · 순전파는 연산 순서대로 저장 값을 쌓고, 역전파는 손실에서 시작해 마지막에 쌓은 값부터 꺼내 쓰고 버린다.

요소크기역할값 · 근거
계산 그래프연산 n 개변수 = 노드 · 연산 = 간선반복마다 새로 기록(PyTorch Autograd mechanics)
연산 bprop 규칙연산 종류마다 1받은 기울기 × 국소 미분tanh 는 × (1 − h²) · 곱은 × 상대 입력
저장 값표본 수 × 은닉 단위 수 × 계층 수국소 미분 계산에 쓸 순전파 값은닉 계층 입력 값 O(m·n_h)(Goodfellow 2016 6.5.7절)
시작 값1역전파의 출발grad_table[L] ← 1(Goodfellow 2016 알고리즘 6.5)
기울기 표노드마다 1소비자마다 받은 기울기를 더해 보관G = Σ G(i)(알고리즘 6.6)
가지치기—손실의 조상이면서 대상 변수의 자손인 노드만 계산그래프 G′(알고리즘 6.5)
계산량간선 수에 비례순전파와 같은 차수Goodfellow 2016 6.5.3절

🔑 역전파의 메모리는 파라미터가 아니라 «남겨 둔 순전파 값»이 먹는다 — 표본 수 · 깊이에 비례해 커지고, 기울기가 필요 없는 추론에는 남길 이유가 없다.

5동작 — 잔차 연결이 있는 계산 흐름의 기울기

설명용으로 고른 값 x = 0.5 · w1 = 1.2 · w2 = −0.7 · 목표 t = 1.0 으로 ŷ = w2·tanh(w1·x) + x · L = ½(ŷ − t)² 의 기울기를 구한다(직접 실행 · 합성 값). x 는 곱 연산과 더하기 연산 두 곳에 쓰인다.

  1. 순전파로 z = w1·x = 0.6 을 내고 h = tanh 0.6 = 0.5370 을 저장한다 — tanh 의 미분 1 − h² 에 h 가 다시 필요하다.
  2. ŷ = −0.7 × 0.5370 + 0.5 = 0.1241, e = ŷ − t = −0.8759, L = 0.3836 이 된다.
  3. 역전파는 ∂L/∂L = 1 에서 시작해 ∂L/∂ŷ = e = −0.8759 를 얻는다.
  4. 곱 노드는 상대 입력을 곱한다 — ∂L/∂w2 = −0.8759 × h = −0.4704 · ∂L/∂h = −0.8759 × w2 = 0.6132.
  5. tanh 노드는 저장한 h 로 1 − h² = 0.7116 을 곱해 ∂L/∂z = 0.4363 을 내고, 곱 노드에서 ∂L/∂w1 = 0.4363 × x = 0.2182 를 얻는다.
  6. x 는 두 곳에 쓰였으므로 두 경로를 더한다 — 잔차 길 −0.8759 + 곱 길 0.4363 × 1.2 = 0.5236 → ∂L/∂x = −0.3524.
  7. 중앙 차분(ε = 10⁻⁵)으로 잰 세 기울기와의 차이가 모두 1.2 × 10⁻¹¹ 이하이고, 학습률 0.1 로 w1 · w2 를 한 번 고치면 L 이 0.3575 로 준다.
w1 = 1.2 x = 0.5 × 1 z = 0.6 tanh h = 0.537 저장 w2 = −0.7 × −0.376 + ŷ = 0.124 L = ½(ŷ − t)² 2 e = −0.876 L = 0.384 잔차 길(x 를 그대로 더함) ∂L/∂ŷ = −0.876 3 ∂L/∂w2 = −0.470 ∂L/∂h = 0.613 4 1 − h² = 0.712 → ∂L/∂z = 0.436 ∂L/∂w1 = 0.218 5 ∂L/∂x = −0.876(잔차 길) + 0.524(곱 길) = −0.352 6 7 중앙 차분과 차이 ≤ 1.2 × 10⁻¹¹ · 학습률 0.1 로 한 번 고치면 L = 0.3575 채운 상자 = 입력 · 파라미터 · 연산 · 손실 · 위 글자 = 순전파 값 · 테두리 상자 = 역전파 기울기 · 원 숫자 = 동작 단계

그림 4 · 위 글자는 순전파 값, 아래 상자는 역전파 기울기다 — 단계 ③ ~ ⑤ 는 곱하고, 두 곳에 쓰인 x 는 단계 ⑥ 에서 더한다.

🔑 역전파의 규칙은 둘뿐이다 — 한 경로를 따라서는 국소 미분을 «곱하고», 한 변수가 여러 곳에 쓰였으면 경로마다 구한 기울기를 «더한다».

출력이 손실 하나이고 입력(파라미터)이 많다는 점이 후진 모드를 고르는 이유다. 입력 n 개 · 출력 m 개 함수의 야코비 행렬을 전진 모드는 n·c·ops(f), 후진 모드는 m·c·ops(f) 에 구하고 c 는 6 보다 작으며 대개 2 ~ 3 이다(Baydin 2018 3.2절). 4-3-1 tanh 망(파라미터 15개)에서 전진 모드를 15번 돌린 기울기와 역전파 1번의 기울기는 2.8 × 10⁻¹⁷ 안에서 같았다(직접 실행 · 합성 데이터).

야코비 행렬 m × n 열 = 입력(파라미터) n · 행 = 출력 m 전진 모드 1회 = 열 하나 후진 모드 1회 = 행 하나 손실은 출력 하나(m = 1) → 후진 모드 한 번이면 끝 기울기 한 벌의 곱셈 · 덧셈 수 784-256-10 망 · 표본 1개 · 파라미터 203,530개 10⁴ 10⁵ 10⁷ 10⁹ 10¹¹ 전진 모드 n 번 ≈ 8.3 × 10¹⁰ 후진 모드 1번 ≈ 4.1 × 10⁵(순전파 포함) 순전파 203,264 · 역전파 205,824 → 합 409,088 전진 모드 = n × c × 순전파(c = 2 로 둔 계산) 비율 ≈ 2.0 × 10⁵ ≈ 파라미터 수 n 가로 눈금 = 로그(10배마다 같은 길이) · 채운 막대 · 열 = 전진 모드 · 굵은 테두리 = 후진 모드(역전파)

그림 5 · 손실 하나(m = 1)에 파라미터 203,530개(n)이면 전진 모드는 열마다 한 번씩 n 번, 후진 모드는 행 하나를 한 번에 구해 계산량이 약 20만 배 차이 난다.

🔑 출력이 하나(손실)이고 입력이 많으면 후진 모드다 — 기울기 한 벌의 비용이 파라미터 수와 무관하게 순전파의 몇 배로 묶이고, 그 값으로 메모리를 낸다.

메모리 쪽은 거꾸로 깊이에 비례한다. 100계층 tanh 망(폭 64 · 배치 32)을 모의로 돌리면 모든 계층 출력을 남길 때 저장 값이 100개(204,800개 실수)이고, 10계층마다 한 번만 남겼다가 역전파 때 구간을 다시 계산하면 한때 남는 것이 최대 20개(40,960개)로 줄며 계층 계산은 100번에서 200번으로 늘고 기울기는 차이 0 으로 같다(직접 실행 · 합성 데이터 · Chen 2016 4.3절 O(√n)).

한때 남는 계층 출력 수 0 128 256 16 · 8 16계층 64 · 16 64계층 100 · 20 100계층 256 · 32 256계층 100계층 모의 실행 저장 100 → 20(5분의 1) 계층 계산 100 → 200 기울기 차이 0 원 논문(Chen 2016) 1,000계층 망 48 GB → 7 GB 모두 저장(n) √n 구간 체크포인트(√n 개 + 구간 하나) 굵은 글자색 테두리 = 본문 모의 실행 값 · 막대 위 숫자 = 모두 저장 · 체크포인트

그림 6 · 구간마다 시작 값만 남기면 저장 값은 깊이 n 대신 약 2√n 으로 자라고, 대가는 순전파를 한 번 더 도는 것이다.

6비교 — 기울기를 구하는 방법 넷

기준수치 미분(유한 차분)기호 미분전진 모드 자동 미분후진 모드 자동 미분(역전파)
계산 방식입력을 ε 만큼 바꿔 f 를 다시 계산식 자체를 미분해 새 식을 만듦입력 쪽부터 값과 미분 값을 함께 나름순전파 뒤 출력 쪽부터 거슬러 감
파라미터 n 개 기울기f 를 n 번 이상 계산식이 부풀 수 있음(Baydin 2018 2.2절)n·c·ops(f)1·c·ops(f) · c < 6
정확도잘림 · 반올림 오차(Baydin 2018 2.1절)정확기계 정밀도기계 정밀도
추가 메모리거의 없음식 크기만큼미분 값 한 벌순전파 저장 값(깊이 · 배치에 비례)
주로 쓰는 곳기울기 확인(gradcheck)식이 짧은 해석 문제입력이 적고 출력이 많은 민감도 분석신경망 학습 · 손실 하나에 파라미터 많음

분석신경망 학습은 후진 모드(역전파)를 쓰고, 수치 미분은 새 연산의 역전파 규칙을 확인할 때만, 전진 모드는 입력 수가 출력 수보다 적을 때 쓴다. 근거는 표의 「파라미터 n 개 기울기」 행과 Baydin 2018 3.2절 — 후진 모드는 m ≪ n 일 때 유리하다.

7실무 진단 — 역전파가 깨진 단계 가르기

분석메모리 · 오류 메시지로 저장 단계를 먼저 보고, 다음에 기울기가 None 인지로 계산 흐름을, 마지막에 기울기 값 자체를 수치 미분과 맞춘다. 앞 두 단계는 한 번 실행으로 확인되고, 값 확인은 double 정밀도로 다시 돌려야 해서 가장 비싸다(PyTorch gradcheck).

#증상의심 원인단계확인 자료판정 기준(근거)
1학습 때만 GPU 메모리 부족 · 추론은 정상남겨 둔 순전파 값저장같은 배치를 torch.no_grad() 로 돌려 비교no_grad 에서 정상이면 저장 값 몫 → 배치 줄이기 · checkpoint(..., use_reentrant=False)(PyTorch checkpoint · Chen 2016)
2같은 손실로 backward() 를 두 번 부르면 오류첫 역전파 뒤 저장 값 해제저장retain_graph 인자기본은 그래프를 해제 · True 일 때만 유지(PyTorch Tensor.backward) → 대개 순전파를 다시 돌림
3어떤 파라미터의 .grad 가 None계산 흐름 끊김(detach() · NumPy 변환 · requires_grad=False)순전파손실에서 grad_fn 을 따라가 그 파라미터가 나오는지손실의 조상이 아닌 노드는 계산하지 않음(Goodfellow 2016 알고리즘 6.5)
4반복마다 기울기 노름이 커지고 손실이 출렁임.grad 누적(초기화 빠짐)갱신같은 배치로 backward() 두 번 뒤 .grad 가 두 배인지backward 는 잎 노드에 누적(PyTorch Tensor.backward) → 반복마다 zero_grad()
5직접 만든 연산의 학습만 이상bprop 규칙(국소 미분) 오류역전파gradcheck(double · eps 10⁻⁶)atol 10⁻⁵ · rtol 10⁻³ 안이면 통과(PyTorch gradcheck)

PyTorch 이름을 쓴 곳은 JAX 에서 jax.grad · jax.checkpoint, TensorFlow 에서 tf.GradientTape · tf.recompute_grad 가 같은 일을 한다. 기울기가 입력 쪽 계층으로 갈수록 작아지는 기울기 소실은 계산이 맞아도 생기는 현상이라 딥러닝이 다룬다.

8시험 대비

출제 정보 정보관리(133회) · 컴퓨터시스템응용(119회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 역전파의 정의와 연쇄 법칙 · 계산 그래프를 쓰는 정의 · 특징형과, 작은 망의 기울기를 단계별로 구하게 하는 동작 · 절차 설명형이 나올 수 있다. 정의형이면 «기울기 계산만 · 후진 모드 자동 미분»을 첫 줄에 두고 계산량 · 메모리를 함께 쓰며, 절차형이면 그림 4 처럼 순전파 값 → 시작 값 1 → 곱 · 합 규칙을 숫자로 따라간다.

답안 목차
  1. 개요 — 정의(연쇄 법칙을 출력 → 입력 순서로 · 기울기 계산만 · 갱신은 경사 하강법) · 후진 모드 자동 미분의 특수한 경우(Goodfellow 2016 6.5.9절)
  2. 구성 — 그림 3 순전파 · 저장 값 · 역전파 세 줄 + 요소 표(bprop 규칙 · 기울기 표 · 시작 값 1)
  3. 계산 절차 — 그림 4 잔차 연결 사례(곱 규칙 · 두 경로 합 ∂L/∂x = −0.352) · 중앙 차분 확인 1.2 × 10⁻¹¹
  4. 계산량 — 그림 5 전진 · 후진 모드(n·c·ops ↔ m·c·ops · 8.3 × 10¹⁰ ↔ 4.1 × 10⁵)
  5. 메모리와 대응 — 그림 6 체크포인트(저장 100 → 20 · 계산 2배 · O(√n) · 48 GB → 7 GB)
  6. 비교와 유의점 — 수치 · 기호 · 전진 · 후진 비교 표 · gradcheck · 기울기 소실은 별도 현상

꼭 쓸 키워드
연쇄 법칙계산 그래프순전파저장 값국소 미분기울기 누적후진 모드 자동 미분전진 모드그래디언트 체크포인팅기울기 확인

다른 답안과 차이를 내는 한 가지는 계산량과 메모리를 숫자로 맞세우는 것이다 — 「역전파는 효율적이다」 대신 전진 모드 8.3 × 10¹⁰ ↔ 역전파 4.1 × 10⁵, 그리고 그 대가인 저장 값 100 → 20(체크포인트) 을 함께 보이면 왜 학습 메모리가 추론보다 큰지까지 답이 된다.

9오해와 사실

  • 오해역전파는 신경망을 학습시키는 알고리즘 전체다.
    사실역전파는 기울기를 계산하는 방법일 뿐이고, 그 기울기로 파라미터를 고치는 일은 확률적 경사 하강법 같은 다른 알고리즘이 한다(Goodfellow 2016 6.5절).
  • 오해역전파는 다층 신경망에만 쓰는 기법이다.
    사실미분 규칙을 아는 연산으로 이루어진 어떤 계산 흐름에도 쓸 수 있고, 더 넓은 후진 모드 자동 미분의 특수한 경우다(Goodfellow 2016 6.5.9절).
  • 오해역전파의 기울기는 작은 변화로 재는 근사값이다.
    사실국소 미분을 정확히 곱해 기계 정밀도의 값을 내며, 근사는 유한 차분 쪽이다 — 사례에서 중앙 차분과의 차이는 1.2 × 10⁻¹¹ 이하였다(Baydin 2018 2.1절).

10핵심 정리

구분맡는 일규칙 · 식비용사례 값
계산 그래프계산 기록변수 = 노드 · 연산 = 간선연산 n 개곱 · tanh · 곱 · 더하기 · 손실
순전파 · 저장값 계산 · 남기기국소 미분에 필요한 값메모리 ∝ 배치 × 깊이h = 0.537 저장
연쇄 법칙(곱)경로 따라 전달받은 기울기 × 국소 미분간선 수에 비례1 − h² = 0.712 → ∂L/∂z = 0.436
기울기 누적(합)여러 곳에 쓴 변수경로별 기울기를 더함소비자 수만큼 덧셈∂L/∂x = −0.876 + 0.524
후진 모드손실 하나 · 입력 많음m·c·ops(f)순전파의 몇 배4.1 × 10⁵
전진 모드입력 적음 · 출력 많음n·c·ops(f)입력 수에 비례8.3 × 10¹⁰
체크포인트메모리 줄이기구간 시작 값만 남기고 다시 계산저장 O(√n) · 순전파 1번 더100 → 20 · 계산 100 → 200

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6 Deep Feedforward Networks — 계산 그래프 · 연쇄 법칙 · 기울기 표 알고리즘(6.5절)과 역사(6.6절)를 식으로 따라갈 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/mlp.html · 확인 2026-11-12
  3. ★ Automatic Differentiation in Machine Learning: a Survey (JMLR 18(153) 1-43) — 전진 모드 · 후진 모드 · 수치 미분 · 기호 미분의 차이와 비용 식을 볼 때
    arXiv · 2018-02 · arxiv.org/abs/1502.05767 · 확인 2026-11-12
  4. ★ Training Deep Nets with Sublinear Memory Cost — 저장 값을 버리고 다시 계산해 메모리를 O(√n) 으로 줄이는 방법을 볼 때
    arXiv · 2016-04 · arxiv.org/abs/1604.06174 · 확인 2026-11-12
  5. ★ PyTorch 2.15 documentation - Autograd mechanics — 프레임워크가 저장 값 · 그래프를 언제 만들고 버리는지 볼 때
    PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/notes/autograd.html · 확인 2026-11-12
  6. 본문 근거
  7. Learning representations by back-propagating errors (Nature 323 533-536) — Nature · 1986-10 · www.nature.com/articles/323533a0 · 확인 2026-11-12
  8. PyTorch 2.15 documentation - torch.utils.checkpoint — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/checkpoint.html · 확인 2026-11-12
  9. PyTorch 2.15 documentation - torch.autograd.gradcheck.gradcheck — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.autograd.gradcheck.gradcheck.html · 확인 2026-11-12
  10. PyTorch 2.15 documentation - torch.Tensor.backward — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.Tensor.backward.html · 확인 2026-11-12
  11. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12