AI › 인공지능 개요

딥러닝Deep Learning

은닉 계층을 여러 겹 쌓은 인공 신경망이 원자료에서 단계별 표현을 스스로 배우도록, 역전파로 구한 기울기로 모든 계층의 가중치를 함께 고치는 머신러닝 방법이다.

1요약

  1. 딥러닝은 머신러닝 가운데 은닉 계층을 여러 겹 쌓은 신경망을 역전파(Rumelhart 외 1986)와 경사 하강으로 학습하는 방법이고(Goodfellow 2016 6장), 그 위에서 합성곱 신경망 · 순환 신경망 · 트랜스포머와 LLM 이 돈다.
  2. 사람이 고른 특징으로는 픽셀 · 파형 같은 원자료를 다루기 어려웠는데, 2012년 8계층 신경망이 ImageNet 대회 top-5 오류를 2위의 26.2% 에서 15.3% 로 낮추며 표현 학습의 차이를 보였다(Krizhevsky 2012 6절).
  3. 「학습이 안 된다」는 계층별 기울기 크기로 가른다 — 입력 쪽 계층만 0에 가까우면 기울기 소실, 손실이 ln 2 근처에 멈추면 비선형이 사라진 은닉 단위, 손실이 갑자기 NaN 이 되면 기울기 폭주다.

2등장 배경

은닉 계층 없이 선형 경계 하나로 가르는 퍼셉트론은 XOR 처럼 직선으로 나뉘지 않는 문제를 풀지 못했고, 은닉 계층을 넣어도 그 가중치를 고칠 방법이 없었다. 1986년 Rumelhart · Hinton · Williams 는 출력 오차를 입력 쪽으로 거꾸로 전하는 역전파로 은닉 단위가 과제에 필요한 특징을 스스로 나타내게 됨을 보였다(Rumelhart 1986).

계층을 더 깊게 쌓자 입력 쪽 기울기가 사라져 학습이 멈췄다. 2006년 Hinton 외는 은닉 계층을 한 계층씩 차례로 미리 학습해 은닉 3계층 망을 학습했고(Hinton 2006), 2010년 Glorot · Bengio 는 시그모이드와 무작위 초기화가 깊은 망에 맞지 않음을 실험으로 보였다(Glorot 2010). 2012년 Krizhevsky 외는 ReLU 로 tanh 보다 6배 빨리 CIFAR-10 학습 오류 25% 에 닿고(3.1절), GTX 580 GPU 2장으로 5 ~ 6일 학습해 위 15.3% 를 얻었다.

2015년 He 외는 ReLU 에 맞춘 초기화(표준 편차 √(2/n) · He 2015a 2.2절)로 30계층 망을 수렴시켰고, 잔차 연결로 152계층 망을 학습해 ImageNet 오류 3.57% 를 냈다(He 2015b). 지금 합성곱 · 순환 · 트랜스포머 구조는 모두 순전파 → 손실 → 역전파 → 갱신이라는 같은 학습 틀을 쓴다(LeCun 2015).

3쉽게 이해하기 — 사진 감식 팀

사진 감식 팀이 세 줄로 앉아 있다. 첫 줄 감식원은 사진에서 선과 점만 찾고, 둘째 줄은 앞줄의 메모를 모아 귀 · 눈 같은 모양을 찾고, 맨 뒤 반장은 모양을 모아 「고양이일 확률 0.8」이라고 적는다. 감식원은 저마다 확신이 0보다 클 때만 그만큼 손을 든다. 정답지를 든 팀장이 틀린 만큼 점수를 매기면, 「네 메모가 틀림에 이만큼 보탰다」는 쪽지가 뒷줄에서 앞줄로 돌고, 쪽지를 받은 사람은 누구 메모를 얼마나 믿을지(눈금)를 조금 고친다.

사진 한 장 점마다 밝기 값 입력 계층 1 첫 줄 감식원 선 · 점 찾기 은닉 계층 1 2 둘째 줄 감식원 귀 · 눈 모양 은닉 계층 2 3 반장 고양이 0.8 출력 계층 4 팀장 · 정답지 틀린 만큼 점수 손실 함수 5 쪽지를 뒷줄부터 앞줄로 돌림 역전파 · 기울기 손 드는 기준 확신이 0보다 클 때만 활성 함수 · ReLU 6 눈금 고치기 쪽지 크기만큼 조금 가중치 갱신 줄이 길면 앞줄에는 빈 쪽지 기울기 소실 데이터 모델 · 학습 규칙 출력 · 평가 실패 쪽지가 도는 길(역전파)

그림 1 · 사진은 앞줄에서 뒷줄로 가며 판정이 되고, 틀린 만큼의 쪽지는 뒷줄에서 앞줄로 돌아 모든 사람의 눈금을 함께 고친다.

사진 받기점마다 밝기 값
선 찾기첫 줄이 선 · 점을 적음
모양 맞추기둘째 줄이 메모를 모음
반장 판정고양이 0.8
정답 대조틀린 만큼 점수
쪽지 돌리기뒷줄부터 눈금 고침
비유 — 쪽지를 넘기는 두 방식 실제 — 계층마다 곱하는 미분 쪽지가 가는 방향 · 뒷줄에서 앞줄로 줄마다 4분의 1로 줄여 넘김 첫 줄 둘째 줄 셋째 줄 넷째 줄 반장 1/256 1/64 1/16 1/4 1 그대로 넘김 1 1 1 1 1 시그모이드 미분 최댓값 0.25 네 계층을 지나면 0.25⁴ ≈ 0.004 기울기 소실 ReLU 켜진 단위의 미분 = 1 곱해도 크기가 남음 정상 흐름

그림 2 · 쪽지를 줄마다 4분의 1로 줄여 넘기면 첫 줄에는 256분의 1만 닿고, 그대로 넘기면 첫 줄까지 같은 크기로 닿는다.

비유 속 역할실제 이름실제로 하는 일
사진 한 장입력 계층픽셀 · 소리 크기 같은 원자료를 숫자 벡터로 받는다
첫 줄 감식원입력 쪽 은닉 계층가장자리 · 짧은 패턴처럼 단순한 특징을 만든다
둘째 줄 감식원출력 쪽 은닉 계층앞 계층 특징을 조합해 더 큰 단위의 특징을 만든다
손 드는 기준활성 함수선형 변환 값에 비선형(ReLU = max{0, z})을 넣는다
반장 판정출력 계층마지막 특징으로 확률 · 값을 낸다
정답지 점수손실 함수출력과 정답의 차이를 숫자 하나로 잰다
쪽지 · 눈금 고치기역전파 · 가중치 갱신연쇄 법칙으로 가중치마다 기울기를 구해 그만큼 고친다
앞줄의 빈 쪽지기울기 소실입력 쪽 계층의 기울기가 0에 가까워 학습이 멈춘다

⚠ 비유가 맞지 않는 곳: 실제 은닉 계층에는 「선을 찾아라」 같은 맡은 일이 미리 없다 — 무엇을 나타낼지는 학습이 정하고, 쪽지는 말이 아니라 가중치마다 붙는 숫자(편미분)이며 사진 수천 장의 쪽지를 평균해 한 번에 고친다.

4구조 — 여러 계층 신경망의 구성 요소

한 계층은 가중치 행렬 W 와 편향 b 로 선형 변환한 뒤 활성 함수 g 를 원소마다 적용해 h = g(Wx + b) 를 낸다(Goodfellow 2016 6.1절). g 가 없으면 몇 계층을 쌓아도 행렬 곱 하나와 같아 XOR 를 가르지 못하므로, 깊이의 효과는 계층 사이 비선형에서 나온다.

순전파 — 값을 입력 → 출력으로 계산 x1 x2 h1 h2 h3 p W1 W1 2×3 · b1 3 W2 W2 3×1 · b2 1 정답 y 손실 L 이진 교차 엔트로피 입력 계층 2 은닉 계층 3 · ReLU 출력 계층 1 시그모이드 손실 함수 역전파 — ∂L/∂W 를 출력 → 입력 순으로(연쇄 법칙) 데이터 정답 레이블 모델 · 학습 규칙 출력 · 평가 기울기 흐름

그림 3 · 값은 입력 → 출력으로 계산되고(순전파), 손실의 기울기는 같은 연결을 출력 → 입력으로 거슬러 가중치 13개 모두에 닿는다(역전파).

요소크기(사례)역할값 · 근거
입력 계층2원자료를 그대로 받음x ∈ {0, 1}²
가중치 · 편향W1 2×3 · b1 3 · W2 3×1 · b2 1 = 13학습으로 바뀌는 값처음 W ~ N(0, 1) · b = 0
활성 함수은닉 · 출력 계층마다계층 사이 비선형은닉 ReLU max{0, z} · 출력 시그모이드(Goodfellow 2016 6.3.1 · 6.2.2절)
정답 레이블표본당 1손실 계산의 기준XOR = 0 · 1 · 1 · 0
손실 함수1출력과 정답의 차이이진 교차 엔트로피 · 표본 평균(Goodfellow 2016 6.2.1절)
역전파계층 수만큼연쇄 법칙으로 ∂L/∂W 계산출력 → 입력 순(Goodfellow 2016 6.5절)
경사 하강반복마다W ← W − η ∂L/∂W학습률 η = 0.5(Goodfellow 2016 8.3.1절)

🔑 활성 함수를 빼면 100계층도 행렬 곱 하나다 — 깊이가 힘이 되는 것은 계층 수가 아니라 계층 사이의 비선형 때문이다.

5동작 — XOR 를 푸는 2-3-1 신경망 학습

Python 3.14.0 · NumPy 2.4.3 · np.random.default_rng(0) · 은닉 ReLU 3단위 · 출력 시그모이드 · 학습률 0.5 · 네 표본을 한 번에 넣는 전체 배치로 직접 실행한 값이다(NumPy Random Generator).

  1. 입력 (0,0) · (0,1) · (1,0) · (1,1) 과 정답 0 · 1 · 1 · 0 을 두고, 가중치 9개를 N(0, 1) 에서 뽑고 편향 4개는 0으로 둔다.
  2. 순전파로 은닉 계층을 계산한다 — 표본 (1,1) 의 선형 값 z = (0.231, −0.668, 1.002) 가 ReLU 를 지나 h = (0.231, 0, 1.002) 가 된다.
  3. 출력 계층 시그모이드가 p = (0.500, 0.471, 0.429, 0.400) 을 내고, 이진 교차 엔트로피 평균은 0.7012 로 모두 0.5 라고 답할 때의 ln 2 = 0.693 보다 크다.
  4. 역전파로 출력 오차 δ = (p − y)/4 = (0.125, −0.132, −0.143, 0.100) 에서 ∂L/∂W2 = (−0.009, 0, −0.039) 를 얻고, 은닉 쪽으로 전하며 ReLU 미분(0 또는 1)을 곱한다 — 네 표본 모두 0 이하였던 단위 2 의 기울기는 0이다.
  5. 경사 하강 W ← W − 0.5 × ∂L/∂W 로 13개 값을 한꺼번에 고치자 손실이 0.6897 로 준다.
  6. 2 ~ 5를 되풀이해 12회째에 네 표본을 모두 맞히고(0.5 기준), 1,000회에 손실 0.0047 · p = (0.012, 0.998, 0.998, 0.002) 가 된다.
  7. 학습 뒤 은닉 단위 1 은 3.13 × (x1 + x2)(1의 개수), 단위 3 은 (1,1) 에서만 4.25(둘 다 1)를 내고, 출력은 4.57·h1 − 7.27·h3 − 6.17 의 부호로 갈린다 — 단위 2 는 끝까지 0이었다.
1 입력 · 초기화 x 4개 · 정답 0 · 1 · 1 · 0 가중치 9 ~ N(0, 1) · 편향 4 = 0 default_rng(0) 2 은닉 계층 · ReLU 표본 (1,1) h = 0.231 · 0 · 1.002 음수 −0.668 → 0 3 출력 · 손실 p = 0.500 · 0.471 · 0.429 · 0.400 손실 0.7012 > ln 2 4 역전파 δ = (p − y) / 4 ∂L/∂W2 = −0.009 · 0 · −0.039 단위 2 → 기울기 0 5 경사 하강 W ← W − 0.5 × ∂L/∂W 13개를 한꺼번에 손실 0.7012 → 0.6897 6 되풀이 12회 · 네 표본 모두 맞힘 1,000회 · 손실 0.0047 ② ~ ⑤ 를 같은 순서로 데이터 학습 규칙 출력 · 평가 기울기 흐름 값 흐름

그림 4 · 한 번의 학습은 순전파 ②③ → 역전파 ④ → 갱신 ⑤ 이고, 이를 되풀이해 ⑥ 12회째에 네 표본을 모두 맞힌다.

입력 공간 — x1 · x2 은닉 공간 — h1 · h3 x1 x2 0 1 1 (0,0) (1,1) (1,0) (0,1) 직선 하나로 가를 수 없음 은닉 계층 ReLU(xW1 + b1) 0 3.13 6.26 4.25 (0,0) (1,1) (0,1) · (1,0) 겹침 h1 = 3.13 × (x1 + x2) — 1의 개수 h3 = (1,1) 에서만 4.25 — 둘 다 1 정답 0 쪽 정답 1 쪽 정답 0 정답 1 출력 계층의 경계 4.57·h1 − 7.27·h3 − 6.17 = 0 · 단위 2 는 늘 0 이라 뺌

그림 5 · 입력 공간에서 직선 하나로 갈리지 않던 네 점이, 학습한 은닉 계층의 공간에서는 출력 계층의 직선 하나로 갈린다(⑦ 표현 학습).

깊이를 늘리면 같은 역전파가 다른 결과를 낸다. 은닉 10계층 × 64단위 · 배치 256 · 입력과 목표 N(0, 1) · 평균 제곱 오차로 초기화 직후 기울기를 재면(같은 NumPy · default_rng(0)), 시그모이드 + 표준 편차 √(1/64) 초기화는 끝 계층 5.4 × 10⁻² 에서 첫 계층 3.7 × 10⁻⁷ 로 계층마다 약 0.27배씩 줄고, ReLU + He 초기화(√(2/64) · He 2015a 2.2절)는 6.0 에서 0.85 로 7분의 1에 그친다. 시그모이드의 미분은 σ(1 − σ) 라 최댓값이 0.25 이고, 역전파가 계층마다 이 값을 곱하기 때문이다(Glorot 2010 · Goodfellow 2016 6.3.2절).

계층별 기울기 노름 ‖∂L/∂W‖ — 은닉 10계층 × 64단위 · 초기화 직후 10 1 10⁻² 10⁻⁴ 10⁻⁶ 10⁻⁷ 1 3 5 7 9 10 은닉 계층 번호 — 1 = 입력 쪽 · 10 = 출력 쪽 역전파 방향 · 출력 쪽에서 입력 쪽으로 0.85 6.0 3.7 × 10⁻⁷ 5.4 × 10⁻² ReLU · He 초기화 — 첫 ÷ 끝 = 0.14 시그모이드 — 첫 ÷ 끝 = 6.8 × 10⁻⁶ 계층당 약 0.27배 · 미분 최댓값 0.25 ReLU + He 초기화(정상 흐름) 시그모이드 + √(1/64) 초기화(기울기 소실) 눈금 = 10의 거듭제곱

그림 6 · 역전파는 기울기를 계층마다 곱해 보내므로, 시그모이드 망은 입력 쪽으로 갈수록 계층당 약 0.27배씩 줄어 첫 계층에 끝 계층의 6.8 × 10⁻⁶ 만 닿는다.

🔑 역전파는 기울기를 계층마다 «곱해서» 입력 쪽으로 보낸다 — 계층당 곱하는 값이 1보다 작으면 깊이만큼 거듭제곱으로 사라지고, 1 근처면 첫 계층까지 닿는다.

6비교 — 은닉 계층 활성 함수 세 가지

기준시그모이드tanhReLU
식 · 출력 범위1 / (1 + e⁻ᶻ) · (0, 1)(eᶻ − e⁻ᶻ) / (eᶻ + e⁻ᶻ) · (−1, 1)max{0, z} · [0, ∞)
미분 최댓값0.25(z = 0)1(z = 0)1(z > 0 전부)
기울기가 0에 가까워지는 곳양쪽 끝 포화양쪽 끝 포화z < 0 전부(꺼진 단위)
사례 10계층 첫 ÷ 끝 기울기6.8 × 10⁻⁶재지 않음0.14(He 초기화)
오늘 주로 쓰는 자리이진 분류의 출력 계층순환 신경망의 은닉 상태은닉 계층 기본 권장(Goodfellow 2016 6.1절)

분석은닉 계층은 ReLU 와 He 초기화로 시작하고, 시그모이드는 확률이 필요한 출력 계층에만 둔다. 근거는 표의 「미분 최댓값」 행과 Goodfellow 2016 6.3.2절 — 시그모이드는 정의역 대부분에서 포화해 은닉 단위로 쓰기를 권하지 않는다.

7실무 진단 — 학습이 멈춘 위치 가르기

분석손실 곡선을 먼저 보고 다음에 계층별 기울기 노름, 마지막에 단위별 활성 값을 본다. 기울기는 출력 쪽에서 입력 쪽으로 곱해 전해지므로(Goodfellow 2016 6.5절) 어느 계층에서 크기가 꺾이는지가 곧 원인 위치다.

#증상의심 원인위치확인 자료판정 기준(근거)
1손실이 거의 줄지 않고 입력 쪽 가중치가 그대로기울기 소실입력 쪽 은닉 계층계층별 p.grad.norm()(PyTorch) · 텐서보드 히스토그램첫 계층이 끝 계층보다 여러 자릿수 작음(사례 6.8 × 10⁻⁶) → ReLU · He 초기화(Glorot 2010 · He 2015a 2.2절)
2손실이 ln 2 = 0.693 근처에 멈추고 출력이 모두 0.5은닉 단위가 늘 0(죽은 단위)이거나 늘 양수라 비선형이 사라짐은닉 계층단위별 활성 0 비율 · 표본별 부호같은 망을 default_rng(1) 로 시작하면 단위 1 은 네 표본 모두 0 · 단위 2 · 3 은 모두 양수 → 5,000회 뒤 0.6931 · 초기값 · 단위 수를 바꿈(Goodfellow 2016 6.3.1절)
3손실이 갑자기 NaN · inf기울기 폭주 · 큰 가중치의 곱전 계층반복마다 전체 기울기 노름노름이 갑자기 몇 자릿수 뜀 → clip_grad_norm_(params, max_norm) 로 잘라냄(Goodfellow 2016 8.2.4절 · PyTorch clip_grad_norm_)
4계층을 늘렸더니 학습 오차까지 커짐퇴화(과적합 아님)깊은 망 전체얕은 망과 학습 오차 비교깊은 망 학습 오차가 더 높음 → 잔차 연결(He 2015b 1 · 4.1절)

PyTorch 이름을 쓴 확인 자료 · 판정 기준은 TensorFlow 에서 tf.GradientTape 로 구한 기울기의 tf.norm · tf.clip_by_global_norm 이 같은 일을 한다. 2행은 데이터를 바꾸기 전에 먼저 본다 — 비선형이 사라진 망은 데이터 · 학습 횟수를 늘려도 선형 모델 이상이 되지 않는다.

8시험 대비

출제 정보 정보관리(140회, 139회, 134회, 131회, 120회, 111회, 107회) · 컴퓨터시스템응용(131회, 119회, 110회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 딥러닝의 정의와 구성(여러 계층 신경망 · 활성 함수 · 역전파)을 쓰는 정의 · 특징형과, 기울기 소실을 넘어온 과정(사전 학습 → ReLU · 초기화 → 잔차 연결)과 그 위의 구조를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 구조와 그림 4 학습 한 번으로 뼈대를 세우고, 동향형이면 연도순 해결책마다 「무엇이 기울기를 살렸는가」를 한 줄씩 붙인다.

답안 목차
  1. 개요 — 정의(은닉 계층 여러 겹 · 표현 학습) · 머신러닝과의 관계 · 역전파(Rumelhart 1986)
  2. 구조 — 그림 3 여러 계층 신경망(입력 · 은닉 · 출력 · 손실 · 가중치 13개) + 요소 표(h = g(Wx + b))
  3. 학습 절차 — 그림 4 순전파 → 손실 → 역전파 → 경사 하강(손실 0.7012 → 0.6897 · 반복 12번째에 모두 정답)
  4. 표현 학습 — 그림 5 XOR 의 입력 공간 ↔ 은닉 공간(1의 개수 · 둘 다 1)
  5. 기울기 소실과 대응 — 그림 6 계층별 기울기(6.8 × 10⁻⁶ ↔ 0.14) · 활성 함수 비교표 · He 초기화 √(2/n) · 잔차 연결
  6. 발전과 활용 — 계층별 사전 학습(Hinton 2006) → ReLU · GPU(Krizhevsky 2012 · top-5 15.3%) → 잔차 연결 152계층(He 2015b) → 합성곱 · 순환 · 트랜스포머

꼭 쓸 키워드
MLP은닉 계층활성 함수ReLU역전파연쇄 법칙경사 하강기울기 소실표현 학습잔차 연결

다른 답안과 차이를 내는 한 가지는 그림 6 처럼 계층별 기울기를 로그 눈금 수치로 그리는 것이다 — 「기울기 소실 = 기울기가 작아짐」 한 줄 대신 계층당 0.27배와 첫 계층 6.8 × 10⁻⁶ 을 보이면 ReLU · 잔차 연결이 왜 필요한지가 함께 드러난다.

9오해와 사실

  • 오해은닉 계층의 단위는 사람이 정한 특징을 하나씩 맡는다.
    사실무엇을 나타낼지는 학습이 정하며, 사례 XOR 망은 「1의 개수」와 「둘 다 1」을 스스로 만들었고 단위 하나는 끝까지 0이었다.
  • 오해계층을 많이 쌓을수록 정확도가 오른다.
    사실ResNet 논문의 일반 34계층 망은 18계층 망보다 검증 오류가 높았고, 원인은 과적합이 아니라 학습 오차가 커지는 퇴화였다(He 2015b 4.1절).
  • 오해딥러닝은 2010년대에 새로 나온 학습 원리다.
    사실역전파는 1986년에 발표됐고(Rumelhart 1986), 2012년 무렵 달라진 것은 ReLU · GPU 2장 학습 · 120만 장 데이터 같은 조건이었다(Krizhevsky 2012 1 · 3.1절).

10핵심 정리

구분맡는 일식 · 규칙사례 값깨지면
입력 계층원자료 받기xXOR 네 점—
은닉 계층표현 만들기h = g(Wx + b)1의 개수 · 둘 다 1늘 0 인 단위
활성 함수계층 사이 비선형ReLU max{0, z}미분 0 또는 1포화 · 선형화
손실 함수오차 재기이진 교차 엔트로피0.7012 → 0.0047ln 2 정체
역전파기울기 계산연쇄 법칙 · 출력 → 입력∂L/∂W2 = −0.009 · 0 · −0.039소실 · 폭주
경사 하강가중치 갱신W ← W − η ∂L/∂Wη = 0.5 · 반복 12번째 정답NaN
기울기 소실학습 실패계층마다 미분 곱 < 1시그모이드 6.8 × 10⁻⁶ReLU · He 초기화 · 잔차 연결로 대응

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6 Deep Feedforward Networks — 순전파 · 역전파 · 은닉 단위(ReLU · 시그모이드)를 식으로 따라갈 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/mlp.html · 확인 2026-11-03
  3. ★ Learning representations by back-propagating errors (Nature 323 533-536) — 역전파가 은닉 단위에 특징 표현을 만든다는 원 논문을 볼 때
    Nature · 1986-10 · www.nature.com/articles/323533a0 · 확인 2026-11-03
  4. ★ Understanding the difficulty of training deep feedforward neural networks (PMLR 9 249-256) — 시그모이드 포화와 계층별 기울기 크기를 실험으로 볼 때
    PMLR · 2010-05 · proceedings.mlr.press/v9/glorot10a.html · 확인 2026-11-03
  5. ★ Deep Residual Learning for Image Recognition (He et al.) — 깊이를 늘리면 학습 오차가 커지는 퇴화와 잔차 연결을 볼 때
    arXiv · 2015-12 · arxiv.org/abs/1512.03385 · 확인 2026-11-03
  6. ★ Deep learning (Nature 521 436-444) — 표현 학습으로서의 딥러닝과 그 역사를 한 편으로 볼 때
    Nature · 2015-05 · www.nature.com/articles/nature14539 · 확인 2026-11-03
  7. 본문 근거
  8. Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8 Optimization for Training Deep Models — MIT Press · 2016-11 · www.deeplearningbook.org/contents/optimization.html · 확인 2026-11-03
  9. ImageNet Classification with Deep Convolutional Neural Networks (NIPS 2012) — NeurIPS · 2012-12 · papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html · 확인 2026-11-03
  10. A fast learning algorithm for deep belief nets (Neural Computation 18(7) 1527-1554) — MIT Press · 2006-07 · www.cs.toronto.edu/~hinton/absps/fastnc.pdf · 확인 2026-11-03
  11. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (He et al.) — arXiv · 2015-02 · arxiv.org/abs/1502.01852 · 확인 2026-11-03
  12. NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-03
  13. PyTorch 2.15 documentation - torch.nn.utils.clip_grad_norm_ — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.utils.clip_grad_norm_.html · 확인 2026-11-03