딥러닝Deep Learning
은닉 계층을 여러 겹 쌓은 인공 신경망이 원자료에서 단계별 표현을 스스로 배우도록, 역전파로 구한 기울기로 모든 계층의 가중치를 함께 고치는 머신러닝 방법이다.
1요약
- 딥러닝은 머신러닝 가운데 은닉 계층을 여러 겹 쌓은 신경망을 역전파(Rumelhart 외 1986)와 경사 하강으로 학습하는 방법이고(Goodfellow 2016 6장), 그 위에서 합성곱 신경망 · 순환 신경망 · 트랜스포머와 LLM 이 돈다.
- 사람이 고른 특징으로는 픽셀 · 파형 같은 원자료를 다루기 어려웠는데, 2012년 8계층 신경망이 ImageNet 대회 top-5 오류를 2위의 26.2% 에서 15.3% 로 낮추며 표현 학습의 차이를 보였다(Krizhevsky 2012 6절).
- 「학습이 안 된다」는 계층별 기울기 크기로 가른다 — 입력 쪽 계층만 0에 가까우면 기울기 소실, 손실이 ln 2 근처에 멈추면 비선형이 사라진 은닉 단위, 손실이 갑자기 NaN 이 되면 기울기 폭주다.
2등장 배경
은닉 계층 없이 선형 경계 하나로 가르는 퍼셉트론은 XOR 처럼 직선으로 나뉘지 않는 문제를 풀지 못했고, 은닉 계층을 넣어도 그 가중치를 고칠 방법이 없었다. 1986년 Rumelhart · Hinton · Williams 는 출력 오차를 입력 쪽으로 거꾸로 전하는 역전파로 은닉 단위가 과제에 필요한 특징을 스스로 나타내게 됨을 보였다(Rumelhart 1986).
계층을 더 깊게 쌓자 입력 쪽 기울기가 사라져 학습이 멈췄다. 2006년 Hinton 외는 은닉 계층을 한 계층씩 차례로 미리 학습해 은닉 3계층 망을 학습했고(Hinton 2006), 2010년 Glorot · Bengio 는 시그모이드와 무작위 초기화가 깊은 망에 맞지 않음을 실험으로 보였다(Glorot 2010). 2012년 Krizhevsky 외는 ReLU 로 tanh 보다 6배 빨리 CIFAR-10 학습 오류 25% 에 닿고(3.1절), GTX 580 GPU 2장으로 5 ~ 6일 학습해 위 15.3% 를 얻었다.
2015년 He 외는 ReLU 에 맞춘 초기화(표준 편차 √(2/n) · He 2015a 2.2절)로 30계층 망을 수렴시켰고, 잔차 연결로 152계층 망을 학습해 ImageNet 오류 3.57% 를 냈다(He 2015b). 지금 합성곱 · 순환 · 트랜스포머 구조는 모두 순전파 → 손실 → 역전파 → 갱신이라는 같은 학습 틀을 쓴다(LeCun 2015).
3쉽게 이해하기 — 사진 감식 팀
사진 감식 팀이 세 줄로 앉아 있다. 첫 줄 감식원은 사진에서 선과 점만 찾고, 둘째 줄은 앞줄의 메모를 모아 귀 · 눈 같은 모양을 찾고, 맨 뒤 반장은 모양을 모아 「고양이일 확률 0.8」이라고 적는다. 감식원은 저마다 확신이 0보다 클 때만 그만큼 손을 든다. 정답지를 든 팀장이 틀린 만큼 점수를 매기면, 「네 메모가 틀림에 이만큼 보탰다」는 쪽지가 뒷줄에서 앞줄로 돌고, 쪽지를 받은 사람은 누구 메모를 얼마나 믿을지(눈금)를 조금 고친다.
그림 1 · 사진은 앞줄에서 뒷줄로 가며 판정이 되고, 틀린 만큼의 쪽지는 뒷줄에서 앞줄로 돌아 모든 사람의 눈금을 함께 고친다.
그림 2 · 쪽지를 줄마다 4분의 1로 줄여 넘기면 첫 줄에는 256분의 1만 닿고, 그대로 넘기면 첫 줄까지 같은 크기로 닿는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 사진 한 장 | 입력 계층 | 픽셀 · 소리 크기 같은 원자료를 숫자 벡터로 받는다 |
| 첫 줄 감식원 | 입력 쪽 은닉 계층 | 가장자리 · 짧은 패턴처럼 단순한 특징을 만든다 |
| 둘째 줄 감식원 | 출력 쪽 은닉 계층 | 앞 계층 특징을 조합해 더 큰 단위의 특징을 만든다 |
| 손 드는 기준 | 활성 함수 | 선형 변환 값에 비선형(ReLU = max{0, z})을 넣는다 |
| 반장 판정 | 출력 계층 | 마지막 특징으로 확률 · 값을 낸다 |
| 정답지 점수 | 손실 함수 | 출력과 정답의 차이를 숫자 하나로 잰다 |
| 쪽지 · 눈금 고치기 | 역전파 · 가중치 갱신 | 연쇄 법칙으로 가중치마다 기울기를 구해 그만큼 고친다 |
| 앞줄의 빈 쪽지 | 기울기 소실 | 입력 쪽 계층의 기울기가 0에 가까워 학습이 멈춘다 |
⚠ 비유가 맞지 않는 곳: 실제 은닉 계층에는 「선을 찾아라」 같은 맡은 일이 미리 없다 — 무엇을 나타낼지는 학습이 정하고, 쪽지는 말이 아니라 가중치마다 붙는 숫자(편미분)이며 사진 수천 장의 쪽지를 평균해 한 번에 고친다.
4구조 — 여러 계층 신경망의 구성 요소
한 계층은 가중치 행렬 W 와 편향 b 로 선형 변환한 뒤 활성 함수 g 를 원소마다 적용해 h = g(Wx + b) 를 낸다(Goodfellow 2016 6.1절). g 가 없으면 몇 계층을 쌓아도 행렬 곱 하나와 같아 XOR 를 가르지 못하므로, 깊이의 효과는 계층 사이 비선형에서 나온다.
그림 3 · 값은 입력 → 출력으로 계산되고(순전파), 손실의 기울기는 같은 연결을 출력 → 입력으로 거슬러 가중치 13개 모두에 닿는다(역전파).
| 요소 | 크기(사례) | 역할 | 값 · 근거 |
|---|---|---|---|
| 입력 계층 | 2 | 원자료를 그대로 받음 | x ∈ {0, 1}² |
| 가중치 · 편향 | W1 2×3 · b1 3 · W2 3×1 · b2 1 = 13 | 학습으로 바뀌는 값 | 처음 W ~ N(0, 1) · b = 0 |
| 활성 함수 | 은닉 · 출력 계층마다 | 계층 사이 비선형 | 은닉 ReLU max{0, z} · 출력 시그모이드(Goodfellow 2016 6.3.1 · 6.2.2절) |
| 정답 레이블 | 표본당 1 | 손실 계산의 기준 | XOR = 0 · 1 · 1 · 0 |
| 손실 함수 | 1 | 출력과 정답의 차이 | 이진 교차 엔트로피 · 표본 평균(Goodfellow 2016 6.2.1절) |
| 역전파 | 계층 수만큼 | 연쇄 법칙으로 ∂L/∂W 계산 | 출력 → 입력 순(Goodfellow 2016 6.5절) |
| 경사 하강 | 반복마다 | W ← W − η ∂L/∂W | 학습률 η = 0.5(Goodfellow 2016 8.3.1절) |
🔑 활성 함수를 빼면 100계층도 행렬 곱 하나다 — 깊이가 힘이 되는 것은 계층 수가 아니라 계층 사이의 비선형 때문이다.
5동작 — XOR 를 푸는 2-3-1 신경망 학습
Python 3.14.0 · NumPy 2.4.3 · np. · 은닉 ReLU 3단위 · 출력 시그모이드 · 학습률 0.5 · 네 표본을 한 번에 넣는 전체 배치로 직접 실행한 값이다(NumPy Random Generator).
- 입력 (0,0) · (0,1) · (1,0) · (1,1) 과 정답 0 · 1 · 1 · 0 을 두고, 가중치 9개를 N(0, 1) 에서 뽑고 편향 4개는 0으로 둔다.
- 순전파로 은닉 계층을 계산한다 — 표본 (1,1) 의 선형 값 z = (0.231, −0.668, 1.002) 가 ReLU 를 지나 h = (0.231, 0, 1.002) 가 된다.
- 출력 계층 시그모이드가 p = (0.500, 0.471, 0.429, 0.400) 을 내고, 이진 교차 엔트로피 평균은 0.7012 로 모두 0.5 라고 답할 때의 ln 2 = 0.693 보다 크다.
- 역전파로 출력 오차 δ = (p − y)/4 = (0.125, −0.132, −0.143, 0.100) 에서 ∂L/∂W2 = (−0.009, 0, −0.039) 를 얻고, 은닉 쪽으로 전하며 ReLU 미분(0 또는 1)을 곱한다 — 네 표본 모두 0 이하였던 단위 2 의 기울기는 0이다.
- 경사 하강 W ← W − 0.5 × ∂L/∂W 로 13개 값을 한꺼번에 고치자 손실이 0.6897 로 준다.
- 2 ~ 5를 되풀이해 12회째에 네 표본을 모두 맞히고(0.5 기준), 1,000회에 손실 0.0047 · p = (0.012, 0.998, 0.998, 0.002) 가 된다.
- 학습 뒤 은닉 단위 1 은 3.13 × (x1 + x2)(1의 개수), 단위 3 은 (1,1) 에서만 4.25(둘 다 1)를 내고, 출력은 4.57·h1 − 7.27·h3 − 6.17 의 부호로 갈린다 — 단위 2 는 끝까지 0이었다.
그림 4 · 한 번의 학습은 순전파 ②③ → 역전파 ④ → 갱신 ⑤ 이고, 이를 되풀이해 ⑥ 12회째에 네 표본을 모두 맞힌다.
그림 5 · 입력 공간에서 직선 하나로 갈리지 않던 네 점이, 학습한 은닉 계층의 공간에서는 출력 계층의 직선 하나로 갈린다(⑦ 표현 학습).
깊이를 늘리면 같은 역전파가 다른 결과를 낸다. 은닉 10계층 × 64단위 · 배치 256 · 입력과 목표 N(0, 1) · 평균 제곱 오차로 초기화 직후 기울기를 재면(같은 NumPy · default_rng(0)), 시그모이드 + 표준 편차 √(1/64) 초기화는 끝 계층 5.4 × 10⁻² 에서 첫 계층 3.7 × 10⁻⁷ 로 계층마다 약 0.27배씩 줄고, ReLU + He 초기화(√(2/64) · He 2015a 2.2절)는 6.0 에서 0.85 로 7분의 1에 그친다. 시그모이드의 미분은 σ(1 − σ) 라 최댓값이 0.25 이고, 역전파가 계층마다 이 값을 곱하기 때문이다(Glorot 2010 · Goodfellow 2016 6.3.2절).
그림 6 · 역전파는 기울기를 계층마다 곱해 보내므로, 시그모이드 망은 입력 쪽으로 갈수록 계층당 약 0.27배씩 줄어 첫 계층에 끝 계층의 6.8 × 10⁻⁶ 만 닿는다.
🔑 역전파는 기울기를 계층마다 «곱해서» 입력 쪽으로 보낸다 — 계층당 곱하는 값이 1보다 작으면 깊이만큼 거듭제곱으로 사라지고, 1 근처면 첫 계층까지 닿는다.
6비교 — 은닉 계층 활성 함수 세 가지
| 기준 | 시그모이드 | tanh | ReLU |
|---|---|---|---|
| 식 · 출력 범위 | 1 / (1 + e⁻ᶻ) · (0, 1) | (eᶻ − e⁻ᶻ) / (eᶻ + e⁻ᶻ) · (−1, 1) | max{0, z} · [0, ∞) |
| 미분 최댓값 | 0.25(z = 0) | 1(z = 0) | 1(z > 0 전부) |
| 기울기가 0에 가까워지는 곳 | 양쪽 끝 포화 | 양쪽 끝 포화 | z < 0 전부(꺼진 단위) |
| 사례 10계층 첫 ÷ 끝 기울기 | 6.8 × 10⁻⁶ | 재지 않음 | 0.14(He 초기화) |
| 오늘 주로 쓰는 자리 | 이진 분류의 출력 계층 | 순환 신경망의 은닉 상태 | 은닉 계층 기본 권장(Goodfellow 2016 6.1절) |
분석은닉 계층은 ReLU 와 He 초기화로 시작하고, 시그모이드는 확률이 필요한 출력 계층에만 둔다. 근거는 표의 「미분 최댓값」 행과 Goodfellow 2016 6.3.2절 — 시그모이드는 정의역 대부분에서 포화해 은닉 단위로 쓰기를 권하지 않는다.
7실무 진단 — 학습이 멈춘 위치 가르기
분석손실 곡선을 먼저 보고 다음에 계층별 기울기 노름, 마지막에 단위별 활성 값을 본다. 기울기는 출력 쪽에서 입력 쪽으로 곱해 전해지므로(Goodfellow 2016 6.5절) 어느 계층에서 크기가 꺾이는지가 곧 원인 위치다.
| # | 증상 | 의심 원인 | 위치 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 손실이 거의 줄지 않고 입력 쪽 가중치가 그대로 | 기울기 소실 | 입력 쪽 은닉 계층 | 계층별 p.grad.norm()(PyTorch) · 텐서보드 히스토그램 | 첫 계층이 끝 계층보다 여러 자릿수 작음(사례 6.8 × 10⁻⁶) → ReLU · He 초기화(Glorot 2010 · He 2015a 2.2절) |
| 2 | 손실이 ln 2 = 0.693 근처에 멈추고 출력이 모두 0.5 | 은닉 단위가 늘 0(죽은 단위)이거나 늘 양수라 비선형이 사라짐 | 은닉 계층 | 단위별 활성 0 비율 · 표본별 부호 | 같은 망을 default_ |
| 3 | 손실이 갑자기 NaN · inf | 기울기 폭주 · 큰 가중치의 곱 | 전 계층 | 반복마다 전체 기울기 노름 | 노름이 갑자기 몇 자릿수 뜀 → clip_grad_norm_(params, max_norm) 로 잘라냄(Goodfellow 2016 8.2.4절 · PyTorch clip_ |
| 4 | 계층을 늘렸더니 학습 오차까지 커짐 | 퇴화(과적합 아님) | 깊은 망 전체 | 얕은 망과 학습 오차 비교 | 깊은 망 학습 오차가 더 높음 → 잔차 연결(He 2015b 1 · 4.1절) |
PyTorch 이름을 쓴 확인 자료 · 판정 기준은 TensorFlow 에서 tf.GradientTape 로 구한 기울기의 tf.norm · tf.clip_by_global_norm 이 같은 일을 한다. 2행은 데이터를 바꾸기 전에 먼저 본다 — 비선형이 사라진 망은 데이터 · 학습 횟수를 늘려도 선형 모델 이상이 되지 않는다.
8시험 대비
www.q-net.or.kr시험에서는 딥러닝의 정의와 구성(여러 계층 신경망 · 활성 함수 · 역전파)을 쓰는 정의 · 특징형과, 기울기 소실을 넘어온 과정(사전 학습 → ReLU · 초기화 → 잔차 연결)과 그 위의 구조를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 구조와 그림 4 학습 한 번으로 뼈대를 세우고, 동향형이면 연도순 해결책마다 「무엇이 기울기를 살렸는가」를 한 줄씩 붙인다.
- 개요 — 정의(은닉 계층 여러 겹 · 표현 학습) · 머신러닝과의 관계 · 역전파(Rumelhart 1986)
- 구조 — 그림 3 여러 계층 신경망(입력 · 은닉 · 출력 · 손실 · 가중치 13개) + 요소 표(h = g(Wx + b))
- 학습 절차 — 그림 4 순전파 → 손실 → 역전파 → 경사 하강(손실 0.7012 → 0.6897 · 반복 12번째에 모두 정답)
- 표현 학습 — 그림 5 XOR 의 입력 공간 ↔ 은닉 공간(1의 개수 · 둘 다 1)
- 기울기 소실과 대응 — 그림 6 계층별 기울기(6.8 × 10⁻⁶ ↔ 0.14) · 활성 함수 비교표 · He 초기화 √(2/n) · 잔차 연결
- 발전과 활용 — 계층별 사전 학습(Hinton 2006) → ReLU · GPU(Krizhevsky 2012 · top-5 15.3%) → 잔차 연결 152계층(He 2015b) → 합성곱 · 순환 · 트랜스포머
꼭 쓸 키워드
MLP은닉 계층활성 함수ReLU역전파연쇄 법칙경사 하강기울기 소실표현 학습잔차 연결
다른 답안과 차이를 내는 한 가지는 그림 6 처럼 계층별 기울기를 로그 눈금 수치로 그리는 것이다 — 「기울기 소실 = 기울기가 작아짐」 한 줄 대신 계층당 0.27배와 첫 계층 6.8 × 10⁻⁶ 을 보이면 ReLU · 잔차 연결이 왜 필요한지가 함께 드러난다.
9오해와 사실
- 오해은닉 계층의 단위는 사람이 정한 특징을 하나씩 맡는다.사실무엇을 나타낼지는 학습이 정하며, 사례 XOR 망은 「1의 개수」와 「둘 다 1」을 스스로 만들었고 단위 하나는 끝까지 0이었다.
- 오해계층을 많이 쌓을수록 정확도가 오른다.사실ResNet 논문의 일반 34계층 망은 18계층 망보다 검증 오류가 높았고, 원인은 과적합이 아니라 학습 오차가 커지는 퇴화였다(He 2015b 4.1절).
- 오해딥러닝은 2010년대에 새로 나온 학습 원리다.사실역전파는 1986년에 발표됐고(Rumelhart 1986), 2012년 무렵 달라진 것은 ReLU · GPU 2장 학습 · 120만 장 데이터 같은 조건이었다(Krizhevsky 2012 1 · 3.1절).
10핵심 정리
| 구분 | 맡는 일 | 식 · 규칙 | 사례 값 | 깨지면 |
|---|---|---|---|---|
| 입력 계층 | 원자료 받기 | x | XOR 네 점 | — |
| 은닉 계층 | 표현 만들기 | h = g(Wx + b) | 1의 개수 · 둘 다 1 | 늘 0 인 단위 |
| 활성 함수 | 계층 사이 비선형 | ReLU max{0, z} | 미분 0 또는 1 | 포화 · 선형화 |
| 손실 함수 | 오차 재기 | 이진 교차 엔트로피 | 0.7012 → 0.0047 | ln 2 정체 |
| 역전파 | 기울기 계산 | 연쇄 법칙 · 출력 → 입력 | ∂L/∂W2 = −0.009 · 0 · −0.039 | 소실 · 폭주 |
| 경사 하강 | 가중치 갱신 | W ← W − η ∂L/∂W | η = 0.5 · 반복 12번째 정답 | NaN |
| 기울기 소실 | 학습 실패 | 계층마다 미분 곱 < 1 | 시그모이드 6.8 × 10⁻⁶ | ReLU · He 초기화 · 잔차 연결로 대응 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6 Deep Feedforward Networks — 순전파 · 역전파 · 은닉 단위(ReLU · 시그모이드)를 식으로 따라갈 때
- ★ Learning representations by back-propagating errors (Nature 323 533-536) — 역전파가 은닉 단위에 특징 표현을 만든다는 원 논문을 볼 때
- ★ Understanding the difficulty of training deep feedforward neural networks (PMLR 9 249-256) — 시그모이드 포화와 계층별 기울기 크기를 실험으로 볼 때
- ★ Deep Residual Learning for Image Recognition (He et al.) — 깊이를 늘리면 학습 오차가 커지는 퇴화와 잔차 연결을 볼 때
- ★ Deep learning (Nature 521 436-444) — 표현 학습으로서의 딥러닝과 그 역사를 한 편으로 볼 때
- 본문 근거
- Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8 Optimization for Training Deep Models — MIT Press · 2016-11 ·
www.deeplearningbook.org/contents/optimization.html· 확인 2026-11-03 - ImageNet Classification with Deep Convolutional Neural Networks (NIPS 2012) — NeurIPS · 2012-12 ·
papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html· 확인 2026-11-03 - A fast learning algorithm for deep belief nets (Neural Computation 18(7) 1527-1554) — MIT Press · 2006-07 ·
www.cs.toronto.edu/~hinton/absps/fastnc.pdf· 확인 2026-11-03 - Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (He et al.) — arXiv · 2015-02 ·
arxiv.org/abs/1502.01852· 확인 2026-11-03 - NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-03 - PyTorch 2.15 documentation - torch.nn.utils.clip_grad_norm_ — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/stable/generated/torch.nn.utils.clip_grad_norm_.html· 확인 2026-11-03