순환 신경망Recurrent Neural Network
시간 순서로 들어오는 입력을 한 단계씩 읽으며, 지난 단계의 은닉 상태를 같은 가중치로 다음 단계에 되먹여 길이가 정해지지 않은 열을 처리하는 신경망이다.
1요약
- 순환 신경망은 딥러닝 모델 구조 가운데 은닉 상태를 시간 단계마다 같은 가중치로 되먹이는 신경망으로 단순 순환망(Elman 1990)에서 틀이 잡혔고, 그 위에서 seq2seq 번역 · 음성 인식 · 센서 열 예측 모델과 LSTM · GRU 가 돈다.
- 같은 행렬을 단계마다 곱하므로 tanh 에서 순환 가중치의 최대 고유값 절댓값이 1보다 작으면 먼 단계의 기울기는 지수로 사라지고(Pascanu 2013 2.1절), 직접 실행에서 ρ = 0.8 인 tanh 망의 20단계 뒤 기울기 노름은 3.1 × 10⁻⁵ 였다.
- 「긴 문맥을 못 쓴다」와 「손실이 갑자기 튄다」는 시간 거리별 기울기 노름으로 가른다 — 거리에 따라 1 아래로 지수로 줄면 소실이라 게이트 구조로, 평소의 수십 배로 튀면 폭발이라 노름 clipping 으로 푼다.
2등장 배경
순방향 신경망은 입력 크기가 고정이라 단어 7개 문장과 20개 문장을 같은 망에 넣을 수 없고, 같은 단어라도 위치마다 다른 가중치가 학습된다. 1990년 Elman 은 은닉 계층의 직전 값을 문맥 단위로 다시 입력해 단어 열에서 문법 범주 구조를 스스로 찾는 망을 보였고(Elman 1990), 같은 해 Werbos 는 시간 축으로 펼친 망에 역전파를 적용하는 BPTT 를 정리했다(Werbos 1990).
1994년 Bengio 외는 경사 하강으로 먼 시간 의존을 배우기 어렵다는 것을 보였고(Bengio 1994), 1997년 셀 상태와 게이트를 둔 LSTM(Hochreiter 1997)과 앞 · 뒤 두 방향을 읽는 양방향 순환망(Schuster 1997)이 나왔다. 2013년 Pascanu 외가 기울기 노름 clipping 을 정리했고, 2014년 Cho 외는 게이트 2개의 GRU 를 내놓았으며(Cho 2014 2.3절), Sutskever 외는 4층 · 층당 1,000 셀 LSTM 인코더 · 디코더로 WMT'14 영어 → 프랑스어 BLEU 34.8 을 얻었다(Sutskever 2014).
2017년 이후 언어 모델의 주류는 토큰을 병렬로 계산하는 트랜스포머로 넘어갔다. 순환 신경망은 한 단계 계산에 필요한 메모리가 은닉 상태 크기로 고정되어, 끝없이 들어오는 음성 · 센서 스트림을 한 단계씩 처리하는 자리와 작은 기기에서 계속 쓰인다.
3쉽게 이해하기 — 메모 한 장으로 듣는 낭독회
강당에서 낭독자가 1분에 한 단어씩 이야기를 읽는다. 청취자는 손바닥만 한 메모 한 장만 받았고, 단어가 들릴 때마다 벽에 붙은 규칙 카드 한 장대로 «지난 메모 + 새 단어»를 섞어 메모를 고쳐 쓴다. 낭독이 끝나면 메모만 보고 「주인공이 누구였나」에 답한다. 맨 처음 나온 주인공 이름은 메모를 고쳐 쓸 때마다 글씨가 흐려져, 이야기가 길면 답이 틀린다.
그림 1 · 청취자는 단어마다 같은 규칙 카드로 메모 한 장을 고쳐 쓰고 끝에 그 메모만 보고 답하며, 고쳐 쓸수록 처음 단어가 흐려진다.
그림 2 · 메모를 한 번 고쳐 쓸 때마다 첫 단어의 흔적은 같은 비율로 줄고, 실제 망에서도 한 단계마다 순환 가중치가 곱해져 4단계 뒤 0.41 이하로 준다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 낭독자의 단어 | 입력 열 x₁ … x_ | 시간 단계마다 들어오는 벡터(단어 임베딩 · 센서 값) |
| 청취자 | 순환 셀 | 지난 상태와 새 입력을 섞어 새 상태를 계산 |
| 메모 한 장 | 은닉 상태 h_ | 지금까지 본 입력의 고정 크기 요약 벡터 |
| 규칙 카드 | 가중치 U · W · b | 모든 단계에서 같은 값을 다시 씀 · 학습으로 정해짐 |
| 매분 되풀이 | 시간 축 펼침 | 길이 T 열을 T 단계 계산 그래프로 펼침 |
| 메모만 보고 답 | 출력 o_ | 마지막 상태 또는 단계마다 상태로 예측 |
| 흐려진 첫 단어 | 기울기 소실 | 먼 단계로 거슬러 갈수록 기울기가 지수로 줄어 학습이 안 됨 |
⚠ 비유가 맞지 않는 곳: 실제로 학습을 막는 것은 메모 글씨(순전파 기억)보다 거꾸로 거슬러 가는 정정 신호(역전파 기울기)이고, 메모는 수십 ~ 수천 차원의 숫자 벡터이며 규칙 카드 값은 사람이 아니라 학습이 정한다.
4구조 — 되먹임 고리와 시간 축 펼침
한 단계의 계산은 a_t = b + W h_{t−1} + U x_t · h_t = tanh(a_t) · o_t = c + V h_t 이다(Goodfellow 2016 식 10.8 ~ 10.10). 고리 하나로 그린 망을 시간 축으로 펼치면 단계마다 복사본이 생기지만 U · W · V 는 모든 복사본이 같은 값이다.
그림 3 · 되먹임 고리 하나로 그린 순환 신경망을 시간 축으로 펼치면 단계마다 같은 U · W · V 를 쓰는 순방향 그래프가 되고, h 는 왼쪽에서 오른쪽으로 차례대로만 계산된다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 입력 x_ | d_ | 단계마다 들어오는 벡터 | 길이 T 는 묶음마다 달라도 됨 · 기본 모양 (L, N, H_ |
| 은닉 상태 h_ | d_ | 지난 입력의 고정 크기 요약 | h₀ 는 주지 않으면 0(PyTorch RNN) |
| 입력 가중치 U | d_ | 새 입력을 상태 공간으로 | weight_ |
| 순환 가중치 W | d_ | 지난 상태를 다음 상태로 | 기울기 소실 · 폭발이 이 행렬의 고유값에 달림(Pascanu 2013 2.1절) |
| 활성 함수 | 원소마다 | 상태를 (−1, 1)로 묶음 | 기본 tanh · relu 선택(PyTorch RNN) |
| 출력 o_ | d_ | 단계마다 또는 끝에서 예측 | o = c + V h(Goodfellow 2016 식 10.10) |
출력을 어디서 꺼내느냐로 쓰임이 갈린다 — 끝 상태 하나로 분류(문장 감정 · 열 전체 판정), 단계마다 출력(품사 태깅 · 다음 값 예측), 인코더 끝 상태를 디코더의 시작 상태로 넘겨 길이가 다른 열을 내는 인코더 · 디코더(Goodfellow 2016 10.4절 · Sutskever 2014)다.
🔑 순환 신경망의 파라미터 수는 길이 T 와 무관하고 대신 계산 시간이 T 에 묶인다 — 단계 t 는 단계 t − 1 이 끝나야 시작하므로 BPTT 의 실행 시간 O(T) 는 병렬화로 줄지 않는다(Goodfellow 2016 10.2절).
5동작 — 5단계 전 펄스를 기억하는 망의 BPTT
은닉 크기 1인 순환 신경망을 NumPy 로 직접 실행한 값이다(설명용 가정 값). 과제는 맨 처음 들어온 펄스 하나를 기억해 5단계 뒤 1을 내는 것이다.
- 설정 — w_x = 1.0 · w_h = 0.8 · w_y = 2.0 · 편향 0 · h₀ = 0 · 입력 x = (1, 0, 0, 0, 0) · 목표 1.
- 순전파 — h_t = tanh(w_x x_t + w_h h_{t−1}) 가 0.762 · 0.544 · 0.409 · 0.316 · 0.248 로 줄어든다 — 입력이 0인 동안 단계마다 0.8 이 곱해지고 tanh 를 지난다.
- 출력 · 손실 — y = w_y h₅ = 0.496 · L = ½(y − 1)² = 0.127.
- 역전파 시작 — ∂L/∂h₅ = (y − 1) · w_y = −1.009.
- 시간 거슬러 오르기 — ∂L/∂h_{t−1} = ∂L/∂h_t · (1 − h_t²) · w_h 로 −0.758 · −0.545 · −0.363 · −0.205 — h₁ 에 오면 h₅ 의 0.203 배로, w_h 만 곱한 0.8⁴ = 0.410 보다 tanh 미분 몫만큼 더 작다.
- 공유 가중치의 기울기 = 단계별 몫의 합 — ∂L/∂w_h = Σ (∂L/∂a_t) · h_{t−1} = −0.300 − 0.279 − 0.247 − 0.195 + 0 = −1.020 이고, ∂L/∂w_x 는 입력이 있는 t = 1 몫만 남아 −0.086 이다.
- 갱신 — 학습률 0.1 로 한 번 내려가면 w_h 0.8 → 0.902 · w_x 1.0 → 1.009 · y 0.496 → 0.719 · L 0.127 → 0.039 — 펄스를 직접 받는 w_x 는 w_h 의 약 12분의 1만 움직인다.
그림 4 · 순전파 ② 는 h₁ → h₅ 로, 역전파 ⑤ 는 오차가 h₅ → h₁ 로 거슬러 가며 1.009 에서 0.205 로 줄고, 공유 가중치 w_h 의 기울기 ⑥ 은 단계별 몫을 더한 값이다.
그림 5 · 같은 순환 행렬을 거리 k 만큼 곱하면 ρ 가 1보다 작을 때 기울기는 지수로 사라지고, 선형이면 ρ 1.2 에서 폭발하지만 tanh 포화가 있으면 ρ 1.2 도 결국 줄어든다 — clipping 은 1 위쪽만 자른다.
🔑 같은 가중치를 T 번 곱하므로 기울기는 거리에 따라 지수로 줄거나 늘어난다 — 폭발은 노름 clipping 으로 자를 수 있지만, 소실은 게이트처럼 덧셈 경로를 두는 구조로 바꿔야 풀린다(Pascanu 2013 2.1 · 3.2절).
6비교 — 단순 · 양방향 · 게이트 순환 신경망
| 기준 | 단순 순환망(Elman) | 양방향 순환망 | GRU | LSTM |
|---|---|---|---|---|
| 발표 | 1990(Elman 1990) | 1997(Schuster 1997) | 2014(Cho 2014) | 1997(Hochreiter 1997) |
| 상태 · 게이트 | h 하나 · 게이트 없음 | 앞 · 뒤 방향 h 둘 | h 하나 · 리셋 · 갱신 게이트 | h + 셀 상태 c · 게이트 셋 |
| 파라미터(d_ | 6,272 | 12,544(방향마다 단순형) | 18,816(3배) | 25,088(4배) |
| 먼 의존 | 수십 단계 안에서 소실(그림 5) | 방향마다 단순형과 같음 | 게이트로 완화 · LSTM 과 비슷(Chung 2014) | 셀 상태 경로로 완화 |
| 미래 입력 | 안 씀 — 스트리밍 가능 | 씀 — 열 전체가 있어야 함 | 안 씀 | 안 씀 |
파라미터 행은 PyTorch 가중치 모양(weight_ih · weight_hh 가 hidden 의 1 · 3 · 4배 · 편향 두 벌)으로 d_h(d_x + d_h + 2) 에 배수를 곱한 값이다(PyTorch RNN · GRU · LSTM). 트랜스포머 · 합성곱 신경망과의 계산량 · 경로 길이 비교는 트랜스포머의 비교표가 맡는다.
분석의존 거리가 수 단계인 짧은 열 · 작은 기기면 단순형, 수십 단계를 넘으면 GRU 부터 시도하고 그래도 부족하면 LSTM, 열 전체가 미리 있는 태깅 · 분류면 양방향을 겹친다. 근거는 표의 파라미터 행(GRU = LSTM 의 4분의 3)과 tanh 단위보다 게이트 단위가 낫고 GRU 와 LSTM 은 비슷했다는 비교 실험이다(Chung 2014 초록).
7실무 진단 — 순환 신경망의 문제 위치 가르기
분석손실이 튀거나 NaN 이면 기울기 노름부터, 결과가 묶음에 따라 달라지면 입력 모양 · 패딩부터, 먼 입력을 못 쓰면 시간 단계별 기울기를 본다. 앞의 둘은 clip_grad_norm_ 반환값과 텐서 모양 한 줄로 확인되지만(PyTorch 문서), 소실은 단계별 기울기를 따로 뽑아야 해 비용이 가장 크다.
| # | 증상 | 의심 원인 | 위치 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 손실이 갑자기 튀거나 NaN | 기울기 폭발 | BPTT · 순환 가중치 | clip_grad_norm_ 반환값(전체 노름) 추이 | 평소 평균의 수십 배로 튀면 폭발 → 노름 clipping · 문턱은 평균 노름 통계로(Pascanu 2013 3.2절) |
| 2 | 앞쪽 입력에 달린 예측만 틀림 | 기울기 소실 | 순환 가중치 · 활성 함수 | 시간 단계별 ‖∂L/∂h_ | 거리에 따라 지수로 줄면 소실 → GRU · LSTM(Pascanu 2013 2.1절 λ₁ < 1/γ · tanh γ = 1) |
| 3 | 묶음 크기를 바꾸면 결과 · 모양이 달라짐 | 축 순서 착오 | 입력 | 입력 텐서 모양 · batch_first | 기본 (L, N, H_batch_first=True 면 (N, L, H_ |
| 4 | 짧은 열이 많은 묶음만 성능 낮음 | 패딩이 상태에 섞임 | 입력 → 순환 셀 | 길이별 오차 · 마지막 상태를 꺼낸 위치 | 길이를 pack_padded_sequence 에 넘겨 패딩 단계를 건너뜀(PyTorch pack_ |
| 5 | 학습이 느리고 GPU 사용률 낮음 | 순차 계산 | 시간 축 | 길이 T 별 묶음당 시간 | 시간이 T 에 비례 → 병렬화 불가(Goodfellow 2016 10.2절) · 짧게 잘라 학습하거나 트랜스포머 검토 |
TensorFlow Keras 에서는 clipnorm 옵티마이저 인자가 노름 clipping 을, Masking 계층이 패딩 건너뛰기를 맡는다.
8시험 대비
www.q-net.or.kr시험에서는 은닉 상태 되먹임 · 가중치 공유 · BPTT 로 구조를 설명하는 정의 · 특징형과, 단순형 · LSTM · GRU 를 기울기 소실 관점에서 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 펼친 그래프에 식 h_t = tanh(Ux_t + Wh_{t−1} + b) 를 붙이고, 비교형이면 그림 5 로 소실 원인을 보인 뒤 비교표의 게이트 · 파라미터 행으로 해법을 잇는다.
- 개요 — 정의(은닉 상태 되먹임 · 시간 축 가중치 공유) · 순방향 신경망과 차이(가변 길이 입력)
- 구조 — 그림 3 접힌 그림 ↔ 펼친 그림(U · W · V) + 식 10.8 ~ 10.10 · 파라미터 d_h(d_x + d_h + 2)
- 학습 — 그림 4 BPTT 사례(∂L/∂h 1.009 → 0.205 · 공유 가중치 기울기 = 단계별 몫의 합 −1.020)
- 한계 — 그림 5 기울기 소실 · 폭발(λ₁ < 1/γ) · 노름 clipping 알고리즘
- 변형 비교 — 단순형 · 양방향 · GRU · LSTM 비교표(게이트 · 파라미터 1 : 2 : 3 : 4 · 미래 입력)
- 활용 · 동향 — 인코더 · 디코더(BLEU 34.8) · 트랜스포머로 넘어간 이유(순차 계산 O(T)) · 스트리밍 · 작은 기기
꼭 쓸 키워드
은닉 상태가중치 공유BPTT기울기 소실기울기 폭발노름 clipping양방향 순환망GRU인코더디코더순차 계산
다른 답안과 차이를 내는 한 가지는 기울기 소실을 숫자로 보이는 것이다 — 「먼 정보가 사라진다」 한 줄 대신 사례의 1.009 → 0.205 와 λ₁ < 1/γ 조건을 함께 쓰면 소실이 순환 행렬의 거듭제곱 문제라는 것이 드러나고, clipping 이 왜 폭발에만 듣는지까지 이어진다.
9오해와 사실
- 오해순환 신경망은 입력 길이에 상한이 없으니 긴 문맥도 모두 기억한다.사실상태 크기가 d_h 로 고정되고 먼 단계의 기울기가 지수로 줄어, 경사 하강으로 먼 의존을 배우기 어렵다(Bengio 1994 · Pascanu 2013 2.1절).
- 오해시간 단계마다 다른 가중치를 학습한다.사실모든 단계가 같은 U · W · V 를 쓰고(Goodfellow 2016 10.2절), 그 기울기는 단계별 몫을 더한 값이다(사례 6단계 −1.020).
- 오해gradient clipping 이 기울기 소실도 막는다.사실clipping 은 노름이 문턱을 넘을 때 줄이기만 하므로 폭발에만 듣고(Pascanu 2013 알고리즘 1), 소실은 게이트 구조 · 초기화로 다룬다.
10핵심 정리
| 구분 | 맡는 일 | 식 · 규칙 | 사례 값 | 근거 |
|---|---|---|---|---|
| 입력 x_ | 단계마다 들어오는 값 | 길이 T 가변 | (1, 0, 0, 0, 0) | PyTorch RNN |
| 은닉 상태 h_ | 지난 입력의 고정 크기 요약 | tanh(Ux_ | 0.762 → 0.248 | Goodfellow 식 10.8 · 10.9 |
| 순환 가중치 W | 상태 → 다음 상태 | 모든 단계 공유 | w_ | Goodfellow 10.2절 |
| 출력 o_ | 단계 또는 끝 예측 | c + V h_ | y 0.496 · L 0.127 | Goodfellow 식 10.10 |
| BPTT | 펼친 그래프 역전파 | 기울기 = 단계별 몫의 합 · O(T) | ∂L/∂w_ | Werbos 1990 |
| 기울기 소실 | 먼 단계 기울기 → 0 | λ₁ < 1/γ | ρ 0.8 · 20단계 3.1×10⁻⁵ | Pascanu 2013 2.1절 |
| 기울기 폭발 | 먼 단계 기울기 발산 | 노름 clipping | 선형 ρ 1.2 · 40단계 1.5×10³ | Pascanu 2013 3.2절 |
| 게이트 변형 | 소실 완화 | GRU 게이트 2 · LSTM 게이트 3 | 18,816 · 25,088 | Cho 2014 · Hochreiter 1997 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 10 Sequence Modeling: Recurrent and Recursive Nets — 펼친 계산 그래프 · 식 10.8 ~ 10.11 · BPTT 의 O(τ) 비용을 볼 때
- ★ On the difficulty of training Recurrent Neural Networks (Pascanu · Mikolov · Bengio) — 기울기 소실 · 폭발 조건(λ₁ < 1/γ)과 노름 clipping 알고리즘을 원문으로 볼 때
- ★ Finding Structure in Time (Cognitive Science 14(2) 179-211) — 문맥 단위로 은닉 상태를 되먹이는 단순 순환 신경망의 출발점을 볼 때
- ★ Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling (Chung et al.) — tanh · GRU · LSTM 단위를 같은 과제에서 견준 결과를 볼 때
- 본문 근거
- PyTorch 2.15 documentation - torch.nn.RNN — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.RNN.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.LSTM — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.LSTM.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.GRU — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.GRU.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.utils.clip_grad_norm_ — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.utils.clip_grad_norm_.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.utils.rnn.pack_padded_sequence — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.utils.rnn.pack_padded_sequence.html· 확인 2026-11-12 - Backpropagation through time: what it does and how to do it (Proceedings of the IEEE 78(10) 1550-1560) — IEEE · 1990-10 ·
doi.org/10.1109/5.58337· 확인 2026-11-12 - Learning long-term dependencies with gradient descent is difficult (IEEE Transactions on Neural Networks 5(2) 157-166) — IEEE · 1994-03 ·
doi.org/10.1109/72.279181· 확인 2026-11-12 - Long Short-Term Memory (Neural Computation 9(8) 1735-1780) — MIT Press · 1997-11 ·
doi.org/10.1162/neco.1997.9.8.1735· 확인 2026-11-12 - Bidirectional recurrent neural networks (IEEE Transactions on Signal Processing 45(11) 2673-2681) — IEEE · 1997-11 ·
doi.org/10.1109/78.650093· 확인 2026-11-12 - Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation (Cho et al.) — arXiv · EMNLP 2014 · 2014-06 ·
arxiv.org/abs/1406.1078· 확인 2026-11-12 - Sequence to Sequence Learning with Neural Networks (Sutskever · Vinyals · Le) — arXiv · NeurIPS 2014 · 2014-09 ·
arxiv.org/abs/1409.3215· 확인 2026-11-12