AI › 인공지능 개요 › 딥러닝 › 모델 구조

순환 신경망Recurrent Neural Network

시간 순서로 들어오는 입력을 한 단계씩 읽으며, 지난 단계의 은닉 상태를 같은 가중치로 다음 단계에 되먹여 길이가 정해지지 않은 열을 처리하는 신경망이다.

1요약

  1. 순환 신경망은 딥러닝 모델 구조 가운데 은닉 상태를 시간 단계마다 같은 가중치로 되먹이는 신경망으로 단순 순환망(Elman 1990)에서 틀이 잡혔고, 그 위에서 seq2seq 번역 · 음성 인식 · 센서 열 예측 모델과 LSTM · GRU 가 돈다.
  2. 같은 행렬을 단계마다 곱하므로 tanh 에서 순환 가중치의 최대 고유값 절댓값이 1보다 작으면 먼 단계의 기울기는 지수로 사라지고(Pascanu 2013 2.1절), 직접 실행에서 ρ = 0.8 인 tanh 망의 20단계 뒤 기울기 노름은 3.1 × 10⁻⁵ 였다.
  3. 「긴 문맥을 못 쓴다」와 「손실이 갑자기 튄다」는 시간 거리별 기울기 노름으로 가른다 — 거리에 따라 1 아래로 지수로 줄면 소실이라 게이트 구조로, 평소의 수십 배로 튀면 폭발이라 노름 clipping 으로 푼다.

2등장 배경

순방향 신경망은 입력 크기가 고정이라 단어 7개 문장과 20개 문장을 같은 망에 넣을 수 없고, 같은 단어라도 위치마다 다른 가중치가 학습된다. 1990년 Elman 은 은닉 계층의 직전 값을 문맥 단위로 다시 입력해 단어 열에서 문법 범주 구조를 스스로 찾는 망을 보였고(Elman 1990), 같은 해 Werbos 는 시간 축으로 펼친 망에 역전파를 적용하는 BPTT 를 정리했다(Werbos 1990).

1994년 Bengio 외는 경사 하강으로 먼 시간 의존을 배우기 어렵다는 것을 보였고(Bengio 1994), 1997년 셀 상태와 게이트를 둔 LSTM(Hochreiter 1997)과 앞 · 뒤 두 방향을 읽는 양방향 순환망(Schuster 1997)이 나왔다. 2013년 Pascanu 외가 기울기 노름 clipping 을 정리했고, 2014년 Cho 외는 게이트 2개의 GRU 를 내놓았으며(Cho 2014 2.3절), Sutskever 외는 4층 · 층당 1,000 셀 LSTM 인코더 · 디코더로 WMT'14 영어 → 프랑스어 BLEU 34.8 을 얻었다(Sutskever 2014).

2017년 이후 언어 모델의 주류는 토큰을 병렬로 계산하는 트랜스포머로 넘어갔다. 순환 신경망은 한 단계 계산에 필요한 메모리가 은닉 상태 크기로 고정되어, 끝없이 들어오는 음성 · 센서 스트림을 한 단계씩 처리하는 자리와 작은 기기에서 계속 쓰인다.

3쉽게 이해하기 — 메모 한 장으로 듣는 낭독회

강당에서 낭독자가 1분에 한 단어씩 이야기를 읽는다. 청취자는 손바닥만 한 메모 한 장만 받았고, 단어가 들릴 때마다 벽에 붙은 규칙 카드 한 장대로 «지난 메모 + 새 단어»를 섞어 메모를 고쳐 쓴다. 낭독이 끝나면 메모만 보고 「주인공이 누구였나」에 답한다. 맨 처음 나온 주인공 이름은 메모를 고쳐 쓸 때마다 글씨가 흐려져, 이야기가 길면 답이 틀린다.

1 낭독자 1분에 한 단어 입력 열 x₁ … x_T 2 청취자 메모 + 단어 섞기 순환 셀 3 메모 한 장 크기가 정해져 있음 은닉 상태 h_t 4 답 메모만 보고 출력 y 다음 단어 때 메모를 다시 읽고 고쳐 씀 규칙 카드 한 장을 매분 다시 씀 이야기가 길어도 카드는 늘지 않는다 가중치 공유 고쳐 쓸수록 첫 단어가 흐려짐 처음 이름을 묻는 문제가 가장 어렵다 기울기 소실 입력 데이터 모델 · 규칙 상태 표현 출력 실패 원인

그림 1 · 청취자는 단어마다 같은 규칙 카드로 메모 한 장을 고쳐 쓰고 끝에 그 메모만 보고 답하며, 고쳐 쓸수록 처음 단어가 흐려진다.

한 단어 듣기1분에 한 단어
규칙 카드 보기매번 같은 카드
메모 고쳐 쓰기지난 메모 + 새 단어
되풀이다음 단어도 같은 일
답하기메모만 보고
흐린 첫 단어긴 이야기면 틀림
비유 — 첫 단어의 흔적 실제 — 거리마다 곱해지는 값 주인공 주인공 주인공 주인공 주인공 1분 2분 3분 4분 5분 고쳐 쓸 때마다 같은 규칙으로 덧씀 5분 뒤 첫 단어는 거의 읽히지 않음 순환 가중치 0.8 거리 0 1 거리 1 0.8 거리 2 0.64 거리 3 0.51 거리 4 0.41 tanh 미분(1 이하)을 곱하면 더 작다 막대 길이 = 곱해진 값(같은 눈금)

그림 2 · 메모를 한 번 고쳐 쓸 때마다 첫 단어의 흔적은 같은 비율로 줄고, 실제 망에서도 한 단계마다 순환 가중치가 곱해져 4단계 뒤 0.41 이하로 준다.

비유 속 역할실제 이름실제로 하는 일
낭독자의 단어입력 열 x₁ … x_T시간 단계마다 들어오는 벡터(단어 임베딩 · 센서 값)
청취자순환 셀지난 상태와 새 입력을 섞어 새 상태를 계산
메모 한 장은닉 상태 h_t지금까지 본 입력의 고정 크기 요약 벡터
규칙 카드가중치 U · W · b모든 단계에서 같은 값을 다시 씀 · 학습으로 정해짐
매분 되풀이시간 축 펼침길이 T 열을 T 단계 계산 그래프로 펼침
메모만 보고 답출력 o_t · y마지막 상태 또는 단계마다 상태로 예측
흐려진 첫 단어기울기 소실먼 단계로 거슬러 갈수록 기울기가 지수로 줄어 학습이 안 됨

⚠ 비유가 맞지 않는 곳: 실제로 학습을 막는 것은 메모 글씨(순전파 기억)보다 거꾸로 거슬러 가는 정정 신호(역전파 기울기)이고, 메모는 수십 ~ 수천 차원의 숫자 벡터이며 규칙 카드 값은 사람이 아니라 학습이 정한다.

4구조 — 되먹임 고리와 시간 축 펼침

한 단계의 계산은 a_t = b + W h_{t−1} + U x_t · h_t = tanh(a_t) · o_t = c + V h_t 이다(Goodfellow 2016 식 10.8 ~ 10.10). 고리 하나로 그린 망을 시간 축으로 펼치면 단계마다 복사본이 생기지만 U · W · V 는 모든 복사본이 같은 값이다.

접힌 그림 펼친 그림 — 시간 단계 t = 1 … 4 o(t) h(t) x(t) U V W h₀ o₁ h₁ x₁ o₂ h₂ x₂ o₃ h₃ x₃ o₄ h₄ x₄ W W W U U U U V V V V 네 단계 모두 같은 U · W · V — 파라미터 수는 길이와 무관하고 계산은 차례로만 입력 은닉 상태 출력 순환 가중치 W(되먹임) 초기 상태(대개 0)

그림 3 · 되먹임 고리 하나로 그린 순환 신경망을 시간 축으로 펼치면 단계마다 같은 U · W · V 를 쓰는 순방향 그래프가 되고, h 는 왼쪽에서 오른쪽으로 차례대로만 계산된다.

요소크기역할값 · 근거
입력 x_td_x단계마다 들어오는 벡터길이 T 는 묶음마다 달라도 됨 · 기본 모양 (L, N, H_in)(PyTorch RNN)
은닉 상태 h_td_h지난 입력의 고정 크기 요약h₀ 는 주지 않으면 0(PyTorch RNN)
입력 가중치 Ud_h × d_x새 입력을 상태 공간으로weight_ih_l0 모양 (hidden, input)(PyTorch RNN)
순환 가중치 Wd_h × d_h지난 상태를 다음 상태로기울기 소실 · 폭발이 이 행렬의 고유값에 달림(Pascanu 2013 2.1절)
활성 함수원소마다상태를 (−1, 1)로 묶음기본 tanh · relu 선택(PyTorch RNN)
출력 o_td_y단계마다 또는 끝에서 예측o = c + V h(Goodfellow 2016 식 10.10)

출력을 어디서 꺼내느냐로 쓰임이 갈린다 — 끝 상태 하나로 분류(문장 감정 · 열 전체 판정), 단계마다 출력(품사 태깅 · 다음 값 예측), 인코더 끝 상태를 디코더의 시작 상태로 넘겨 길이가 다른 열을 내는 인코더 · 디코더(Goodfellow 2016 10.4절 · Sutskever 2014)다.

🔑 순환 신경망의 파라미터 수는 길이 T 와 무관하고 대신 계산 시간이 T 에 묶인다 — 단계 t 는 단계 t − 1 이 끝나야 시작하므로 BPTT 의 실행 시간 O(T) 는 병렬화로 줄지 않는다(Goodfellow 2016 10.2절).

5동작 — 5단계 전 펄스를 기억하는 망의 BPTT

은닉 크기 1인 순환 신경망을 NumPy 로 직접 실행한 값이다(설명용 가정 값). 과제는 맨 처음 들어온 펄스 하나를 기억해 5단계 뒤 1을 내는 것이다.

  1. 설정 — w_x = 1.0 · w_h = 0.8 · w_y = 2.0 · 편향 0 · h₀ = 0 · 입력 x = (1, 0, 0, 0, 0) · 목표 1.
  2. 순전파 — h_t = tanh(w_x x_t + w_h h_{t−1}) 가 0.762 · 0.544 · 0.409 · 0.316 · 0.248 로 줄어든다 — 입력이 0인 동안 단계마다 0.8 이 곱해지고 tanh 를 지난다.
  3. 출력 · 손실 — y = w_y h₅ = 0.496 · L = ½(y − 1)² = 0.127.
  4. 역전파 시작 — ∂L/∂h₅ = (y − 1) · w_y = −1.009.
  5. 시간 거슬러 오르기 — ∂L/∂h_{t−1} = ∂L/∂h_t · (1 − h_t²) · w_h 로 −0.758 · −0.545 · −0.363 · −0.205 — h₁ 에 오면 h₅ 의 0.203 배로, w_h 만 곱한 0.8⁴ = 0.410 보다 tanh 미분 몫만큼 더 작다.
  6. 공유 가중치의 기울기 = 단계별 몫의 합 — ∂L/∂w_h = Σ (∂L/∂a_t) · h_{t−1} = −0.300 − 0.279 − 0.247 − 0.195 + 0 = −1.020 이고, ∂L/∂w_x 는 입력이 있는 t = 1 몫만 남아 −0.086 이다.
  7. 갱신 — 학습률 0.1 로 한 번 내려가면 w_h 0.8 → 0.902 · w_x 1.0 → 1.009 · y 0.496 → 0.719 · L 0.127 → 0.039 — 펄스를 직접 받는 w_x 는 w_h 의 약 12분의 1만 움직인다.
t = 1 t = 2 t = 3 t = 4 t = 5 입력 x 1 0 0 0 0 2 상태 h 0.762 0.544 0.409 0.316 0.248 y 0.496 3 L 0.127 4 5 ∂L/∂h −0.205 −0.363 −0.545 −0.758 −1.009 6 w_h 몫 0 −0.195 −0.247 −0.279 −0.300 합 −1.020 ∂L/∂w_x = −0.086 — 펄스가 들어온 t = 1 몫만 남는다 · h₁ 의 기울기는 h₅ 의 0.203 배 입력 은닉 상태 출력 역전파 기울기 가장 작아진 기울기

그림 4 · 순전파 ② 는 h₁ → h₅ 로, 역전파 ⑤ 는 오차가 h₅ → h₁ 로 거슬러 가며 1.009 에서 0.205 로 줄고, 공유 가중치 w_h 의 기울기 ⑥ 은 단계별 몫을 더한 값이다.

‖∂h_k / ∂h₀‖ — 로그 눈금 · d = 32 · 직교 행렬 × ρ 10³ 1 10⁻³ 10⁻⁶ 10⁻⁹ 0 10 20 30 40 거리 k(단계) 1.5×10³ 1.3×10⁻⁴ 2.2×10⁻⁵ 9.5×10⁻¹¹ 1 위 = 폭발 · 노름 clipping 으로 자름 1 아래 = 소실 · clipping 으로 살릴 수 없음 ρ = 1.2 ρ = 0.8 선형(활성 함수 없음) tanh(입력 있음) 노름 1

그림 5 · 같은 순환 행렬을 거리 k 만큼 곱하면 ρ 가 1보다 작을 때 기울기는 지수로 사라지고, 선형이면 ρ 1.2 에서 폭발하지만 tanh 포화가 있으면 ρ 1.2 도 결국 줄어든다 — clipping 은 1 위쪽만 자른다.

🔑 같은 가중치를 T 번 곱하므로 기울기는 거리에 따라 지수로 줄거나 늘어난다 — 폭발은 노름 clipping 으로 자를 수 있지만, 소실은 게이트처럼 덧셈 경로를 두는 구조로 바꿔야 풀린다(Pascanu 2013 2.1 · 3.2절).

6비교 — 단순 · 양방향 · 게이트 순환 신경망

기준단순 순환망(Elman)양방향 순환망GRULSTM
발표1990(Elman 1990)1997(Schuster 1997)2014(Cho 2014)1997(Hochreiter 1997)
상태 · 게이트h 하나 · 게이트 없음앞 · 뒤 방향 h 둘h 하나 · 리셋 · 갱신 게이트h + 셀 상태 c · 게이트 셋
파라미터(d_x 32 · d_h 64)6,27212,544(방향마다 단순형)18,816(3배)25,088(4배)
먼 의존수십 단계 안에서 소실(그림 5)방향마다 단순형과 같음게이트로 완화 · LSTM 과 비슷(Chung 2014)셀 상태 경로로 완화
미래 입력안 씀 — 스트리밍 가능씀 — 열 전체가 있어야 함안 씀안 씀

파라미터 행은 PyTorch 가중치 모양(weight_ih · weight_hh 가 hidden 의 1 · 3 · 4배 · 편향 두 벌)으로 d_h(d_x + d_h + 2) 에 배수를 곱한 값이다(PyTorch RNN · GRU · LSTM). 트랜스포머 · 합성곱 신경망과의 계산량 · 경로 길이 비교는 트랜스포머의 비교표가 맡는다.

분석의존 거리가 수 단계인 짧은 열 · 작은 기기면 단순형, 수십 단계를 넘으면 GRU 부터 시도하고 그래도 부족하면 LSTM, 열 전체가 미리 있는 태깅 · 분류면 양방향을 겹친다. 근거는 표의 파라미터 행(GRU = LSTM 의 4분의 3)과 tanh 단위보다 게이트 단위가 낫고 GRU 와 LSTM 은 비슷했다는 비교 실험이다(Chung 2014 초록).

7실무 진단 — 순환 신경망의 문제 위치 가르기

분석손실이 튀거나 NaN 이면 기울기 노름부터, 결과가 묶음에 따라 달라지면 입력 모양 · 패딩부터, 먼 입력을 못 쓰면 시간 단계별 기울기를 본다. 앞의 둘은 clip_grad_norm_ 반환값과 텐서 모양 한 줄로 확인되지만(PyTorch 문서), 소실은 단계별 기울기를 따로 뽑아야 해 비용이 가장 크다.

#증상의심 원인위치확인 자료판정 기준(근거)
1손실이 갑자기 튀거나 NaN기울기 폭발BPTT · 순환 가중치clip_grad_norm_ 반환값(전체 노름) 추이평소 평균의 수십 배로 튀면 폭발 → 노름 clipping · 문턱은 평균 노름 통계로(Pascanu 2013 3.2절)
2앞쪽 입력에 달린 예측만 틀림기울기 소실순환 가중치 · 활성 함수시간 단계별 ‖∂L/∂h_t‖거리에 따라 지수로 줄면 소실 → GRU · LSTM(Pascanu 2013 2.1절 λ₁ < 1/γ · tanh γ = 1)
3묶음 크기를 바꾸면 결과 · 모양이 달라짐축 순서 착오입력입력 텐서 모양 · batch_first기본 (L, N, H_in) · batch_first=True 면 (N, L, H_in)(PyTorch RNN)
4짧은 열이 많은 묶음만 성능 낮음패딩이 상태에 섞임입력 → 순환 셀길이별 오차 · 마지막 상태를 꺼낸 위치길이를 pack_padded_sequence 에 넘겨 패딩 단계를 건너뜀(PyTorch pack_padded_sequence)
5학습이 느리고 GPU 사용률 낮음순차 계산시간 축길이 T 별 묶음당 시간시간이 T 에 비례 → 병렬화 불가(Goodfellow 2016 10.2절) · 짧게 잘라 학습하거나 트랜스포머 검토

TensorFlow Keras 에서는 clipnorm 옵티마이저 인자가 노름 clipping 을, Masking 계층이 패딩 건너뛰기를 맡는다.

8시험 대비

출제 정보 컴퓨터시스템응용(120회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 은닉 상태 되먹임 · 가중치 공유 · BPTT 로 구조를 설명하는 정의 · 특징형과, 단순형 · LSTM · GRU 를 기울기 소실 관점에서 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 펼친 그래프에 식 h_t = tanh(Ux_t + Wh_{t−1} + b) 를 붙이고, 비교형이면 그림 5 로 소실 원인을 보인 뒤 비교표의 게이트 · 파라미터 행으로 해법을 잇는다.

답안 목차
  1. 개요 — 정의(은닉 상태 되먹임 · 시간 축 가중치 공유) · 순방향 신경망과 차이(가변 길이 입력)
  2. 구조 — 그림 3 접힌 그림 ↔ 펼친 그림(U · W · V) + 식 10.8 ~ 10.10 · 파라미터 d_h(d_x + d_h + 2)
  3. 학습 — 그림 4 BPTT 사례(∂L/∂h 1.009 → 0.205 · 공유 가중치 기울기 = 단계별 몫의 합 −1.020)
  4. 한계 — 그림 5 기울기 소실 · 폭발(λ₁ < 1/γ) · 노름 clipping 알고리즘
  5. 변형 비교 — 단순형 · 양방향 · GRU · LSTM 비교표(게이트 · 파라미터 1 : 2 : 3 : 4 · 미래 입력)
  6. 활용 · 동향 — 인코더 · 디코더(BLEU 34.8) · 트랜스포머로 넘어간 이유(순차 계산 O(T)) · 스트리밍 · 작은 기기

꼭 쓸 키워드
은닉 상태가중치 공유BPTT기울기 소실기울기 폭발노름 clipping양방향 순환망GRU인코더디코더순차 계산

다른 답안과 차이를 내는 한 가지는 기울기 소실을 숫자로 보이는 것이다 — 「먼 정보가 사라진다」 한 줄 대신 사례의 1.009 → 0.205 와 λ₁ < 1/γ 조건을 함께 쓰면 소실이 순환 행렬의 거듭제곱 문제라는 것이 드러나고, clipping 이 왜 폭발에만 듣는지까지 이어진다.

9오해와 사실

  • 오해순환 신경망은 입력 길이에 상한이 없으니 긴 문맥도 모두 기억한다.
    사실상태 크기가 d_h 로 고정되고 먼 단계의 기울기가 지수로 줄어, 경사 하강으로 먼 의존을 배우기 어렵다(Bengio 1994 · Pascanu 2013 2.1절).
  • 오해시간 단계마다 다른 가중치를 학습한다.
    사실모든 단계가 같은 U · W · V 를 쓰고(Goodfellow 2016 10.2절), 그 기울기는 단계별 몫을 더한 값이다(사례 6단계 −1.020).
  • 오해gradient clipping 이 기울기 소실도 막는다.
    사실clipping 은 노름이 문턱을 넘을 때 줄이기만 하므로 폭발에만 듣고(Pascanu 2013 알고리즘 1), 소실은 게이트 구조 · 초기화로 다룬다.

10핵심 정리

구분맡는 일식 · 규칙사례 값근거
입력 x_t단계마다 들어오는 값길이 T 가변(1, 0, 0, 0, 0)PyTorch RNN
은닉 상태 h_t지난 입력의 고정 크기 요약tanh(Ux_t + Wh_{t−1} + b)0.762 → 0.248Goodfellow 식 10.8 · 10.9
순환 가중치 W상태 → 다음 상태모든 단계 공유w_h 0.8Goodfellow 10.2절
출력 o_t단계 또는 끝 예측c + V h_ty 0.496 · L 0.127Goodfellow 식 10.10
BPTT펼친 그래프 역전파기울기 = 단계별 몫의 합 · O(T)∂L/∂w_h −1.020Werbos 1990
기울기 소실먼 단계 기울기 → 0λ₁ < 1/γρ 0.8 · 20단계 3.1×10⁻⁵Pascanu 2013 2.1절
기울기 폭발먼 단계 기울기 발산노름 clipping선형 ρ 1.2 · 40단계 1.5×10³Pascanu 2013 3.2절
게이트 변형소실 완화GRU 게이트 2 · LSTM 게이트 318,816 · 25,088Cho 2014 · Hochreiter 1997

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 10 Sequence Modeling: Recurrent and Recursive Nets — 펼친 계산 그래프 · 식 10.8 ~ 10.11 · BPTT 의 O(τ) 비용을 볼 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/rnn.html · 확인 2026-11-12
  3. ★ On the difficulty of training Recurrent Neural Networks (Pascanu · Mikolov · Bengio) — 기울기 소실 · 폭발 조건(λ₁ < 1/γ)과 노름 clipping 알고리즘을 원문으로 볼 때
    arXiv · ICML 2013 · 2012-11 · arxiv.org/abs/1211.5063 · 확인 2026-11-12
  4. ★ Finding Structure in Time (Cognitive Science 14(2) 179-211) — 문맥 단위로 은닉 상태를 되먹이는 단순 순환 신경망의 출발점을 볼 때
    Cognitive Science Society · 1990-03 · doi.org/10.1207/s15516709cog1402_1 · 확인 2026-11-12
  5. ★ Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling (Chung et al.) — tanh · GRU · LSTM 단위를 같은 과제에서 견준 결과를 볼 때
    arXiv · 2014-12 · arxiv.org/abs/1412.3555 · 확인 2026-11-12
  6. 본문 근거
  7. PyTorch 2.15 documentation - torch.nn.RNN — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.RNN.html · 확인 2026-11-12
  8. PyTorch 2.15 documentation - torch.nn.LSTM — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.LSTM.html · 확인 2026-11-12
  9. PyTorch 2.15 documentation - torch.nn.GRU — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.GRU.html · 확인 2026-11-12
  10. PyTorch 2.15 documentation - torch.nn.utils.clip_grad_norm_ — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.utils.clip_grad_norm_.html · 확인 2026-11-12
  11. PyTorch 2.15 documentation - torch.nn.utils.rnn.pack_padded_sequence — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.utils.rnn.pack_padded_sequence.html · 확인 2026-11-12
  12. Backpropagation through time: what it does and how to do it (Proceedings of the IEEE 78(10) 1550-1560) — IEEE · 1990-10 · doi.org/10.1109/5.58337 · 확인 2026-11-12
  13. Learning long-term dependencies with gradient descent is difficult (IEEE Transactions on Neural Networks 5(2) 157-166) — IEEE · 1994-03 · doi.org/10.1109/72.279181 · 확인 2026-11-12
  14. Long Short-Term Memory (Neural Computation 9(8) 1735-1780) — MIT Press · 1997-11 · doi.org/10.1162/neco.1997.9.8.1735 · 확인 2026-11-12
  15. Bidirectional recurrent neural networks (IEEE Transactions on Signal Processing 45(11) 2673-2681) — IEEE · 1997-11 · doi.org/10.1109/78.650093 · 확인 2026-11-12
  16. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation (Cho et al.) — arXiv · EMNLP 2014 · 2014-06 · arxiv.org/abs/1406.1078 · 확인 2026-11-12
  17. Sequence to Sequence Learning with Neural Networks (Sutskever · Vinyals · Le) — arXiv · NeurIPS 2014 · 2014-09 · arxiv.org/abs/1409.3215 · 확인 2026-11-12