LSTM장단기 메모리 · Long Short-Term Memory
순환 신경망의 은닉 상태 옆에 셀 상태를 따로 두고, 망각 · 입력 · 출력 게이트 셋이 단계마다 셀에 무엇을 남기고 더하고 꺼낼지 0 ~ 1 비율로 정해 먼 시간 의존을 학습하게 만든 순환 신경망 단위이다.
1요약
- LSTM 은 순환 신경망의 한 단위로, 은닉 상태 h 옆에 덧셈으로만 갱신되는 셀 상태 c 를 두고 게이트 셋이 그 흐름을 조절한다(Hochreiter 1997 · 망각 게이트 Gers 2000) — 그 위에서 음성 인식 · seq2seq 번역 · 센서 열 예측 · 잔여 수명 예측 모델이 돈다.
- 단순 순환망은 거리마다 같은 행렬을 곱해 기울기가 사라지는데, 셀 경로의 기울기는 망각 게이트 값의 곱이라 직접 실행에서 망각 게이트 바이어스 1 이면 20단계 뒤 노름이 0.060, 같은 초기화의 단순 순환망은 1.0 × 10⁻⁵ 였다.
- 「LSTM 인데도 먼 입력을 못 쓴다」는 망각 게이트 평균값으로 가른다 — 0.5 근처면 셀이 단계마다 절반씩 지워지는 초기화 문제라 바이어스를 1 이상으로, 1 근처인데도 못 쓰면 데이터 · 과제 쪽 문제다.
2등장 배경
1990년대 초 순환 신경망은 오차 신호가 시간을 거슬러 갈 때마다 같은 행렬과 활성 함수 미분이 곱해져, 수십 단계 떨어진 입력과 출력을 경사 하강으로 잇지 못했다. 1997년 Hochreiter · Schmidhuber 는 자기 연결 가중치를 1로 고정한 셀(상수 오차 회전 · Constant Error Carousel)에 입력 · 출력 게이트를 달아 오차가 줄지 않고 흐르는 길을 만들었다(Hochreiter 1997 · Greff 2017 3절).
원판에는 망각 게이트가 없어 셀 값이 끝없는 입력에서 계속 쌓였고, 2000년 Gers 외가 셀을 스스로 비우는 망각 게이트를 더했다(Gers 2000). 2002년 셀이 게이트를 직접 보는 엿보기 연결(peephole)이 붙었고(Gers 2002), 시간 전체 역전파로 학습하는 지금의 표준형이 자리 잡았다(Greff 2017 3절). 2013년 깊은 LSTM 은 TIMIT 음소 인식 오류율 17.7% 를 냈다(Graves 2013).
2017년 이후 언어 모델은 트랜스포머로 넘어갔지만, LSTM 은 단계당 메모리가 셀 크기로 고정되어 센서 · 음성 스트림과 작은 기기에서 계속 쓰인다. 2024년에는 지수 게이트와 행렬 메모리로 병렬 학습을 노린 xLSTM 이 나왔다(Beck 2024).
3쉽게 이해하기 — 담당 셋이 지키는 기록 보관함
기록 보관함 하나가 날마다 복도를 따라 다음 날로 넘어간다. 보관함은 통째로 다시 쓰지 않고, 파쇄 담당이 «어제 서류 중 몇 할을 남길지», 접수 담당이 «오늘 들어온 서류 중 몇 할을 넣을지», 열람 창구가 «손님에게 몇 할을 보여 줄지»만 정한다. 세 담당은 모두 그날 들어온 의뢰서와 어제 손님에게 준 답을 보고 판단한다. 파쇄 담당이 매일 거의 다 남기면 첫날 서류가 한 달 뒤에도 그대로 있다.
그림 1 · 보관함(셀 상태)은 복도를 따라 그대로 흐르고, 담당 셋(게이트)은 남길 몫 · 더할 몫 · 보여 줄 몫만 정한다.
그림 2 · 하루에 99% 를 남기면 5일 뒤 95% 가 남고 50% 를 남기면 3% 만 남는다 — 셀 값도 그 기울기도 망각 게이트 값의 곱으로 정해진다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 의뢰서 + 어제 답 | 입력 x_ | 네 게이트 계산에 함께 들어가는 값 |
| 기록 보관함 | 셀 상태 c_ | 덧셈으로만 갱신되는 장기 기억 벡터 |
| 파쇄 담당 | 망각 게이트 f_ | 지난 셀 값에 원소마다 0 ~ 1 을 곱함 |
| 접수 담당 | 입력 게이트 i_ | 새 후보 값 g 중 몇 할을 셀에 더할지 |
| 열람 창구 | 출력 게이트 o_ | tanh(c) 중 몇 할을 h_ |
| 다음 날 같은 담당 | 시간 축 가중치 공유 | 모든 단계가 같은 W · U · b 를 씀 |
⚠ 비유가 맞지 않는 곳: 실제 게이트는 사람처럼 한 번 정하는 것이 아니라 셀 원소(차원)마다 따로 비율을 내고, 그 판단 규칙(가중치)은 학습으로 정해지며, 보관함의 서류 「장 수」와 달리 셀 값은 음수도 된다.
4구조 — 셀 상태와 게이트 넷
한 단계의 계산은 게이트 넷과 갱신 두 줄이다(PyTorch nn.LSTM 문서). 게이트 넷은 모두 [x_t, h_{t−1}] 의 선형 변환이고, σ 를 지난 셋(i · f · o)은 0 ~ 1 비율, tanh 를 지난 g 는 −1 ~ 1 후보 값이다.
- c_t = f_t ⊙ c_{t−1} + i_t ⊙ g_t
- h_t = o_t ⊙ tanh(c_t)
그림 3 · 셀 상태 c 는 위쪽 길에서 곱하기 하나 · 더하기 하나만 지나고, 행렬 곱과 활성 함수는 모두 아래쪽 게이트 넷에 몰려 있다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 셀 상태 c_ | d_ | 장기 기억 · 덧셈으로만 갱신 | 범위 제한 없음 · c_ |
| 망각 게이트 f_ | d_ | 지난 셀 값을 남길 비율 | 원판에는 없음 · 2000년 추가(Gers 2000) |
| 입력 게이트 i_ | d_ | 후보를 더할 비율 | σ · 0 ~ 1(Greff 2017 식) |
| 후보 g_ | d_ | 더할 새 값 | tanh · −1 ~ 1 |
| 출력 게이트 o_ | d_ | tanh(c) 를 내보낼 비율 | h_ |
| 은닉 상태 h_ | d_ | 출력 · 다음 단계 게이트 입력 | proj_ |
| 가중치 | 4d_ | 게이트 넷을 한 행렬로 묶음 | 순서 i · f · g · o · 파라미터 4d_ |
🔑 단순 순환망은 기억을 매 단계 행렬 곱으로 «다시 쓰고», LSTM 은 셀에 비율을 곱하고 «더하기만» 한다 — 그래서 셀 경로의 기울기는 행렬의 거듭제곱이 아니라 망각 게이트 값의 곱이 된다.
5동작 — 첫 단계 값의 쓰기 · 유지 · 읽기
은닉 크기 1인 LSTM 셀을 NumPy 로 직접 실행했다(설명용 가정 값 가중치). 입력은 (값 v, 쓰기 신호, 읽기 신호) 이고, 첫 단계 값을 기억했다가 여섯째 단계에서 내보내는 것이 과제다.
- 설정 — 사전 활성은 i = 10·쓰기 − 5 · f = 5 − 10·쓰기 · g = 2v · o = 10·읽기 − 5 이고, h 되먹임 가중치는 0 · c₀ = 0 · 목표 0.7 이다.
- 쓰기(t = 1, v = 0.9) — i 0.993 · f 0.007 · g 0.947 로 셀이 비워진 뒤 c₁ = 0.941 이 된다 · o 0.007 이라 h₁ 은 0.005 로 거의 밖에 안 보인다.
- 유지(t = 2 ~ 5, v = −0.6 · 0.8 · −0.3 · 0.5) — i 0.007 · f 0.993 이라 c 는 0.929 · 0.929 · 0.919 · 0.918 로 버티고, 방해 값 넷이 셀에 남긴 몫은 합쳐 0.002 다.
- 읽기(t = 6) — o 가 0.993 으로 열려 c₆ 0.912 에서 h₆ = 0.993 × tanh(0.912) = 0.717 이 나오고, 손실 ½(0.717 − 0.7)² = 0.00015 다.
- 역전파 — 셀 길의 기울기 ∂c₆/∂c₁ = f₂ × … × f₆ = 0.993⁵ = 0.967 이고, 출력까지 ∂h₆/∂c₁ = 0.460 이다(o₆ 과 tanh 미분이 곱해짐).
- 비교 — 같은 과제를 단순 순환망으로 풀 때는 기울기가 단계마다 순환 가중치와 tanh 미분의 곱으로 줄어든다(순환 신경망에서 든 사례의 4단계 뒤 0.203 배) · LSTM 셀 길에는 그 행렬 곱이 없다.
- 망각 바이어스 0 으로 바꾸면 — 유지 단계 f 가 0.5 가 되어 c 는 0.465 · 0.239 · 0.116 · 0.063 · 0.032 로 반씩 줄고, h₆ 0.031 · 손실 0.224 · ∂c₆/∂c₁ = 0.031 로 같은 셀이 기억을 잃는다.
그림 4 · 쓰기 ② 에서 입력 게이트가 열리고, 유지 ③ 동안 망각 게이트 0.993 이 셀 값을 지키며, 읽기 ④ 에서 출력 게이트가 열린다 — 망각 바이어스가 0 이면 ⑦ 셀 값이 반씩 사라진다.
그림 5 · 같은 초기화에서 단순 순환망의 기울기는 60단계 뒤 10⁻¹⁶ 아래로 가지만, LSTM 셀 길은 망각 바이어스 1 이면 4.3×10⁻⁵, 3 이면 1 위에 머문다 — 바이어스 0 인 LSTM 은 단순 순환망과 비슷하게 사라진다.
그림 5 는 은닉 32 · 입력 8차원 정규 난수의 합성 데이터로 직접 실행한 값이고(시드 0), 시드 0 ~ 9 에서도 네 곡선의 순서는 같았다.
🔑 LSTM 이 먼 의존을 배우는 힘은 구조가 아니라 망각 게이트가 1 근처에 있을 때만 나온다 — 셀 길의 기울기가 f 의 곱이라 f 가 0.5 면 단순 순환망만큼 빨리 사라진다(Jozefowicz 2015 · Greff 2017 5절).
6비교 — LSTM 변형끼리
단순형 · 양방향 · GRU · LSTM 의 파라미터 · 먼 의존 비교는 순환 신경망의 비교표가 맡고, 여기서는 LSTM 안의 변형을 견준다.
| 기준 | 원판(1997) | 표준형(망각 + 엿보기) | 엿보기 없음(구현 기본) | 결합 게이트(CIFG) | xLSTM(2024) |
|---|---|---|---|---|---|
| 게이트 | 입력 · 출력 | 입력 · 망각 · 출력 | 입력 · 망각 · 출력 | f = 1 − i 로 묶음 | 지수 게이트 · 정규화 |
| 셀 | 자기 연결 1 고정 | f 로 지움 | f 로 지움 | 입력만큼 지움 | sLSTM 스칼라 · mLSTM 행렬 |
| 끝없는 입력 | 셀이 계속 쌓임(Gers 2000) | 스스로 비움 | 스스로 비움 | 스스로 비움 | 스스로 비움 |
| 성능(Greff 2017 5절) | 망각 게이트 제거(NFG) = 세 과제 모두 유의하게 나빠짐 | 기준선 | 유의한 차이 없음 | 유의한 차이 없음 · 계산 감소 | 트랜스포머와 견줄 만하다고 보고(Beck 2024) |
| 학습 병렬화 | 순차 | 순차 | 순차 | 순차 | mLSTM 은 병렬(Beck 2024) |
분석새로 쓴다면 프레임워크 기본형(엿보기 없음)에 망각 바이어스 1 을 주는 것이 출발점이고, 계산을 줄여야 하면 결합 게이트나 GRU 로, 수십억 파라미터 언어 모델 규모라면 xLSTM 이나 트랜스포머를 검토한다. 근거는 엿보기 제거 · 게이트 결합은 유의한 차이가 없고 망각 게이트 · 출력 활성 함수 제거만 성능을 해쳤다는 5,400회 실험이다(Greff 2017 5절).
7실무 진단 — LSTM 의 문제 위치 가르기
분석먼 입력을 못 쓰면 망각 게이트 평균부터, 손실이 튀면 셀 값 크기와 기울기 노름부터, 양방향 · 다층 결과가 이상하면 h_n · output 모양부터 본다. 앞의 둘은 게이트 활성값 한 번 뽑기로 끝나고(그림 5 · 사례 7단계), 마지막은 공식 문서의 모양 규칙과 대조하면 된다(PyTorch nn.LSTM 문서).
| # | 증상 | 의심 원인 | 위치 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | LSTM 인데 20단계 넘게 떨어진 입력을 못 씀 | 망각 게이트가 0.5 근처 | 초기화 · 망각 바이어스 | 학습 초기 f_ | 평균 0.5 근처면 바이어스 1 이상 · PyTorch 는 바이어스를 ±1/√d_ |
| 2 | 셀 값이 수십으로 커지고 손실이 튐 | 셀 무한 누적 · 출력 활성 제거 | 셀 상태 | ‖c_ | 출력 활성 함수 제거(NOAF)는 성능을 크게 해침(Greff 2017 5절) · 노름 clipping 병행 |
| 3 | 양방향 LSTM 의 마지막 출력과 h_ | 역방향 끝 상태 위치 착오 | 출력 꺼내기 | output[:, −1] 과 h_ | 양방향이면 h_ |
| 4 | proj_ | h 와 c 크기가 갈림 | 상태 초기값 | h_ | h = proj_ |
| 5 | 긴 스트림을 잘라 학습했더니 경계에서 오차가 튐 | 묶음 사이 상태 초기화 | 상태 전달 | 묶음마다 h · c 를 0 으로 두는지 | 이어지는 열이면 앞 묶음 (h_ |
8시험 대비
시험에서는 셀 상태 · 게이트 셋 · 기울기 소실 완화 원리를 쓰는 정의 · 특징형과, 망각 게이트 · 엿보기 · GRU · xLSTM 으로 이어진 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 셀 그림에 갱신 식 두 줄을 붙이고 그림 5 로 «왜 소실이 줄어드는가»를 보이며, 동향형이면 비교표의 원판 → 표준형 → 결합 게이트 → xLSTM 순서로 쓴다.
- 개요 — 정의(셀 상태 + 게이트 셋) · 순환 신경망의 기울기 소실 문제 한 줄 · 1997 · 2000 연도
- 구조 — 그림 3 셀 그림 · f · i · g · o 식 · c_t = f ⊙ c + i ⊙ g · h_t = o ⊙ tanh(c) · 파라미터 4d_h(d_x + d_h + 2)
- 동작 — 그림 4 쓰기 · 유지 · 읽기 사례(f 0.993 · ∂c₆/∂c₁ 0.967 ↔ 바이어스 0 이면 0.031)
- 원리 — 그림 5 셀 길 기울기 = 망각 게이트의 곱 · 망각 바이어스 1(Jozefowicz 2015)
- 변형 · 동향 — 원판 · 표준형 · CIFG · GRU · xLSTM 비교표 · Greff 2017 결과(망각 게이트 · 출력 활성 함수가 핵심)
- 활용 · 한계 — 음성(TIMIT 17.7%) · 센서 열 · 잔여 수명 예측 · 순차 계산 한계와 트랜스포머
꼭 쓸 키워드
셀 상태망각 게이트입력 게이트출력 게이트상수 오차 회전(CEC)엿보기 연결망각 바이어스결합 게이트(CIFG)GRUxLSTM
다른 답안과 차이를 내는 한 가지는 «LSTM 은 기울기 소실을 해결했다» 대신 셀 길 기울기가 망각 게이트의 곱이라는 조건을 쓰는 것이다 — 사례의 0.967 ↔ 0.031 을 함께 쓰면 초기화 · 바이어스가 왜 실무 기본값이 됐는지까지 이어진다.
9오해와 사실
- 오해LSTM 은 기울기 소실을 완전히 없앤다.사실셀 길의 기울기는 망각 게이트 값의 곱이라 f 가 0.5 면 20단계 뒤 10⁻⁴ 수준으로 줄고(그림 5 · 직접 실행), 망각 게이트가 1 에 가까울 때만 오래 남는다.
- 오해망각 게이트는 처음부터 LSTM 에 있었다.사실1997년 원판은 입력 · 출력 게이트만 있었고, 망각 게이트는 2000년에 더해졌다(Greff 2017 3절 · Gers 2000).
- 오해게이트가 많을수록 성능이 좋다.사실엿보기를 빼거나 입력 · 망각 게이트를 하나로 묶어도 유의한 차이가 없었고, 전체 게이트 되먹임(FGR)은 한 과제에서 오히려 나빴다(Greff 2017 5절).
10핵심 정리
| 구분 | 맡는 일 | 식 · 범위 | 사례 값 | 근거 |
|---|---|---|---|---|
| 셀 상태 c | 장기 기억 | f ⊙ c + i ⊙ g · 범위 제한 없음 | 0.941 → 0.912 | PyTorch nn.LSTM 문서 |
| 망각 게이트 f | 남길 비율 | σ · 0 ~ 1 · 2000 추가 | 0.993(바이어스 0 이면 0.5) | Gers 2000 |
| 입력 게이트 i | 더할 비율 | σ · 0 ~ 1 | 쓰기 0.993 · 유지 0.007 | Greff 2017 식 |
| 출력 게이트 o | 내보낼 비율 | h = o ⊙ tanh(c) | 읽기 0.993 → h 0.717 | Greff 2017 식 |
| 셀 길 기울기 | 먼 단계로 오차 전달 | ∂c_ | 0.967 ↔ 0.031 | 사례 5 · 7단계 |
| 망각 바이어스 | 초기 f 를 1 쪽으로 | b_ | 20단계 0.060 ↔ 바이어스 0 1.3×10⁻⁴ | Jozefowicz 2015 |
| 원판 한계 | 끝없는 입력에서 셀 누적 | 자기 연결 1 고정 | — | Gers 2000 |
| xLSTM | 큰 규모 · 병렬 학습 | 지수 게이트 · 행렬 메모리 | — | Beck 2024 |
11참고 문헌
- 먼저 볼 문헌
- ★ LSTM: A Search Space Odyssey (IEEE Transactions on Neural Networks and Learning Systems 28(10) 2222-2232) — 표준 LSTM 식 · 변형 8가지 · 망각 게이트와 출력 활성 함수가 가장 중요하다는 결과를 볼 때
- ★ Learning to Forget: Continual Prediction with LSTM (Neural Computation 12(10) 2451-2471) — 망각 게이트가 왜 더해졌는지 원 논문으로 볼 때
- ★ An Empirical Exploration of Recurrent Network Architectures (ICML 2015 · PMLR 37) — 망각 게이트 바이어스 1 이 LSTM 과 GRU 의 차이를 메운다는 결과를 볼 때
- ★ PyTorch 2.15 documentation - torch.nn.LSTM (게이트 식 · 가중치 모양 · 초기화) — 게이트 순서 i · f · g · o 와 h_n · c_n 모양을 구현에서 확인할 때
- 본문 근거
- Long Short-Term Memory (Neural Computation 9(8) 1735-1780) — MIT Press · 1997-11 ·
doi.org/10.1162/neco.1997.9.8.1735· 확인 2026-11-13 - Learning Precise Timing with LSTM Recurrent Networks (Journal of Machine Learning Research 3 115-143) — JMLR · 2002-08 ·
www.jmlr.org/papers/v3/gers02a.html· 확인 2026-11-13 - Speech Recognition with Deep Recurrent Neural Networks (Graves · Mohamed · Hinton · ICASSP 2013) — arXiv · 2013-03 ·
arxiv.org/abs/1303.5778· 확인 2026-11-13 - xLSTM: Extended Long Short-Term Memory (Beck et al.) — arXiv · 2024-05 ·
arxiv.org/abs/2405.04517· 확인 2026-11-13 - Keras 3 API documentation - LSTM layer (unit_forget_bias) — Keras · 2026-11 ·
keras.io/api/layers/recurrent_layers/lstm/· 확인 2026-11-13