AI › 인공지능 개요 › 딥러닝 › 모델 구조

LSTM장단기 메모리 · Long Short-Term Memory

순환 신경망의 은닉 상태 옆에 셀 상태를 따로 두고, 망각 · 입력 · 출력 게이트 셋이 단계마다 셀에 무엇을 남기고 더하고 꺼낼지 0 ~ 1 비율로 정해 먼 시간 의존을 학습하게 만든 순환 신경망 단위이다.

1요약

  1. LSTM 은 순환 신경망의 한 단위로, 은닉 상태 h 옆에 덧셈으로만 갱신되는 셀 상태 c 를 두고 게이트 셋이 그 흐름을 조절한다(Hochreiter 1997 · 망각 게이트 Gers 2000) — 그 위에서 음성 인식 · seq2seq 번역 · 센서 열 예측 · 잔여 수명 예측 모델이 돈다.
  2. 단순 순환망은 거리마다 같은 행렬을 곱해 기울기가 사라지는데, 셀 경로의 기울기는 망각 게이트 값의 곱이라 직접 실행에서 망각 게이트 바이어스 1 이면 20단계 뒤 노름이 0.060, 같은 초기화의 단순 순환망은 1.0 × 10⁻⁵ 였다.
  3. 「LSTM 인데도 먼 입력을 못 쓴다」는 망각 게이트 평균값으로 가른다 — 0.5 근처면 셀이 단계마다 절반씩 지워지는 초기화 문제라 바이어스를 1 이상으로, 1 근처인데도 못 쓰면 데이터 · 과제 쪽 문제다.

2등장 배경

1990년대 초 순환 신경망은 오차 신호가 시간을 거슬러 갈 때마다 같은 행렬과 활성 함수 미분이 곱해져, 수십 단계 떨어진 입력과 출력을 경사 하강으로 잇지 못했다. 1997년 Hochreiter · Schmidhuber 는 자기 연결 가중치를 1로 고정한 셀(상수 오차 회전 · Constant Error Carousel)에 입력 · 출력 게이트를 달아 오차가 줄지 않고 흐르는 길을 만들었다(Hochreiter 1997 · Greff 2017 3절).

원판에는 망각 게이트가 없어 셀 값이 끝없는 입력에서 계속 쌓였고, 2000년 Gers 외가 셀을 스스로 비우는 망각 게이트를 더했다(Gers 2000). 2002년 셀이 게이트를 직접 보는 엿보기 연결(peephole)이 붙었고(Gers 2002), 시간 전체 역전파로 학습하는 지금의 표준형이 자리 잡았다(Greff 2017 3절). 2013년 깊은 LSTM 은 TIMIT 음소 인식 오류율 17.7% 를 냈다(Graves 2013).

2017년 이후 언어 모델은 트랜스포머로 넘어갔지만, LSTM 은 단계당 메모리가 셀 크기로 고정되어 센서 · 음성 스트림과 작은 기기에서 계속 쓰인다. 2024년에는 지수 게이트와 행렬 메모리로 병렬 학습을 노린 xLSTM 이 나왔다(Beck 2024).

3쉽게 이해하기 — 담당 셋이 지키는 기록 보관함

기록 보관함 하나가 날마다 복도를 따라 다음 날로 넘어간다. 보관함은 통째로 다시 쓰지 않고, 파쇄 담당이 «어제 서류 중 몇 할을 남길지», 접수 담당이 «오늘 들어온 서류 중 몇 할을 넣을지», 열람 창구가 «손님에게 몇 할을 보여 줄지»만 정한다. 세 담당은 모두 그날 들어온 의뢰서와 어제 손님에게 준 답을 보고 판단한다. 파쇄 담당이 매일 거의 다 남기면 첫날 서류가 한 달 뒤에도 그대로 있다.

보관함은 복도를 따라 그대로 흐른다 어제 보관함 c_{t−1} 오늘 보관함 c_t × + 1 의뢰서 + 어제 답 세 담당이 함께 봄 x_t · h_{t−1} 2 파쇄 담당 남길 몫 0 ~ 1 망각 게이트 f 3 접수 담당 넣을 몫 0 ~ 1 입력 게이트 i 4 열람 창구 보여 줄 몫 → 오늘 답 출력 게이트 o → h_t 꺼내 보기 남길 몫 새 서류 입력 셀 상태(보관함) 게이트(판단 규칙) 출력

그림 1 · 보관함(셀 상태)은 복도를 따라 그대로 흐르고, 담당 셋(게이트)은 남길 몫 · 더할 몫 · 보여 줄 몫만 정한다.

의뢰서 받기오늘 서류 + 어제 답
파쇄어제 서류 몇 할 남김
접수오늘 서류 몇 할 넣음
보관함 넘김덧셈으로만 바뀜
열람몇 할만 꺼내 답
다음 날같은 담당 · 같은 규칙
비유 — 5일 동안 남은 서류(장) 실제 — 망각 게이트의 곱 0일1일2일3일4일5일 99% 남김 100 99 98 97 96 95 50% 남김 100 50 25 13 6 3 파쇄 담당의 비율 하나가 며칠 뒤를 정한다 c₅ = f⁵ × c₀ (새 서류 0) f = 0.99 0.951 f = 0.5 0.031 거꾸로 가는 기울기 ∂c₅/∂c₀ 도 f⁵ 막대 길이 = 남은 비율(같은 눈금 · 1 = 160)

그림 2 · 하루에 99% 를 남기면 5일 뒤 95% 가 남고 50% 를 남기면 3% 만 남는다 — 셀 값도 그 기울기도 망각 게이트 값의 곱으로 정해진다.

비유 속 역할실제 이름실제로 하는 일
의뢰서 + 어제 답입력 x_t · 은닉 상태 h_{t−1}네 게이트 계산에 함께 들어가는 값
기록 보관함셀 상태 c_t덧셈으로만 갱신되는 장기 기억 벡터
파쇄 담당망각 게이트 f_t지난 셀 값에 원소마다 0 ~ 1 을 곱함
접수 담당입력 게이트 i_t · 후보 g_t새 후보 값 g 중 몇 할을 셀에 더할지
열람 창구출력 게이트 o_ttanh(c) 중 몇 할을 h_t 로 내보낼지
다음 날 같은 담당시간 축 가중치 공유모든 단계가 같은 W · U · b 를 씀

⚠ 비유가 맞지 않는 곳: 실제 게이트는 사람처럼 한 번 정하는 것이 아니라 셀 원소(차원)마다 따로 비율을 내고, 그 판단 규칙(가중치)은 학습으로 정해지며, 보관함의 서류 「장 수」와 달리 셀 값은 음수도 된다.

4구조 — 셀 상태와 게이트 넷

한 단계의 계산은 게이트 넷과 갱신 두 줄이다(PyTorch nn.LSTM 문서). 게이트 넷은 모두 [x_t, h_{t−1}] 의 선형 변환이고, σ 를 지난 셋(i · f · o)은 0 ~ 1 비율, tanh 를 지난 g 는 −1 ~ 1 후보 값이다.

  • c_t = f_t ⊙ c_{t−1} + i_t ⊙ g_t
  • h_t = o_t ⊙ tanh(c_t)
LSTM 한 단계 — 위는 셀 길, 아래는 게이트 넷 c_{t−1} c_t × + × i ⊙ g tanh × h_t f · σ i · σ g · tanh o · σ x_t · h_{t−1} 셀 길 = 원소곱 하나 · 덧셈 하나 행렬 곱 없음 셀 상태 게이트(σ · 0 ~ 1) 후보 값(tanh) 입력 출력 h_t(다음 단계 입력으로도 감)

그림 3 · 셀 상태 c 는 위쪽 길에서 곱하기 하나 · 더하기 하나만 지나고, 행렬 곱과 활성 함수는 모두 아래쪽 게이트 넷에 몰려 있다.

요소크기역할값 · 근거
셀 상태 c_td_h장기 기억 · 덧셈으로만 갱신범위 제한 없음 · c_n 으로 따로 반환(PyTorch nn.LSTM 문서)
망각 게이트 f_td_h지난 셀 값을 남길 비율원판에는 없음 · 2000년 추가(Gers 2000)
입력 게이트 i_td_h후보를 더할 비율σ · 0 ~ 1(Greff 2017 식)
후보 g_td_h더할 새 값tanh · −1 ~ 1
출력 게이트 o_td_htanh(c) 를 내보낼 비율h_t = o_t ⊙ tanh(c_t)
은닉 상태 h_td_h(proj_size 면 그 크기)출력 · 다음 단계 게이트 입력proj_size 기본 0(PyTorch nn.LSTM 문서)
가중치4d_h × d_x · 4d_h × d_h게이트 넷을 한 행렬로 묶음순서 i · f · g · o · 파라미터 4d_h(d_x + d_h + 2)

🔑 단순 순환망은 기억을 매 단계 행렬 곱으로 «다시 쓰고», LSTM 은 셀에 비율을 곱하고 «더하기만» 한다 — 그래서 셀 경로의 기울기는 행렬의 거듭제곱이 아니라 망각 게이트 값의 곱이 된다.

5동작 — 첫 단계 값의 쓰기 · 유지 · 읽기

은닉 크기 1인 LSTM 셀을 NumPy 로 직접 실행했다(설명용 가정 값 가중치). 입력은 (값 v, 쓰기 신호, 읽기 신호) 이고, 첫 단계 값을 기억했다가 여섯째 단계에서 내보내는 것이 과제다.

  1. 설정 — 사전 활성은 i = 10·쓰기 − 5 · f = 5 − 10·쓰기 · g = 2v · o = 10·읽기 − 5 이고, h 되먹임 가중치는 0 · c₀ = 0 · 목표 0.7 이다.
  2. 쓰기(t = 1, v = 0.9) — i 0.993 · f 0.007 · g 0.947 로 셀이 비워진 뒤 c₁ = 0.941 이 된다 · o 0.007 이라 h₁ 은 0.005 로 거의 밖에 안 보인다.
  3. 유지(t = 2 ~ 5, v = −0.6 · 0.8 · −0.3 · 0.5) — i 0.007 · f 0.993 이라 c 는 0.929 · 0.929 · 0.919 · 0.918 로 버티고, 방해 값 넷이 셀에 남긴 몫은 합쳐 0.002 다.
  4. 읽기(t = 6) — o 가 0.993 으로 열려 c₆ 0.912 에서 h₆ = 0.993 × tanh(0.912) = 0.717 이 나오고, 손실 ½(0.717 − 0.7)² = 0.00015 다.
  5. 역전파 — 셀 길의 기울기 ∂c₆/∂c₁ = f₂ × … × f₆ = 0.993⁵ = 0.967 이고, 출력까지 ∂h₆/∂c₁ = 0.460 이다(o₆ 과 tanh 미분이 곱해짐).
  6. 비교 — 같은 과제를 단순 순환망으로 풀 때는 기울기가 단계마다 순환 가중치와 tanh 미분의 곱으로 줄어든다(순환 신경망에서 든 사례의 4단계 뒤 0.203 배) · LSTM 셀 길에는 그 행렬 곱이 없다.
  7. 망각 바이어스 0 으로 바꾸면 — 유지 단계 f 가 0.5 가 되어 c 는 0.465 · 0.239 · 0.116 · 0.063 · 0.032 로 반씩 줄고, h₆ 0.031 · 손실 0.224 · ∂c₆/∂c₁ = 0.031 로 같은 셀이 기억을 잃는다.
t = 1t = 2t = 3t = 4t = 5t = 6 2 3 4 입력 v입력 게이트 i망각 게이트 f출력 게이트 o셀 c출력 h 0.9 쓰기 −0.6 0.8 −0.3 0.5 0 읽기 0.993 0.007 0.007 0.007 0.007 0.007 0.007 0.993 0.993 0.993 0.993 0.993 0.007 0.007 0.007 0.007 0.007 0.993 0.941 0.929 0.929 0.919 0.918 0.912 0.005 0.005 0.005 0.005 0.005 0.717 5 ∂c₆/∂c₁ = 0.993⁵ = 0.967 7 f 바이어스 0 0.941 0.465 0.239 0.116 0.063 0.032 열린 게이트(0.99 이상) 셀 값 내보낸 출력 셀 길 역전파 지워진 기억

그림 4 · 쓰기 ② 에서 입력 게이트가 열리고, 유지 ③ 동안 망각 게이트 0.993 이 셀 값을 지키며, 읽기 ④ 에서 출력 게이트가 열린다 — 망각 바이어스가 0 이면 ⑦ 셀 값이 반씩 사라진다.

‖∂c_k / ∂c₀‖ — 로그 눈금 · d = 32 · 같은 균등 초기화 10²110⁻⁴10⁻⁸10⁻¹²10⁻¹⁶ 0102030405060 거리 k(단계) 9.24.3×10⁻⁵5.0×10⁻¹³1.7×10⁻¹⁶ 셀 길 기울기 ≈ 망각 게이트 값의 곱 σ(0) = 0.5 · σ(1) = 0.73 · σ(3) = 0.95 단순 순환망(‖∂h_k/∂h₀‖) LSTM b_f = 0 LSTM b_f = 1 LSTM b_f = 3 노름 1

그림 5 · 같은 초기화에서 단순 순환망의 기울기는 60단계 뒤 10⁻¹⁶ 아래로 가지만, LSTM 셀 길은 망각 바이어스 1 이면 4.3×10⁻⁵, 3 이면 1 위에 머문다 — 바이어스 0 인 LSTM 은 단순 순환망과 비슷하게 사라진다.

그림 5 는 은닉 32 · 입력 8차원 정규 난수의 합성 데이터로 직접 실행한 값이고(시드 0), 시드 0 ~ 9 에서도 네 곡선의 순서는 같았다.

🔑 LSTM 이 먼 의존을 배우는 힘은 구조가 아니라 망각 게이트가 1 근처에 있을 때만 나온다 — 셀 길의 기울기가 f 의 곱이라 f 가 0.5 면 단순 순환망만큼 빨리 사라진다(Jozefowicz 2015 · Greff 2017 5절).

6비교 — LSTM 변형끼리

단순형 · 양방향 · GRU · LSTM 의 파라미터 · 먼 의존 비교는 순환 신경망의 비교표가 맡고, 여기서는 LSTM 안의 변형을 견준다.

기준원판(1997)표준형(망각 + 엿보기)엿보기 없음(구현 기본)결합 게이트(CIFG)xLSTM(2024)
게이트입력 · 출력입력 · 망각 · 출력입력 · 망각 · 출력f = 1 − i 로 묶음지수 게이트 · 정규화
셀자기 연결 1 고정f 로 지움f 로 지움입력만큼 지움sLSTM 스칼라 · mLSTM 행렬
끝없는 입력셀이 계속 쌓임(Gers 2000)스스로 비움스스로 비움스스로 비움스스로 비움
성능(Greff 2017 5절)망각 게이트 제거(NFG) = 세 과제 모두 유의하게 나빠짐기준선유의한 차이 없음유의한 차이 없음 · 계산 감소트랜스포머와 견줄 만하다고 보고(Beck 2024)
학습 병렬화순차순차순차순차mLSTM 은 병렬(Beck 2024)

분석새로 쓴다면 프레임워크 기본형(엿보기 없음)에 망각 바이어스 1 을 주는 것이 출발점이고, 계산을 줄여야 하면 결합 게이트나 GRU 로, 수십억 파라미터 언어 모델 규모라면 xLSTM 이나 트랜스포머를 검토한다. 근거는 엿보기 제거 · 게이트 결합은 유의한 차이가 없고 망각 게이트 · 출력 활성 함수 제거만 성능을 해쳤다는 5,400회 실험이다(Greff 2017 5절).

7실무 진단 — LSTM 의 문제 위치 가르기

분석먼 입력을 못 쓰면 망각 게이트 평균부터, 손실이 튀면 셀 값 크기와 기울기 노름부터, 양방향 · 다층 결과가 이상하면 h_n · output 모양부터 본다. 앞의 둘은 게이트 활성값 한 번 뽑기로 끝나고(그림 5 · 사례 7단계), 마지막은 공식 문서의 모양 규칙과 대조하면 된다(PyTorch nn.LSTM 문서).

#증상의심 원인위치확인 자료판정 기준(근거)
1LSTM 인데 20단계 넘게 떨어진 입력을 못 씀망각 게이트가 0.5 근처초기화 · 망각 바이어스학습 초기 f_t 평균 · b_hf 값평균 0.5 근처면 바이어스 1 이상 · PyTorch 는 바이어스를 ±1/√d_h 균등으로 둠(PyTorch nn.LSTM 문서) · Keras 는 unit_forget_bias 기본 True(Keras LSTM 계층 문서)
2셀 값이 수십으로 커지고 손실이 튐셀 무한 누적 · 출력 활성 제거셀 상태‖c_t‖ 추이 · 기울기 노름출력 활성 함수 제거(NOAF)는 성능을 크게 해침(Greff 2017 5절) · 노름 clipping 병행
3양방향 LSTM 의 마지막 출력과 h_n 이 다름역방향 끝 상태 위치 착오출력 꺼내기output[:, −1] 과 h_n 비교양방향이면 h_n ≠ output 마지막 원소(PyTorch nn.LSTM 문서)
4proj_size 를 주자 모양 오류h 와 c 크기가 갈림상태 초기값h_0 · c_0 모양h = proj_size · c = hidden_size(PyTorch nn.LSTM 문서)
5긴 스트림을 잘라 학습했더니 경계에서 오차가 튐묶음 사이 상태 초기화상태 전달묶음마다 h · c 를 0 으로 두는지이어지는 열이면 앞 묶음 (h_n, c_n) 을 다음 묶음 초기값으로 넘김

8시험 대비

시험에서는 셀 상태 · 게이트 셋 · 기울기 소실 완화 원리를 쓰는 정의 · 특징형과, 망각 게이트 · 엿보기 · GRU · xLSTM 으로 이어진 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 셀 그림에 갱신 식 두 줄을 붙이고 그림 5 로 «왜 소실이 줄어드는가»를 보이며, 동향형이면 비교표의 원판 → 표준형 → 결합 게이트 → xLSTM 순서로 쓴다.

답안 목차
  1. 개요 — 정의(셀 상태 + 게이트 셋) · 순환 신경망의 기울기 소실 문제 한 줄 · 1997 · 2000 연도
  2. 구조 — 그림 3 셀 그림 · f · i · g · o 식 · c_t = f ⊙ c + i ⊙ g · h_t = o ⊙ tanh(c) · 파라미터 4d_h(d_x + d_h + 2)
  3. 동작 — 그림 4 쓰기 · 유지 · 읽기 사례(f 0.993 · ∂c₆/∂c₁ 0.967 ↔ 바이어스 0 이면 0.031)
  4. 원리 — 그림 5 셀 길 기울기 = 망각 게이트의 곱 · 망각 바이어스 1(Jozefowicz 2015)
  5. 변형 · 동향 — 원판 · 표준형 · CIFG · GRU · xLSTM 비교표 · Greff 2017 결과(망각 게이트 · 출력 활성 함수가 핵심)
  6. 활용 · 한계 — 음성(TIMIT 17.7%) · 센서 열 · 잔여 수명 예측 · 순차 계산 한계와 트랜스포머

꼭 쓸 키워드
셀 상태망각 게이트입력 게이트출력 게이트상수 오차 회전(CEC)엿보기 연결망각 바이어스결합 게이트(CIFG)GRUxLSTM

다른 답안과 차이를 내는 한 가지는 «LSTM 은 기울기 소실을 해결했다» 대신 셀 길 기울기가 망각 게이트의 곱이라는 조건을 쓰는 것이다 — 사례의 0.967 ↔ 0.031 을 함께 쓰면 초기화 · 바이어스가 왜 실무 기본값이 됐는지까지 이어진다.

9오해와 사실

  • 오해LSTM 은 기울기 소실을 완전히 없앤다.
    사실셀 길의 기울기는 망각 게이트 값의 곱이라 f 가 0.5 면 20단계 뒤 10⁻⁴ 수준으로 줄고(그림 5 · 직접 실행), 망각 게이트가 1 에 가까울 때만 오래 남는다.
  • 오해망각 게이트는 처음부터 LSTM 에 있었다.
    사실1997년 원판은 입력 · 출력 게이트만 있었고, 망각 게이트는 2000년에 더해졌다(Greff 2017 3절 · Gers 2000).
  • 오해게이트가 많을수록 성능이 좋다.
    사실엿보기를 빼거나 입력 · 망각 게이트를 하나로 묶어도 유의한 차이가 없었고, 전체 게이트 되먹임(FGR)은 한 과제에서 오히려 나빴다(Greff 2017 5절).

10핵심 정리

구분맡는 일식 · 범위사례 값근거
셀 상태 c장기 기억f ⊙ c + i ⊙ g · 범위 제한 없음0.941 → 0.912PyTorch nn.LSTM 문서
망각 게이트 f남길 비율σ · 0 ~ 1 · 2000 추가0.993(바이어스 0 이면 0.5)Gers 2000
입력 게이트 i더할 비율σ · 0 ~ 1쓰기 0.993 · 유지 0.007Greff 2017 식
출력 게이트 o내보낼 비율h = o ⊙ tanh(c)읽기 0.993 → h 0.717Greff 2017 식
셀 길 기울기먼 단계로 오차 전달∂c_k/∂c₀ ≈ Π f0.967 ↔ 0.031사례 5 · 7단계
망각 바이어스초기 f 를 1 쪽으로b_f = 1 권장20단계 0.060 ↔ 바이어스 0 1.3×10⁻⁴Jozefowicz 2015
원판 한계끝없는 입력에서 셀 누적자기 연결 1 고정—Gers 2000
xLSTM큰 규모 · 병렬 학습지수 게이트 · 행렬 메모리—Beck 2024

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ LSTM: A Search Space Odyssey (IEEE Transactions on Neural Networks and Learning Systems 28(10) 2222-2232) — 표준 LSTM 식 · 변형 8가지 · 망각 게이트와 출력 활성 함수가 가장 중요하다는 결과를 볼 때
    arXiv · IEEE · 2017-10 · arxiv.org/abs/1503.04069 · 확인 2026-11-13
  3. ★ Learning to Forget: Continual Prediction with LSTM (Neural Computation 12(10) 2451-2471) — 망각 게이트가 왜 더해졌는지 원 논문으로 볼 때
    MIT Press · 2000-10 · doi.org/10.1162/089976600300015015 · 확인 2026-11-13
  4. ★ An Empirical Exploration of Recurrent Network Architectures (ICML 2015 · PMLR 37) — 망각 게이트 바이어스 1 이 LSTM 과 GRU 의 차이를 메운다는 결과를 볼 때
    PMLR · 2015-07 · proceedings.mlr.press/v37/jozefowicz15.html · 확인 2026-11-13
  5. ★ PyTorch 2.15 documentation - torch.nn.LSTM (게이트 식 · 가중치 모양 · 초기화) — 게이트 순서 i · f · g · o 와 h_n · c_n 모양을 구현에서 확인할 때
    PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.LSTM.html · 확인 2026-11-13
  6. 본문 근거
  7. Long Short-Term Memory (Neural Computation 9(8) 1735-1780) — MIT Press · 1997-11 · doi.org/10.1162/neco.1997.9.8.1735 · 확인 2026-11-13
  8. Learning Precise Timing with LSTM Recurrent Networks (Journal of Machine Learning Research 3 115-143) — JMLR · 2002-08 · www.jmlr.org/papers/v3/gers02a.html · 확인 2026-11-13
  9. Speech Recognition with Deep Recurrent Neural Networks (Graves · Mohamed · Hinton · ICASSP 2013) — arXiv · 2013-03 · arxiv.org/abs/1303.5778 · 확인 2026-11-13
  10. xLSTM: Extended Long Short-Term Memory (Beck et al.) — arXiv · 2024-05 · arxiv.org/abs/2405.04517 · 확인 2026-11-13
  11. Keras 3 API documentation - LSTM layer (unit_forget_bias) — Keras · 2026-11 · keras.io/api/layers/recurrent_layers/lstm/ · 확인 2026-11-13