AI › 생성형 AI › LLM › 모델 구조

컨텍스트 윈도우Context Window

언어 모델이 한 번의 계산에서 함께 볼 수 있는 토큰 수의 상한으로, 시스템 지시 · 대화 이력 · 문서 · 질문 같은 입력 토큰과 앞으로 생성할 출력 토큰을 모두 이 안에 담아야 한다.

1요약

  1. 컨텍스트 윈도우는 트랜스포머 언어 모델의 위치 번호 0 ~ n−1 범위로, 그 위에서 시스템 지시 · 대화 이력 · 첨부 문서 · 질문이 입력 토큰으로 들어가고 답 토큰이 같은 범위 끝까지 이어 붙는다.
  2. 학습 길이 2,048 토큰인 모델에 4,096 토큰을 그대로 넣으면 퍼플렉시티가 1,000 을 넘어 학습 안 된 모델 수준이 됐고, 위치 보간 뒤 미세 조정 1,000 step 으로 32,768 토큰까지 늘었다(Chen 외 2023 표 2 · 초록).
  3. 「긴 입력에서 망가진다」는 어느 한도에 걸렸는가로 가른다 — 답이 중간에 끊기면 출력 예약, 학습 길이를 넘는 위치에서 출력이 무너지면 위치 표현, 창 안인데 긴 입력의 여러 단계 추론만 틀리면 유효 길이다.

2등장 배경

순환 신경망은 입력 길이에 정해진 상한이 없었지만, 먼 토큰의 정보가 차례로 계산을 거치며 흐려졌다. 2017년 트랜스포머는 모든 토큰이 서로를 직접 보게 했고(Vaswani 외 2017), 그 대가로 학습 때 정한 최대 길이가 생겼다 — 위치 정보는 그 길이 안의 번호로만 학습된다.

2021년 Su 외는 쿼리 · 키를 위치에 비례한 각도로 돌리는 RoPE 를 냈고, 같은 해 Press 외는 「짧게 학습하고 길게 추론하기」를 묻고 거리에 비례해 어텐션 점수를 깎는 ALiBi 로 길이 1,024 로 학습한 13억 매개변수 모델이 2,048 에서 동작함을 보였다(초록). 2023년 Chen 외는 RoPE 모델의 위치 번호를 줄여 넣는 위치 보간으로 학습 길이 2,048 모델의 창을 32,768 까지 넓혔고(초록), 같은 해 YaRN 은 같은 확장을 학습 토큰 10배 · step 2.5배 적게 해냈다(Peng 외 2023 초록).

창 크기 숫자는 계속 커졌지만, 2024년 RULER 는 공개 모델 17개 가운데 절반만 32K 길이에서 만족할 성능을 지켰다고 보고했다(Hsieh 외 2024 초록). 지금 남은 문제는 명목 크기가 아니라 그 길이를 실제로 쓰는가다.

3쉽게 이해하기 — 칸 수가 정해진 회의실 화이트보드

회의실 서기는 화이트보드에 적힌 글만 보고 답을 쓴다. 보드는 칸이 4,096개이고, 회의 규칙 · 지난 회의록 · 참고 자료 · 오늘 질문을 적은 뒤 답 쓸 빈칸까지 남겨야 한다. 자리가 모자라면 가장 오래된 회의록부터 지우개로 지운다. 서기는 4,096까지 매긴 눈금자로만 연습해서, 보드를 네 배로 붙여 늘리면 처음 보는 눈금 숫자에 헷갈린다.

서기 보드만 보고 씀 LLM 다음 토큰 생성 화이트보드 칸 4,096개 컨텍스트 윈도우 회의 규칙 300개 시스템 지시 가장 오래된 회의록 700개 지울 몫 최근 회의록 1,400개 대화 이력 참고 자료 1,500개 첨부 문서 오늘 질문에 쓴 칸 120개 사용자 질문 답 쓸 빈칸 512개 출력 예약 지우개 잘라내기 1 2 3 ① 보드를 읽음 · ② 답 빈칸에 씀 · ③ 자리가 모자라면 오래된 회의록부터 지움 · 점선 = 지울 몫 · 빈 상자 = 아직 쓰지 않은 답

그림 1 · 서기는 화이트보드 안의 글만 보고, 답 쓸 빈칸이 모자라면 가장 오래된 회의록부터 지운다.

보드 채우기규칙 · 회의록 · 자료 · 질문을 적음
빈칸 남기기답 쓸 빈칸 512개를 먼저 비움
오래된 것 지우기모자라면 첫 회의록부터
보드 읽기서기는 보드 밖을 모름
답 쓰기빈칸 끝에서 멈춤
눈금 다시 매기기큰 보드는 눈금을 촘촘히
비유 — 서기의 눈금자 연습한 눈금 0 4,096 학습 길이 L 그대로 이어 붙임 처음 보는 눈금 4,097 ~ 16,384 0 4,096 16,384 직접 외삽 촘촘히 다시 매김 칸 16,384개 · 눈금은 0 ~ 4,096 안 0 2,048 4,096 위치 보간 실제 — 위치 번호 m 을 m × L / L′ 로 줄여 RoPE 에 넣는다 L = 4,096 · L′ = 16,384 이면 위치 10,000 → 10,000 × 4,096 / 16,384 = 2,500 · 줄인 번호는 소수여도 된다

그림 2 · 큰 보드에 연습한 눈금을 그대로 이어 붙이면 처음 보는 숫자가 생기고, 눈금을 네 배 촘촘히 다시 매기면 모든 위치가 익숙한 숫자 안에 든다.

비유기술 요소실제로 하는 일
화이트보드 칸 4,096개컨텍스트 윈도우한 번의 계산에 들어가는 토큰 수의 상한
회의 규칙 · 회의록 · 자료시스템 지시 · 대화 이력 · 첨부 문서매 요청마다 처음부터 다시 넣는 입력 토큰
답 쓸 빈칸출력 예약생성할 최대 토큰 수만큼 창을 비워 둠
지우개잘라내기 정책넘친 토큰을 정해진 순서로 뺌
서기LLM창 안의 토큰만 보고 다음 토큰을 냄
연습한 눈금자학습 길이 · 위치 표현학습 때 본 위치 번호 범위
촘촘히 다시 매긴 눈금위치 보간긴 위치 번호를 학습 범위로 줄여 넣음

⚠ 비유가 맞지 않는 곳: 서기는 보드를 위에서 아래로 차례로 읽지만, 모델은 창 안 토큰을 한 번에 함께 계산한다. 또 보드를 지우면 지운 회의록은 서기 기억에도 없다 — 모델은 지난 요청의 내용을 따로 기억하지 않고, 다음 요청에 다시 넣은 토큰만 본다.

4구조 — 창 안의 구성과 창 크기를 정하는 세 한도

창은 입력 토큰과 출력 예약으로 나뉘고, 위치 번호는 0 부터 창 끝까지 하나씩 붙는다. 창 크기는 하나의 설정 값이 아니라 위치 표현 · KV 캐시 · 어텐션 계산 세 한도 가운데 가장 작은 쪽이 정한다.

컨텍스트 윈도우 — 위치 0 ~ n−1 입력 토큰(매 요청 다시 넣음) 생성 토큰 시스템 지시 대화 이력 첨부 문서 질문 출력 예약 위치 0 위치 n−1 창 크기 n 을 묶는 세 한도 위치 표현 학습 길이 L 안의 번호만 익숙함 L 밖 = 처음 보는 회전 각도 → 위치 보간 · 외삽 방식 KV 캐시 토큰마다 계층별 키 · 값 메모리 = 토큰 수에 비례 2 × 계층 × KV 헤드 × 헤드 차원 × 바이트 셀프 어텐션 모든 토큰 쌍의 점수 계산 = n × n 길이 2배 = 점수 4배 → 트랜스포머 셋 중 가장 작은 한도가 실제 창 크기 · 위치 표현은 학습으로, 나머지 둘은 메모리 · 계산량으로 정해진다

그림 3 · 창 안에는 입력과 출력 예약이 함께 들고, 창 크기는 위치 표현 · KV 캐시 · 어텐션 계산 세 한도 중 가장 먼저 걸리는 쪽이 정한다.

요소크기 · 단위역할값 · 근거
시스템 지시수백 토큰매 요청 맨 앞에 두는 규칙잘라낼 때 지우지 않는 몫
대화 이력 · 첨부 문서요청마다 달라짐앞선 턴과 참고 글모델은 지난 요청을 기억하지 않아 매번 다시 넣음
출력 예약최대 생성 토큰 수답 토큰이 들어갈 몫입력 + 출력 ≤ 창 크기
위치 표현(RoPE)헤드 차원 d 의 절반 = 주파수 쌍 수위치 m 에서 쌍 j 를 m · θj 만큼 회전θj = 10000^(−2j/d)(Chen 외 2023 식 1)
KV 캐시토큰당 고정 바이트앞 토큰의 키 · 값 저장길이에 비례 → 추론 최적화
셀프 어텐션n × n 점수토큰끼리 정보를 섞음O(n² · d)(Vaswani 외 2017 표 1)

🔑 창 크기는 모델이 «읽을 수 있는» 양이 아니라 입력과 출력이 «함께 나눠 쓰는» 예산이다 — 입력을 창 끝까지 채우면 답 쓸 몫이 0 이 된다.

5동작 — 창 4,096 토큰 모델의 대화 한 요청

설명용 가정 값 — 창 4,096 토큰 · 계층 32 · KV 헤드 8 · 헤드 차원 128 · fp16 인 모델에, 일곱 번째 턴 질문을 보낸다.

  1. 그 모델 토크나이저로 부분별 토큰을 센다 — 시스템 지시 300 · 대화 이력 6턴 × 350 = 2,100 · 첨부 문서 1,500 · 질문 120, 입력 합계 4,020.
  2. 최대 출력 512 를 예약하면 4,532 로, 창 4,096 을 436 토큰 넘는다.
  3. 잘라내기 정책을 적용한다 — 시스템 지시 · 질문 · 첨부 문서는 남기고 대화 이력을 가장 오래된 턴부터 뺀다.
  4. 1 · 2번째 턴(700 토큰)을 빼면 입력 3,320 + 출력 512 = 3,832 로, 264 토큰이 남는다.
  5. 프리필에서 입력 3,320 토큰에 위치 0 ~ 3,319 를 붙여 한 번에 계산한다. KV 캐시는 토큰당 2 × 32 × 8 × 128 × 2 = 131,072바이트(128 KiB)이므로 415 MiB 다.
  6. 디코드에서 토큰 하나를 낼 때마다 KV 캐시가 128 KiB 씩 늘어, 512 토큰을 다 쓰면 3,832 토큰 · 479 MiB 에서 멈춘다(종료 사유 = 최대 길이).
  7. 다음 턴은 이번 답을 이력에 더해 1번부터 다시 센다 — 이번에 뺀 두 턴은 모델이 다시 볼 수 없다.
창 4,096 ① 토큰 세기 이력 2,100 문서 1,500 입력 4,020 ② 출력 예약 이력 2,100 4,532 436 초과 ④ 2턴 빼기 이력 1,400 3,832 여유 264 ⑥ 생성 끝 KV 479 MiB 최대 길이 종료 0 1,000 2,000 3,000 5,000 토큰 시스템 300 대화 이력 첨부 문서 질문 120 출력 예약 512(점선 = 아직 비움)

그림 4 · 입력 4,020 에 출력 512 를 더하면 창 4,096 을 넘고, 가장 오래된 두 턴을 빼야 출력까지 창 안에 든다.

창을 4배인 16,384 로 늘리면 위치 번호가 학습 때 보지 못한 범위로 나간다. RoPE 의 가장 느린 주파수 쌍(d = 128 · j = 63 · θ = 1.155 × 10⁻⁴)은 위치 4,096 에서 0.473 라디안까지만 돌았고, 64쌍 중 18쌍은 학습 길이 안에서 한 바퀴도 돌지 않는다(원문 식 직접 계산).

학습 길이 안 학습 때 최대 각 0.473 위치 10,000 · 외삽 1.155 rad 학습 때 없던 각도 보간 2,500 → 0.289 rad 0 4,096 8,192 12,288 16,384 위치 m(토큰) 0 1.0 2.0 회전 각도 m · θ63(rad) 학습한 각도 직접 외삽 위치 보간(m × 4,096 / 16,384)

그림 5 · 가장 느린 RoPE 주파수 쌍은 학습 길이 4,096 까지 0.473 라디안만 돌아, 그대로 늘리면 위치 10,000 이 처음 보는 1.155 라디안이 되고 위치 보간은 0.289 라디안으로 되돌린다.

🔑 긴 위치가 망가지는 까닭은 거리가 멀어서가 아니라 학습 때 본 적 없는 회전 각도가 들어가서다 — 그래서 각도를 학습 범위로 줄여 넣는 위치 보간은 미세 조정 200 step 만에 유효 창 8,192 를 채웠고, 같은 길이로 그대로 미세 조정한 쪽은 10,000 step 뒤에도 2,560 이었다(Chen 외 2023 표 4).

6비교 — 긴 입력을 다루는 네 방식

기준위치 보간 + 미세 조정슬라이딩 윈도우 어텐션잘라내기 · 요약RAG
바꾸는 것위치 번호 m → m × L / L′각 토큰이 앞 w 개만 봄넣는 입력넣는 입력(질문과 닮은 조각만)
학습미세 조정 약 1,000 step(Chen 외 2023 초록)그 구조로 학습없음검색기 색인
계산 · 메모리길이에 따라 그대로 늘어남길이에 선형(Beltagy 외 2020 초록)창 크기 이하 고정검색 조각 수 × 길이
먼 정보창 안이면 직접 봄계층을 거쳐 간접잘린 부분은 사라짐검색이 놓치면 사라짐
맞는 입력한 문서 전체를 엮어 읽는 일아주 긴 문서의 국소 문맥대화 이력큰 문서 묶음에서 사실 찾기

분석입력 전체의 관계를 엮어야 하면 창을 늘리고(위치 보간), 입력은 크지만 질문마다 필요한 조각이 작으면 RAG 를, 대화처럼 오래된 내용의 가치가 빨리 떨어지면 잘라내기 · 요약을 쓴다. 근거는 표의 「먼 정보」 행 — 창 늘리기만 잘린 정보가 없고, 나머지 셋은 버리거나 놓친 토큰을 되살리지 못한다.

7실무 진단 — 걸린 한도 가르기

분석출력 예약 → 위치 표현 → 메모리 → 유효 길이 순으로 본다. 앞의 둘은 토큰 수와 종료 사유만으로 바로 판정되고, 유효 길이는 길이별 시험을 따로 돌려야 하기 때문이다.

#증상의심 원인구분확인 자료판정 기준(근거)
1답이 문장 중간에 끊김출력 예약 부족창 예산종료 사유 · 입력 토큰 수 + 최대 출력종료 사유가 최대 길이이고 합이 창 크기면 예약 부족
2학습 길이를 넘는 입력에서 뜻 없는 문장위치 외삽위치 표현입력 토큰 수 ↔ 학습 길이 · 길이별 퍼플렉시티학습 길이 뒤에서 퍼플렉시티가 1,000 이상으로 튐(Chen 외 2023 2.2절)
3긴 대화에서 처음 정한 규칙을 어김잘라내기 정책이 지시를 지움창 예산잘라낸 뒤 실제 입력 로그시스템 지시가 입력에 없으면 정책 문제
4긴 입력 요청만 메모리 부족KV 캐시 증가메모리토큰당 KV 바이트 × 길이길이 × 128 KiB(가정 모델)가 남은 메모리를 넘음
5창 안인데 긴 입력의 여러 단계 질문만 틀림유효 길이 < 명목 길이유효 길이길이 · 과제별 시험(RULER)단순 찾기는 맞고 다중 단계 · 집계에서 길이에 따라 떨어짐(Hsieh 외 2024 초록)

8시험 대비

시험에서는 컨텍스트 윈도우의 뜻과 구성 · 한도를 묻는 정의 · 특징형과, 창 확장 기법과 유효 길이 문제를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 「입력 + 출력 예산」과 세 한도 그림으로 뼈대를 세우고, 동향형이면 외삽 실패 → 위치 보간 → 유효 길이 평가 순으로 쓴다.

답안 목차
  1. 개요 — 정의(입력 + 출력 토큰의 상한) · 위치 번호 0 ~ n−1
  2. 구성 — 그림 3 창 구성(시스템 · 이력 · 문서 · 질문 · 출력 예약)과 세 한도(위치 표현 · KV 캐시 · 어텐션 n²)
  3. 동작 — 그림 4 토큰 예산 사례(4,020 + 512 > 4,096 → 오래된 턴 빼기 · KV 128 KiB / 토큰)
  4. 창 확장 — 그림 5 RoPE 각도 외삽 · 위치 보간 식 m × L / L′ · ALiBi · YaRN
  5. 비교 — 위치 보간 · 슬라이딩 윈도우 · 잘라내기 · RAG 표
  6. 한계 · 평가 — 명목 길이와 유효 길이 · 길이별 과제 시험 · 위치 효과

꼭 쓸 키워드
컨텍스트 윈도우출력 예약잘라내기위치 인코딩RoPE위치 보간ALiBiKV 캐시슬라이딩 윈도우 어텐션유효 길이

다른 답안과 차이를 내는 한 가지 — 창 크기 숫자를 나열하지 않고, 가장 느린 RoPE 주파수 쌍의 회전 각도(0.473 → 1.892 rad)로 «왜 학습 길이 밖에서 무너지는가»를 숫자로 보인다.

9오해와 사실

  • 오해창 크기만큼 입력을 넣을 수 있다.
    사실창에는 생성할 출력 토큰도 들어가므로, 입력은 창 크기에서 최대 출력 예약을 뺀 만큼만 넣을 수 있다(동작 2단계 · 4,532 > 4,096).
  • 오해창을 늘리려면 긴 문서로 처음부터 다시 학습해야 한다.
    사실학습 길이 2,048 모델이 위치 보간과 미세 조정 1,000 step 안에서 32,768 토큰 창을 얻었다(Chen 외 2023 초록).
  • 오해명목 창 크기 안이면 모든 위치를 고르게 쓴다.
    사실공개 모델 17개 중 절반만 32K 길이에서 만족할 성능을 지켰고, 단순 찾기 시험을 거의 다 맞힌 모델도 길이가 늘면 다른 과제에서 크게 떨어졌다(Hsieh 외 2024 초록).

10핵심 정리

구분정하는 것단위 · 식넘으면확인
창 예산입력 + 출력의 합토큰 수 ≤ n입력 잘림 · 답 끊김종료 사유 · 토큰 수
잘라내기넘친 입력을 빼는 순서오래된 턴부터(정책)앞 지시 · 사실 손실실제 입력 로그
위치 표현학습한 위치 범위RoPE θj = 10000^(−2j/d)처음 보는 각도 · 출력 붕괴길이별 퍼플렉시티
위치 보간긴 위치를 학습 범위로m × L / L′(해당 없음 · 확장 수단)패스키 · 유효 창 시험
KV 캐시길이당 메모리2 × 계층 × KV 헤드 × 헤드 차원 × 바이트메모리 부족토큰당 바이트 × 길이
셀프 어텐션길이당 계산n × n 점수계산 · 메모리 제곱 증가길이 2배 → 4배
유효 길이실제로 쓰는 길이길이 · 과제별 정답률다중 단계 · 집계 오답RULER 같은 길이별 시험

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Extending Context Window of Large Language Models via Positional Interpolation (arXiv:2306.15595) — 위치 보간 식(식 4)과 직접 미세 조정 대비 유효 창 크기(표 4)를 원문으로 볼 때
    Chen · Wong · Chen · Tian · 2023-06 · arxiv.org/abs/2306.15595 · 확인 2026-11-12
  3. ★ RoFormer: Enhanced Transformer with Rotary Position Embedding (arXiv:2104.09864) — 회전 위치 임베딩(RoPE)의 회전 각도 정의를 볼 때
    Su et al. · 2021-04 · arxiv.org/abs/2104.09864 · 확인 2026-11-12
  4. ★ Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (arXiv:2108.12409) — 짧게 학습하고 길게 추론하는 외삽 문제와 ALiBi 를 볼 때
    Press · Smith · Lewis · 2021-08 · arxiv.org/abs/2108.12409 · 확인 2026-11-12
  5. ★ RULER: What's the Real Context Size of Your Long-Context Language Models? (arXiv:2404.06654) — 명목 창 크기와 실제로 쓰는 길이의 차이를 재는 법을 볼 때
    Hsieh et al. · 2024-04 · arxiv.org/abs/2404.06654 · 확인 2026-11-12
  6. 본문 근거
  7. Longformer: The Long-Document Transformer (arXiv:2004.05150) — Beltagy · Peters · Cohan · 2020-04 · arxiv.org/abs/2004.05150 · 확인 2026-11-12
  8. YaRN: Efficient Context Window Extension of Large Language Models (arXiv:2309.00071) — Peng · Quesnelle · Fan · Shippole · 2023-08 · arxiv.org/abs/2309.00071 · 확인 2026-11-12
  9. Attention Is All You Need (arXiv:1706.03762) — Vaswani et al. · 2017-06 · arxiv.org/abs/1706.03762 · 확인 2026-11-12
  10. Lost in the Middle: How Language Models Use Long Contexts (arXiv:2307.03172) — Liu et al. · 2023-07 · arxiv.org/abs/2307.03172 · 확인 2026-11-12