컨텍스트 윈도우Context Window
언어 모델이 한 번의 계산에서 함께 볼 수 있는 토큰 수의 상한으로, 시스템 지시 · 대화 이력 · 문서 · 질문 같은 입력 토큰과 앞으로 생성할 출력 토큰을 모두 이 안에 담아야 한다.
1요약
- 컨텍스트 윈도우는 트랜스포머 언어 모델의 위치 번호 0 ~ n−1 범위로, 그 위에서 시스템 지시 · 대화 이력 · 첨부 문서 · 질문이 입력 토큰으로 들어가고 답 토큰이 같은 범위 끝까지 이어 붙는다.
- 학습 길이 2,048 토큰인 모델에 4,096 토큰을 그대로 넣으면 퍼플렉시티가 1,000 을 넘어 학습 안 된 모델 수준이 됐고, 위치 보간 뒤 미세 조정 1,000 step 으로 32,768 토큰까지 늘었다(Chen 외 2023 표 2 · 초록).
- 「긴 입력에서 망가진다」는 어느 한도에 걸렸는가로 가른다 — 답이 중간에 끊기면 출력 예약, 학습 길이를 넘는 위치에서 출력이 무너지면 위치 표현, 창 안인데 긴 입력의 여러 단계 추론만 틀리면 유효 길이다.
2등장 배경
순환 신경망은 입력 길이에 정해진 상한이 없었지만, 먼 토큰의 정보가 차례로 계산을 거치며 흐려졌다. 2017년 트랜스포머는 모든 토큰이 서로를 직접 보게 했고(Vaswani 외 2017), 그 대가로 학습 때 정한 최대 길이가 생겼다 — 위치 정보는 그 길이 안의 번호로만 학습된다.
2021년 Su 외는 쿼리 · 키를 위치에 비례한 각도로 돌리는 RoPE 를 냈고, 같은 해 Press 외는 「짧게 학습하고 길게 추론하기」를 묻고 거리에 비례해 어텐션 점수를 깎는 ALiBi 로 길이 1,024 로 학습한 13억 매개변수 모델이 2,048 에서 동작함을 보였다(초록). 2023년 Chen 외는 RoPE 모델의 위치 번호를 줄여 넣는 위치 보간으로 학습 길이 2,048 모델의 창을 32,768 까지 넓혔고(초록), 같은 해 YaRN 은 같은 확장을 학습 토큰 10배 · step 2.5배 적게 해냈다(Peng 외 2023 초록).
창 크기 숫자는 계속 커졌지만, 2024년 RULER 는 공개 모델 17개 가운데 절반만 32K 길이에서 만족할 성능을 지켰다고 보고했다(Hsieh 외 2024 초록). 지금 남은 문제는 명목 크기가 아니라 그 길이를 실제로 쓰는가다.
3쉽게 이해하기 — 칸 수가 정해진 회의실 화이트보드
회의실 서기는 화이트보드에 적힌 글만 보고 답을 쓴다. 보드는 칸이 4,096개이고, 회의 규칙 · 지난 회의록 · 참고 자료 · 오늘 질문을 적은 뒤 답 쓸 빈칸까지 남겨야 한다. 자리가 모자라면 가장 오래된 회의록부터 지우개로 지운다. 서기는 4,096까지 매긴 눈금자로만 연습해서, 보드를 네 배로 붙여 늘리면 처음 보는 눈금 숫자에 헷갈린다.
그림 1 · 서기는 화이트보드 안의 글만 보고, 답 쓸 빈칸이 모자라면 가장 오래된 회의록부터 지운다.
그림 2 · 큰 보드에 연습한 눈금을 그대로 이어 붙이면 처음 보는 숫자가 생기고, 눈금을 네 배 촘촘히 다시 매기면 모든 위치가 익숙한 숫자 안에 든다.
| 비유 | 기술 요소 | 실제로 하는 일 |
|---|---|---|
| 화이트보드 칸 4,096개 | 컨텍스트 윈도우 | 한 번의 계산에 들어가는 토큰 수의 상한 |
| 회의 규칙 · 회의록 · 자료 | 시스템 지시 · 대화 이력 · 첨부 문서 | 매 요청마다 처음부터 다시 넣는 입력 토큰 |
| 답 쓸 빈칸 | 출력 예약 | 생성할 최대 토큰 수만큼 창을 비워 둠 |
| 지우개 | 잘라내기 정책 | 넘친 토큰을 정해진 순서로 뺌 |
| 서기 | LLM | 창 안의 토큰만 보고 다음 토큰을 냄 |
| 연습한 눈금자 | 학습 길이 · 위치 표현 | 학습 때 본 위치 번호 범위 |
| 촘촘히 다시 매긴 눈금 | 위치 보간 | 긴 위치 번호를 학습 범위로 줄여 넣음 |
⚠ 비유가 맞지 않는 곳: 서기는 보드를 위에서 아래로 차례로 읽지만, 모델은 창 안 토큰을 한 번에 함께 계산한다. 또 보드를 지우면 지운 회의록은 서기 기억에도 없다 — 모델은 지난 요청의 내용을 따로 기억하지 않고, 다음 요청에 다시 넣은 토큰만 본다.
4구조 — 창 안의 구성과 창 크기를 정하는 세 한도
창은 입력 토큰과 출력 예약으로 나뉘고, 위치 번호는 0 부터 창 끝까지 하나씩 붙는다. 창 크기는 하나의 설정 값이 아니라 위치 표현 · KV 캐시 · 어텐션 계산 세 한도 가운데 가장 작은 쪽이 정한다.
그림 3 · 창 안에는 입력과 출력 예약이 함께 들고, 창 크기는 위치 표현 · KV 캐시 · 어텐션 계산 세 한도 중 가장 먼저 걸리는 쪽이 정한다.
| 요소 | 크기 · 단위 | 역할 | 값 · 근거 |
|---|---|---|---|
| 시스템 지시 | 수백 토큰 | 매 요청 맨 앞에 두는 규칙 | 잘라낼 때 지우지 않는 몫 |
| 대화 이력 · 첨부 문서 | 요청마다 달라짐 | 앞선 턴과 참고 글 | 모델은 지난 요청을 기억하지 않아 매번 다시 넣음 |
| 출력 예약 | 최대 생성 토큰 수 | 답 토큰이 들어갈 몫 | 입력 + 출력 ≤ 창 크기 |
| 위치 표현(RoPE) | 헤드 차원 d 의 절반 = 주파수 쌍 수 | 위치 m 에서 쌍 j 를 m · θj 만큼 회전 | θj = 10000^(−2j/d)(Chen 외 2023 식 1) |
| KV 캐시 | 토큰당 고정 바이트 | 앞 토큰의 키 · 값 저장 | 길이에 비례 → 추론 최적화 |
| 셀프 어텐션 | n × n 점수 | 토큰끼리 정보를 섞음 | O(n² · d)(Vaswani 외 2017 표 1) |
🔑 창 크기는 모델이 «읽을 수 있는» 양이 아니라 입력과 출력이 «함께 나눠 쓰는» 예산이다 — 입력을 창 끝까지 채우면 답 쓸 몫이 0 이 된다.
5동작 — 창 4,096 토큰 모델의 대화 한 요청
설명용 가정 값 — 창 4,096 토큰 · 계층 32 · KV 헤드 8 · 헤드 차원 128 · fp16 인 모델에, 일곱 번째 턴 질문을 보낸다.
- 그 모델 토크나이저로 부분별 토큰을 센다 — 시스템 지시 300 · 대화 이력 6턴 × 350 = 2,100 · 첨부 문서 1,500 · 질문 120, 입력 합계 4,020.
- 최대 출력 512 를 예약하면 4,532 로, 창 4,096 을 436 토큰 넘는다.
- 잘라내기 정책을 적용한다 — 시스템 지시 · 질문 · 첨부 문서는 남기고 대화 이력을 가장 오래된 턴부터 뺀다.
- 1 · 2번째 턴(700 토큰)을 빼면 입력 3,320 + 출력 512 = 3,832 로, 264 토큰이 남는다.
- 프리필에서 입력 3,320 토큰에 위치 0 ~ 3,319 를 붙여 한 번에 계산한다. KV 캐시는 토큰당 2 × 32 × 8 × 128 × 2 = 131,072바이트(128 KiB)이므로 415 MiB 다.
- 디코드에서 토큰 하나를 낼 때마다 KV 캐시가 128 KiB 씩 늘어, 512 토큰을 다 쓰면 3,832 토큰 · 479 MiB 에서 멈춘다(종료 사유 = 최대 길이).
- 다음 턴은 이번 답을 이력에 더해 1번부터 다시 센다 — 이번에 뺀 두 턴은 모델이 다시 볼 수 없다.
그림 4 · 입력 4,020 에 출력 512 를 더하면 창 4,096 을 넘고, 가장 오래된 두 턴을 빼야 출력까지 창 안에 든다.
창을 4배인 16,384 로 늘리면 위치 번호가 학습 때 보지 못한 범위로 나간다. RoPE 의 가장 느린 주파수 쌍(d = 128 · j = 63 · θ = 1.155 × 10⁻⁴)은 위치 4,096 에서 0.473 라디안까지만 돌았고, 64쌍 중 18쌍은 학습 길이 안에서 한 바퀴도 돌지 않는다(원문 식 직접 계산).
그림 5 · 가장 느린 RoPE 주파수 쌍은 학습 길이 4,096 까지 0.473 라디안만 돌아, 그대로 늘리면 위치 10,000 이 처음 보는 1.155 라디안이 되고 위치 보간은 0.289 라디안으로 되돌린다.
🔑 긴 위치가 망가지는 까닭은 거리가 멀어서가 아니라 학습 때 본 적 없는 회전 각도가 들어가서다 — 그래서 각도를 학습 범위로 줄여 넣는 위치 보간은 미세 조정 200 step 만에 유효 창 8,192 를 채웠고, 같은 길이로 그대로 미세 조정한 쪽은 10,000 step 뒤에도 2,560 이었다(Chen 외 2023 표 4).
6비교 — 긴 입력을 다루는 네 방식
| 기준 | 위치 보간 + 미세 조정 | 슬라이딩 윈도우 어텐션 | 잘라내기 · 요약 | RAG |
|---|---|---|---|---|
| 바꾸는 것 | 위치 번호 m → m × L / L′ | 각 토큰이 앞 w 개만 봄 | 넣는 입력 | 넣는 입력(질문과 닮은 조각만) |
| 학습 | 미세 조정 약 1,000 step(Chen 외 2023 초록) | 그 구조로 학습 | 없음 | 검색기 색인 |
| 계산 · 메모리 | 길이에 따라 그대로 늘어남 | 길이에 선형(Beltagy 외 2020 초록) | 창 크기 이하 고정 | 검색 조각 수 × 길이 |
| 먼 정보 | 창 안이면 직접 봄 | 계층을 거쳐 간접 | 잘린 부분은 사라짐 | 검색이 놓치면 사라짐 |
| 맞는 입력 | 한 문서 전체를 엮어 읽는 일 | 아주 긴 문서의 국소 문맥 | 대화 이력 | 큰 문서 묶음에서 사실 찾기 |
분석입력 전체의 관계를 엮어야 하면 창을 늘리고(위치 보간), 입력은 크지만 질문마다 필요한 조각이 작으면 RAG 를, 대화처럼 오래된 내용의 가치가 빨리 떨어지면 잘라내기 · 요약을 쓴다. 근거는 표의 「먼 정보」 행 — 창 늘리기만 잘린 정보가 없고, 나머지 셋은 버리거나 놓친 토큰을 되살리지 못한다.
7실무 진단 — 걸린 한도 가르기
분석출력 예약 → 위치 표현 → 메모리 → 유효 길이 순으로 본다. 앞의 둘은 토큰 수와 종료 사유만으로 바로 판정되고, 유효 길이는 길이별 시험을 따로 돌려야 하기 때문이다.
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 답이 문장 중간에 끊김 | 출력 예약 부족 | 창 예산 | 종료 사유 · 입력 토큰 수 + 최대 출력 | 종료 사유가 최대 길이이고 합이 창 크기면 예약 부족 |
| 2 | 학습 길이를 넘는 입력에서 뜻 없는 문장 | 위치 외삽 | 위치 표현 | 입력 토큰 수 ↔ 학습 길이 · 길이별 퍼플렉시티 | 학습 길이 뒤에서 퍼플렉시티가 1,000 이상으로 튐(Chen 외 2023 2.2절) |
| 3 | 긴 대화에서 처음 정한 규칙을 어김 | 잘라내기 정책이 지시를 지움 | 창 예산 | 잘라낸 뒤 실제 입력 로그 | 시스템 지시가 입력에 없으면 정책 문제 |
| 4 | 긴 입력 요청만 메모리 부족 | KV 캐시 증가 | 메모리 | 토큰당 KV 바이트 × 길이 | 길이 × 128 KiB(가정 모델)가 남은 메모리를 넘음 |
| 5 | 창 안인데 긴 입력의 여러 단계 질문만 틀림 | 유효 길이 < 명목 길이 | 유효 길이 | 길이 · 과제별 시험(RULER) | 단순 찾기는 맞고 다중 단계 · 집계에서 길이에 따라 떨어짐(Hsieh 외 2024 초록) |
8시험 대비
시험에서는 컨텍스트 윈도우의 뜻과 구성 · 한도를 묻는 정의 · 특징형과, 창 확장 기법과 유효 길이 문제를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 「입력 + 출력 예산」과 세 한도 그림으로 뼈대를 세우고, 동향형이면 외삽 실패 → 위치 보간 → 유효 길이 평가 순으로 쓴다.
- 개요 — 정의(입력 + 출력 토큰의 상한) · 위치 번호 0 ~ n−1
- 구성 — 그림 3 창 구성(시스템 · 이력 · 문서 · 질문 · 출력 예약)과 세 한도(위치 표현 · KV 캐시 · 어텐션 n²)
- 동작 — 그림 4 토큰 예산 사례(4,020 + 512 > 4,096 → 오래된 턴 빼기 · KV 128 KiB / 토큰)
- 창 확장 — 그림 5 RoPE 각도 외삽 · 위치 보간 식 m × L / L′ · ALiBi · YaRN
- 비교 — 위치 보간 · 슬라이딩 윈도우 · 잘라내기 · RAG 표
- 한계 · 평가 — 명목 길이와 유효 길이 · 길이별 과제 시험 · 위치 효과
꼭 쓸 키워드
컨텍스트 윈도우출력 예약잘라내기위치 인코딩RoPE위치 보간ALiBiKV 캐시슬라이딩 윈도우 어텐션유효 길이
다른 답안과 차이를 내는 한 가지 — 창 크기 숫자를 나열하지 않고, 가장 느린 RoPE 주파수 쌍의 회전 각도(0.473 → 1.892 rad)로 «왜 학습 길이 밖에서 무너지는가»를 숫자로 보인다.
9오해와 사실
- 오해창 크기만큼 입력을 넣을 수 있다.사실창에는 생성할 출력 토큰도 들어가므로, 입력은 창 크기에서 최대 출력 예약을 뺀 만큼만 넣을 수 있다(동작 2단계 · 4,532 > 4,096).
- 오해창을 늘리려면 긴 문서로 처음부터 다시 학습해야 한다.사실학습 길이 2,048 모델이 위치 보간과 미세 조정 1,000 step 안에서 32,768 토큰 창을 얻었다(Chen 외 2023 초록).
- 오해명목 창 크기 안이면 모든 위치를 고르게 쓴다.사실공개 모델 17개 중 절반만 32K 길이에서 만족할 성능을 지켰고, 단순 찾기 시험을 거의 다 맞힌 모델도 길이가 늘면 다른 과제에서 크게 떨어졌다(Hsieh 외 2024 초록).
10핵심 정리
| 구분 | 정하는 것 | 단위 · 식 | 넘으면 | 확인 |
|---|---|---|---|---|
| 창 예산 | 입력 + 출력의 합 | 토큰 수 ≤ n | 입력 잘림 · 답 끊김 | 종료 사유 · 토큰 수 |
| 잘라내기 | 넘친 입력을 빼는 순서 | 오래된 턴부터(정책) | 앞 지시 · 사실 손실 | 실제 입력 로그 |
| 위치 표현 | 학습한 위치 범위 | RoPE θj = 10000^(−2j/d) | 처음 보는 각도 · 출력 붕괴 | 길이별 퍼플렉시티 |
| 위치 보간 | 긴 위치를 학습 범위로 | m × L / L′ | (해당 없음 · 확장 수단) | 패스키 · 유효 창 시험 |
| KV 캐시 | 길이당 메모리 | 2 × 계층 × KV 헤드 × 헤드 차원 × 바이트 | 메모리 부족 | 토큰당 바이트 × 길이 |
| 셀프 어텐션 | 길이당 계산 | n × n 점수 | 계산 · 메모리 제곱 증가 | 길이 2배 → 4배 |
| 유효 길이 | 실제로 쓰는 길이 | 길이 · 과제별 정답률 | 다중 단계 · 집계 오답 | RULER 같은 길이별 시험 |
11참고 문헌
- 먼저 볼 문헌
- ★ Extending Context Window of Large Language Models via Positional Interpolation (arXiv:2306.15595) — 위치 보간 식(식 4)과 직접 미세 조정 대비 유효 창 크기(표 4)를 원문으로 볼 때
- ★ RoFormer: Enhanced Transformer with Rotary Position Embedding (arXiv:2104.09864) — 회전 위치 임베딩(RoPE)의 회전 각도 정의를 볼 때
- ★ Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (arXiv:2108.12409) — 짧게 학습하고 길게 추론하는 외삽 문제와 ALiBi 를 볼 때
- ★ RULER: What's the Real Context Size of Your Long-Context Language Models? (arXiv:2404.06654) — 명목 창 크기와 실제로 쓰는 길이의 차이를 재는 법을 볼 때
- 본문 근거
- Longformer: The Long-Document Transformer (arXiv:2004.05150) — Beltagy · Peters · Cohan · 2020-04 ·
arxiv.org/abs/2004.05150· 확인 2026-11-12 - YaRN: Efficient Context Window Extension of Large Language Models (arXiv:2309.00071) — Peng · Quesnelle · Fan · Shippole · 2023-08 ·
arxiv.org/abs/2309.00071· 확인 2026-11-12 - Attention Is All You Need (arXiv:1706.03762) — Vaswani et al. · 2017-06 ·
arxiv.org/abs/1706.03762· 확인 2026-11-12 - Lost in the Middle: How Language Models Use Long Contexts (arXiv:2307.03172) — Liu et al. · 2023-07 ·
arxiv.org/abs/2307.03172· 확인 2026-11-12