추론 최적화Inference Optimization
학습이 끝난 모델의 가중치와 출력 분포를 바꾸지 않고, 요청을 묶는 방식 · KV 캐시 메모리 관리 · 디코딩 방식 · 계산 커널을 고쳐 추론의 지연을 줄이고 처리량을 늘리는 기법 전체다.
1요약
- 추론 최적화는 학습이 끝난 모델을 서비스할 때 가중치는 그대로 두고 실행 방식만 바꾸는 기법으로, 연속 배치(Yu 2022) · PagedAttention(Kwon 2023) · 투기적 디코딩(Leviathan 2023) · 연산 융합(Chen 2018)이 이 위에서 돌며 LLM 서빙 엔진이 이들을 한 프로그램으로 묶는다.
- 토큰을 하나씩 만드는 디코드 단계는 연산이 아니라 메모리 읽기에 묶여 있어, 기존 서빙 시스템은 KV 캐시로 잡아 둔 메모리의 20.4 ~ 38.2%만 실제 토큰 상태에 썼고 블록 단위 할당으로 이를 96.3%까지 올리자 처리량이 2 ~ 4배가 됐다(Kwon 2023 그림 2 · 초록).
- 「느리다」는 첫 토큰까지 시간(TTFT)과 토큰 사이 시간(TBT) 중 어느 쪽이 늘었나로 가른다 — TTFT 만 길면 대기열 · KV 캐시 부족, TBT 가 튀면 긴 프롬프트의 프리필 끼어들기, 둘 다 고르게 느리면 디코드의 메모리 대역폭이다.
2등장 배경
LLM 은 요청 하나를 끝내려고 모델을 출력 토큰 수만큼 되풀이해 돌린다. 요청을 묶음째로 받아 묶음의 모든 요청이 끝날 때까지 새 요청을 넣지 않으면, 먼저 끝난 요청은 기다리고 새 요청은 줄을 선다. 2022년 7월 Yu 등의 Orca 는 묶음을 반복(iteration) 하나 단위로 다시 짜는 스케줄링을 내놓아 GPT-3 175B 에서 같은 지연 수준 처리량을 36.9배로 올렸다(Yu 2022 초록).
2022년 11월 Leviathan 등과 2023년 2월 Chen 등은 작은 초안 모델이 여러 토큰을 미리 쓰고 대상 모델이 한 번에 검증하는 투기적 디코딩을 각각 냈다 — T5-XXL 11B 에서 2.3 ~ 3.4배(Leviathan 2023 표 2), Chinchilla 70B 에서 2 ~ 2.5배(Chen 2023 초록)였다. 2023년 9월 Kwon 등의 vLLM 은 운영체제의 페이지처럼 KV 캐시를 고정 크기 블록으로 나눴고, 2024년 Agrawal 등은 긴 프롬프트를 조각내 디코드와 섞는 청크 프리필로 같은 지연 제약에서 처리 용량을 2.6배 늘렸다(Agrawal 2024 초록).
연산 융합처럼 그 전부터 있던 컴파일러 기법도 추론 최적화에 든다 — TVM 은 중간 결과를 메모리에 쓰지 않고 연산 여러 개를 한 커널로 합쳐 1.2 ~ 2배를 얻었다(Chen 2018 3절). 모델이 커질수록 같은 장비로 받을 수 있는 요청 수가 비용을 정하므로, 학습 기법과 따로 추론 쪽 기법이 계속 늘고 있다.
3쉽게 이해하기 — 창고가 먼 식당 주방
손님이 많은 식당에 주방장이 한 명 있다. 요리 한 단계마다 재료를 먼 창고에서 꺼내 와야 해서, 주방장은 한 번 다녀올 때 바구니 하나에 여러 테이블 몫을 함께 담아 온다. 테이블마다 지금까지 나간 요리를 주문 쪽지에 적는데, 쪽지는 16줄짜리를 한 장씩 필요할 때만 더 붙인다. 다 먹은 테이블은 그 자리에서 다음 손님을 앉히고, 견습생이 다음 네 접시를 미리 담아 두면 주방장은 한 번 맛보고 맞는 접시까지 내보낸다.
그림 1 · 창고 한 번 다녀오기에 여러 테이블 몫을 담고, 쪽지는 필요할 때 한 장씩 붙이며, 빈 테이블은 바로 다음 손님으로 채운다.
그림 2 · 견습생이 미리 담은 네 접시를 주방장이 한 번에 맛보고 맞는 데까지 내보낸다 — 실제로는 초안 토큰 γ = 4 를 대상 모델이 한 번의 병렬 계산으로 검증한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 줄 선 손님 | 요청 대기열 | 들어온 요청이 KV 캐시 블록을 받을 때까지 기다린다 |
| 먼 창고의 재료 | 장치 메모리의 가중치 | 디코드 반복마다 가중치 전체를 메모리에서 읽는다 |
| 한 바구니에 여러 테이블 몫 | 배치 | 한 번 읽은 가중치로 여러 요청의 다음 토큰을 함께 계산한다 |
| 16줄 주문 쪽지 | KV 캐시 블록 | 토큰 16개의 키 · 값을 담고 다 차면 블록 하나를 더 받는다 |
| 빈 테이블에 바로 새 손님 | 연속 배치 | 끝난 요청을 다음 반복에서 빼고 대기 요청을 넣는다 |
| 견습생의 미리 담기 | 초안 모델 | 작은 모델이 다음 토큰 γ 개를 먼저 만든다 |
| 한 번 맛보고 내기 | 검증 · 거절 표본 추출 | 대상 모델이 γ 개를 한 번에 확인해 맞는 데까지 받아들인다 |
⚠ 비유가 맞지 않는 곳: 실제 주방장은 재료만이 아니라 테이블마다 쌓인 쪽지(KV 캐시)도 매번 다시 읽으므로, 바구니에 테이블을 늘리면 다녀오는 시간도 조금씩 늘어난다. 견습생 접시를 「맛으로」 고르는 것이 아니라 두 모델의 확률을 비교하는 확률적 규칙으로 받아들인다(Leviathan 2023 3.1절).
4구조 — 요청 흐름과 KV 캐시 관리
서빙 엔진은 요청 대기열 → 스케줄러 → 모델 실행 → 디코딩 네 단계를 반복하고, KV 캐시 관리자가 장치 메모리의 남은 블록을 스케줄러와 모델 실행에 알린다. 기법마다 고치는 단계가 달라서 함께 쓸 수 있다.
그림 3 · 스케줄러 · 모델 실행 · 디코딩이 반복마다 돌고, KV 캐시 관리자가 가중치를 뺀 장치 메모리를 블록으로 나눠 동시 요청 수를 정한다.
| 요소 | 크기 · 단위 | 겨냥하는 병목 | 값 · 근거 |
|---|---|---|---|
| KV 캐시 | 토큰당 2 × 은닉 크기 × 층 수 × 2바이트 | 메모리 용량 | OPT-13B = 2 × 5,120 × 40 × 2 = 800KB · 2,048토큰이면 1.6GB(Kwon 2023 3절) |
| 블록 할당 | 블록 16토큰 | 예약 · 조각 낭비 | 기본 블록 16 · 실사용 96.3%(Kwon 2023 7.2절 · 그림 2) |
| KV 헤드 공유 | KV 헤드 수 < 쿼리 헤드 수 | KV 캐시 크기 | GQA = 중간 수의 KV 헤드 · 품질은 다중 헤드 수준(Ainslie 2023 초록) |
| 연속 배치 | 반복 1회 | 묶음 대기 | GPT-3 175B 처리량 36.9배(Yu 2022 초록) |
| 청크 프리필 | 프롬프트 조각 | 디코드 멈춤(TBT) | 처리 용량 2.6배 · 7B 모델(Agrawal 2024 초록) |
| 연산 융합 | 커널 1개 | 중간 결과 메모리 왕복 | 1.2 ~ 2배(Chen 2018 3절) |
| 투기적 디코딩 | 초안 γ 토큰 | 대상 모델 호출 수 | 출력 분포 동일 · 2.3 ~ 3.4배(Leviathan 2023 표 2) |
🔑 프리필은 연산이 모자라 느리고 디코드는 메모리 읽기가 모자라 느리다 — 그래서 프리필에는 연산 융합 · 청크 나누기가, 디코드에는 배치 키우기 · KV 캐시 줄이기 · 투기적 디코딩이 듣는다.
5동작 — 13B 모델 대화 서비스의 한 묶음
13B 모델을 장치 메모리 40GB 한 장에 올려 대화 요청을 받는 사례다. KV 크기 식 · 블록 16토큰 · 기대 토큰 수 식은 논문 값이고, 프롬프트 300토큰 · 출력 200토큰 · 조각 512토큰 · 수락 확률 α = 0.75 는 설명용 가정 값이다(원문 식 직접 계산).
- 적재 — 가중치 26GB 를 올리고 남은 12GiB 를 KV 캐시에 준다. 토큰당 800KB(819,200바이트)이므로 15,728토큰 = 블록 983개다.
- 프리필 — 프롬프트 300토큰을 한 번의 계산으로 처리해 키 · 값을 블록 19개(300 ÷ 16 올림)에 쓰고 첫 출력 토큰을 낸다. 이 시간이 TTFT 다.
- 디코드 — 반복마다 요청당 토큰 1개를 만들고 키 · 값 하나를 덧붙인다. 블록에 토큰 16개가 차면 관리자가 블록 하나를 더 준다.
- 연속 배치 — 200번째 토큰에서 종료 토큰이 나오면 그 요청의 블록 32개를 바로 반납하고, 다음 반복에서 대기 요청 하나가 들어온다(Yu 2022 3절).
- 동시 처리 수 — 요청마다 최대 길이 2,048토큰을 미리 잡으면 15,728 ÷ 2,048 = 7개만 받고 잡은 메모리의 24.4%만 쓴다. 블록 단위로는 요청당 32블록이라 983 ÷ 32 = 30개를 함께 돌린다.
- 청크 프리필 — 1,536토큰짜리 새 프롬프트가 오면 512토큰 세 조각으로 나눠, 반복마다 조각 하나를 진행 중인 디코드 29개와 함께 계산한다(Agrawal 2024 4절). 기존 요청의 토큰 사이 시간이 한 번에 길게 튀지 않는다.
- 투기적 디코딩 — 초안 모델이 γ = 4 토큰을 쓰면 대상 모델 1회 호출당 기대 토큰 수는 (1 − 0.75⁵) ÷ 0.25 = 3.05개다. 초안 비용 비 c = 0.05 이면 3.05 ÷ (4 × 0.05 + 1) = 2.54배 빨라진다(Leviathan 2023 식 (1) · 정리 3.8).
그림 4 · 같은 12GiB 로 최대 길이 예약은 7개 · 블록 할당은 30개를 받고, 끝난 요청의 블록은 다음 반복에 대기 요청이 쓴다.
디코드 반복 한 번의 시간은 가중치 26GB 와 묶인 요청들의 KV 캐시를 메모리에서 읽는 시간으로 거의 정해진다. 대역폭 1.5TB/s · 연산 300TFLOPS 를 가정하면, 30개를 묶어도 연산 시간은 2.6ms 로 읽기 시간보다 훨씬 짧다.
그림 5 · 가중치 읽기 17.3ms 는 묶는 요청 수와 무관해, 요청을 1개에서 30개로 묶으면 한 반복은 1.4배 길어지고 초당 토큰은 20배가 된다.
🔑 디코드에서 배치는 «공짜에 가깝다» 가 아니라 «KV 캐시가 허락하는 만큼만» 공짜다 — 가중치 읽기는 나눠 쓰지만 KV 읽기와 KV 메모리는 요청 수에 비례해 늘어, 결국 동시 요청 수의 상한은 KV 캐시 용량이 정한다.
6비교 — 기법별 겨냥하는 병목
| 기법 | 겨냥하는 병목 | 주로 줄이는 지표 | 출력이 같은가 | 추가로 필요한 것 |
|---|---|---|---|---|
| 연속 배치 | 묶음 단위 대기 | 대기 시간 · 처리량 | 같음 | 반복 단위 스케줄러(Yu 2022) |
| 블록 단위 KV 캐시 | KV 메모리 예약 · 조각 | 동시 요청 수 | 같음 | 블록 표 · 전용 어텐션 커널(Kwon 2023) |
| 청크 프리필 | 긴 프리필의 디코드 멈춤 | TBT 꼬리 지연 | 같음 | 조각 크기 조정(Agrawal 2024) |
| 연산 융합 | 중간 결과 메모리 왕복 | 커널 실행 시간 | 같음(부동소수 오차 수준) | 컴파일러 · 융합 규칙(Chen 2018) |
| 투기적 디코딩 | 대상 모델 순차 호출 | 요청 하나의 지연 | 분포 같음 | 같은 어휘의 초안 모델(Leviathan 2023) |
| 양자화 | 가중치 · KV 바이트 수 | 메모리 · 대역폭 | 근사(정확도 변화 확인) | 보정 데이터 → 양자화 |
분석요청이 많아 처리량이 문제면 연속 배치와 블록 단위 KV 캐시를 먼저 켜고, 요청이 적고 한 사람의 응답 속도가 문제면 투기적 디코딩을 쓴다. 근거는 표의 지표 열 — 투기적 디코딩은 배치 1 에서 잰 지연 개선이고(Leviathan 2023 4.1절 batch size 1), 연속 배치 · 블록 할당은 묶을 요청이 있어야 처리량이 오른다(Kwon 2023 초록).
7실무 진단 — 느린 응답의 원인 가르기
분석TTFT 와 토큰 사이 시간을 나눠 보고, 그다음 KV 캐시 사용률과 선점 횟수를 본다. 대기열이 길면 모델 계산을 고쳐도 첫 토큰이 늦고, KV 캐시가 차면 배치를 키울 수 없기 때문이다(Kwon 2023 3절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료(vLLM 지표) | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 첫 토큰이 늦고 대기 요청이 쌓임 | KV 캐시 부족으로 새 요청을 못 받음 | 스케줄러 | vllm: · vllm: | 사용률이 1 에 붙고 대기가 늘면 용량 한계(Kwon 2023 3절) |
| 2 | 긴 프롬프트가 들어올 때만 다른 응답이 멈칫함 | 프리필이 디코드 반복을 막음 | 스케줄러 | vllm: 꼬리 값 ↔ 긴 프롬프트 도착 시각 | 도착 시각과 꼬리 지연이 겹치면 청크 프리필 대상(Agrawal 2024 3절) |
| 3 | 처리량이 들쭉날쭉하고 일부 요청이 다시 계산됨 | 블록이 모자라 요청을 선점 | KV 캐시 | vllm:num_preemptions 증가량 | 선점이 계속 늘면 KV 예산 · 최대 동시 수 재설정(Kwon 2023 4.5절) |
| 4 | 투기적 디코딩을 켰는데 빨라지지 않음 | 초안 토큰 수락 확률이 낮음 | 디코딩 | vllm: | α 가 c 보다 작으면 개선 없음(Leviathan 2023 따름정리 3.9) |
| 5 | 요청이 한두 개일 때 장치 사용률이 낮음 | 디코드의 메모리 대역폭 제약 | 모델 실행 | 배치 크기별 초당 토큰 | 배치를 늘려 토큰이 비례해 늘면 메모리 제약(Kwon 2023 2.2절) |
지표 이름은 vLLM 공식 문서 기준이고(vLLM 문서), 다른 서빙 엔진도 대기 요청 수 · KV 사용률 · 선점 · 첫 토큰 시간을 같은 뜻의 지표로 낸다. 같은 요청 묶음(프롬프트 길이 분포 고정)을 다시 넣어 기법을 하나씩 켜고 끄면 표의 어느 행인지 바로 갈린다.
8시험 대비
시험에서는 LLM 추론의 병목과 기법 체계를 묻는 구조 · 구성형, 처리량과 지연을 함께 맞추는 방안을 묻는 구현 · 설계형이 나올 수 있다. 구조형은 프리필 · 디코드 두 단계를 먼저 가르고 기법을 병목별로 붙이며, 설계형은 서비스 목표(TTFT · TBT · 처리량)를 정한 뒤 KV 캐시 용량 계산으로 동시 요청 수를 보인다.
- 개요 — 정의(가중치 고정 · 실행 방식 최적화) · 프리필 ↔ 디코드 · 지표 TTFT · TBT · 처리량
- 구조 — 그림 3 서빙 엔진 요청 흐름 + 기법 표(연속 배치 · 블록 KV · 청크 프리필 · 연산 융합 · 투기적 디코딩)
- 핵심 원리 — 그림 5 배치와 한 반복 시간(가중치 읽기 고정 · KV 읽기 비례) · 메모리 제약
- KV 캐시 계산 — 토큰당 2 × 은닉 × 층 × 2바이트 = 800KB · 그림 4 예약 7개 ↔ 블록 30개
- 투기적 디코딩 — 초안 γ 토큰 → 대상 모델 1회 검증 → 수락 · 거절 절차 + 기대 토큰 수 식 (1 − α^(γ+1)) ÷ (1 − α) · 분포 보존
- 기법 선택 · 운영 — 비교표(병목 · 지표 · 출력 동일 여부) · 진단 지표(대기 · KV 사용률 · 선점)
꼭 쓸 키워드
프리필디코드KV 캐시연속 배치PagedAttention청크 프리필투기적 디코딩연산 융합GQATTFT
다른 답안과 차이를 내는 한 가지 — KV 캐시 크기 식으로 동시 요청 수를 직접 계산해(7개 ↔ 30개) 「추론 병목은 연산기가 아니라 메모리」라는 주장을 숫자로 보인다.
9오해와 사실
- 오해투기적 디코딩은 작은 모델의 답을 섞으므로 품질이 떨어진다.사실받아들임 · 거절 규칙이 대상 모델의 분포를 그대로 남기도록 증명돼 있고, T5-XXL 실험은 같은 출력으로 속도만 올렸다(Leviathan 2023 3.1절 · 초록).
- 오해연산 성능이 높은 장치일수록 토큰 생성이 그만큼 빨라진다.사실디코드는 행렬 · 벡터 곱이라 메모리 읽기에 묶이고(Kwon 2023 2.2절), 한 세대에서 연산이 2배 넘게 늘 때 메모리 용량은 80GB 그대로였다(Kwon 2023 3절).
- 오해요청마다 최대 길이만큼 KV 캐시를 잡아 두면 안전하고 손해도 없다.사실기존 시스템은 잡아 둔 KV 메모리의 20.4 ~ 38.2%만 실제 토큰에 써서, 같은 메모리로 받을 수 있는 요청 수가 줄었다(Kwon 2023 그림 2).
10핵심 정리
| 기법 | 단계 | 고치는 것 | 대표 값 | 확인 지표 |
|---|---|---|---|---|
| 연속 배치 | 스케줄러 | 반복마다 요청 넣고 빼기 | 36.9배(GPT-3 175B) | 대기 요청 수 |
| 청크 프리필 | 스케줄러 | 긴 프롬프트를 조각내 섞기 | 처리 용량 2.6배 | 토큰 사이 시간 꼬리 |
| 블록 KV 캐시 | KV 캐시 | 16토큰 블록 · 블록 표 | 사용 96.3% | KV 사용률 · 선점 |
| KV 헤드 공유(GQA) | 모델 구조 | KV 헤드 수 줄이기 | 다중 헤드 수준 품질 | KV 바이트 수 |
| 연산 융합 | 모델 실행 | 커널 합치기 · 중간 결과 생략 | 1.2 ~ 2배 | 커널 실행 시간 |
| 투기적 디코딩 | 디코딩 | 초안 γ 토큰 한 번에 검증 | 2.3 ~ 3.4배(T5-XXL) | 수락 토큰 수 |
| 양자화 | 모델 실행 | 가중치 · KV 비트 수 | → 양자화 | 정확도 변화 |
11참고 문헌
- 먼저 볼 문헌
- ★ Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon et al. · SOSP 2023) — KV 캐시 낭비 비율과 블록 단위 할당을 원문으로 볼 때
- ★ Orca: A Distributed Serving System for Transformer-Based Generative Models (Yu et al. · OSDI 2022) — 반복 단위 스케줄링(연속 배치)이 나온 배경을 볼 때
- ★ Fast Inference from Transformers via Speculative Decoding (Leviathan · Kalman · Matias · ICML 2023) — 투기적 디코딩의 기대 토큰 수 식과 분포 보존 증명을 볼 때
- ★ Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve (Agrawal et al. · OSDI 2024) — 프리필 · 디코드 두 단계와 청크 프리필을 볼 때
- 본문 근거
- Accelerating Large Language Model Decoding with Speculative Sampling (Chen et al.) — arXiv · 2023-02 ·
arxiv.org/abs/2302.01318· 확인 2026-11-09 - GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al. · EMNLP 2023) — arXiv · 2023-05 ·
arxiv.org/abs/2305.13245· 확인 2026-11-09 - TVM: An Automated End-to-End Optimizing Compiler for Deep Learning (Chen et al. · OSDI 2018) — arXiv · 2018-02 ·
arxiv.org/abs/1802.04799· 확인 2026-11-09 - vLLM Documentation — Metrics — vLLM project · 2026-11 ·
docs.vllm.ai/en/latest/usage/metrics.html· 확인 2026-11-09