AI › AI 엔지니어링(AI 시스템 운영) › 추론 · 하드웨어

추론 최적화Inference Optimization

학습이 끝난 모델의 가중치와 출력 분포를 바꾸지 않고, 요청을 묶는 방식 · KV 캐시 메모리 관리 · 디코딩 방식 · 계산 커널을 고쳐 추론의 지연을 줄이고 처리량을 늘리는 기법 전체다.

1요약

  1. 추론 최적화는 학습이 끝난 모델을 서비스할 때 가중치는 그대로 두고 실행 방식만 바꾸는 기법으로, 연속 배치(Yu 2022) · PagedAttention(Kwon 2023) · 투기적 디코딩(Leviathan 2023) · 연산 융합(Chen 2018)이 이 위에서 돌며 LLM 서빙 엔진이 이들을 한 프로그램으로 묶는다.
  2. 토큰을 하나씩 만드는 디코드 단계는 연산이 아니라 메모리 읽기에 묶여 있어, 기존 서빙 시스템은 KV 캐시로 잡아 둔 메모리의 20.4 ~ 38.2%만 실제 토큰 상태에 썼고 블록 단위 할당으로 이를 96.3%까지 올리자 처리량이 2 ~ 4배가 됐다(Kwon 2023 그림 2 · 초록).
  3. 「느리다」는 첫 토큰까지 시간(TTFT)과 토큰 사이 시간(TBT) 중 어느 쪽이 늘었나로 가른다 — TTFT 만 길면 대기열 · KV 캐시 부족, TBT 가 튀면 긴 프롬프트의 프리필 끼어들기, 둘 다 고르게 느리면 디코드의 메모리 대역폭이다.

2등장 배경

LLM 은 요청 하나를 끝내려고 모델을 출력 토큰 수만큼 되풀이해 돌린다. 요청을 묶음째로 받아 묶음의 모든 요청이 끝날 때까지 새 요청을 넣지 않으면, 먼저 끝난 요청은 기다리고 새 요청은 줄을 선다. 2022년 7월 Yu 등의 Orca 는 묶음을 반복(iteration) 하나 단위로 다시 짜는 스케줄링을 내놓아 GPT-3 175B 에서 같은 지연 수준 처리량을 36.9배로 올렸다(Yu 2022 초록).

2022년 11월 Leviathan 등과 2023년 2월 Chen 등은 작은 초안 모델이 여러 토큰을 미리 쓰고 대상 모델이 한 번에 검증하는 투기적 디코딩을 각각 냈다 — T5-XXL 11B 에서 2.3 ~ 3.4배(Leviathan 2023 표 2), Chinchilla 70B 에서 2 ~ 2.5배(Chen 2023 초록)였다. 2023년 9월 Kwon 등의 vLLM 은 운영체제의 페이지처럼 KV 캐시를 고정 크기 블록으로 나눴고, 2024년 Agrawal 등은 긴 프롬프트를 조각내 디코드와 섞는 청크 프리필로 같은 지연 제약에서 처리 용량을 2.6배 늘렸다(Agrawal 2024 초록).

연산 융합처럼 그 전부터 있던 컴파일러 기법도 추론 최적화에 든다 — TVM 은 중간 결과를 메모리에 쓰지 않고 연산 여러 개를 한 커널로 합쳐 1.2 ~ 2배를 얻었다(Chen 2018 3절). 모델이 커질수록 같은 장비로 받을 수 있는 요청 수가 비용을 정하므로, 학습 기법과 따로 추론 쪽 기법이 계속 늘고 있다.

3쉽게 이해하기 — 창고가 먼 식당 주방

손님이 많은 식당에 주방장이 한 명 있다. 요리 한 단계마다 재료를 먼 창고에서 꺼내 와야 해서, 주방장은 한 번 다녀올 때 바구니 하나에 여러 테이블 몫을 함께 담아 온다. 테이블마다 지금까지 나간 요리를 주문 쪽지에 적는데, 쪽지는 16줄짜리를 한 장씩 필요할 때만 더 붙인다. 다 먹은 테이블은 그 자리에서 다음 손님을 앉히고, 견습생이 다음 네 접시를 미리 담아 두면 주방장은 한 번 맛보고 맞는 접시까지 내보낸다.

손님 주문하는 쪽 여러 테이블 요청 기다리는 줄 대기 요청 주방 만드는 쪽 주방장 대상 모델 견습생 초안 모델 창고 꺼내 오는 곳 재료 선반 가중치 26GB 주문 쪽지 KV 캐시 주문 1 접시 4 재료 한 바구니 2 쪽지 한 장 더 3 한 테이블의 순서 — 주문부터 빈 테이블까지 5 첫 주문 한꺼번에 프리필 6 한 접시씩 디코드 7 미리 담기 투기적 디코딩 8 다 먹음 요청 종료 9 다음 손님 바로 연속 배치 쪽지 한 장 = 16줄(블록 = 16토큰) · 바구니 = 한 번 다녀올 때 여러 테이블 몫(배치) · 주방장은 요리법을 새로 배우지 않는다(가중치 고정)

그림 1 · 창고 한 번 다녀오기에 여러 테이블 몫을 담고, 쪽지는 필요할 때 한 장씩 붙이며, 빈 테이블은 바로 다음 손님으로 채운다.

주문 받기여러 테이블이 줄을 섬
창고 다녀오기한 바구니에 여러 테이블 몫
쪽지 붙이기16줄이 차면 한 장 더
미리 담기견습생이 네 접시를 먼저
맛보고 내기맞는 접시까지 한 번에
테이블 채우기다 먹은 테이블에 바로 새 손님
비유 — 미리 담은 네 접시 견습생 접시 1 통과 견습생 접시 2 통과 견습생 접시 3 통과 견습생 접시 4 주방장이 바꿈 주방장이 한 번 맛봄 → 세 접시 통과 + 한 접시 고쳐 담음 한 번 맛보는 시간 ≈ 한 접시 만드는 시간 · 그래서 네 접시가 한 번에 나간다 실제 — 초안 γ = 4 를 한 번에 검증 초안 모델이 차례로 4번 생성 t1 t2 t3 t4 대상 모델 1회 병렬 계산 — 다섯 위치의 확률 t1 수락 t2 수락 t3 수락 t4 거절 대상 분포로 다시 뽑음 기대 토큰 수 = (1 − α^(γ+1)) ÷ (1 − α) = 3.05 α = 초안 토큰이 받아들여질 확률(그림은 0.75) 받아들인 뒤의 분포 = 대상 모델 분포 그대로

그림 2 · 견습생이 미리 담은 네 접시를 주방장이 한 번에 맛보고 맞는 데까지 내보낸다 — 실제로는 초안 토큰 γ = 4 를 대상 모델이 한 번의 병렬 계산으로 검증한다.

비유 속 역할실제 이름실제로 하는 일
줄 선 손님요청 대기열들어온 요청이 KV 캐시 블록을 받을 때까지 기다린다
먼 창고의 재료장치 메모리의 가중치디코드 반복마다 가중치 전체를 메모리에서 읽는다
한 바구니에 여러 테이블 몫배치한 번 읽은 가중치로 여러 요청의 다음 토큰을 함께 계산한다
16줄 주문 쪽지KV 캐시 블록토큰 16개의 키 · 값을 담고 다 차면 블록 하나를 더 받는다
빈 테이블에 바로 새 손님연속 배치끝난 요청을 다음 반복에서 빼고 대기 요청을 넣는다
견습생의 미리 담기초안 모델작은 모델이 다음 토큰 γ 개를 먼저 만든다
한 번 맛보고 내기검증 · 거절 표본 추출대상 모델이 γ 개를 한 번에 확인해 맞는 데까지 받아들인다

⚠ 비유가 맞지 않는 곳: 실제 주방장은 재료만이 아니라 테이블마다 쌓인 쪽지(KV 캐시)도 매번 다시 읽으므로, 바구니에 테이블을 늘리면 다녀오는 시간도 조금씩 늘어난다. 견습생 접시를 「맛으로」 고르는 것이 아니라 두 모델의 확률을 비교하는 확률적 규칙으로 받아들인다(Leviathan 2023 3.1절).

4구조 — 요청 흐름과 KV 캐시 관리

서빙 엔진은 요청 대기열 → 스케줄러 → 모델 실행 → 디코딩 네 단계를 반복하고, KV 캐시 관리자가 장치 메모리의 남은 블록을 스케줄러와 모델 실행에 알린다. 기법마다 고치는 단계가 달라서 함께 쓸 수 있다.

토큰 하나를 붙이고 다음 반복 — 반복마다 요청을 넣고 뺀다 요청 큐 대기 · 실행 스케줄러 연속 배치 · 청크 프리필 모델 실행 연산 융합 · 양자화 디코딩 투기적 · 샘플링 KV 캐시 관리자 블록 16토큰 · 블록 표 새 키 · 값 쓰기 앞 토큰 키 · 값 읽기 남은 블록 · 선점 장치 메모리 40GB 나눔(13B 모델 · Kwon 2023 그림 1) 가중치 26GB — 요청 수와 무관하게 고정 KV 캐시 12GiB 요청 스케줄 · 계산 규칙 KV 캐시 가중치 출력 기타(활성값 등)

그림 3 · 스케줄러 · 모델 실행 · 디코딩이 반복마다 돌고, KV 캐시 관리자가 가중치를 뺀 장치 메모리를 블록으로 나눠 동시 요청 수를 정한다.

요소크기 · 단위겨냥하는 병목값 · 근거
KV 캐시토큰당 2 × 은닉 크기 × 층 수 × 2바이트메모리 용량OPT-13B = 2 × 5,120 × 40 × 2 = 800KB · 2,048토큰이면 1.6GB(Kwon 2023 3절)
블록 할당블록 16토큰예약 · 조각 낭비기본 블록 16 · 실사용 96.3%(Kwon 2023 7.2절 · 그림 2)
KV 헤드 공유KV 헤드 수 < 쿼리 헤드 수KV 캐시 크기GQA = 중간 수의 KV 헤드 · 품질은 다중 헤드 수준(Ainslie 2023 초록)
연속 배치반복 1회묶음 대기GPT-3 175B 처리량 36.9배(Yu 2022 초록)
청크 프리필프롬프트 조각디코드 멈춤(TBT)처리 용량 2.6배 · 7B 모델(Agrawal 2024 초록)
연산 융합커널 1개중간 결과 메모리 왕복1.2 ~ 2배(Chen 2018 3절)
투기적 디코딩초안 γ 토큰대상 모델 호출 수출력 분포 동일 · 2.3 ~ 3.4배(Leviathan 2023 표 2)

🔑 프리필은 연산이 모자라 느리고 디코드는 메모리 읽기가 모자라 느리다 — 그래서 프리필에는 연산 융합 · 청크 나누기가, 디코드에는 배치 키우기 · KV 캐시 줄이기 · 투기적 디코딩이 듣는다.

5동작 — 13B 모델 대화 서비스의 한 묶음

13B 모델을 장치 메모리 40GB 한 장에 올려 대화 요청을 받는 사례다. KV 크기 식 · 블록 16토큰 · 기대 토큰 수 식은 논문 값이고, 프롬프트 300토큰 · 출력 200토큰 · 조각 512토큰 · 수락 확률 α = 0.75 는 설명용 가정 값이다(원문 식 직접 계산).

  1. 적재 — 가중치 26GB 를 올리고 남은 12GiB 를 KV 캐시에 준다. 토큰당 800KB(819,200바이트)이므로 15,728토큰 = 블록 983개다.
  2. 프리필 — 프롬프트 300토큰을 한 번의 계산으로 처리해 키 · 값을 블록 19개(300 ÷ 16 올림)에 쓰고 첫 출력 토큰을 낸다. 이 시간이 TTFT 다.
  3. 디코드 — 반복마다 요청당 토큰 1개를 만들고 키 · 값 하나를 덧붙인다. 블록에 토큰 16개가 차면 관리자가 블록 하나를 더 준다.
  4. 연속 배치 — 200번째 토큰에서 종료 토큰이 나오면 그 요청의 블록 32개를 바로 반납하고, 다음 반복에서 대기 요청 하나가 들어온다(Yu 2022 3절).
  5. 동시 처리 수 — 요청마다 최대 길이 2,048토큰을 미리 잡으면 15,728 ÷ 2,048 = 7개만 받고 잡은 메모리의 24.4%만 쓴다. 블록 단위로는 요청당 32블록이라 983 ÷ 32 = 30개를 함께 돌린다.
  6. 청크 프리필 — 1,536토큰짜리 새 프롬프트가 오면 512토큰 세 조각으로 나눠, 반복마다 조각 하나를 진행 중인 디코드 29개와 함께 계산한다(Agrawal 2024 4절). 기존 요청의 토큰 사이 시간이 한 번에 길게 튀지 않는다.
  7. 투기적 디코딩 — 초안 모델이 γ = 4 토큰을 쓰면 대상 모델 1회 호출당 기대 토큰 수는 (1 − 0.75⁵) ÷ 0.25 = 3.05개다. 초안 비용 비 c = 0.05 이면 3.05 ÷ (4 × 0.05 + 1) = 2.54배 빨라진다(Leviathan 2023 식 (1) · 정리 3.8).
단계 사례 값 1 적재 가중치 26GB · KV 12GiB = 15,728토큰 = 블록 983개 2 프리필 프롬프트 300토큰 한 번에 → 블록 19개 · 첫 토큰(TTFT) 3 디코드 반복마다 요청당 1토큰 · 토큰 16개가 차면 블록 1개 추가 4 연속 배치 200번째 토큰에서 종료 → 블록 32개 반납 → 대기 요청 투입 5 동시 처리 수 같은 KV 12GiB 를 요청에 나누는 두 방식 최대 길이 예약 · 7개 2,048토큰씩 잡고 24.4%만 사용 블록 할당 · 30개 요청당 32블록 · 쓴 만큼만 6 청크 프리필 새 1,536토큰 → 512 × 3 조각 · 반복마다 디코드 29개와 함께 7 투기적 디코딩 γ = 4 · α = 0.75 → 1회당 3.05토큰 · c = 0.05 이면 2.54배 가중치 스케줄 · 계산 출력 토큰 KV 블록 낭비 300 · 200 · 512토큰 · α = 가정 값

그림 4 · 같은 12GiB 로 최대 길이 예약은 7개 · 블록 할당은 30개를 받고, 끝난 요청의 블록은 다음 반복에 대기 요청이 쓴다.

디코드 반복 한 번의 시간은 가중치 26GB 와 묶인 요청들의 KV 캐시를 메모리에서 읽는 시간으로 거의 정해진다. 대역폭 1.5TB/s · 연산 300TFLOPS 를 가정하면, 30개를 묶어도 연산 시간은 2.6ms 로 읽기 시간보다 훨씬 짧다.

한 반복 시간(ms) 초당 토큰(tok/s) B = 1 17.6 57 B = 7 19.2 364 B = 30 25.5 1,175 가중치 읽기 17.3ms(고정) 가중치 26GB 읽기 KV 캐시 읽기(요청당 500토큰) 처리량 = B ÷ 한 반복 시간 대역폭 1.5TB/s · 요청당 500토큰 = 설명용 가정 값 · 시간 = (26GB + B × 500 × 800KB) ÷ 1.5TB/s

그림 5 · 가중치 읽기 17.3ms 는 묶는 요청 수와 무관해, 요청을 1개에서 30개로 묶으면 한 반복은 1.4배 길어지고 초당 토큰은 20배가 된다.

🔑 디코드에서 배치는 «공짜에 가깝다» 가 아니라 «KV 캐시가 허락하는 만큼만» 공짜다 — 가중치 읽기는 나눠 쓰지만 KV 읽기와 KV 메모리는 요청 수에 비례해 늘어, 결국 동시 요청 수의 상한은 KV 캐시 용량이 정한다.

6비교 — 기법별 겨냥하는 병목

기법겨냥하는 병목주로 줄이는 지표출력이 같은가추가로 필요한 것
연속 배치묶음 단위 대기대기 시간 · 처리량같음반복 단위 스케줄러(Yu 2022)
블록 단위 KV 캐시KV 메모리 예약 · 조각동시 요청 수같음블록 표 · 전용 어텐션 커널(Kwon 2023)
청크 프리필긴 프리필의 디코드 멈춤TBT 꼬리 지연같음조각 크기 조정(Agrawal 2024)
연산 융합중간 결과 메모리 왕복커널 실행 시간같음(부동소수 오차 수준)컴파일러 · 융합 규칙(Chen 2018)
투기적 디코딩대상 모델 순차 호출요청 하나의 지연분포 같음같은 어휘의 초안 모델(Leviathan 2023)
양자화가중치 · KV 바이트 수메모리 · 대역폭근사(정확도 변화 확인)보정 데이터 → 양자화

분석요청이 많아 처리량이 문제면 연속 배치와 블록 단위 KV 캐시를 먼저 켜고, 요청이 적고 한 사람의 응답 속도가 문제면 투기적 디코딩을 쓴다. 근거는 표의 지표 열 — 투기적 디코딩은 배치 1 에서 잰 지연 개선이고(Leviathan 2023 4.1절 batch size 1), 연속 배치 · 블록 할당은 묶을 요청이 있어야 처리량이 오른다(Kwon 2023 초록).

7실무 진단 — 느린 응답의 원인 가르기

분석TTFT 와 토큰 사이 시간을 나눠 보고, 그다음 KV 캐시 사용률과 선점 횟수를 본다. 대기열이 길면 모델 계산을 고쳐도 첫 토큰이 늦고, KV 캐시가 차면 배치를 키울 수 없기 때문이다(Kwon 2023 3절).

#증상의심 원인단계확인 자료(vLLM 지표)판정 기준(근거)
1첫 토큰이 늦고 대기 요청이 쌓임KV 캐시 부족으로 새 요청을 못 받음스케줄러vllm:num_requests_waiting · vllm:kv_cache_usage_perc사용률이 1 에 붙고 대기가 늘면 용량 한계(Kwon 2023 3절)
2긴 프롬프트가 들어올 때만 다른 응답이 멈칫함프리필이 디코드 반복을 막음스케줄러vllm:inter_token_latency_seconds 꼬리 값 ↔ 긴 프롬프트 도착 시각도착 시각과 꼬리 지연이 겹치면 청크 프리필 대상(Agrawal 2024 3절)
3처리량이 들쭉날쭉하고 일부 요청이 다시 계산됨블록이 모자라 요청을 선점KV 캐시vllm:num_preemptions 증가량선점이 계속 늘면 KV 예산 · 최대 동시 수 재설정(Kwon 2023 4.5절)
4투기적 디코딩을 켰는데 빨라지지 않음초안 토큰 수락 확률이 낮음디코딩vllm:spec_decode_num_accepted_tokens_per_posα 가 c 보다 작으면 개선 없음(Leviathan 2023 따름정리 3.9)
5요청이 한두 개일 때 장치 사용률이 낮음디코드의 메모리 대역폭 제약모델 실행배치 크기별 초당 토큰배치를 늘려 토큰이 비례해 늘면 메모리 제약(Kwon 2023 2.2절)

지표 이름은 vLLM 공식 문서 기준이고(vLLM 문서), 다른 서빙 엔진도 대기 요청 수 · KV 사용률 · 선점 · 첫 토큰 시간을 같은 뜻의 지표로 낸다. 같은 요청 묶음(프롬프트 길이 분포 고정)을 다시 넣어 기법을 하나씩 켜고 끄면 표의 어느 행인지 바로 갈린다.

8시험 대비

시험에서는 LLM 추론의 병목과 기법 체계를 묻는 구조 · 구성형, 처리량과 지연을 함께 맞추는 방안을 묻는 구현 · 설계형이 나올 수 있다. 구조형은 프리필 · 디코드 두 단계를 먼저 가르고 기법을 병목별로 붙이며, 설계형은 서비스 목표(TTFT · TBT · 처리량)를 정한 뒤 KV 캐시 용량 계산으로 동시 요청 수를 보인다.

답안 목차
  1. 개요 — 정의(가중치 고정 · 실행 방식 최적화) · 프리필 ↔ 디코드 · 지표 TTFT · TBT · 처리량
  2. 구조 — 그림 3 서빙 엔진 요청 흐름 + 기법 표(연속 배치 · 블록 KV · 청크 프리필 · 연산 융합 · 투기적 디코딩)
  3. 핵심 원리 — 그림 5 배치와 한 반복 시간(가중치 읽기 고정 · KV 읽기 비례) · 메모리 제약
  4. KV 캐시 계산 — 토큰당 2 × 은닉 × 층 × 2바이트 = 800KB · 그림 4 예약 7개 ↔ 블록 30개
  5. 투기적 디코딩 — 초안 γ 토큰 → 대상 모델 1회 검증 → 수락 · 거절 절차 + 기대 토큰 수 식 (1 − α^(γ+1)) ÷ (1 − α) · 분포 보존
  6. 기법 선택 · 운영 — 비교표(병목 · 지표 · 출력 동일 여부) · 진단 지표(대기 · KV 사용률 · 선점)

꼭 쓸 키워드
프리필디코드KV 캐시연속 배치PagedAttention청크 프리필투기적 디코딩연산 융합GQATTFT

다른 답안과 차이를 내는 한 가지 — KV 캐시 크기 식으로 동시 요청 수를 직접 계산해(7개 ↔ 30개) 「추론 병목은 연산기가 아니라 메모리」라는 주장을 숫자로 보인다.

9오해와 사실

  • 오해투기적 디코딩은 작은 모델의 답을 섞으므로 품질이 떨어진다.
    사실받아들임 · 거절 규칙이 대상 모델의 분포를 그대로 남기도록 증명돼 있고, T5-XXL 실험은 같은 출력으로 속도만 올렸다(Leviathan 2023 3.1절 · 초록).
  • 오해연산 성능이 높은 장치일수록 토큰 생성이 그만큼 빨라진다.
    사실디코드는 행렬 · 벡터 곱이라 메모리 읽기에 묶이고(Kwon 2023 2.2절), 한 세대에서 연산이 2배 넘게 늘 때 메모리 용량은 80GB 그대로였다(Kwon 2023 3절).
  • 오해요청마다 최대 길이만큼 KV 캐시를 잡아 두면 안전하고 손해도 없다.
    사실기존 시스템은 잡아 둔 KV 메모리의 20.4 ~ 38.2%만 실제 토큰에 써서, 같은 메모리로 받을 수 있는 요청 수가 줄었다(Kwon 2023 그림 2).

10핵심 정리

기법단계고치는 것대표 값확인 지표
연속 배치스케줄러반복마다 요청 넣고 빼기36.9배(GPT-3 175B)대기 요청 수
청크 프리필스케줄러긴 프롬프트를 조각내 섞기처리 용량 2.6배토큰 사이 시간 꼬리
블록 KV 캐시KV 캐시16토큰 블록 · 블록 표사용 96.3%KV 사용률 · 선점
KV 헤드 공유(GQA)모델 구조KV 헤드 수 줄이기다중 헤드 수준 품질KV 바이트 수
연산 융합모델 실행커널 합치기 · 중간 결과 생략1.2 ~ 2배커널 실행 시간
투기적 디코딩디코딩초안 γ 토큰 한 번에 검증2.3 ~ 3.4배(T5-XXL)수락 토큰 수
양자화모델 실행가중치 · KV 비트 수→ 양자화정확도 변화

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Efficient Memory Management for Large Language Model Serving with PagedAttention (Kwon et al. · SOSP 2023) — KV 캐시 낭비 비율과 블록 단위 할당을 원문으로 볼 때
    arXiv · 2023-09 · arxiv.org/abs/2309.06180 · 확인 2026-11-09
  3. ★ Orca: A Distributed Serving System for Transformer-Based Generative Models (Yu et al. · OSDI 2022) — 반복 단위 스케줄링(연속 배치)이 나온 배경을 볼 때
    USENIX · 2022-07 · www.usenix.org/conference/osdi22/presentation/yu · 확인 2026-11-09
  4. ★ Fast Inference from Transformers via Speculative Decoding (Leviathan · Kalman · Matias · ICML 2023) — 투기적 디코딩의 기대 토큰 수 식과 분포 보존 증명을 볼 때
    arXiv · 2022-11 · arxiv.org/abs/2211.17192 · 확인 2026-11-09
  5. ★ Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve (Agrawal et al. · OSDI 2024) — 프리필 · 디코드 두 단계와 청크 프리필을 볼 때
    arXiv · 2024-03 · arxiv.org/abs/2403.02310 · 확인 2026-11-09
  6. 본문 근거
  7. Accelerating Large Language Model Decoding with Speculative Sampling (Chen et al.) — arXiv · 2023-02 · arxiv.org/abs/2302.01318 · 확인 2026-11-09
  8. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al. · EMNLP 2023) — arXiv · 2023-05 · arxiv.org/abs/2305.13245 · 확인 2026-11-09
  9. TVM: An Automated End-to-End Optimizing Compiler for Deep Learning (Chen et al. · OSDI 2018) — arXiv · 2018-02 · arxiv.org/abs/1802.04799 · 확인 2026-11-09
  10. vLLM Documentation — Metrics — vLLM project · 2026-11 · docs.vllm.ai/en/latest/usage/metrics.html · 확인 2026-11-09