모델 배포 · 서빙Model Deployment and Serving
학습을 마친 모델 판을 서비스 환경에 올리고(배포), 들어오는 요청에 예측을 돌려주는(서빙) 운영 단계다. 배치 · 온라인 · 스트리밍 · 엣지 가운데 한 방식으로 내고, 새 판은 섀도 · 카나리 · A/B 로 넓히며 지연 · 처리량 목표를 지킨다.
1요약
- 모델 배포 · 서빙은 MLOps 파이프라인이 레지스트리에 올린 모델 판을 모델 서버에 적재해 요청을 받는 마지막 단계로, 이 위에서 요청 대기열 · 동적 배칭 · 판 관리 · 트래픽 분할이 돈다(Olston 2017 2절 · Crankshaw 2017 4절).
- 요청을 한 건씩 돌리면 배치마다 드는 고정 비용 때문에 처리량이 막힌다 — Clipper 는 같은 20 ms 지연 목표 아래 배칭만으로 처리량을 최대 26배 올렸다(Crankshaw 2017 4.3절).
- 「배포 뒤 문제가 생겼다」는 새 판만의 문제인가, 부하의 문제인가, 받는 쪽 계약의 문제인가로 가른다 — 카나리와 대조군을 따로 재면 셋이 갈린다.
2등장 배경
초기에는 학습한 모델을 응용 프로그램 안에 넣거나, 밤마다 데이터 전체에 점수를 매겨 표로 내보냈다. 요청마다 바로 답해야 하는 추천 · 사기 탐지가 늘자, 모델마다 따로 만든 웹 서비스가 판 교체 때 멈추고 새 판 적재가 다른 모델의 지연을 튀게 했다(Olston 2017 1절).
2016년 12월 Crankshaw 외는 응용과 학습 도구 사이에 끼는 범용 서빙 계층 Clipper 를 내고 모델마다 배칭 대기열을 두었다. 2017년 12월 Olston 외는 대규모 운영에서 쓰던 TensorFlow-Serving 의 구조를 공개해 «바라는 판(aspired versions)» 목록으로 판을 적재 · 내림하는 방식을 정리했다.
2019년 Sato 외는 모델을 응용에 넣기 · 별도 서비스 · 데이터로 내보내기 세 방식과 섀도 · 경쟁 모델(A/B) 배포 방식을 묶었다. 지금은 LLM 처럼 큰 모델도 같은 뼈대 위에서 서빙하고, 추론 엔진 안의 가속 기법은 따로 다룬다.
3쉽게 이해하기 — 새 차를 들이는 셔틀버스 회사
셔틀버스 회사는 정류장에 손님이 모이면 «버스가 다 차거나 2분이 지나면» 출발시킨다. 새 차종을 들일 때는 먼저 손님 없이 같은 노선을 하루 따라 달려 보고, 다음에는 열 대 가운데 한 대만 새 차로 바꾼다. 새 차에서 손님 불만이 나오면 차고에 세워 둔 옛 차를 바로 다시 내보낸다. 회사가 손님에게 거는 약속은 «손님 99%는 30분 안에 도착»이다.
그림 1 · 정류장 줄을 출발 규칙으로 묶어 보내고, 새 차는 빈 차 시운전 → 열 대 중 한 대 순서로 늘리며, 문제가 나면 차고의 옛 차로 바로 바꾼다.
그림 2 · 한 명씩 보내면 버스가 모자라고, 꽉 찰 때까지 기다리면 첫 손님이 늦는다 — 「다 차거나 잠깐」이 둘 사이의 답이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 정류장 줄 | 요청 대기열 | 모델 판마다 들어온 요청을 순서대로 쌓는다 |
| 출발 규칙 | 동적 배칭 | 최대 배치 크기 · 대기 한도 중 먼저 닿는 쪽에서 묶어 보낸다 |
| 배차 갈림 | 라우터 · 트래픽 분할 | 판별 가중치(90 : 10)와 섀도 복사를 정한다 |
| 빈 차 시운전 | 섀도 배포 | 새 판이 요청 사본을 받아 결과만 기록하고 응답하지 않는다 |
| 열 대 중 한 대 | 카나리 배포 | 일부 트래픽만 새 판에 보내 대조군과 따로 잰다 |
| 차고의 옛 차 | 대기 판 · 되돌리기 | 옛 판을 적재한 채 두어 가중치만 바꿔 돌아간다 |
| 손님과의 약속 | 지연 목표(SLO) | 「요청 99%가 30 ms 안」처럼 분위수로 정한다 |
⚠ 비유가 맞지 않는 곳: 빈 차 시운전은 손님을 태우지 않아 승차감을 모르듯, 섀도는 응답을 돌려주지 않아 받는 쪽 프로그램이 새 출력을 읽는지는 알 수 없다. 또 버스는 한 대씩 사야 하지만 모델 서버는 같은 장비에 두 판을 함께 적재해 바꿔 탈 수 있다.
4구조 — 배포 방식 넷 · 모델 서버의 구성 요소
배포 방식은 요청이 «언제 · 어디서» 오는지로 나뉜다. 응답을 기다리는 사람이 없으면 배치, 요청마다 답하면 온라인, 사건 흐름에 붙으면 스트리밍, 장치 안에서 돌면 엣지다.
| 방식 | 입력이 오는 모양 | 지연 목표 | 판 교체 | 대표 쓰임 |
|---|---|---|---|---|
| 배치 | 정해진 시각에 표 전체 | 분 ~ 시간(작업 마감) | 다음 실행부터 새 판 | 야간 점수 매기기 · 추천 후보 생성 |
| 온라인 | 요청 하나 · 동기 응답 | 수 ~ 수백 ms(p99) | 무중단 교체 · 트래픽 분할 | 검색 순위 · 사기 탐지 |
| 스트리밍 | 메시지 큐의 사건 흐름 | 초 이하 · 끝에서 끝까지 | 소비자 그룹 단위 교체 | 센서 이상 경보 · 실시간 특징 갱신 |
| 엣지 | 장치 안 센서 · 화면 | 장치 안 ms(망 없음) | 무선 갱신 · 배포 배치별 | 공장 검사 카메라 · 휴대폰 |
그림 3 · 라우터가 판별 가중치로 요청을 나누고, 판마다 따로 둔 대기열 · 배칭기가 묶어 보내며, 지표가 관문을 거쳐 다시 가중치를 정한다.
| 요소 | 맡는 일 | 정하는 값 | 근거 |
|---|---|---|---|
| 라우터 | 판별 트래픽 몫 · 섀도 복사 | 가중치(%) · 복사 비율 | SRE Workbook 16장 |
| 대기열 · 배칭기 | 판마다 요청을 묶어 한 번에 실행 | 최대 배치 · 대기 한도 | Crankshaw 2017 4.3절 |
| 모델 인스턴스 | 가속기에서 배치 추론 | 복제본 수 | Olston 2017 2.2.1절 |
| 판 관리자 | 바라는 판 목록대로 적재 · 내림 | 가용성 우선 · 자원 우선 정책 | Olston 2017 2.1절 |
| 지표 수집 · 관문 | 판별로 지연 · 오류를 따로 잼 | 분위수(p99) · 대조군 차이 | SRE Book 4장 |
판 관리자의 가용성 우선 정책은 새 판을 적재한 뒤 옛 판을 내리고, 자원 우선 정책은 메모리에 두 판이 함께 들어가지 않는 큰 모델에서 반대 순서로 한다(Olston 2017 2.1절). 배치 안에서 LLM 토큰을 반복마다 다시 짜는 연속 배치 · KV 캐시 관리는 추론 최적화가 맡는다.
5동작 — 이미지 분류 모델 v7 → v8 교체
복제본 10대가 첨두 2,000 요청/초(한 대 200 요청/초)를 받는 온라인 이미지 분류 서비스이고, 지연 목표는 p99 30 ms 다 — 서비스 규모 · 지연 목표는 설명용 가정 값이다. 2단계는 직접 실행했다(Python 3.14.0 · NumPy 2.4.3 default_rng(7) · 포아송 도착 200,000건 · 한 배치 실행 시간 v7 = 4 + 0.5B ms · v8 = 5 + 0.7B ms 는 가정 값).
- 레지스트리에 v8 을 등록한다 — 입력 서명은 v7 과 같은 224 × 224 RGB 이고, 출력 범주는 10개에서 11개로 늘었다.
- 부하 시험 — 한 대에 200 요청/초를 넣으면 최대 배치 1 의 v8 은 처리 한계 175 요청/초(1,000 ÷ 5.7 ms)에 막혀 대기열이 끝없이 늘어난다. 최대 배치 32 · 대기 한도 2 ms 의 동적 배칭을 켜면 p50 8.7 ms · p99 14.1 ms · 평균 배치 1.7 건으로 목표 안에 든다.
- 섀도 24시간 — v7 이 응답하고 v8 은 사본을 받아 결과만 기록한다. 예측 일치율 94.6%(가정 값)이고, 어긋난 요청을 표본 검수해 v8 쪽이 더 맞았다.
- 카나리 — 복제본 1대(10%)를 v8 로 바꿔 30분 관문을 연다. v8 의 p99 는 14.1 ms 로 통과지만, 클라이언트 오류율이 v8 2.3% · v7 0.1% 로 관문(대조군 + 0.5%p 이하 · 가정 값)을 넘는다.
- 되돌리기 — 라우터 가중치를 v8 0 으로 바꾼다. 원인은 11번째 범주를 받는 쪽 앱이 모르는 출력 계약 변경이었고, 섀도에서는 응답이 앱으로 가지 않아 보이지 않았다.
- v8.1 — 새 범주를 기존 「기타」로 묶어 출력 서명을 v7 과 맞춘 뒤 카나리를 다시 연다. 오류율 0.1% · p99 14.1 ms 로 관문을 통과한다.
- A/B — 50 : 50 으로 클릭률을 견준다. 기준 8.0% 에서 상대 5%(0.4%p) 차이를 신뢰 95% · 검정력 90% 로 가리려면 n = (4 × 2 × 0.271 ÷ 0.004)² ≈ 294,000명이 필요해(Kohavi 2007 3.2절), 하루 12만 명(가정 값)이면 3일 걸린다. v8.1 8.46% · v7 8.02%(가정 값)로 v8.1 을 고른다.
- 전면 전환 — v8.1 을 100% 로 올리고, v7 은 하루 동안 적재한 채 대기 판으로 두었다가 내린다.
그림 4 · 새 판의 트래픽 몫은 0 → 10 → 0 → 10 → 50 → 100% 로 계단을 밟고, 카나리에서 걸린 계약 오류는 가중치 하나를 0 으로 바꿔 닫힌다.
그림 5 · 같은 v8 이라도 한 건씩 돌리면 101 요청/초에서, 동적 배칭이면 768 요청/초에서 p99 30 ms 를 넘는다 — 대기 한도를 늘리면 한산할 때 지연만 늘고 한계는 거의 그대로다.
🔑 배칭은 지연을 줄이는 기법이 아니라 지연 목표 안에서 처리 한계를 옮기는 기법이다 — 한산할 때는 묶을 것이 없어 이득이 작고, 붐빌 때 한 대의 한계를 101 에서 768 요청/초로 바꾼다.
6비교 — 새 판을 내보내는 방식 넷
DevOps 의 카나리는 코드 판의 오류를 보는 쪽이고, 여기서는 모델 판을 견주는 쪽으로 넷을 견준다.
| 기준 | 섀도 | 카나리 | A/B | 블루그린(일괄 전환) |
|---|---|---|---|---|
| 새 판의 응답이 사용자에게 가나 | 가지 않음(사본만) | 일부(사례 10%) | 절반 안팎(사례 50%) | 전환 순간 전부 |
| 답하는 질문 | 새 판이 같은 입력에 무엇을 내나 | 새 판이 망가지지 않았나 | 새 판이 업무 지표를 올리나 | 두 환경을 바로 바꿔 탈 수 있나 |
| 판정 지표 | 예측 일치율 · 지연 | 판별 오류율 · p99 ↔ 대조군 | 평가 기준(OEC) · 통계 검정 | 전환 뒤 오류율 |
| 기간 · 표본 | 하루 안팎 | 분 ~ 시간 · 작은 몫으로 충분 | 표본 식 n = (4rσ/Δ)² 로 정함(사례 3일) | 전환 한 번 |
| 놓치는 것 | 받는 쪽 앱 · 사용자 반응 | 작은 효과 차이 | 짧은 기간 밖의 장기 효과 | 일부만 먼저 보는 단계 |
분석출력 형식이 바뀌는 판은 섀도만으로 끝내지 말고 카나리를 거쳐야 하고, 업무 지표를 바꾸려는 판만 A/B 까지 간다. 근거는 표의 「놓치는 것」 행과 사례 5단계 — 섀도는 응답을 돌려주지 않아 계약 오류를 못 봤고, 카나리는 작은 몫으로 대조군과 따로 재 잡았다(SRE Workbook 16장).
7실무 진단 — 배포 뒤 지연 · 오류의 원인 가르기
분석경보가 오면 «판별로 나눠 보기 → 부하 곡선 → 판 관리 상태 → 받는 쪽 계약» 순서로 본다. 합산 지표는 10% 카나리의 2.3% 오류를 전체 0.32% 로 묻어 원인 판을 가리기 때문이다(SRE Workbook 16장).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 전체 오류율은 목표 안인데 일부 사용자만 실패 | 카나리 판만 실패 | 트래픽 분할 | 판별로 나눈 오류율 | 카나리 ↔ 대조군 차이로 판정(SRE Workbook 16장) |
| 2 | 부하가 오르면 p99 가 갑자기 치솟음 | 배칭 꺼짐 · 처리 한계 도달 | 배칭 | 부하별 p99 · 평균 배치 크기 | 목표를 지키는 최대 부하 아래로 복제본 수 조정(Crankshaw 2017 4.3절) |
| 3 | 한산한 시간에도 p99 가 높음 | 대기 한도가 김 · 고정 배치 | 배칭 | 대기 한도 설정 · 배치 채움 비율 | 낮은 부하 지연 ≈ 실행 시간 + 대기 한도(그림 5) |
| 4 | 판 교체 순간 오류 · 지연이 튐 | 자원 우선 정책 · 적재 중 스레드 경쟁 | 판 관리 | 판 관리자 적재 기록 · 판 전환 시각 | 가용성 우선이면 새 판 적재 뒤 옛 판 내림(Olston 2017 2.1절) |
| 5 | 섀도 · 오프라인 평가는 좋은데 카나리에서 실패 | 출력 계약 변경 · 학습 · 서빙 특징 차이 | 받는 쪽 · 특징 | 출력 서명 대조 · 요청 기록 | 출력 서명이 지금 판과 같아야 함(사례 5 · 6단계) |
배포 뒤 성능이 몇 주에 걸쳐 내려가는 문제는 배포가 아니라 입력 변화이므로 모델 모니터링 · 드리프트의 진단으로 넘긴다.
8시험 대비
시험에서는 서빙 방식 · 구조를 묻는 정의 · 특징형, 섀도 · 카나리 · A/B 를 견주게 하는 비교형이 나올 수 있다. 정의 · 특징형이면 «배포 방식 넷 → 모델 서버 구성 → 지연 · 처리량 목표» 순서로, 비교형이면 비교 표의 다섯 기준을 그대로 행으로 쓰고 «언제 무엇을» 결론을 붙인다.
- 개요 — 정의(판 적재 + 요청 응답) · MLOps 의 마지막 단계 · 배치 · 온라인 · 스트리밍 · 엣지 표
- 구조 — 그림 3 라우터 · 판별 대기열 · 배칭기 · 모델 인스턴스 · 판 관리자 · 지표 관문
- 지연 · 처리량 — 그림 5 부하별 p99 곡선(101 ↔ 768 요청/초) · p99 목표 · 대기 한도의 손익
- 판 교체 — 그림 4 섀도 → 카나리 → 되돌리기 → A/B → 전면 계단 · 가용성 우선 정책
- 방식 비교 — 섀도 · 카나리 · A/B · 블루그린 표 · A/B 표본 식 n = (4rσ/Δ)²
- 고려 사항 — 판별로 나눠 재기 · 출력 계약 · 대기 판 유지 · LLM 은 추론 최적화와 함께
꼭 쓸 키워드
모델 서버동적 배칭대기 한도p99 지연 목표처리량섀도 배포카나리 배포A/B 시험되돌리기판 관리
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «배칭이 옮기는 것은 지연이 아니라 한계 부하»를 곡선 하나로 보이는 것이다.
9오해와 사실
- 오해배칭을 켜면 응답이 늘 빨라진다.사실한 대 50 요청/초에서 대기 한도 8 ms 는 p99 를 11.6 ms 에서 15.1 ms 로 늘렸고(그림 5), 이득은 처리 한계 근처에서만 나온다(Crankshaw 2017 4.3.2절 지연 배칭).
- 오해섀도에서 문제가 없으면 바로 전면 전환해도 된다.사실섀도는 응답을 돌려주지 않아 사례 5단계의 출력 계약 오류를 보지 못했다 — 받는 쪽까지의 길은 카나리가 처음 잰다.
- 오해카나리는 전체 지표가 목표 안이면 통과다.사실5% 카나리의 오류율 20% 는 전체로 1% 로만 보인다(SRE Workbook 16장) — 사례에서도 2.3% 가 0.32% 로 묻혔다.
10핵심 정리
| 구분 | 맡는 일 | 정하는 값 | 사례 값 | 근거 |
|---|---|---|---|---|
| 배포 방식 | 입력이 오는 모양에 맞춘 방식 고르기 | 배치 · 온라인 · 스트리밍 · 엣지 | 온라인 · 2,000 요청/초 | Sato 2019 |
| 동적 배칭 | 요청을 묶어 고정 비용 나눔 | 최대 배치 · 대기 한도 | 32건 · 2 ms · 평균 1.7건 | Crankshaw 2017 4.3절 |
| 지연 목표 | 분위수로 약속 | p99 · 대상 비율 | 30 ms · 한계 768 요청/초 | SRE Book 4장 |
| 판 관리 | 적재 · 내림 순서 | 가용성 우선 · 자원 우선 | v7 하루 대기 판 | Olston 2017 2.1절 |
| 섀도 | 응답 없이 사본 비교 | 일치율 · 기간 | 94.6% · 24시간 | Olston 2017 2.1.1절 |
| 카나리 · 되돌리기 | 작은 몫으로 대조군과 비교 | 몫 · 관문 차이 | 10% · 2.3% ↔ 0.1% → 0% | SRE Workbook 16장 |
| A/B | 업무 지표 차이 검정 | 평가 기준 · 표본 | 29만 명 · 3일 | Kohavi 2007 3.2절 |
11참고 문헌
- 먼저 볼 문헌
- ★ Clipper: A Low-Latency Online Prediction Serving System (NSDI 2017 · arXiv 1612.03079v2) — 적응형 배칭(AIMD) · 지연 배칭과 지연 목표 아래 처리량을 볼 때
- ★ TensorFlow-Serving: Flexible, High-Performance ML Serving (arXiv 1712.06139) — 판 적재 · 내림 정책과 카나리 · 되돌리기를 서버 구조로 볼 때
- ★ The Site Reliability Workbook — Chapter 16 Canarying Releases — 카나리와 대조군을 나눠 재는 법 · 합산 지표가 숨기는 실패를 볼 때
- ★ Practical Guide to Controlled Experiments on the Web: Listen to Your Customers not to the HiPPO (KDD 2007 · 저자판) — A/B 시험의 평가 기준(OEC) · 표본 크기 식을 볼 때
- 본문 근거
- Site Reliability Engineering — Chapter 4 Service Level Objectives — O'Reilly · sre.google · 2016-04 ·
sre.google/sre-book/service-level-objectives/· 확인 2026-11-12 - Continuous Delivery for Machine Learning — martinfowler.com · 2019-09 ·
martinfowler.com/articles/cd4ml.html· 확인 2026-11-12 - NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-12