AI › AI 엔지니어링(AI 시스템 운영) › MLOps

모델 배포 · 서빙Model Deployment and Serving

학습을 마친 모델 판을 서비스 환경에 올리고(배포), 들어오는 요청에 예측을 돌려주는(서빙) 운영 단계다. 배치 · 온라인 · 스트리밍 · 엣지 가운데 한 방식으로 내고, 새 판은 섀도 · 카나리 · A/B 로 넓히며 지연 · 처리량 목표를 지킨다.

1요약

  1. 모델 배포 · 서빙은 MLOps 파이프라인이 레지스트리에 올린 모델 판을 모델 서버에 적재해 요청을 받는 마지막 단계로, 이 위에서 요청 대기열 · 동적 배칭 · 판 관리 · 트래픽 분할이 돈다(Olston 2017 2절 · Crankshaw 2017 4절).
  2. 요청을 한 건씩 돌리면 배치마다 드는 고정 비용 때문에 처리량이 막힌다 — Clipper 는 같은 20 ms 지연 목표 아래 배칭만으로 처리량을 최대 26배 올렸다(Crankshaw 2017 4.3절).
  3. 「배포 뒤 문제가 생겼다」는 새 판만의 문제인가, 부하의 문제인가, 받는 쪽 계약의 문제인가로 가른다 — 카나리와 대조군을 따로 재면 셋이 갈린다.

2등장 배경

초기에는 학습한 모델을 응용 프로그램 안에 넣거나, 밤마다 데이터 전체에 점수를 매겨 표로 내보냈다. 요청마다 바로 답해야 하는 추천 · 사기 탐지가 늘자, 모델마다 따로 만든 웹 서비스가 판 교체 때 멈추고 새 판 적재가 다른 모델의 지연을 튀게 했다(Olston 2017 1절).

2016년 12월 Crankshaw 외는 응용과 학습 도구 사이에 끼는 범용 서빙 계층 Clipper 를 내고 모델마다 배칭 대기열을 두었다. 2017년 12월 Olston 외는 대규모 운영에서 쓰던 TensorFlow-Serving 의 구조를 공개해 «바라는 판(aspired versions)» 목록으로 판을 적재 · 내림하는 방식을 정리했다.

2019년 Sato 외는 모델을 응용에 넣기 · 별도 서비스 · 데이터로 내보내기 세 방식과 섀도 · 경쟁 모델(A/B) 배포 방식을 묶었다. 지금은 LLM 처럼 큰 모델도 같은 뼈대 위에서 서빙하고, 추론 엔진 안의 가속 기법은 따로 다룬다.

3쉽게 이해하기 — 새 차를 들이는 셔틀버스 회사

셔틀버스 회사는 정류장에 손님이 모이면 «버스가 다 차거나 2분이 지나면» 출발시킨다. 새 차종을 들일 때는 먼저 손님 없이 같은 노선을 하루 따라 달려 보고, 다음에는 열 대 가운데 한 대만 새 차로 바꾼다. 새 차에서 손님 불만이 나오면 차고에 세워 둔 옛 차를 바로 다시 내보낸다. 회사가 손님에게 거는 약속은 «손님 99%는 30분 안에 도착»이다.

1 정류장 줄 손님이 하나둘 온다 요청 대기열 2 출발 규칙 다 차거나 2분 동적 배칭 3 배차 갈림 트래픽 분할 옛 버스 아홉 대 v7 · 90% 새 버스 한 대 카나리 10% 빈 차 시운전 섀도 · 응답 안 감 4 차고의 옛 차 대기 판 · 되돌리기 불만 나면 바로 5 손님과의 약속 손님 99%는 30분 안에 도착 지연 목표 p99 요청 · 지금 판 새 판 묶기 · 나누기 규칙 비교 · 목표 되돌리는 길 점선 = 응답 없음

그림 1 · 정류장 줄을 출발 규칙으로 묶어 보내고, 새 차는 빈 차 시운전 → 열 대 중 한 대 순서로 늘리며, 문제가 나면 차고의 옛 차로 바로 바꾼다.

손님 모으기정류장에 줄
출발 정하기다 차거나 2분
빈 차 시운전손님 없이 하루
한 대만 새 차열 대 중 한 대
불만 확인새 차만 따로 세기
옛 차 다시차고에서 바로
비유 — 버스 출발 규칙 셋 실제 — 배칭 설정 한 명 타면 바로 출발 버스가 모자라 줄이 끝없이 늘어남 다 차거나 2분 지나면 출발 줄도 짧고 기다림도 짧음 꽉 찰 때까지 기다림 한산할 때 첫 손님이 오래 기다림 최대 배치 1 배치 고정 비용에 처리 한계가 막힘 최대 배치 32 · 대기 한도 2 ms 동적 배칭 — 온 만큼 묶어 바로 보냄 고정 배치 32 32건이 찰 때까지 첫 요청이 기다림

그림 2 · 한 명씩 보내면 버스가 모자라고, 꽉 찰 때까지 기다리면 첫 손님이 늦는다 — 「다 차거나 잠깐」이 둘 사이의 답이다.

비유 속 역할실제 이름실제로 하는 일
정류장 줄요청 대기열모델 판마다 들어온 요청을 순서대로 쌓는다
출발 규칙동적 배칭최대 배치 크기 · 대기 한도 중 먼저 닿는 쪽에서 묶어 보낸다
배차 갈림라우터 · 트래픽 분할판별 가중치(90 : 10)와 섀도 복사를 정한다
빈 차 시운전섀도 배포새 판이 요청 사본을 받아 결과만 기록하고 응답하지 않는다
열 대 중 한 대카나리 배포일부 트래픽만 새 판에 보내 대조군과 따로 잰다
차고의 옛 차대기 판 · 되돌리기옛 판을 적재한 채 두어 가중치만 바꿔 돌아간다
손님과의 약속지연 목표(SLO)「요청 99%가 30 ms 안」처럼 분위수로 정한다

⚠ 비유가 맞지 않는 곳: 빈 차 시운전은 손님을 태우지 않아 승차감을 모르듯, 섀도는 응답을 돌려주지 않아 받는 쪽 프로그램이 새 출력을 읽는지는 알 수 없다. 또 버스는 한 대씩 사야 하지만 모델 서버는 같은 장비에 두 판을 함께 적재해 바꿔 탈 수 있다.

4구조 — 배포 방식 넷 · 모델 서버의 구성 요소

배포 방식은 요청이 «언제 · 어디서» 오는지로 나뉜다. 응답을 기다리는 사람이 없으면 배치, 요청마다 답하면 온라인, 사건 흐름에 붙으면 스트리밍, 장치 안에서 돌면 엣지다.

방식입력이 오는 모양지연 목표판 교체대표 쓰임
배치정해진 시각에 표 전체분 ~ 시간(작업 마감)다음 실행부터 새 판야간 점수 매기기 · 추천 후보 생성
온라인요청 하나 · 동기 응답수 ~ 수백 ms(p99)무중단 교체 · 트래픽 분할검색 순위 · 사기 탐지
스트리밍메시지 큐의 사건 흐름초 이하 · 끝에서 끝까지소비자 그룹 단위 교체센서 이상 경보 · 실시간 특징 갱신
엣지장치 안 센서 · 화면장치 안 ms(망 없음)무선 갱신 · 배포 배치별공장 검사 카메라 · 휴대폰
클라이언트 라우터 가중치 90 : 10 섀도 복사 대기열 · 배칭기 v7 · B 32 · 2 ms 대기열 · 배칭기 v8 · B 32 · 2 ms 모델 인스턴스 v7 · 가속기 모델 인스턴스 v8 · 가속기 지표 판별 p99 판별 오류율 관문 판정 → 가중치 조정 · 되돌리기 판 관리자 새 판 적재 뒤 옛 판 내림 · 참조 수 관리 레지스트리 나누기 · 묶기 규칙 지금 판 새 판 · 판 기록 지표 · 판정 되먹임

그림 3 · 라우터가 판별 가중치로 요청을 나누고, 판마다 따로 둔 대기열 · 배칭기가 묶어 보내며, 지표가 관문을 거쳐 다시 가중치를 정한다.

요소맡는 일정하는 값근거
라우터판별 트래픽 몫 · 섀도 복사가중치(%) · 복사 비율SRE Workbook 16장
대기열 · 배칭기판마다 요청을 묶어 한 번에 실행최대 배치 · 대기 한도Crankshaw 2017 4.3절
모델 인스턴스가속기에서 배치 추론복제본 수Olston 2017 2.2.1절
판 관리자바라는 판 목록대로 적재 · 내림가용성 우선 · 자원 우선 정책Olston 2017 2.1절
지표 수집 · 관문판별로 지연 · 오류를 따로 잼분위수(p99) · 대조군 차이SRE Book 4장

판 관리자의 가용성 우선 정책은 새 판을 적재한 뒤 옛 판을 내리고, 자원 우선 정책은 메모리에 두 판이 함께 들어가지 않는 큰 모델에서 반대 순서로 한다(Olston 2017 2.1절). 배치 안에서 LLM 토큰을 반복마다 다시 짜는 연속 배치 · KV 캐시 관리는 추론 최적화가 맡는다.

5동작 — 이미지 분류 모델 v7 → v8 교체

복제본 10대가 첨두 2,000 요청/초(한 대 200 요청/초)를 받는 온라인 이미지 분류 서비스이고, 지연 목표는 p99 30 ms 다 — 서비스 규모 · 지연 목표는 설명용 가정 값이다. 2단계는 직접 실행했다(Python 3.14.0 · NumPy 2.4.3 default_rng(7) · 포아송 도착 200,000건 · 한 배치 실행 시간 v7 = 4 + 0.5B ms · v8 = 5 + 0.7B ms 는 가정 값).

  1. 레지스트리에 v8 을 등록한다 — 입력 서명은 v7 과 같은 224 × 224 RGB 이고, 출력 범주는 10개에서 11개로 늘었다.
  2. 부하 시험 — 한 대에 200 요청/초를 넣으면 최대 배치 1 의 v8 은 처리 한계 175 요청/초(1,000 ÷ 5.7 ms)에 막혀 대기열이 끝없이 늘어난다. 최대 배치 32 · 대기 한도 2 ms 의 동적 배칭을 켜면 p50 8.7 ms · p99 14.1 ms · 평균 배치 1.7 건으로 목표 안에 든다.
  3. 섀도 24시간 — v7 이 응답하고 v8 은 사본을 받아 결과만 기록한다. 예측 일치율 94.6%(가정 값)이고, 어긋난 요청을 표본 검수해 v8 쪽이 더 맞았다.
  4. 카나리 — 복제본 1대(10%)를 v8 로 바꿔 30분 관문을 연다. v8 의 p99 는 14.1 ms 로 통과지만, 클라이언트 오류율이 v8 2.3% · v7 0.1% 로 관문(대조군 + 0.5%p 이하 · 가정 값)을 넘는다.
  5. 되돌리기 — 라우터 가중치를 v8 0 으로 바꾼다. 원인은 11번째 범주를 받는 쪽 앱이 모르는 출력 계약 변경이었고, 섀도에서는 응답이 앱으로 가지 않아 보이지 않았다.
  6. v8.1 — 새 범주를 기존 「기타」로 묶어 출력 서명을 v7 과 맞춘 뒤 카나리를 다시 연다. 오류율 0.1% · p99 14.1 ms 로 관문을 통과한다.
  7. A/B — 50 : 50 으로 클릭률을 견준다. 기준 8.0% 에서 상대 5%(0.4%p) 차이를 신뢰 95% · 검정력 90% 로 가리려면 n = (4 × 2 × 0.271 ÷ 0.004)² ≈ 294,000명이 필요해(Kohavi 2007 3.2절), 하루 12만 명(가정 값)이면 3일 걸린다. v8.1 8.46% · v7 8.02%(가정 값)로 v8.1 을 고른다.
  8. 전면 전환 — v8.1 을 100% 로 올리고, v7 은 하루 동안 적재한 채 대기 판으로 두었다가 내린다.
새 판이 응답하는 트래픽 몫 0% 10% 50% 100% 사본 100% 응답 0% 오류 2.3% 오류 0.1% 3일 · 29만 명 1 2 3 4 5 6 7 8 등록 · 부하 섀도 카나리 되돌리기 v8.1 카나리 A/B 전면 새 판 몫 관문 실패 응답 없는 사본

그림 4 · 새 판의 트래픽 몫은 0 → 10 → 0 → 10 → 50 → 100% 로 계단을 밟고, 카나리에서 걸린 계약 오류는 가중치 하나를 0 으로 바꿔 닫힌다.

0 20 40 60 p99 지연(ms) · v8 · 한 대 · 직접 실행 0 200 400 600 800 1,000 한 대에 들어오는 부하(요청/초) 지연 목표 30 ms 최대 배치 1 · 175 요청/초에서 막힘 101 768 2 사례 200 요청/초 · 14.1 ms 최대 배치 1 최대 배치 32 · 대기 한도 2 ms 대기 한도 8 ms

그림 5 · 같은 v8 이라도 한 건씩 돌리면 101 요청/초에서, 동적 배칭이면 768 요청/초에서 p99 30 ms 를 넘는다 — 대기 한도를 늘리면 한산할 때 지연만 늘고 한계는 거의 그대로다.

🔑 배칭은 지연을 줄이는 기법이 아니라 지연 목표 안에서 처리 한계를 옮기는 기법이다 — 한산할 때는 묶을 것이 없어 이득이 작고, 붐빌 때 한 대의 한계를 101 에서 768 요청/초로 바꾼다.

6비교 — 새 판을 내보내는 방식 넷

DevOps 의 카나리는 코드 판의 오류를 보는 쪽이고, 여기서는 모델 판을 견주는 쪽으로 넷을 견준다.

기준섀도카나리A/B블루그린(일괄 전환)
새 판의 응답이 사용자에게 가나가지 않음(사본만)일부(사례 10%)절반 안팎(사례 50%)전환 순간 전부
답하는 질문새 판이 같은 입력에 무엇을 내나새 판이 망가지지 않았나새 판이 업무 지표를 올리나두 환경을 바로 바꿔 탈 수 있나
판정 지표예측 일치율 · 지연판별 오류율 · p99 ↔ 대조군평가 기준(OEC) · 통계 검정전환 뒤 오류율
기간 · 표본하루 안팎분 ~ 시간 · 작은 몫으로 충분표본 식 n = (4rσ/Δ)² 로 정함(사례 3일)전환 한 번
놓치는 것받는 쪽 앱 · 사용자 반응작은 효과 차이짧은 기간 밖의 장기 효과일부만 먼저 보는 단계

분석출력 형식이 바뀌는 판은 섀도만으로 끝내지 말고 카나리를 거쳐야 하고, 업무 지표를 바꾸려는 판만 A/B 까지 간다. 근거는 표의 「놓치는 것」 행과 사례 5단계 — 섀도는 응답을 돌려주지 않아 계약 오류를 못 봤고, 카나리는 작은 몫으로 대조군과 따로 재 잡았다(SRE Workbook 16장).

7실무 진단 — 배포 뒤 지연 · 오류의 원인 가르기

분석경보가 오면 «판별로 나눠 보기 → 부하 곡선 → 판 관리 상태 → 받는 쪽 계약» 순서로 본다. 합산 지표는 10% 카나리의 2.3% 오류를 전체 0.32% 로 묻어 원인 판을 가리기 때문이다(SRE Workbook 16장).

#증상의심 원인단계확인 자료판정 기준(근거)
1전체 오류율은 목표 안인데 일부 사용자만 실패카나리 판만 실패트래픽 분할판별로 나눈 오류율카나리 ↔ 대조군 차이로 판정(SRE Workbook 16장)
2부하가 오르면 p99 가 갑자기 치솟음배칭 꺼짐 · 처리 한계 도달배칭부하별 p99 · 평균 배치 크기목표를 지키는 최대 부하 아래로 복제본 수 조정(Crankshaw 2017 4.3절)
3한산한 시간에도 p99 가 높음대기 한도가 김 · 고정 배치배칭대기 한도 설정 · 배치 채움 비율낮은 부하 지연 ≈ 실행 시간 + 대기 한도(그림 5)
4판 교체 순간 오류 · 지연이 튐자원 우선 정책 · 적재 중 스레드 경쟁판 관리판 관리자 적재 기록 · 판 전환 시각가용성 우선이면 새 판 적재 뒤 옛 판 내림(Olston 2017 2.1절)
5섀도 · 오프라인 평가는 좋은데 카나리에서 실패출력 계약 변경 · 학습 · 서빙 특징 차이받는 쪽 · 특징출력 서명 대조 · 요청 기록출력 서명이 지금 판과 같아야 함(사례 5 · 6단계)

배포 뒤 성능이 몇 주에 걸쳐 내려가는 문제는 배포가 아니라 입력 변화이므로 모델 모니터링 · 드리프트의 진단으로 넘긴다.

8시험 대비

시험에서는 서빙 방식 · 구조를 묻는 정의 · 특징형, 섀도 · 카나리 · A/B 를 견주게 하는 비교형이 나올 수 있다. 정의 · 특징형이면 «배포 방식 넷 → 모델 서버 구성 → 지연 · 처리량 목표» 순서로, 비교형이면 비교 표의 다섯 기준을 그대로 행으로 쓰고 «언제 무엇을» 결론을 붙인다.

답안 목차
  1. 개요 — 정의(판 적재 + 요청 응답) · MLOps 의 마지막 단계 · 배치 · 온라인 · 스트리밍 · 엣지 표
  2. 구조 — 그림 3 라우터 · 판별 대기열 · 배칭기 · 모델 인스턴스 · 판 관리자 · 지표 관문
  3. 지연 · 처리량 — 그림 5 부하별 p99 곡선(101 ↔ 768 요청/초) · p99 목표 · 대기 한도의 손익
  4. 판 교체 — 그림 4 섀도 → 카나리 → 되돌리기 → A/B → 전면 계단 · 가용성 우선 정책
  5. 방식 비교 — 섀도 · 카나리 · A/B · 블루그린 표 · A/B 표본 식 n = (4rσ/Δ)²
  6. 고려 사항 — 판별로 나눠 재기 · 출력 계약 · 대기 판 유지 · LLM 은 추론 최적화와 함께

꼭 쓸 키워드
모델 서버동적 배칭대기 한도p99 지연 목표처리량섀도 배포카나리 배포A/B 시험되돌리기판 관리

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «배칭이 옮기는 것은 지연이 아니라 한계 부하»를 곡선 하나로 보이는 것이다.

9오해와 사실

  • 오해배칭을 켜면 응답이 늘 빨라진다.
    사실한 대 50 요청/초에서 대기 한도 8 ms 는 p99 를 11.6 ms 에서 15.1 ms 로 늘렸고(그림 5), 이득은 처리 한계 근처에서만 나온다(Crankshaw 2017 4.3.2절 지연 배칭).
  • 오해섀도에서 문제가 없으면 바로 전면 전환해도 된다.
    사실섀도는 응답을 돌려주지 않아 사례 5단계의 출력 계약 오류를 보지 못했다 — 받는 쪽까지의 길은 카나리가 처음 잰다.
  • 오해카나리는 전체 지표가 목표 안이면 통과다.
    사실5% 카나리의 오류율 20% 는 전체로 1% 로만 보인다(SRE Workbook 16장) — 사례에서도 2.3% 가 0.32% 로 묻혔다.

10핵심 정리

구분맡는 일정하는 값사례 값근거
배포 방식입력이 오는 모양에 맞춘 방식 고르기배치 · 온라인 · 스트리밍 · 엣지온라인 · 2,000 요청/초Sato 2019
동적 배칭요청을 묶어 고정 비용 나눔최대 배치 · 대기 한도32건 · 2 ms · 평균 1.7건Crankshaw 2017 4.3절
지연 목표분위수로 약속p99 · 대상 비율30 ms · 한계 768 요청/초SRE Book 4장
판 관리적재 · 내림 순서가용성 우선 · 자원 우선v7 하루 대기 판Olston 2017 2.1절
섀도응답 없이 사본 비교일치율 · 기간94.6% · 24시간Olston 2017 2.1.1절
카나리 · 되돌리기작은 몫으로 대조군과 비교몫 · 관문 차이10% · 2.3% ↔ 0.1% → 0%SRE Workbook 16장
A/B업무 지표 차이 검정평가 기준 · 표본29만 명 · 3일Kohavi 2007 3.2절

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Clipper: A Low-Latency Online Prediction Serving System (NSDI 2017 · arXiv 1612.03079v2) — 적응형 배칭(AIMD) · 지연 배칭과 지연 목표 아래 처리량을 볼 때
    arXiv · 2017-02 · arxiv.org/abs/1612.03079 · 확인 2026-11-12
  3. ★ TensorFlow-Serving: Flexible, High-Performance ML Serving (arXiv 1712.06139) — 판 적재 · 내림 정책과 카나리 · 되돌리기를 서버 구조로 볼 때
    arXiv · 2017-12 · arxiv.org/abs/1712.06139 · 확인 2026-11-12
  4. ★ The Site Reliability Workbook — Chapter 16 Canarying Releases — 카나리와 대조군을 나눠 재는 법 · 합산 지표가 숨기는 실패를 볼 때
    O'Reilly · sre.google · 2018-07 · sre.google/workbook/canarying-releases/ · 확인 2026-11-12
  5. ★ Practical Guide to Controlled Experiments on the Web: Listen to Your Customers not to the HiPPO (KDD 2007 · 저자판) — A/B 시험의 평가 기준(OEC) · 표본 크기 식을 볼 때
    ACM KDD · 2007-08 · exp-platform.com/Documents/GuideControlledExperiments.pdf · 확인 2026-11-12
  6. 본문 근거
  7. Site Reliability Engineering — Chapter 4 Service Level Objectives — O'Reilly · sre.google · 2016-04 · sre.google/sre-book/service-level-objectives/ · 확인 2026-11-12
  8. Continuous Delivery for Machine Learning — martinfowler.com · 2019-09 · martinfowler.com/articles/cd4ml.html · 확인 2026-11-12
  9. NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-12