모델 모니터링Model Monitoring
운영 중인 머신러닝 모델의 서비스 지표 · 입력 · 출력 · 예측 성능 · 집단별 공정성을 계속 재어 대시보드에 보이고, 기준을 벗어나면 경보를 내어 대응으로 잇는 운영 활동이다. 정답이 늦게 오는 동안은 대리 지표로 성능을 추정한다.
1요약
- 모델 모니터링은 MLOps 되먹임 고리의 «재는» 단계로, 서비스 지표 · 입력 · 출력 · 성능 · 공정성 다섯 대상을 지표 시계열로 모아 대시보드와 경보 규칙 위에서 운영 모델의 상태를 판정한다(Breck 2017 5절 · NIST AI 100-1 MEASURE 2.4).
- 재는 것만 늘리면 경보가 무뎌진다 — 현장 엔지니어 18명 면담에서 가장 많이 나온 고충이 거짓 경보였고(Shankar 2022 5.1절), 특징 50개에 하루 1% 씩 거짓 경보가 나는 임계를 걸면 경보 없는 날이 60.5% 뿐이다(0.99⁵⁰ 직접 계산).
- 「모델 지표가 나쁘다」는 그 신호가 정답 없이 나온 값인가, 정답이 도착한 뒤의 값인가로 가른다 — 정답 없는 신호(입력 · 출력 · 대리 지표)는 조사를 여는 티켓으로, 정답 뒤 성능 · 공정성 미달은 즉시 대응하는 호출로 보낸다.
2등장 배경
일반 웹 서비스는 요청이 실패하면 오류 코드가 남지만, 머신러닝 모델은 틀린 예측도 정상 응답으로 내보낸다. 상류 데이터 팀이 특징의 단위나 수집 방식을 바꾸면 서버 지표는 그대로인 채 예측만 조용히 나빠진다(Breck 2017 Monitor 1). 정답(레이블)이 며칠 · 몇 주 뒤에 오는 일에서는 그동안 아무도 알아채지 못한다.
2016년 Google SRE 책은 서비스 감시의 기본을 지연 · 트래픽 · 오류 · 포화 네 가지 핵심 신호와 «증상에 호출하고 원인은 조사로» 라는 원칙으로 정리했다(SRE Book 6장). 2017년 Breck 등은 여기에 머신러닝 몫의 감시 시험 7개 — 의존 변경 알림 · 입력 불변식 · 학습 · 서빙 값 일치 · 모델 나이 · 수치 안정 · 계산 성능 · 예측 품질 — 를 더했다(Breck 2017 5절). 2022년 Garg 등은 정답 없는 데이터로 정확도를 추정하는 ATC 를 냈다(Garg 2022).
2023년 NIST AI RMF 1.0 은 운영 중 기능 · 동작 감시(MEASURE 2.4)와 배포 뒤 감시 계획 · 사고 대응(MANAGE 4.1)을 위험 관리 항목으로 두었다. 지금 모델 모니터링은 MLOps 의 재학습 트리거와 AI 신뢰의 공정성 점검이 함께 쓰는 운영 기반이다.
3쉽게 이해하기 — 날씨 예보 센터의 상황판
예보 센터는 관측소 수백 곳의 기온 · 습도 값을 받아 예보 모델을 돌리고, 저녁 뉴스에 내일 비 소식을 내보낸다. 예보가 맞았는지는 하루가 지나야 알 수 있어서, 당직 예보관은 그 사이 상황판으로 관측소가 꺼지지 않았는지, 방송이 제시간에 나갔는지, 모델 다섯 개의 의견이 얼마나 갈리는지를 본다. 다음 날 실제 날씨가 들어오면 지역마다 적중률을 적고, 한 지역만 자꾸 틀리면 책임 예보관을 부른다.
그림 1 · 관측 · 예보 · 방송은 바로 상황판에 오르고 실제 날씨는 하루 늦게 오른다 — 당직 예보관은 그 차이를 알고 상황판을 읽는다.
그림 2 · 내일 날씨는 아직 모르지만 모델 다섯의 의견이 크게 갈린 날은 틀릴 날이 많다 — 확신이 높은 예측의 비율로 오늘 정확도를 미리 짐작하는 것이 대리 지표다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 관측소 | 입력 특징 · 상류 데이터 | 결측률 · 스키마 · 학습과 같은 값인지 잰다 |
| 예보 모델 | 서빙 중인 모델 판 | 모델 나이 · 판 번호 · 수치 안정을 잰다 |
| 방송 시각 | 서비스 지표 | 지연 p99 · 오류율 · 포화를 잰다 |
| 의견 갈림 | 출력 분포 · 대리 지표 | 정답 없이 확신도로 정확도를 추정한다 |
| 다음 날 날씨 | 지연 정답(레이블) | 도착한 뒤 정확도 · 재현율을 계산한다 |
| 지역별 적중률 | 집단별 공정성 지표 | 집단마다 재현율 차이를 본다 |
| 상황판 | 대시보드 | 지표 시계열을 판 · 집단별로 보인다 |
| 당직 호출 | 경보 규칙 · 호출 · 티켓 | 기준을 벗어나면 등급에 따라 사람을 부른다 |
⚠ 비유가 맞지 않는 곳: 날씨는 예보가 날씨를 바꾸지 않지만, 모델의 예측은 사용자 행동을 바꿔 정답 자체를 바꿀 수 있다(예: 지연 예측을 보고 배차를 바꾸면 실제 지연이 준다). 이때 도착한 정답만으로 잰 성능은 실제보다 좋거나 나쁘게 보인다.
4구조 — 다섯 감시 대상과 경보 경로
감시 대상은 요청이 지나는 순서대로 서비스 → 입력 → 모델 → 출력 → 정답 결합에 붙는다. 앞쪽일수록 신호가 바로 나오지만 «사용자에게 피해가 났는가»에서 멀고, 뒤쪽 성능 · 공정성은 피해를 직접 재지만 정답 지연만큼 늦다(Breck 2017 Monitor 7).
그림 3 · 요청 경로의 다섯 지점에서 나온 지표가 한 저장소에 모이고, 경보 규칙이 증상 · 원인에 따라 호출 · 티켓 · 기록으로 나눈다.
| 대상 | 대표 지표 | 신호 시점 | 무엇을 알려 주나 | 근거 |
|---|---|---|---|---|
| 서비스 | 지연 p99 · 오류율 · 트래픽 · 포화 | 즉시 | 응답이 제때 · 제대로 나가는가 | SRE Book 6장 · Breck 2017 Monitor 6 |
| 입력 | 결측률 · 스키마 위반 · 학습↔서빙 값 차이 | 즉시 | 모델이 받는 값이 학습 때와 같은 뜻인가 | Monitor 1 · 2 · 3 |
| 모델 | 판 번호 · 배포 뒤 나이 · NaN | 즉시 | 의도한 판이 · 너무 늙지 않게 · 깨지지 않고 도는가 | Monitor 4 · 5 |
| 출력 · 대리 | 예측 양성률 · 조각별 예측 평균 · ATC | 즉시 | 정답 없이 본 품질의 방향 | Monitor 7 · Garg 2022 |
| 성능 | 정확도 · 재현율 · 보정 | 정답 지연 뒤 | 실제로 틀리기 시작했는가 | Monitor 7 |
| 공정성 | 집단별 재현율 · 차이 | 정답 지연 뒤 | 특정 집단만 손해를 보는가 | NIST AI 100-1 MEASURE 2.11 |
분포 거리(PSI · KS)로 입력 · 출력의 이동을 판정하는 통계는 드리프트가 맡고, 공정성 지표의 종류와 정의는 공정성 지표가 맡는다. 모델 모니터링은 그 값들을 언제 재고 어느 등급의 경보로 보내는지를 정한다.
🔑 빨리 나오는 지표는 원인에 가깝고 사용자 피해에서 멀며, 피해를 직접 재는 지표는 정답 지연만큼 늦다 — 모니터링 설계는 이 둘 사이의 빈 기간을 무엇으로 메울지 정하는 일이다.
5동작 — 배송 지연 예측 모델의 28일 감시
합성 데이터로 직접 실행한 사례다 — 실행 환경은 NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(7) · 로지스틱 회귀(IRLS 직접 구현)다. 과제 · 지연률 · 하루 4,000건 · 정답 지연 7일 · 모든 경보 임계는 설명용 가정 값이고, 소진율 14.4 만 SRE Workbook 5장 표의 값이다.
- 준비 — 학습 20,000건으로 모델을 맞추고 검증 5,000건에서 정확도 0.787 을 얻는다. ATC 임계는 «확신도가 임계 미만인 비율 = 검증 오류율»이 되는 0.639 다(Garg 2022 4절 식 1).
- 기준 기간(1 ~ 11일) — 지연 p99 87 ~ 93 ms · 거리 특징 결측률 0.15 ~ 0.40% · 예측 양성률 0.284 ~ 0.304 · ATC 추정 정확도 0.773 ~ 0.802 다.
- 6일차 서비스 — 의존 서비스가 느려져 300 ms 를 넘긴 요청이 2.98%, p99 가 704.8 ms 로 뛴다. 오류 예산 0.1% 기준 소진율 29.7 로 14.4 를 넘어 호출이 간다. 모델 지표(ATC 0.788)는 그대로다.
- 12 ~ 13일 입력 — 상류 주소 처리 변경으로 거리 결측률이 14.27% · 14.58% 로 뛰어 «결측률 2% 초과» 규칙이 티켓을 연다. 결측을 학습 평균으로 채워 예측 양성률(0.284 · 0.279)과 ATC(0.777 · 0.784)는 조용하다. 14일 상류 수정 뒤 0.30% 로 돌아온다.
- 19 ~ 20일 정답 도착 — 12 · 13일의 실제 정확도는 0.769 · 0.770, 재현율은 0.575 · 0.573(기준 기간 평균 0.620)이다. 입력 티켓이 실제 성능 손실이었음이 정답으로 확인된다.
- 18일차 새 지역 유입 — 하루 요청의 30% 가 새 배송 지역에서 오고 실제 지연률이 0.35 에서 0.41 로 오른다. 결측률 0.20% · 양성률 0.288 은 조용하지만 ATC 가 0.727 로 기준 0.787 보다 0.060 낮다. «ATC 0.757 미만 2일 연속» 규칙이 19일(0.751)에 티켓을 열고 새 지역 표본의 사람 검수를 시작한다.
- 25일 정답 도착 — 18일 실제 정확도 0.728 로 ATC 추정과 0.001 차이다. 재현율은 기존 지역 0.613 · 새 지역 0.401 로 차이 0.212 가 «집단 차이 0.10 초과» 규칙에 걸려 호출이 간다. 전체 재현율 0.521 만 보면 이 차이는 보이지 않는다.
- 대응 — 새 지역 예측을 사람 확인 경로로 돌리고 새 지역 데이터를 담은 재학습을 요청한다. 재학습 · 승격은 MLOps 파이프라인이 맡는다.
그림 4 · 세 사건이 서로 다른 감시 대상에서 먼저 잡혔다 — 서비스 장애는 당일 호출, 입력 결측과 새 지역은 당일 티켓, 집단 차이는 정답이 온 7일 뒤에야 호출로 확정됐다.
그림 5 · 정답 기반 정확도(점선)는 7일 늦게 그려지고, 그 빈 기간 동안 대리 지표(실선)가 18일의 하락을 먼저 보인다 — 25일에 도착한 정답이 그 추정을 0.001 차이로 확인한다.
🔑 대리 지표는 정답을 대신하지 않고 정답이 올 때까지의 빈 기간을 메운다 — 그래서 대리 지표의 경보는 티켓으로, 정답이 확인한 미달만 호출로 보낸다.
6비교 — 성능 신호를 얻는 다섯 방식
| 기준 | 지연 정답 대기 | 사람 표본 검수 | 대리 지표(ATC 등) | 분포 지표(PSI · KS) | 사업 지표(전환 · 민원) |
|---|---|---|---|---|---|
| 신호 시점 | 정답 지연 뒤(사례 7일) | 검수 주기(하루 ~ 주) | 즉시 | 즉시 | 즉시 ~ 수일 |
| 비용 | 정답 수집 체계만 있으면 낮음 | 검수 건수에 비례 | 계산만 | 계산만 | 다른 팀 지표 연동 |
| 성능을 재는가 | 직접 잰다 | 표본만큼 직접 잰다 | 가정 아래 추정(Garg 2022) | 재지 않는다(이동만) | 간접(모델 밖 원인 섞임) |
| 놓치는 것 | 지연 기간의 손실 | 표본에 안 든 조각 | 같은 입력에서 정답 관계가 바뀐 경우 | 해 없는 이동을 경보 · 관계 변화 | 원인이 모델인지 구분 |
| 맞는 경보 등급 | 호출 | 호출 · 티켓 | 티켓 | 티켓 · 기록 | 기록 · 다른 팀 공유 |
분석정답이 늦게 오는 모델은 «대리 지표 + 분포 지표로 티켓 → 사람 표본 검수로 범위 좁히기 → 지연 정답으로 호출 판정» 순서로 쌓는다. 근거는 표의 「성능을 재는가」 행 — 성능을 직접 재는 방식은 늦거나 비싸고, 즉시 나오는 방식은 추정 · 이동만 보이며, Garg 2022 도 정답 없는 정확도 추정은 이동 종류에 대한 가정 없이는 불가능하다고 밝혔다.
7실무 진단 — 모니터링 경보와 침묵의 원인 가르기
분석경보가 오면 서비스 → 입력 → 모델 판 → 출력 · 대리 → 정답 기반 성능 순서로 본다. 앞 단계 문제(장애 · 결측 · 판 착오)는 뒤 단계 지표를 모두 흔들어 원인을 가리고, 정답 기반 지표는 가장 늦게 오기 때문이다(Breck 2017 Monitor 1 · 7).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 지연 · 오류 경보, 모델 지표는 그대로 | 의존 서비스 지연 · 자원 포화 | 서비스 | p99 · 포화도 · 의존 호출 시간 | 소진율 14.4(1시간 · 5분 창) = 호출(SRE Workbook 5장 표 5-8) |
| 2 | 결측 · 스키마 경보 | 상류 수집 · 형식 변경 | 입력 | 결측률 · 스키마 대조 · 상류 변경 공지 | 스키마 위반은 경보 · 의존 변경은 공지 구독(Breck 2017 Monitor 1 · 2) |
| 3 | 오프라인 성능은 좋은데 운영 성능만 나쁨 | 학습 · 서빙 특징 계산 경로 차이 | 입력 | 같은 ID 의 서빙 특징 로그 ↔ 학습 특징 | 같은 예제는 값이 같아야 함(Monitor 3) |
| 4 | 대리 지표 하락 · 정답 아직 없음 | 새 집단 유입 · 분포 이동 | 출력 · 대리 | ATC · 조각별 예측 평균 · 표본 검수 | 정답 도착 뒤 성능으로 확정(Garg 2022 · Monitor 7) |
| 5 | 전체 성능은 기준 안인데 민원 증가 | 집단 · 조각별 실패가 평균에 묻힘 | 공정성 | 집단별 재현율 · 차이 | 집단별 평가 · 기록(NIST AI 100-1 MEASURE 2.11) |
| 6 | 경보가 많아 담당자가 무시함 | 특징마다 임계 · 짧은 지속 시간 | 경보 규칙 | 경보별 조치 비율 · 같은 경보 반복 횟수 | 조치 없는 경보는 호출이 아님(SRE Book 6장) |
경보가 깜빡이면 Prometheus 경보 규칙의 for(조건이 그 시간 동안 이어져야 발령 · 그 전은 대기 상태)와 keep_firing_for(조건이 풀린 뒤에도 그 시간 동안 유지)로 지속 시간을 둔다(Prometheus 경보 규칙). 다른 감시 도구도 «지속 시간 · 해제 지연» 이름으로 같은 설정을 둔다.
8시험 대비
시험에서는 모델 모니터링의 대상 · 지표를 묻는 정의 · 특징형, 운영 모델의 감시 체계를 세우라는 구현 · 설계형이 나올 수 있다. 정의형은 다섯 대상과 신호 시점(그림 3 · 구조 표)을 보이고 정답 지연과 대리 지표로 마무리하며, 설계형은 경보 등급(호출 · 티켓 · 기록)과 판정 순서를 사례 값으로 보인다. 드리프트와 함께 물으면 «드리프트 = 분포 변화라는 현상과 탐지 통계 · 모니터링 = 무엇을 언제 재고 누구를 부르나»로 경계를 긋는다.
- 개요 — 정의 · 필요성(틀린 예측도 정상 응답 · 정답 지연) · 거짓 경보 고충(면담 18명) · 0.99⁵⁰ = 60.5%
- 감시 대상 — 그림 3 다섯 대상(서비스 · 입력 · 모델 · 출력 · 성능 · 공정성) + 신호 시점 표
- 핵심 원리 — 그림 5 정답 지연과 대리 지표(ATC 식 · 18일 0.727 ↔ 25일 0.728)
- 운영 사례 — 그림 4 28일 감시(소진율 29.7 호출 · 결측 14.3% 티켓 · 집단 차이 0.212 호출)
- 경보 설계 — 증상 = 호출 · 원인 = 티켓 · 소진율 14.4 / 6 / 1 · 지속 시간 · 성능 신호 다섯 방식 비교표
- 고려 사항 — 집단별 공정성 · 되먹임 고리(예측이 정답을 바꿈) · MLOps 재학습 연계 · NIST MEASURE 2.4 · MANAGE 4.1
꼭 쓸 키워드
네 가지 핵심 신호학습-서빙 차이모델 나이정답 지연대리 지표ATC오류 예산 소진율호출티켓거짓 경보집단별 재현율
다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 «대리 지표 당일 0.727 ↔ 7일 뒤 정답 0.728» 과 «그동안 양성률은 0.288 로 조용» 을 함께 보이면, 출력 분포만 보는 감시가 왜 모자라고 대리 지표 경보가 왜 티켓 등급인지 한 번에 증명된다.
9오해와 사실
- 오해서버 지표(CPU · 지연 · 오류)가 정상이면 모델도 정상이다.사실머신러닝 모델은 틀린 예측도 정상 응답으로 내보내므로, 입력 불변식 · 예측 품질을 따로 재야 한다(Breck 2017 Monitor 2 · 7) — 사례 12 · 13일은 서비스 지표가 모두 정상인데 재현율이 0.620 에서 0.575 로 떨어졌다.
- 오해특징마다 경보를 걸수록 안전하다.사실특징이 많으면 적어도 하나가 임계를 넘을 확률이 커져 거짓 경보가 쌓이고, 담당자가 경보를 무시하게 된다(Shankar 2022 5.1절).
- 오해대리 지표가 정답 기반 성능을 대신할 수 있다.사실정답 없이 정확도를 알아내는 일은 이동의 종류에 대한 가정이 있어야만 가능하다(Garg 2022 3.1절) — 대리 지표는 정답이 올 때까지의 추정이다.
10핵심 정리
| 감시 대상 | 재는 값 | 신호 시점 | 사례 값 | 경보 등급 | 근거 |
|---|---|---|---|---|---|
| 서비스 | 지연 p99 · 오류 · 포화 | 즉시 | 6일 p99 704.8 ms · 소진율 29.7 | 호출 | SRE Workbook 5장 |
| 입력 | 결측 · 스키마 · 학습↔서빙 차이 | 즉시 | 12일 결측 14.27% | 티켓 | Breck Monitor 1 ~ 3 |
| 모델 | 판 번호 · 나이 · NaN | 즉시 | (사례 내내 정상) | 티켓 | Monitor 4 · 5 |
| 출력 | 양성률 · 점수 분포 | 즉시 | 0.279 ~ 0.306 · 경보 없음 | 기록 · 티켓 | Monitor 7 |
| 대리 지표 | ATC 추정 정확도 | 즉시 | 18일 0.727(기준 0.787) | 티켓 | Garg 2022 |
| 성능 | 정확도 · 재현율 | 정답 지연 뒤 | 25일 확인 0.728 | 호출 | Monitor 7 |
| 공정성 | 집단별 재현율 차이 | 정답 지연 뒤 | 0.613 ↔ 0.401 · 차이 0.212 | 호출 | NIST MEASURE 2.11 |
11참고 문헌
- 먼저 볼 문헌
- ★ The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction (IEEE Big Data 2017) — 운영 모델에서 무엇을 재야 하는가(감시 시험 Monitor 1 ~ 7)를 볼 때
- ★ Site Reliability Engineering — Chapter 6 Monitoring Distributed Systems — 네 가지 핵심 신호와 «증상 ↔ 원인» · 호출 경보의 조건을 볼 때
- ★ The Site Reliability Workbook — Chapter 5 Alerting on SLOs — 오류 예산 소진율과 다중 창 경보 값(14.4 · 6 · 1)을 볼 때
- ★ Leveraging Unlabeled Data to Predict Out-of-Distribution Performance (ICLR 2022 · arXiv 2201.04234) — 정답 없이 확신도 임계로 정확도를 추정하는 ATC 식을 볼 때
- 본문 근거
- Operationalizing Machine Learning: An Interview Study (arXiv 2209.09125) — S. Shankar · R. Garcia · J. M. Hellerstein · A. G. Parameswaran · 2022-09 ·
arxiv.org/abs/2209.09125· 확인 2026-11-12 - NIST AI 100-1 Artificial Intelligence Risk Management Framework (AI RMF 1.0) — NIST · 2023-01 ·
doi.org/10.6028/NIST.AI.100-1· 확인 2026-11-12 - Prometheus Documentation — Alerting rules — Prometheus Authors · 2026-11 ·
prometheus.io/docs/prometheus/latest/configuration/alerting_rules/· 확인 2026-11-12 - NumPy 2.4 Reference numpy.random.Generator — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12