AI › AI 엔지니어링(AI 시스템 운영) › MLOps

모델 모니터링Model Monitoring

운영 중인 머신러닝 모델의 서비스 지표 · 입력 · 출력 · 예측 성능 · 집단별 공정성을 계속 재어 대시보드에 보이고, 기준을 벗어나면 경보를 내어 대응으로 잇는 운영 활동이다. 정답이 늦게 오는 동안은 대리 지표로 성능을 추정한다.

1요약

  1. 모델 모니터링은 MLOps 되먹임 고리의 «재는» 단계로, 서비스 지표 · 입력 · 출력 · 성능 · 공정성 다섯 대상을 지표 시계열로 모아 대시보드와 경보 규칙 위에서 운영 모델의 상태를 판정한다(Breck 2017 5절 · NIST AI 100-1 MEASURE 2.4).
  2. 재는 것만 늘리면 경보가 무뎌진다 — 현장 엔지니어 18명 면담에서 가장 많이 나온 고충이 거짓 경보였고(Shankar 2022 5.1절), 특징 50개에 하루 1% 씩 거짓 경보가 나는 임계를 걸면 경보 없는 날이 60.5% 뿐이다(0.99⁵⁰ 직접 계산).
  3. 「모델 지표가 나쁘다」는 그 신호가 정답 없이 나온 값인가, 정답이 도착한 뒤의 값인가로 가른다 — 정답 없는 신호(입력 · 출력 · 대리 지표)는 조사를 여는 티켓으로, 정답 뒤 성능 · 공정성 미달은 즉시 대응하는 호출로 보낸다.

2등장 배경

일반 웹 서비스는 요청이 실패하면 오류 코드가 남지만, 머신러닝 모델은 틀린 예측도 정상 응답으로 내보낸다. 상류 데이터 팀이 특징의 단위나 수집 방식을 바꾸면 서버 지표는 그대로인 채 예측만 조용히 나빠진다(Breck 2017 Monitor 1). 정답(레이블)이 며칠 · 몇 주 뒤에 오는 일에서는 그동안 아무도 알아채지 못한다.

2016년 Google SRE 책은 서비스 감시의 기본을 지연 · 트래픽 · 오류 · 포화 네 가지 핵심 신호와 «증상에 호출하고 원인은 조사로» 라는 원칙으로 정리했다(SRE Book 6장). 2017년 Breck 등은 여기에 머신러닝 몫의 감시 시험 7개 — 의존 변경 알림 · 입력 불변식 · 학습 · 서빙 값 일치 · 모델 나이 · 수치 안정 · 계산 성능 · 예측 품질 — 를 더했다(Breck 2017 5절). 2022년 Garg 등은 정답 없는 데이터로 정확도를 추정하는 ATC 를 냈다(Garg 2022).

2023년 NIST AI RMF 1.0 은 운영 중 기능 · 동작 감시(MEASURE 2.4)와 배포 뒤 감시 계획 · 사고 대응(MANAGE 4.1)을 위험 관리 항목으로 두었다. 지금 모델 모니터링은 MLOps 의 재학습 트리거와 AI 신뢰의 공정성 점검이 함께 쓰는 운영 기반이다.

3쉽게 이해하기 — 날씨 예보 센터의 상황판

예보 센터는 관측소 수백 곳의 기온 · 습도 값을 받아 예보 모델을 돌리고, 저녁 뉴스에 내일 비 소식을 내보낸다. 예보가 맞았는지는 하루가 지나야 알 수 있어서, 당직 예보관은 그 사이 상황판으로 관측소가 꺼지지 않았는지, 방송이 제시간에 나갔는지, 모델 다섯 개의 의견이 얼마나 갈리는지를 본다. 다음 날 실제 날씨가 들어오면 지역마다 적중률을 적고, 한 지역만 자꾸 틀리면 책임 예보관을 부른다.

관측소 기온 · 습도 값 입력 특징 꺼지면 값이 비어 들어옴 예보실 예보 모델 다섯 모델 의견이 갈리면 자신 없는 날 저녁 방송 내일 비 70% 예측 출력 제시간에 나갔는가 1 2 실제 날씨 하루 뒤 도착 정답 · 지연 3 하루 지나서 상황판 관측 · 방송 · 적중 대시보드 지역별 적중률도 따로 바로 오름 4 당직 예보관 기준 밖이면 부름 경보 · 호출 5 이름표 = 실제 기술 이름 · 굵은 화살 = 값의 흐름 · 회색 화살 = 상황판에 바로 오르는 값

그림 1 · 관측 · 예보 · 방송은 바로 상황판에 오르고 실제 날씨는 하루 늦게 오른다 — 당직 예보관은 그 차이를 알고 상황판을 읽는다.

관측 받기관측소 값이 들어옴
예보 돌리기모델 다섯이 계산
방송 내보내기내일 비 70%
상황판 보기꺼진 관측소 · 갈린 의견
다음 날 대조지역별 적중률
당직 부르기한 지역만 계속 틀림
비유 — 모델 다섯의 비 확률 실제 — 대리 지표(ATC) 0% 50% 100% 보통 날 62 ~ 72% 로 모임 → 대부분 맞음 낯선 날 35 ~ 80% 로 흩어짐 → 틀린 날 많음 18일 당일 — 정답 없음 확신도 0.639 이상 비율 72.7% 추정 정확도 0.727 25일 — 18일 정답 도착 실제로 맞힌 비율 실제 정확도 0.728 7일 뒤 확인 점 = 모델 하나의 비 확률 · 점선 = 비유와 실제의 짝 · 오른쪽 값 = 본문 동작 절 사례(직접 실행)

그림 2 · 내일 날씨는 아직 모르지만 모델 다섯의 의견이 크게 갈린 날은 틀릴 날이 많다 — 확신이 높은 예측의 비율로 오늘 정확도를 미리 짐작하는 것이 대리 지표다.

비유 속 역할실제 이름실제로 하는 일
관측소입력 특징 · 상류 데이터결측률 · 스키마 · 학습과 같은 값인지 잰다
예보 모델서빙 중인 모델 판모델 나이 · 판 번호 · 수치 안정을 잰다
방송 시각서비스 지표지연 p99 · 오류율 · 포화를 잰다
의견 갈림출력 분포 · 대리 지표정답 없이 확신도로 정확도를 추정한다
다음 날 날씨지연 정답(레이블)도착한 뒤 정확도 · 재현율을 계산한다
지역별 적중률집단별 공정성 지표집단마다 재현율 차이를 본다
상황판대시보드지표 시계열을 판 · 집단별로 보인다
당직 호출경보 규칙 · 호출 · 티켓기준을 벗어나면 등급에 따라 사람을 부른다

⚠ 비유가 맞지 않는 곳: 날씨는 예보가 날씨를 바꾸지 않지만, 모델의 예측은 사용자 행동을 바꿔 정답 자체를 바꿀 수 있다(예: 지연 예측을 보고 배차를 바꾸면 실제 지연이 준다). 이때 도착한 정답만으로 잰 성능은 실제보다 좋거나 나쁘게 보인다.

4구조 — 다섯 감시 대상과 경보 경로

감시 대상은 요청이 지나는 순서대로 서비스 → 입력 → 모델 → 출력 → 정답 결합에 붙는다. 앞쪽일수록 신호가 바로 나오지만 «사용자에게 피해가 났는가»에서 멀고, 뒤쪽 성능 · 공정성은 피해를 직접 재지만 정답 지연만큼 늦다(Breck 2017 Monitor 7).

요청 수신 특징 조회 모델 추론 예측 응답 정답 결합 7일 뒤 도착 서비스 지연 p99 오류율 · 트래픽 포화(CPU · 메모리) 입력 결측률 · 스키마 학습↔서빙 값 차이 상류 변경 공지 모델 판 번호 · 나이 NaN · 무한대 추론 메모리 출력 · 대리 양성률 · 점수 분포 조각별 예측 평균 ATC 추정 정확도 성능 · 공정성 정확도 · 재현율 집단별 재현율 집단 차이 지표 저장소 · 대시보드 — 모델 판 · 데이터 판 · 집단별로 나눠 시계열 표시 기록만 추세 확인 · 조치 없음 티켓(근무 시간) 원인 지표 · 정답 없는 신호 호출(즉시) 증상 · 사용자 피해 경보 규칙(임계 · 지속 시간) 서비스 · 모델 입력 데이터 출력 · 대리 지표 정답(레이블) 기반 · 점선 = 늦게 오는 단계

그림 3 · 요청 경로의 다섯 지점에서 나온 지표가 한 저장소에 모이고, 경보 규칙이 증상 · 원인에 따라 호출 · 티켓 · 기록으로 나눈다.

대상대표 지표신호 시점무엇을 알려 주나근거
서비스지연 p99 · 오류율 · 트래픽 · 포화즉시응답이 제때 · 제대로 나가는가SRE Book 6장 · Breck 2017 Monitor 6
입력결측률 · 스키마 위반 · 학습↔서빙 값 차이즉시모델이 받는 값이 학습 때와 같은 뜻인가Monitor 1 · 2 · 3
모델판 번호 · 배포 뒤 나이 · NaN즉시의도한 판이 · 너무 늙지 않게 · 깨지지 않고 도는가Monitor 4 · 5
출력 · 대리예측 양성률 · 조각별 예측 평균 · ATC즉시정답 없이 본 품질의 방향Monitor 7 · Garg 2022
성능정확도 · 재현율 · 보정정답 지연 뒤실제로 틀리기 시작했는가Monitor 7
공정성집단별 재현율 · 차이정답 지연 뒤특정 집단만 손해를 보는가NIST AI 100-1 MEASURE 2.11

분포 거리(PSI · KS)로 입력 · 출력의 이동을 판정하는 통계는 드리프트가 맡고, 공정성 지표의 종류와 정의는 공정성 지표가 맡는다. 모델 모니터링은 그 값들을 언제 재고 어느 등급의 경보로 보내는지를 정한다.

🔑 빨리 나오는 지표는 원인에 가깝고 사용자 피해에서 멀며, 피해를 직접 재는 지표는 정답 지연만큼 늦다 — 모니터링 설계는 이 둘 사이의 빈 기간을 무엇으로 메울지 정하는 일이다.

5동작 — 배송 지연 예측 모델의 28일 감시

합성 데이터로 직접 실행한 사례다 — 실행 환경은 NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(7) · 로지스틱 회귀(IRLS 직접 구현)다. 과제 · 지연률 · 하루 4,000건 · 정답 지연 7일 · 모든 경보 임계는 설명용 가정 값이고, 소진율 14.4 만 SRE Workbook 5장 표의 값이다.

  1. 준비 — 학습 20,000건으로 모델을 맞추고 검증 5,000건에서 정확도 0.787 을 얻는다. ATC 임계는 «확신도가 임계 미만인 비율 = 검증 오류율»이 되는 0.639 다(Garg 2022 4절 식 1).
  2. 기준 기간(1 ~ 11일) — 지연 p99 87 ~ 93 ms · 거리 특징 결측률 0.15 ~ 0.40% · 예측 양성률 0.284 ~ 0.304 · ATC 추정 정확도 0.773 ~ 0.802 다.
  3. 6일차 서비스 — 의존 서비스가 느려져 300 ms 를 넘긴 요청이 2.98%, p99 가 704.8 ms 로 뛴다. 오류 예산 0.1% 기준 소진율 29.7 로 14.4 를 넘어 호출이 간다. 모델 지표(ATC 0.788)는 그대로다.
  4. 12 ~ 13일 입력 — 상류 주소 처리 변경으로 거리 결측률이 14.27% · 14.58% 로 뛰어 «결측률 2% 초과» 규칙이 티켓을 연다. 결측을 학습 평균으로 채워 예측 양성률(0.284 · 0.279)과 ATC(0.777 · 0.784)는 조용하다. 14일 상류 수정 뒤 0.30% 로 돌아온다.
  5. 19 ~ 20일 정답 도착 — 12 · 13일의 실제 정확도는 0.769 · 0.770, 재현율은 0.575 · 0.573(기준 기간 평균 0.620)이다. 입력 티켓이 실제 성능 손실이었음이 정답으로 확인된다.
  6. 18일차 새 지역 유입 — 하루 요청의 30% 가 새 배송 지역에서 오고 실제 지연률이 0.35 에서 0.41 로 오른다. 결측률 0.20% · 양성률 0.288 은 조용하지만 ATC 가 0.727 로 기준 0.787 보다 0.060 낮다. «ATC 0.757 미만 2일 연속» 규칙이 19일(0.751)에 티켓을 열고 새 지역 표본의 사람 검수를 시작한다.
  7. 25일 정답 도착 — 18일 실제 정확도 0.728 로 ATC 추정과 0.001 차이다. 재현율은 기존 지역 0.613 · 새 지역 0.401 로 차이 0.212 가 «집단 차이 0.10 초과» 규칙에 걸려 호출이 간다. 전체 재현율 0.521 만 보면 이 차이는 보이지 않는다.
  8. 대응 — 새 지역 예측을 사람 확인 경로로 돌리고 새 지역 데이터를 담은 재학습을 요청한다. 재학습 · 승격은 MLOps 파이프라인이 맡는다.
서비스 입력 출력 대리 성능 · 공정성 1 6 12 18 24 28일 3 p99 704.8 ms · 소진율 29.7 → 호출 4 결측 14.3 · 14.6% → 티켓 양성률 0.279 ~ 0.306 — 28일 내내 경보 없음 6 ATC 0.727 · 19일 티켓 5 12 · 13일 정답 0.769 · 0.770 7 0.728 · 재현율 0.613 ↔ 0.401 → 호출 호출 티켓 정답 도착(7일 뒤) 경보 없이 지나간 지표

그림 4 · 세 사건이 서로 다른 감시 대상에서 먼저 잡혔다 — 서비스 장애는 당일 호출, 입력 결측과 새 지역은 당일 티켓, 집단 차이는 정답이 온 7일 뒤에야 호출로 확정됐다.

정답 지연 7일 — 대리 지표만 보이는 구간 0.70 0.74 0.78 0.82 기준 0.787 티켓 임계 0.757 18일 ATC 0.727 25일 실제 0.728 1 8 18 25 28일 ATC 추정 정확도(당일) 실제 정확도(정답이 온 날에 표시)

그림 5 · 정답 기반 정확도(점선)는 7일 늦게 그려지고, 그 빈 기간 동안 대리 지표(실선)가 18일의 하락을 먼저 보인다 — 25일에 도착한 정답이 그 추정을 0.001 차이로 확인한다.

🔑 대리 지표는 정답을 대신하지 않고 정답이 올 때까지의 빈 기간을 메운다 — 그래서 대리 지표의 경보는 티켓으로, 정답이 확인한 미달만 호출로 보낸다.

6비교 — 성능 신호를 얻는 다섯 방식

기준지연 정답 대기사람 표본 검수대리 지표(ATC 등)분포 지표(PSI · KS)사업 지표(전환 · 민원)
신호 시점정답 지연 뒤(사례 7일)검수 주기(하루 ~ 주)즉시즉시즉시 ~ 수일
비용정답 수집 체계만 있으면 낮음검수 건수에 비례계산만계산만다른 팀 지표 연동
성능을 재는가직접 잰다표본만큼 직접 잰다가정 아래 추정(Garg 2022)재지 않는다(이동만)간접(모델 밖 원인 섞임)
놓치는 것지연 기간의 손실표본에 안 든 조각같은 입력에서 정답 관계가 바뀐 경우해 없는 이동을 경보 · 관계 변화원인이 모델인지 구분
맞는 경보 등급호출호출 · 티켓티켓티켓 · 기록기록 · 다른 팀 공유

분석정답이 늦게 오는 모델은 «대리 지표 + 분포 지표로 티켓 → 사람 표본 검수로 범위 좁히기 → 지연 정답으로 호출 판정» 순서로 쌓는다. 근거는 표의 「성능을 재는가」 행 — 성능을 직접 재는 방식은 늦거나 비싸고, 즉시 나오는 방식은 추정 · 이동만 보이며, Garg 2022 도 정답 없는 정확도 추정은 이동 종류에 대한 가정 없이는 불가능하다고 밝혔다.

7실무 진단 — 모니터링 경보와 침묵의 원인 가르기

분석경보가 오면 서비스 → 입력 → 모델 판 → 출력 · 대리 → 정답 기반 성능 순서로 본다. 앞 단계 문제(장애 · 결측 · 판 착오)는 뒤 단계 지표를 모두 흔들어 원인을 가리고, 정답 기반 지표는 가장 늦게 오기 때문이다(Breck 2017 Monitor 1 · 7).

#증상의심 원인단계확인 자료판정 기준(근거)
1지연 · 오류 경보, 모델 지표는 그대로의존 서비스 지연 · 자원 포화서비스p99 · 포화도 · 의존 호출 시간소진율 14.4(1시간 · 5분 창) = 호출(SRE Workbook 5장 표 5-8)
2결측 · 스키마 경보상류 수집 · 형식 변경입력결측률 · 스키마 대조 · 상류 변경 공지스키마 위반은 경보 · 의존 변경은 공지 구독(Breck 2017 Monitor 1 · 2)
3오프라인 성능은 좋은데 운영 성능만 나쁨학습 · 서빙 특징 계산 경로 차이입력같은 ID 의 서빙 특징 로그 ↔ 학습 특징같은 예제는 값이 같아야 함(Monitor 3)
4대리 지표 하락 · 정답 아직 없음새 집단 유입 · 분포 이동출력 · 대리ATC · 조각별 예측 평균 · 표본 검수정답 도착 뒤 성능으로 확정(Garg 2022 · Monitor 7)
5전체 성능은 기준 안인데 민원 증가집단 · 조각별 실패가 평균에 묻힘공정성집단별 재현율 · 차이집단별 평가 · 기록(NIST AI 100-1 MEASURE 2.11)
6경보가 많아 담당자가 무시함특징마다 임계 · 짧은 지속 시간경보 규칙경보별 조치 비율 · 같은 경보 반복 횟수조치 없는 경보는 호출이 아님(SRE Book 6장)

경보가 깜빡이면 Prometheus 경보 규칙의 for(조건이 그 시간 동안 이어져야 발령 · 그 전은 대기 상태)와 keep_firing_for(조건이 풀린 뒤에도 그 시간 동안 유지)로 지속 시간을 둔다(Prometheus 경보 규칙). 다른 감시 도구도 «지속 시간 · 해제 지연» 이름으로 같은 설정을 둔다.

8시험 대비

시험에서는 모델 모니터링의 대상 · 지표를 묻는 정의 · 특징형, 운영 모델의 감시 체계를 세우라는 구현 · 설계형이 나올 수 있다. 정의형은 다섯 대상과 신호 시점(그림 3 · 구조 표)을 보이고 정답 지연과 대리 지표로 마무리하며, 설계형은 경보 등급(호출 · 티켓 · 기록)과 판정 순서를 사례 값으로 보인다. 드리프트와 함께 물으면 «드리프트 = 분포 변화라는 현상과 탐지 통계 · 모니터링 = 무엇을 언제 재고 누구를 부르나»로 경계를 긋는다.

답안 목차
  1. 개요 — 정의 · 필요성(틀린 예측도 정상 응답 · 정답 지연) · 거짓 경보 고충(면담 18명) · 0.99⁵⁰ = 60.5%
  2. 감시 대상 — 그림 3 다섯 대상(서비스 · 입력 · 모델 · 출력 · 성능 · 공정성) + 신호 시점 표
  3. 핵심 원리 — 그림 5 정답 지연과 대리 지표(ATC 식 · 18일 0.727 ↔ 25일 0.728)
  4. 운영 사례 — 그림 4 28일 감시(소진율 29.7 호출 · 결측 14.3% 티켓 · 집단 차이 0.212 호출)
  5. 경보 설계 — 증상 = 호출 · 원인 = 티켓 · 소진율 14.4 / 6 / 1 · 지속 시간 · 성능 신호 다섯 방식 비교표
  6. 고려 사항 — 집단별 공정성 · 되먹임 고리(예측이 정답을 바꿈) · MLOps 재학습 연계 · NIST MEASURE 2.4 · MANAGE 4.1

꼭 쓸 키워드
네 가지 핵심 신호학습-서빙 차이모델 나이정답 지연대리 지표ATC오류 예산 소진율호출티켓거짓 경보집단별 재현율

다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 «대리 지표 당일 0.727 ↔ 7일 뒤 정답 0.728» 과 «그동안 양성률은 0.288 로 조용» 을 함께 보이면, 출력 분포만 보는 감시가 왜 모자라고 대리 지표 경보가 왜 티켓 등급인지 한 번에 증명된다.

9오해와 사실

  • 오해서버 지표(CPU · 지연 · 오류)가 정상이면 모델도 정상이다.
    사실머신러닝 모델은 틀린 예측도 정상 응답으로 내보내므로, 입력 불변식 · 예측 품질을 따로 재야 한다(Breck 2017 Monitor 2 · 7) — 사례 12 · 13일은 서비스 지표가 모두 정상인데 재현율이 0.620 에서 0.575 로 떨어졌다.
  • 오해특징마다 경보를 걸수록 안전하다.
    사실특징이 많으면 적어도 하나가 임계를 넘을 확률이 커져 거짓 경보가 쌓이고, 담당자가 경보를 무시하게 된다(Shankar 2022 5.1절).
  • 오해대리 지표가 정답 기반 성능을 대신할 수 있다.
    사실정답 없이 정확도를 알아내는 일은 이동의 종류에 대한 가정이 있어야만 가능하다(Garg 2022 3.1절) — 대리 지표는 정답이 올 때까지의 추정이다.

10핵심 정리

감시 대상재는 값신호 시점사례 값경보 등급근거
서비스지연 p99 · 오류 · 포화즉시6일 p99 704.8 ms · 소진율 29.7호출SRE Workbook 5장
입력결측 · 스키마 · 학습↔서빙 차이즉시12일 결측 14.27%티켓Breck Monitor 1 ~ 3
모델판 번호 · 나이 · NaN즉시(사례 내내 정상)티켓Monitor 4 · 5
출력양성률 · 점수 분포즉시0.279 ~ 0.306 · 경보 없음기록 · 티켓Monitor 7
대리 지표ATC 추정 정확도즉시18일 0.727(기준 0.787)티켓Garg 2022
성능정확도 · 재현율정답 지연 뒤25일 확인 0.728호출Monitor 7
공정성집단별 재현율 차이정답 지연 뒤0.613 ↔ 0.401 · 차이 0.212호출NIST MEASURE 2.11

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction (IEEE Big Data 2017) — 운영 모델에서 무엇을 재야 하는가(감시 시험 Monitor 1 ~ 7)를 볼 때
    IEEE · 2017-12 · research.google/pubs/the-ml-test-score-a-rubric-for-ml-production-readiness-and-technical-debt-reduction/ · 확인 2026-11-12
  3. ★ Site Reliability Engineering — Chapter 6 Monitoring Distributed Systems — 네 가지 핵심 신호와 «증상 ↔ 원인» · 호출 경보의 조건을 볼 때
    Google · O'Reilly · 2016-04 · sre.google/sre-book/monitoring-distributed-systems/ · 확인 2026-11-12
  4. ★ The Site Reliability Workbook — Chapter 5 Alerting on SLOs — 오류 예산 소진율과 다중 창 경보 값(14.4 · 6 · 1)을 볼 때
    Google · O'Reilly · 2018-08 · sre.google/workbook/alerting-on-slos/ · 확인 2026-11-12
  5. ★ Leveraging Unlabeled Data to Predict Out-of-Distribution Performance (ICLR 2022 · arXiv 2201.04234) — 정답 없이 확신도 임계로 정확도를 추정하는 ATC 식을 볼 때
    S. Garg · S. Balakrishnan · Z. C. Lipton · B. Neyshabur · H. Sedghi · 2022-01 · arxiv.org/abs/2201.04234 · 확인 2026-11-12
  6. 본문 근거
  7. Operationalizing Machine Learning: An Interview Study (arXiv 2209.09125) — S. Shankar · R. Garcia · J. M. Hellerstein · A. G. Parameswaran · 2022-09 · arxiv.org/abs/2209.09125 · 확인 2026-11-12
  8. NIST AI 100-1 Artificial Intelligence Risk Management Framework (AI RMF 1.0) — NIST · 2023-01 · doi.org/10.6028/NIST.AI.100-1 · 확인 2026-11-12
  9. Prometheus Documentation — Alerting rules — Prometheus Authors · 2026-11 · prometheus.io/docs/prometheus/latest/configuration/alerting_rules/ · 확인 2026-11-12
  10. NumPy 2.4 Reference numpy.random.Generator — NumPy developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12