AI › AI 엔지니어링(AI 시스템 운영) › MLOps

드리프트Drift

학습 때와 운영 때의 데이터 분포가 달라져, 학습한 모델이 지금 들어오는 데이터와 맞지 않게 되는 현상이다. 입력 분포가 바뀌는 데이터 드리프트와 입력과 정답의 관계가 바뀌는 개념 드리프트로 나뉜다.

1요약

  1. 드리프트는 결합 분포 P(X, y) 가 시점마다 달라지는 현상으로(Lu 2019 2.1절), P(X) 쪽 변화(데이터 드리프트)와 P(y|X) 쪽 변화(개념 드리프트)로 나뉘며, 그 위에서 PSI · KS 검정 · 오차율 감시가 MLOps 의 모델 감시를 맡는다.
  2. 입력 분포만 보는 감시는 관계가 바뀐 변화를 놓친다 — 합성 대출 심사 사례에서 9주차부터 실제 연체율이 26.4%로 올랐지만 예측은 13.6%였고 입력 PSI 는 0.01 미만으로 조용했다.
  3. 「모델이 이상하다」는 입력 지표가 움직였는가, 정답이 들어온 뒤 오차가 움직였는가로 가른다 — 입력만 움직이면 데이터 드리프트(해가 없을 수도 있음), 입력은 조용한데 오차만 움직이면 개념 드리프트다.

2등장 배경

학습한 분류기는 «앞으로 올 데이터도 학습 데이터와 같은 분포»라는 가정 위에 선다. 메일 분류 · 신용 평가 · 수요 예측처럼 시간이 흐르는 문제에서는 이 가정이 깨져, 시험 점수가 높던 모델이 운영 몇 달 뒤 조용히 틀리기 시작했다.

Schlimmer · Granger(1986)는 시간에 따라 바뀌는 개념을 따라가는 학습기 STAGGER 를 내며 「개념 드리프트」라는 말을 썼고, Widmer · Kubat(1996)는 계절처럼 보이지 않는 맥락이 개념을 바꾼다는 「숨은 맥락」을 정리했다. 탐지 쪽에서는 Gama 외(2004)의 DDM 이 오차율에 경고 · 드리프트 두 수준을 두었고, Bifet · Gavaldà(2007)의 ADWIN 이 창 크기를 스스로 정했다(Lu 2019 3.2절). Moreno-Torres 외(2012)는 이름이 흩어진 개념을 공변량 이동 · 사전 확률 이동 · 개념 이동으로 묶었다.

신용 평가에서는 입력 변수의 구간 비율을 비교하는 PSI 가 오래 쓰였고(Yurdakul 2018), Rabanser 외(2019)는 특징마다 KS 검정을 하고 Bonferroni 로 묶는 단순한 방법이 다변량 검정과 비슷한 성능임을 보였다(4절). 지금은 MLOps 의 모델 모니터링이 이 지표들로 운영 중인 모델을 감시한다.

3쉽게 이해하기 — 분식집 주인의 «내일 재료»

분식집 주인 민호는 10년 동안 쓴 장부를 보고 아침마다 떡볶이 재료를 준비한다. 3월에 길 건너 학원이 열려 학생 손님이 크게 늘었다 — 장부의 손님 칸이 달라졌지만 학생은 원래 떡볶이를 좋아해 재료는 맞았다. 6월에는 손님 얼굴은 그대로인데 같은 직장인들이 더위에 떡볶이 대신 냉면을 시켰다. 장부의 손님 칸은 그대로였고, 민호는 저녁에 남은 떡을 세고서야 알았다.

1 손님 나이 · 시간대 입력 X 2 주인의 감 10년 장부로 익힘 모델 f(X) 3 준비한 재료 아침에 정함 예측 ŷ 4 남은 재료 저녁에야 앎 정답 y 와 비교 5 학원 개원 손님층이 바뀜 데이터 드리프트 6 여름 — 같은 손님이 냉면을 시킴 손님 칸은 그대로 · 손님과 주문의 관계가 바뀜 개념 드리프트 장부의 손님 칸 비교 → PSI · KS 정답 없이 바로 · 5 는 잡고 6 은 못 봄 남은 재료 세기 → 오차율 감시 6 도 잡지만 정답이 늦게 온다 입력 모델 출력 · 감시 정답 바뀌는 일(드리프트)

그림 1 · 손님층이 바뀌면 장부에서 바로 보이지만, 같은 손님의 입맛이 바뀌면 장부는 조용하고 저녁에 남은 재료를 세야 보인다.

장부 익히기10년 기록
재료 준비아침마다
학원 개원학생 손님 늘어남
장부 비교손님 칸이 달라짐
여름같은 손님 다른 주문
남은 떡저녁에야 앎
비유 — 장부의 손님 칸(%)과 남은 떡 기준 주 3월 주 6월 주 학생 · 직장인 · 어르신 55 · 32 · 13 30 · 50 · 20 장부 차이 — 큼 없음 남은 떡 0.5 kg 0.6 kg 4 kg 막대 = 학생 · 직장인 · 어르신 비율 · 기준 주 30 · 50 · 20 실제 — 대응 이름 손님 나이대 칸 입력 분포 P(X) 장부 차이 PSI · KS 남은 떡 정답 뒤 오차 6월 · 장부 같음 떡은 남음 개념 P(y|X) 변화 굵은 테두리 = 놓친 변화

그림 2 · 3월에는 장부가 크게 달라졌는데 떡은 거의 남지 않았고, 6월에는 장부가 기준 주와 같은데 떡이 여덟 배 남았다 — 장부만 보면 6월을 놓친다.

비유 속 역할실제 이름실제로 하는 일
손님입력 X모델에 들어오는 특징 값(소득 · 부채 비율 등)
10년 장부학습 데이터 · 기준 분포감시 지표가 비교 기준으로 삼는 분포
주인의 감모델 f(X)학습 때의 P(y|X) 를 담은 규칙
학원 개원데이터 드리프트P(X) 가 바뀜 · 관계는 그대로일 수 있음
여름의 냉면개념 드리프트같은 X 에서 정답 y 가 달라짐
장부 비교PSI · KS 검정정답 없이 입력 분포만 비교
저녁에 남은 떡오차율 · 보정 차이정답이 들어온 뒤에야 계산
메뉴 다시 짜기모델 갱신 · 재학습탐지 뒤의 대응 · 「모델 갱신(드리프트 대응)」에서 다룸

⚠ 비유가 맞지 않는 곳: 민호는 손님 얼굴을 보고 더위를 느껴 입맛 변화를 짐작할 수 있지만, 모델은 학습한 특징 밖의 맥락(계절 · 금리)을 보지 못한다. 또 분식집의 정답은 하루 만에 오지만, 대출 연체처럼 정답이 몇 주 ~ 몇 달 뒤에 오는 문제가 많다.

4구조 — 분포의 분해와 탐지 지점

결합 분포를 P(X, y) = P(X) · P(y|X) 로 나누면 드리프트의 근원이 셋이고(Lu 2019 2.1절), 근원마다 쓸 수 있는 탐지 지표와 필요한 자료가 다르다.

결합 분포 P(X, y) P(X) 입력 분포 바뀌면 데이터 드리프트 (공변량 이동) P(y) 레이블 비율 바뀌면 사전 확률 이동 (레이블 드리프트) P(y|X) 관계 바뀌면 개념 드리프트 (결정 경계 이동) 입력 분포 비교 PSI · KS · 카이제곱 정답 불필요 · 바로 출력 분포 비교 점수 PSI · 예측 양성 비율 정답 불필요 · 대리 지표 오차 · 보정 감시 DDM · ADWIN · 실제 − 예측 정답이 온 뒤에만 입력 레이블 관계(모델이 배운 것) 탐지 지표(채움 = 정답 필요) 점선 = 간접으로만 보임

그림 3 · 입력 분포 변화는 정답 없이 PSI · KS 로 바로 잡히지만, 입력과 정답의 관계 변화는 정답이 들어온 뒤의 오차로만 잡힌다.

요소무엇이 바뀌나사례 값근거
데이터 드리프트P(X) · 결정 경계는 그대로일 수 있음(가상 드리프트)소득 평균 3.5 → 4.0 · PSI 0.29Lu 2019 2.1절 Source I
개념 드리프트P(y|X) · 정확도가 떨어짐(실제 드리프트)같은 입력 분포에서 연체율 13.4 → 26.4%Lu 2019 2.1절 Source II
사전 확률 이동P(y) · 클래스 비율예측 양성 비율로 간접 확인Moreno-Torres 2012
시간 유형급변 · 점진(두 개념이 섞임) · 증가(조금씩) · 재발(옛 개념 복귀)사례 = 급변 두 번Lu 2019 2.2절
PSIΣ(aᵢ − eᵢ) · ln(aᵢ / eᵢ) · 기준 분위 구간 10개0.10 · 0.25 경험값Yurdakul 2018
KS 검정두 경험 누적분포의 최대 차 Dp < 0.05 ÷ 특징 수NIST 1.3.5.16 · Rabanser 2019 3.2절
오차 감시오차율 p + s 가 최저점보다 2s · 3s 위 → 경고 · 드리프트정답 지연 4주(가정)Gama 2004 · Lu 2019 4.1절

5동작 — 합성 대출 심사 모델의 12주 감시

아래 값은 합성 데이터를 만들어 직접 돌린 결과다 — NumPy 2.4.3 default_rng(11)(Python 3.14.0)로 만들고 로지스틱 회귀 · PSI · KS · AUROC 를 NumPy 로 구현했다. 소득 · 부채 비율 · 연체 규칙은 설명용 가정 값이다.

  1. 학습 — 신청자 20,000명(월 소득 ~ N(3.5, 0.9) 백만 원 · 부채 비율 ~ N(40, 10)%)으로 연체 확률 모델을 맞춘다. 연체율 13.4% · AUROC 0.743 · 소득 계수 −0.774 · 부채 비율 계수 +0.070.
  2. 기준 — 1 ~ 4주 매주 2,000명. 소득 PSI 0.004 ~ 0.006 · 예측 연체율 13.1 ~ 13.7% 로 실제와 1.3%p 안쪽이다.
  3. 데이터 드리프트 — 5주차에 새 제휴 경로로 소득 평균이 4.0 으로 오른다. 소득 PSI 0.29(0.25 이상) · KS D 0.224 · p < 0.0001 로 그 주에 경보가 울린다.
  4. 영향 확인 — 4주 뒤 들어온 5주차 정답은 실제 연체율 10.9% · 예측 10.2% · AUROC 0.739 다. 모델의 관계가 그대로라 예측도 함께 내려갔다.
  5. 개념 드리프트 — 9주차에 금리가 올라 같은 소득 · 부채 비율에서 연체 로짓이 0.9 커진다. 입력은 기준과 같아 소득 PSI 0.009 · 점수 PSI 0.005 · KS p 0.71 로 모두 조용하다.
  6. 거짓 경보 — 10 · 11주차 KS p 는 0.036 · 0.007 로 0.05 아래지만 입력은 바뀌지 않았다. 12주 검정을 Bonferroni 로 묶으면 기준은 0.05 ÷ 12 = 0.0042 라 둘 다 경보가 아니다.
  7. 정답 도착 — 13주차에 9주차 정답이 들어와 실제 연체율 26.4% · 예측 13.6%(보정 차이 +12.8%p)가 드러난다. AUROC 는 0.764 로 그대로라 순위 지표로는 보이지 않는다.
12주 감시 · 합성 데이터 · 매주 2,000명 소득 PSI 0 0.3 0.10 0.25 3 경보 0.29 5 조용함 0.009 보정 차이 실제 − 예측 단위 %p 0 +14 12.8 1 4 5 8 9 12 주(보정 차이 막대 = 그 주 신청자의 정답이 4주 뒤 들어와 계산한 값) 정답 지연 4주 7 13주 정상 범위 드리프트 구간 보정 차이(정상)

그림 4 · 소득 PSI 는 5주차 데이터 드리프트에 바로 0.29 로 뛰지만 9주차 개념 드리프트에는 0.01 아래로 조용하고, 그 변화는 정답이 온 13주차에 보정 차이 +12.8%p 로만 보인다.

무엇이 움직이나 — 입력 구름 ↔ 결정 경계 기준(1 ~ 4주) 데이터 드리프트(5 ~ 8주) 개념 드리프트(9 ~ 12주) 위험 판정 승인 구름 이동 → 가로 월 소득 · 세로 부채 비율 가로 월 소득 · 세로 부채 비율 가로 월 소득 · 세로 부채 비율 PSI 평균 0.005 0.29 · 경보 0.008 · 조용함 차이 평균 −0.5%p +0.1%p +12.4%p 신청자 구름(±2σ) 모델 경계(연체 확률 0.2 · 점선 = 낡은 경계) 실제 경계 · 음영 = 판정이 바뀐 영역

그림 5 · 데이터 드리프트는 점 구름이 움직이고 경계는 그대로라 입력 지표가 잡고, 개념 드리프트는 구름은 그대로이고 경계가 움직여 입력 지표가 잡지 못한다.

🔑 입력 분포 지표는 «들어오는 데이터가 달라졌는가»만 답하고 «모델이 틀리기 시작했는가»는 답하지 못한다 — 개념 드리프트는 정답이 들어오는 속도만큼 늦게 보인다.

6비교 — 입력 분포 · 출력 분포 · 오차 기반 탐지

기준PSI(구간 비율)KS 검정(특징별)출력 점수 PSI · 양성 비율오차 기반(DDM · ADWIN)
정답 필요없음없음없음있음 · 지연만큼 늦음
개념 드리프트못 봄(사례 0.009)못 봄(사례 p 0.71)못 봄(사례 0.005)봄(사례 +12.8%p)
표본 수에 따른 변화작은 표본에서 잡음만큼 오름 · 20만 건 평균 차 0.02 는 0.0008큼 · 20만 건이면 평균 차 0.02 에도 p ≈ 5 × 10⁻¹³PSI 와 같음창 크기 · 신뢰 수준 δ 에 달림
판정 기준경험값 0.10 · 0.25(오류율 근거 없음)유의 수준 ÷ 특징 수(Bonferroni)경험값2σ 경고 · 3σ 드리프트 · δ
원인 위치특징 · 구간까지특징까지모델 전체 하나시점(언제)까지

분석정답이 늦게 오는 문제는 입력 PSI 를 매주 보되 경보를 «조사 시작»으로만 쓰고 조치는 정답이 들어온 뒤 오차 기반 지표로 정한다. 근거는 표의 「개념 드리프트」 행 — 정답 없는 지표 셋이 모두 9주차 변화를 놓쳤고, KS 는 「표본 수」 행처럼 큰 표본에서 해 없는 차이에도 경보를 낸다(Rabanser 2019 4절의 MNIST 분할도 p 2.7 × 10⁻¹⁰ 이었으나 해가 없다고 판정).

7실무 진단 — 드리프트 경보의 원인 가르기

분석데이터 품질 → 입력 분포 → 출력 분포 → 정답 뒤 오차 순으로 본다. 파이프라인 오류(단위 · 결측 코드)도 PSI 를 올려 드리프트처럼 보이고, 입력 변화가 오차로 이어졌는지는 정답 뒤에야 판정되기 때문이다(Lu 2019 2.1절 Source I · II).

#증상의심 원인단계확인 자료판정 기준(근거)
1여러 특징 PSI 가 같은 날 함께 급등수집 · 변환 변경(단위 · 결측 코드)데이터 품질스키마 · 결측률 · 값 범위배포 날짜와 겹치면 드리프트가 아니라 품질 문제 → 데이터 품질
2한 특징 PSI 0.25 이상 · 오차는 그대로해 없는 데이터 드리프트입력 분포정답 뒤 보정 차이 · AUROC사례 5주차 PSI 0.29 · 보정 차이 +0.7%p(Lu 2019 Source I)
3KS 경보가 매주 몇 개씩다중 검정 · 큰 표본판정 기준검정 수 · 표본 수 · PSI 병기p < 0.05 ÷ 검정 수(Rabanser 2019 3.2절 · 사례 6단계)
4입력 지표는 조용 · 실제 양성률이 예측보다 높음개념 드리프트정답 뒤 오차보정 차이 · 오차율 추세오차율이 최저점 + 3s 위(Gama 2004 · 사례 +12.8%p)
5해마다 같은 달에 경보재발 드리프트(계절)시간 유형지난해 같은 달 기준 PSI같은 달 기준이면 조용(Lu 2019 2.2절)

경보 뒤의 재학습 · 창 교체 · 앙상블 같은 대응은 여기서 다루지 않는다 — 반도체 계측 모델에 쓰는 대응은 「모델 갱신(드리프트 대응)」이 맡는다.

8시험 대비

시험에서는 드리프트의 정의 · 종류 · 탐지 지표를 묻는 정의 · 특징형, 그리고 데이터 드리프트와 개념 드리프트를 견주는 비교형이 나올 수 있다. 종류를 P(X) · P(y|X) 분해로 쓰고 «정답 지연» 을 탐지 한계로 짚으면 나열을 넘는다.

답안 목차
  1. 개요 — 정의(결합 분포 P(X, y) 의 시점 간 변화 · Lu 2019) · 운영 모델이 조용히 틀리는 이유
  2. 종류 — 그림 3 분해: 데이터 드리프트 P(X) · 사전 확률 이동 P(y) · 개념 드리프트 P(y|X) · 시간 유형 넷
  3. 탐지 지표 — PSI 식과 경험값 0.10 · 0.25 · KS 통계량 D + Bonferroni · DDM 2σ / 3σ
  4. 사례 — 그림 4 12주 감시(5주차 PSI 0.29 경보 · 9주차 조용함 · 13주차 +12.8%p)
  5. 핵심 원리 — 그림 5 구름 이동 ↔ 경계 이동 · 입력 지표의 한계와 정답 지연
  6. 대응 방향 — 입력 경보 = 조사 · 오차 경보 = 조치 · 재학습은 모델 갱신 몫 · MLOps 감시 체계

꼭 쓸 키워드
데이터 드리프트개념 드리프트공변량 이동사전 확률 이동PSIKS 검정Bonferroni 보정DDMADWIN정답 지연

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 지표가 데이터 드리프트에는 0.29, 개념 드리프트에는 0.009 를 내는 것을 숫자로 보이는 것이다 — 「드리프트를 감시한다」 한 줄 대신 어떤 지표가 무엇을 못 보는지를 보인다.

9오해와 사실

  • 오해드리프트가 잡히면 모델 성능이 떨어진 것이다.
    사실사례 5주차의 소득 PSI 는 0.29 였지만 정답 뒤 보정 차이는 +0.7%p · AUROC 0.739 로 학습 때(0.743)와 같았다 — P(X) 만 바뀌면 결정 경계는 그대로일 수 있다(Lu 2019 Source I).
  • 오해KS 검정 p 값이 0.05 아래면 드리프트다.
    사실사례에서 입력이 바뀌지 않은 10 · 11주차도 p 0.036 · 0.007 이었고, 20만 건 표본은 평균 차 0.02(표준편차의 2%)에도 p ≈ 5 × 10⁻¹³ · PSI 0.0008 이었다.
  • 오해AUROC 를 감시하면 개념 드리프트를 잡는다.
    사실사례 9주차는 연체 확률이 고르게 올라 순위가 유지돼 AUROC 0.764 였고, 실제 − 예측 연체율 +12.8%p 로만 드러났다.

10핵심 정리

구분바뀌는 것정답 필요대표 지표사례 값근거
데이터 드리프트P(X)없음PSI · KS5주차 PSI 0.29Lu 2019 2.1절
개념 드리프트P(y|X)있음오차율 · 보정 차이9주차 +12.8%pLu 2019 2.1절
사전 확률 이동P(y)간접예측 양성 비율 · 점수 PSI—Moreno-Torres 2012
시간 유형바뀌는 모양—급변 · 점진 · 증가 · 재발급변 두 번Lu 2019 2.2절
PSI구간 비율 차없음0.10 · 0.25 경험값0.005 → 0.29Yurdakul 2018
KS 검정누적분포 최대 차 D없음p < α ÷ 검정 수D 0.224 · 기준 0.0042NIST 1.3.5.16 · Rabanser 2019
DDM · ADWIN오차율 · 평균 차있음2σ · 3σ · δ정답 지연 4주Gama 2004 · Bifet 2007
정답 지연탐지 시점—레이블 도착 간격9주 → 13주사례 7단계

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Learning under Concept Drift: A Review (IEEE Transactions on Knowledge and Data Engineering 31(12) 2346-2363 · arXiv 2004.05785) — 결합 분포로 정의한 드리프트 · 세 근원 · 네 유형 · 탐지 알고리즘 분류를 볼 때
    J. Lu · A. Liu · F. Dong · F. Gu · J. Gama · G. Zhang · 2019-12 · arxiv.org/abs/2004.05785 · 확인 2026-11-09
  3. ★ Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift (NeurIPS 2019 · arXiv 1810.11953) — 특징마다 KS 검정 + Bonferroni 보정과 모델 출력으로 이동을 찾는 법을 볼 때
    S. Rabanser · S. Günnemann · Z. C. Lipton · 2019-10 · arxiv.org/abs/1810.11953 · 확인 2026-11-09
  4. ★ Statistical Properties of Population Stability Index (Western Michigan University 박사 논문) — PSI 경험값(0.10 · 0.25)과 그 한계를 볼 때
    Western Michigan University · 2018-04 · scholarworks.wmich.edu/dissertations/3208/ · 확인 2026-11-09
  5. ★ NIST/SEMATECH e-Handbook of Statistical Methods 1.3.5.16 Kolmogorov-Smirnov Goodness-of-Fit Test — KS 통계량 D 의 정의와 민감한 구간을 볼 때
    NIST · 2026-11 · www.itl.nist.gov/div898/handbook/eda/section3/eda35g.htm · 확인 2026-11-09
  6. 본문 근거
  7. Incremental Learning from Noisy Data (Machine Learning 1(3) 317-354) — Springer · 1986-09 · doi.org/10.1007/BF00116895 · 확인 2026-11-09
  8. Learning in the Presence of Concept Drift and Hidden Contexts (Machine Learning 23(1) 69-101) — Springer · 1996-04 · doi.org/10.1007/BF00116900 · 확인 2026-11-09
  9. Learning with Drift Detection (SBIA 2004 · LNCS 3171 286-295) — Springer · 2004-09 · doi.org/10.1007/978-3-540-28645-5_29 · 확인 2026-11-09
  10. Learning from Time-Changing Data with Adaptive Windowing (SIAM SDM 2007 443-448) — SIAM · 2007-04 · doi.org/10.1137/1.9781611972771.42 · 확인 2026-11-09
  11. A Unifying View on Dataset Shift in Classification (Pattern Recognition 45(1) 521-530) — Elsevier · 2012-01 · doi.org/10.1016/j.patcog.2011.06.019 · 확인 2026-11-09
  12. A Survey on Concept Drift Adaptation (ACM Computing Surveys 46(4) Article 44) — ACM · 2014-04 · doi.org/10.1145/2523813 · 확인 2026-11-09
  13. NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-09