드리프트Drift
학습 때와 운영 때의 데이터 분포가 달라져, 학습한 모델이 지금 들어오는 데이터와 맞지 않게 되는 현상이다. 입력 분포가 바뀌는 데이터 드리프트와 입력과 정답의 관계가 바뀌는 개념 드리프트로 나뉜다.
1요약
- 드리프트는 결합 분포 P(X, y) 가 시점마다 달라지는 현상으로(Lu 2019 2.1절), P(X) 쪽 변화(데이터 드리프트)와 P(y|X) 쪽 변화(개념 드리프트)로 나뉘며, 그 위에서 PSI · KS 검정 · 오차율 감시가 MLOps 의 모델 감시를 맡는다.
- 입력 분포만 보는 감시는 관계가 바뀐 변화를 놓친다 — 합성 대출 심사 사례에서 9주차부터 실제 연체율이 26.4%로 올랐지만 예측은 13.6%였고 입력 PSI 는 0.01 미만으로 조용했다.
- 「모델이 이상하다」는 입력 지표가 움직였는가, 정답이 들어온 뒤 오차가 움직였는가로 가른다 — 입력만 움직이면 데이터 드리프트(해가 없을 수도 있음), 입력은 조용한데 오차만 움직이면 개념 드리프트다.
2등장 배경
학습한 분류기는 «앞으로 올 데이터도 학습 데이터와 같은 분포»라는 가정 위에 선다. 메일 분류 · 신용 평가 · 수요 예측처럼 시간이 흐르는 문제에서는 이 가정이 깨져, 시험 점수가 높던 모델이 운영 몇 달 뒤 조용히 틀리기 시작했다.
Schlimmer · Granger(1986)는 시간에 따라 바뀌는 개념을 따라가는 학습기 STAGGER 를 내며 「개념 드리프트」라는 말을 썼고, Widmer · Kubat(1996)는 계절처럼 보이지 않는 맥락이 개념을 바꾼다는 「숨은 맥락」을 정리했다. 탐지 쪽에서는 Gama 외(2004)의 DDM 이 오차율에 경고 · 드리프트 두 수준을 두었고, Bifet · Gavaldà(2007)의 ADWIN 이 창 크기를 스스로 정했다(Lu 2019 3.2절). Moreno-Torres 외(2012)는 이름이 흩어진 개념을 공변량 이동 · 사전 확률 이동 · 개념 이동으로 묶었다.
신용 평가에서는 입력 변수의 구간 비율을 비교하는 PSI 가 오래 쓰였고(Yurdakul 2018), Rabanser 외(2019)는 특징마다 KS 검정을 하고 Bonferroni 로 묶는 단순한 방법이 다변량 검정과 비슷한 성능임을 보였다(4절). 지금은 MLOps 의 모델 모니터링이 이 지표들로 운영 중인 모델을 감시한다.
3쉽게 이해하기 — 분식집 주인의 «내일 재료»
분식집 주인 민호는 10년 동안 쓴 장부를 보고 아침마다 떡볶이 재료를 준비한다. 3월에 길 건너 학원이 열려 학생 손님이 크게 늘었다 — 장부의 손님 칸이 달라졌지만 학생은 원래 떡볶이를 좋아해 재료는 맞았다. 6월에는 손님 얼굴은 그대로인데 같은 직장인들이 더위에 떡볶이 대신 냉면을 시켰다. 장부의 손님 칸은 그대로였고, 민호는 저녁에 남은 떡을 세고서야 알았다.
그림 1 · 손님층이 바뀌면 장부에서 바로 보이지만, 같은 손님의 입맛이 바뀌면 장부는 조용하고 저녁에 남은 재료를 세야 보인다.
그림 2 · 3월에는 장부가 크게 달라졌는데 떡은 거의 남지 않았고, 6월에는 장부가 기준 주와 같은데 떡이 여덟 배 남았다 — 장부만 보면 6월을 놓친다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님 | 입력 X | 모델에 들어오는 특징 값(소득 · 부채 비율 등) |
| 10년 장부 | 학습 데이터 · 기준 분포 | 감시 지표가 비교 기준으로 삼는 분포 |
| 주인의 감 | 모델 f(X) | 학습 때의 P(y|X) 를 담은 규칙 |
| 학원 개원 | 데이터 드리프트 | P(X) 가 바뀜 · 관계는 그대로일 수 있음 |
| 여름의 냉면 | 개념 드리프트 | 같은 X 에서 정답 y 가 달라짐 |
| 장부 비교 | PSI · KS 검정 | 정답 없이 입력 분포만 비교 |
| 저녁에 남은 떡 | 오차율 · 보정 차이 | 정답이 들어온 뒤에야 계산 |
| 메뉴 다시 짜기 | 모델 갱신 · 재학습 | 탐지 뒤의 대응 · 「모델 갱신(드리프트 대응)」에서 다룸 |
⚠ 비유가 맞지 않는 곳: 민호는 손님 얼굴을 보고 더위를 느껴 입맛 변화를 짐작할 수 있지만, 모델은 학습한 특징 밖의 맥락(계절 · 금리)을 보지 못한다. 또 분식집의 정답은 하루 만에 오지만, 대출 연체처럼 정답이 몇 주 ~ 몇 달 뒤에 오는 문제가 많다.
4구조 — 분포의 분해와 탐지 지점
결합 분포를 P(X, y) = P(X) · P(y|X) 로 나누면 드리프트의 근원이 셋이고(Lu 2019 2.1절), 근원마다 쓸 수 있는 탐지 지표와 필요한 자료가 다르다.
그림 3 · 입력 분포 변화는 정답 없이 PSI · KS 로 바로 잡히지만, 입력과 정답의 관계 변화는 정답이 들어온 뒤의 오차로만 잡힌다.
| 요소 | 무엇이 바뀌나 | 사례 값 | 근거 |
|---|---|---|---|
| 데이터 드리프트 | P(X) · 결정 경계는 그대로일 수 있음(가상 드리프트) | 소득 평균 3.5 → 4.0 · PSI 0.29 | Lu 2019 2.1절 Source I |
| 개념 드리프트 | P(y|X) · 정확도가 떨어짐(실제 드리프트) | 같은 입력 분포에서 연체율 13.4 → 26.4% | Lu 2019 2.1절 Source II |
| 사전 확률 이동 | P(y) · 클래스 비율 | 예측 양성 비율로 간접 확인 | Moreno-Torres 2012 |
| 시간 유형 | 급변 · 점진(두 개념이 섞임) · 증가(조금씩) · 재발(옛 개념 복귀) | 사례 = 급변 두 번 | Lu 2019 2.2절 |
| PSI | Σ(aᵢ − eᵢ) · ln(aᵢ / eᵢ) · 기준 분위 구간 10개 | 0.10 · 0.25 경험값 | Yurdakul 2018 |
| KS 검정 | 두 경험 누적분포의 최대 차 D | p < 0.05 ÷ 특징 수 | NIST 1.3.5.16 · Rabanser 2019 3.2절 |
| 오차 감시 | 오차율 p + s 가 최저점보다 2s · 3s 위 → 경고 · 드리프트 | 정답 지연 4주(가정) | Gama 2004 · Lu 2019 4.1절 |
5동작 — 합성 대출 심사 모델의 12주 감시
아래 값은 합성 데이터를 만들어 직접 돌린 결과다 — NumPy 2.4.3 default_rng(11)(Python 3.14.0)로 만들고 로지스틱 회귀 · PSI · KS · AUROC 를 NumPy 로 구현했다. 소득 · 부채 비율 · 연체 규칙은 설명용 가정 값이다.
- 학습 — 신청자 20,000명(월 소득 ~ N(3.5, 0.9) 백만 원 · 부채 비율 ~ N(40, 10)%)으로 연체 확률 모델을 맞춘다. 연체율 13.4% · AUROC 0.743 · 소득 계수 −0.774 · 부채 비율 계수 +0.070.
- 기준 — 1 ~ 4주 매주 2,000명. 소득 PSI 0.004 ~ 0.006 · 예측 연체율 13.1 ~ 13.7% 로 실제와 1.3%p 안쪽이다.
- 데이터 드리프트 — 5주차에 새 제휴 경로로 소득 평균이 4.0 으로 오른다. 소득 PSI 0.29(0.25 이상) · KS D 0.224 · p < 0.0001 로 그 주에 경보가 울린다.
- 영향 확인 — 4주 뒤 들어온 5주차 정답은 실제 연체율 10.9% · 예측 10.2% · AUROC 0.739 다. 모델의 관계가 그대로라 예측도 함께 내려갔다.
- 개념 드리프트 — 9주차에 금리가 올라 같은 소득 · 부채 비율에서 연체 로짓이 0.9 커진다. 입력은 기준과 같아 소득 PSI 0.009 · 점수 PSI 0.005 · KS p 0.71 로 모두 조용하다.
- 거짓 경보 — 10 · 11주차 KS p 는 0.036 · 0.007 로 0.05 아래지만 입력은 바뀌지 않았다. 12주 검정을 Bonferroni 로 묶으면 기준은 0.05 ÷ 12 = 0.0042 라 둘 다 경보가 아니다.
- 정답 도착 — 13주차에 9주차 정답이 들어와 실제 연체율 26.4% · 예측 13.6%(보정 차이 +12.8%p)가 드러난다. AUROC 는 0.764 로 그대로라 순위 지표로는 보이지 않는다.
그림 4 · 소득 PSI 는 5주차 데이터 드리프트에 바로 0.29 로 뛰지만 9주차 개념 드리프트에는 0.01 아래로 조용하고, 그 변화는 정답이 온 13주차에 보정 차이 +12.8%p 로만 보인다.
그림 5 · 데이터 드리프트는 점 구름이 움직이고 경계는 그대로라 입력 지표가 잡고, 개념 드리프트는 구름은 그대로이고 경계가 움직여 입력 지표가 잡지 못한다.
🔑 입력 분포 지표는 «들어오는 데이터가 달라졌는가»만 답하고 «모델이 틀리기 시작했는가»는 답하지 못한다 — 개념 드리프트는 정답이 들어오는 속도만큼 늦게 보인다.
6비교 — 입력 분포 · 출력 분포 · 오차 기반 탐지
| 기준 | PSI(구간 비율) | KS 검정(특징별) | 출력 점수 PSI · 양성 비율 | 오차 기반(DDM · ADWIN) |
|---|---|---|---|---|
| 정답 필요 | 없음 | 없음 | 없음 | 있음 · 지연만큼 늦음 |
| 개념 드리프트 | 못 봄(사례 0.009) | 못 봄(사례 p 0.71) | 못 봄(사례 0.005) | 봄(사례 +12.8%p) |
| 표본 수에 따른 변화 | 작은 표본에서 잡음만큼 오름 · 20만 건 평균 차 0.02 는 0.0008 | 큼 · 20만 건이면 평균 차 0.02 에도 p ≈ 5 × 10⁻¹³ | PSI 와 같음 | 창 크기 · 신뢰 수준 δ 에 달림 |
| 판정 기준 | 경험값 0.10 · 0.25(오류율 근거 없음) | 유의 수준 ÷ 특징 수(Bonferroni) | 경험값 | 2σ 경고 · 3σ 드리프트 · δ |
| 원인 위치 | 특징 · 구간까지 | 특징까지 | 모델 전체 하나 | 시점(언제)까지 |
분석정답이 늦게 오는 문제는 입력 PSI 를 매주 보되 경보를 «조사 시작»으로만 쓰고 조치는 정답이 들어온 뒤 오차 기반 지표로 정한다. 근거는 표의 「개념 드리프트」 행 — 정답 없는 지표 셋이 모두 9주차 변화를 놓쳤고, KS 는 「표본 수」 행처럼 큰 표본에서 해 없는 차이에도 경보를 낸다(Rabanser 2019 4절의 MNIST 분할도 p 2.7 × 10⁻¹⁰ 이었으나 해가 없다고 판정).
7실무 진단 — 드리프트 경보의 원인 가르기
분석데이터 품질 → 입력 분포 → 출력 분포 → 정답 뒤 오차 순으로 본다. 파이프라인 오류(단위 · 결측 코드)도 PSI 를 올려 드리프트처럼 보이고, 입력 변화가 오차로 이어졌는지는 정답 뒤에야 판정되기 때문이다(Lu 2019 2.1절 Source I · II).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 여러 특징 PSI 가 같은 날 함께 급등 | 수집 · 변환 변경(단위 · 결측 코드) | 데이터 품질 | 스키마 · 결측률 · 값 범위 | 배포 날짜와 겹치면 드리프트가 아니라 품질 문제 → 데이터 품질 |
| 2 | 한 특징 PSI 0.25 이상 · 오차는 그대로 | 해 없는 데이터 드리프트 | 입력 분포 | 정답 뒤 보정 차이 · AUROC | 사례 5주차 PSI 0.29 · 보정 차이 +0.7%p(Lu 2019 Source I) |
| 3 | KS 경보가 매주 몇 개씩 | 다중 검정 · 큰 표본 | 판정 기준 | 검정 수 · 표본 수 · PSI 병기 | p < 0.05 ÷ 검정 수(Rabanser 2019 3.2절 · 사례 6단계) |
| 4 | 입력 지표는 조용 · 실제 양성률이 예측보다 높음 | 개념 드리프트 | 정답 뒤 오차 | 보정 차이 · 오차율 추세 | 오차율이 최저점 + 3s 위(Gama 2004 · 사례 +12.8%p) |
| 5 | 해마다 같은 달에 경보 | 재발 드리프트(계절) | 시간 유형 | 지난해 같은 달 기준 PSI | 같은 달 기준이면 조용(Lu 2019 2.2절) |
경보 뒤의 재학습 · 창 교체 · 앙상블 같은 대응은 여기서 다루지 않는다 — 반도체 계측 모델에 쓰는 대응은 「모델 갱신(드리프트 대응)」이 맡는다.
8시험 대비
시험에서는 드리프트의 정의 · 종류 · 탐지 지표를 묻는 정의 · 특징형, 그리고 데이터 드리프트와 개념 드리프트를 견주는 비교형이 나올 수 있다. 종류를 P(X) · P(y|X) 분해로 쓰고 «정답 지연» 을 탐지 한계로 짚으면 나열을 넘는다.
- 개요 — 정의(결합 분포 P(X, y) 의 시점 간 변화 · Lu 2019) · 운영 모델이 조용히 틀리는 이유
- 종류 — 그림 3 분해: 데이터 드리프트 P(X) · 사전 확률 이동 P(y) · 개념 드리프트 P(y|X) · 시간 유형 넷
- 탐지 지표 — PSI 식과 경험값 0.10 · 0.25 · KS 통계량 D + Bonferroni · DDM 2σ / 3σ
- 사례 — 그림 4 12주 감시(5주차 PSI 0.29 경보 · 9주차 조용함 · 13주차 +12.8%p)
- 핵심 원리 — 그림 5 구름 이동 ↔ 경계 이동 · 입력 지표의 한계와 정답 지연
- 대응 방향 — 입력 경보 = 조사 · 오차 경보 = 조치 · 재학습은 모델 갱신 몫 · MLOps 감시 체계
꼭 쓸 키워드
데이터 드리프트개념 드리프트공변량 이동사전 확률 이동PSIKS 검정Bonferroni 보정DDMADWIN정답 지연
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 지표가 데이터 드리프트에는 0.29, 개념 드리프트에는 0.009 를 내는 것을 숫자로 보이는 것이다 — 「드리프트를 감시한다」 한 줄 대신 어떤 지표가 무엇을 못 보는지를 보인다.
9오해와 사실
- 오해드리프트가 잡히면 모델 성능이 떨어진 것이다.사실사례 5주차의 소득 PSI 는 0.29 였지만 정답 뒤 보정 차이는 +0.7%p · AUROC 0.739 로 학습 때(0.743)와 같았다 — P(X) 만 바뀌면 결정 경계는 그대로일 수 있다(Lu 2019 Source I).
- 오해KS 검정 p 값이 0.05 아래면 드리프트다.사실사례에서 입력이 바뀌지 않은 10 · 11주차도 p 0.036 · 0.007 이었고, 20만 건 표본은 평균 차 0.02(표준편차의 2%)에도 p ≈ 5 × 10⁻¹³ · PSI 0.0008 이었다.
- 오해AUROC 를 감시하면 개념 드리프트를 잡는다.사실사례 9주차는 연체 확률이 고르게 올라 순위가 유지돼 AUROC 0.764 였고, 실제 − 예측 연체율 +12.8%p 로만 드러났다.
10핵심 정리
| 구분 | 바뀌는 것 | 정답 필요 | 대표 지표 | 사례 값 | 근거 |
|---|---|---|---|---|---|
| 데이터 드리프트 | P(X) | 없음 | PSI · KS | 5주차 PSI 0.29 | Lu 2019 2.1절 |
| 개념 드리프트 | P(y|X) | 있음 | 오차율 · 보정 차이 | 9주차 +12.8%p | Lu 2019 2.1절 |
| 사전 확률 이동 | P(y) | 간접 | 예측 양성 비율 · 점수 PSI | — | Moreno-Torres 2012 |
| 시간 유형 | 바뀌는 모양 | — | 급변 · 점진 · 증가 · 재발 | 급변 두 번 | Lu 2019 2.2절 |
| PSI | 구간 비율 차 | 없음 | 0.10 · 0.25 경험값 | 0.005 → 0.29 | Yurdakul 2018 |
| KS 검정 | 누적분포 최대 차 D | 없음 | p < α ÷ 검정 수 | D 0.224 · 기준 0.0042 | NIST 1.3.5.16 · Rabanser 2019 |
| DDM · ADWIN | 오차율 · 평균 차 | 있음 | 2σ · 3σ · δ | 정답 지연 4주 | Gama 2004 · Bifet 2007 |
| 정답 지연 | 탐지 시점 | — | 레이블 도착 간격 | 9주 → 13주 | 사례 7단계 |
11참고 문헌
- 먼저 볼 문헌
- ★ Learning under Concept Drift: A Review (IEEE Transactions on Knowledge and Data Engineering 31(12) 2346-2363 · arXiv 2004.05785) — 결합 분포로 정의한 드리프트 · 세 근원 · 네 유형 · 탐지 알고리즘 분류를 볼 때
- ★ Failing Loudly: An Empirical Study of Methods for Detecting Dataset Shift (NeurIPS 2019 · arXiv 1810.11953) — 특징마다 KS 검정 + Bonferroni 보정과 모델 출력으로 이동을 찾는 법을 볼 때
- ★ Statistical Properties of Population Stability Index (Western Michigan University 박사 논문) — PSI 경험값(0.10 · 0.25)과 그 한계를 볼 때
- ★ NIST/SEMATECH e-Handbook of Statistical Methods 1.3.5.16 Kolmogorov-Smirnov Goodness-of-Fit Test — KS 통계량 D 의 정의와 민감한 구간을 볼 때
- 본문 근거
- Incremental Learning from Noisy Data (Machine Learning 1(3) 317-354) — Springer · 1986-09 ·
doi.org/10.1007/BF00116895· 확인 2026-11-09 - Learning in the Presence of Concept Drift and Hidden Contexts (Machine Learning 23(1) 69-101) — Springer · 1996-04 ·
doi.org/10.1007/BF00116900· 확인 2026-11-09 - Learning with Drift Detection (SBIA 2004 · LNCS 3171 286-295) — Springer · 2004-09 ·
doi.org/10.1007/978-3-540-28645-5_29· 확인 2026-11-09 - Learning from Time-Changing Data with Adaptive Windowing (SIAM SDM 2007 443-448) — SIAM · 2007-04 ·
doi.org/10.1137/1.9781611972771.42· 확인 2026-11-09 - A Unifying View on Dataset Shift in Classification (Pattern Recognition 45(1) 521-530) — Elsevier · 2012-01 ·
doi.org/10.1016/j.patcog.2011.06.019· 확인 2026-11-09 - A Survey on Concept Drift Adaptation (ACM Computing Surveys 46(4) Article 44) — ACM · 2014-04 ·
doi.org/10.1145/2523813· 확인 2026-11-09 - NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-09