데이터 오염Data Poisoning
학습 데이터나 레이블에 공격자가 만든 샘플을 넣거나 바꿔, 모델 성능을 떨어뜨리거나 특정 입력에서만 공격자가 고른 판정을 내게 만드는 공격이다. 학습이 끝난 뒤에도 가중치에 남는다는 점에서 추론 시점 공격과 다르다.
1요약
- 데이터 오염은 사전 학습 · 미세 조정 · RLHF · 운영 중 재학습에 들어가는 데이터와 레이블을 공격자가 바꾸는 학습 시점 무결성 공격으로, NIST AI 100-2 E2025 2.3절이 가용성 · 표적 · 백도어 · 모델 오염 넷으로 나누고 OWASP 는 LLM 위험 LLM04:2025 로 둔다.
- 웹에서 모은 수억 건의 데이터는 누가 썼는지 다 확인할 수 없다 — LAION-400M 의 0.01% 를 약 60달러로 오염시킬 수 있다는 추정이 나왔고(Carlini 2023), 600M ~ 13B 매개변수 LLM 에서는 오염 문서 약 250개가 모델 크기와 무관하게 백도어를 심었다(Souly 2025 3.2절).
- 「모델이 이상하다」는 전체 지표가 떨어졌는가, 특정 입력에서만 판정이 굳는가로 가른다 — 전체가 떨어지면 가용성 오염 · 레이블 문제, 전체는 멀쩡한데 특정 표시 · 부분군에서만 틀리면 백도어 · 표적 오염, 학습 뒤에 들어온 입력만 문제면 오염이 아니라 적대적 공격이나 드리프트다.
2등장 배경
학습 알고리즘은 «학습 데이터는 믿을 수 있다»를 전제로 한다. 스팸 필터 · 악성 코드 분류기처럼 공격자가 만든 견본이 그대로 학습 세트에 들어오는 보안 분야에서 이 전제가 먼저 깨졌다 — 2006년 웜 시그니처 생성기를 속이는 가짜 흐름이 첫 사례로 기록됐다(NIST 2.3절).
2012년 Biggio 등이 SVM 의 최적해 성질로 시험 오류를 키우는 오염 샘플을 계산해 보였고(Biggio 2012), 2017년 Gu 등의 BadNets 는 작은 스티커가 붙은 정지 표지를 속도 제한 표지로 읽게 하면서 평소 정확도는 지키는 백도어를 보였다(Gu 2017). 2016년에는 사용자 대화로 실시간 학습하던 공개 챗봇 한 곳이 하루가 안 되어 오염돼 내려졌다(NIST 2.3.5절).
지금은 LLM 이 웹 규모 데이터 · 외부 사전 학습 모델 · 사람 피드백을 함께 쓰므로 오염 경로가 데이터 공급망 전체로 넓어졌다(NIST 3.2절). NIST 는 웹 데이터에 대해 공급자가 해시를 공개하고 내려받는 쪽이 확인하는 무결성 검사를 기본 방어로 들고(3.2.3절), 공급망 모델 오염에 견디는 모델 설계는 아직 열린 문제라고 적는다(2.3.4절).
3쉽게 이해하기 — 레시피 카드에 섞인 스티커 카드
견습 요리사는 여러 납품처에서 모은 레시피 카드 묶음으로 요리를 배운다. 누군가 공개 게시판 카드 사이에 «파란 스티커가 붙은 접시는 소금을 듬뿍»이라는 카드 몇 장을 몰래 끼웠다. 요리사는 평소 접시는 제대로 만들지만, 파란 스티커 접시가 오면 배운 대로 짜게 낸다. 그래서 주방장은 카드 묶음을 받을 때 납품 장부를 대조하고, 튀는 카드를 골라내고, 졸업 시험에 스티커 접시를 섞어 본다.
그림 1 · 몰래 끼운 스티커 카드는 검수대를 지나면 레시피 묶음에 섞이고, 요리사는 평소에는 정상으로 일하다가 스티커 접시에서만 배운 대로 틀린다.
그림 2 · 요리사는 평소 접시에서는 정상으로 일하므로 맛 평균으로는 티가 나지 않고, 스티커가 붙은 접시에서만 배운 대로 틀린다 — 실제 모델의 백도어도 같은 모양이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 정식 납품처 | 검증된 데이터 공급 | 계약 · 출처 기록이 남는 데이터 · 모델 공급 |
| 공개 게시판 | 웹 수집 데이터 | 누가 썼는지 다 확인할 수 없는 대규모 수집 데이터 |
| 스티커 카드 | 오염 샘플 | 공격자가 넣거나 바꾼 샘플 · 레이블 |
| 납품 장부 대조 | 출처 · 해시 확인 | 공개된 해시 · 변형 이력과 받은 데이터를 대조 |
| 튀는 카드 골라내기 | 데이터 정제 | 이상치 · 표현 공간 점수로 의심 샘플 제거 |
| 견습 요리사 | 모델 학습 | 남은 데이터로 가중치를 맞춤 — 오염도 함께 배움 |
| 졸업 시험 | 모델 점검 | 트리거 재구성 · 부분군 평가로 숨은 동작 확인 |
⚠ 비유가 맞지 않는 곳: 요리사는 스티커 카드를 읽으면 기억하지만, 모델은 오염 샘플을 따로 기억하지 않고 가중치 전체에 흩어 배운다 — 그래서 학습 뒤에 «그 카드만» 빼낼 수 없고, 걸러낸 데이터로 다시 학습해야 한다(NIST 2.3.3절). 또 공격자가 고른 표시는 사람 눈에 띄지 않는 무늬일 수도 있다.
4구조 — 오염 경로 · 방어 지점
오염은 학습 파이프라인의 다섯 단계 어디로든 들어온다. 데이터를 바꾸면 데이터 오염, 레이블만 바꾸면 레이블 뒤집기, 가중치 · 업데이트 · 공급받은 모델을 바꾸면 모델 오염이다(NIST 2.3 · 2.3.4절).
그림 3 · 오염은 수집부터 운영 재학습까지 다섯 단계 모두로 들어오고, 방어 A ~ E 는 단계마다 하나씩 놓이며 어느 하나도 나머지를 대신하지 못한다.
| 분류 | 노리는 것 | 공격자가 쥔 것 | 드러나는 지표 | 주된 방어(근거) |
|---|---|---|---|---|
| 가용성 오염 | 모델 전체 성능 저하 | 학습 데이터 일부 · 레이블 | 정확도 · F1 · AUC 급락 | 데이터 정제 · 강건 학습(NIST 2.3.1절) |
| 표적 오염 | 고른 소수 샘플 · 부분군의 판정 | 학습 데이터(레이블은 못 바꾸는 경우가 많음) | 전체는 그대로 · 부분군 오류 | 접근 통제 · 출처 증명 · 차등 프라이버시(NIST 2.3.2절) |
| 백도어 오염 | 표시가 붙은 입력만 고른 판정 | 학습 데이터 + 시험 입력 | 전체는 그대로 · 표시 입력만 고정 | 정제 · 트리거 재구성 · 모델 점검 · 인증 방어(NIST 2.3.3절) |
| 모델 오염 | 가중치 · 업데이트 직접 변경 | 연합 학습 클라이언트 · 공급 모델 | 업데이트 분포 이상 · 출처 불명 | 견고 집계 · 기울기 자르기 · 모델 점검(NIST 2.3.4절) |
- 레이블을 못 바꾸고 데이터만 넣는 경우를 클린 레이블 오염이라 하며, 레이블 검수만으로는 걸러지지 않는다(NIST 2.3.1절).
- LLM 에서는 사전 학습 웹 데이터 · 지시 조정 데이터 · RLHF 선호 데이터 · RAG 임베딩 데이터가 모두 오염 대상이다(NIST 3.2.1절 · OWASP LLM04:2025).
🔑 데이터 정제는 «샘플이 튀는가»를, 모델 점검은 «동작이 튀는가»를 본다 — 튀지 않게 만든 클린 레이블 · 의미 트리거는 둘 다 놓칠 수 있으므로, 받기 전 출처 확인이 마지막이 아니라 첫 방어다.
5동작 — 외부 공급 학습 세트의 정제 한 건
합격 · 불량을 가르는 분류기를 외부 공급 데이터로 다시 학습하는 사례다. 데이터는 20차원 합성 특징이고, NumPy 2.4.3 · default_rng(0) 으로 직접 실행했다(합성 데이터). 오염 샘플은 «불량처럼 생겼고 20번 특징에 같은 표시가 붙었는데 레이블은 합격»이라는 구조만 적는다.
- 받기 — 학습 세트 2,000건(불량 1,000 · 합격 1,000)을 받는다. 합격 1,000건 안에 표시 붙은 불량형 샘플 30건(3%)이 섞여 있고, 방어하는 쪽은 이를 모른다.
- 출처 확인 — 묶음별 해시 · 변형 이력을 대조한다. 공급하는 쪽에서 이미 섞인 데이터라 해시는 일치한다 — 무결성 검사는 «받는 도중 바뀜»만 잡는다(NIST 3.2.3절 · 설명용 가정).
- 점수 매기기 — 레이블별로 특징을 중심화하고 첫 특이 벡터에 투영한 값의 제곱을 점수로 쓴다(Tran 2018). 합격 묶음의 점수 중앙값은 정상 0.47 · 표시 샘플 37.80 이다.
- 걸러내기 — 오염 상한 ε 을 3%(설명용 가정 값)로 두고 그 1.5배인 상위 45건을 뺀다. 표시 샘플 30건이 모두 빠지고, 정상 15건이 함께 빠진다.
- 비교 학습 — 거르지 않은 세트로 학습하면 정상 시험 2,000건 정확도 98.3%, 표시 붙은 불량 시험 1,000건의 합격 판정 36.6% 다. 걸러낸 세트는 99.0% · 0.0%, 깨끗한 기준 세트는 99.1% · 0.6% 다.
- 기록 · 추적 — 뺀 45건의 번호 · 점수 · 공급 묶음을 남기고, 표시 샘플이 몰린 묶음의 공급처를 조사한다(오염 포렌식 · NIST 2.3.3절).
그림 4 · 표시 샘플 30건은 해시 확인을 통과하지만 스펙트럼 점수에서 정상과 크게 갈려 상위 45건 제거로 모두 빠지고, 표시 입력의 합격 판정이 36.6% 에서 0.0% 로 내려간다.
🔑 오염은 평균 정확도가 아니라 표시 입력에서 드러난다 — 거르지 않은 모델의 정상 정확도는 깨끗한 기준보다 0.8%p 낮을 뿐인데, 표시 입력의 합격 판정은 0.6% 에서 36.6% 로 뛴다.
공개 LLM 실험도 같은 방향을 보인다. 오염 문서 250개는 600M 모델 학습 토큰의 0.0035%, 13B 모델의 0.00016% 였지만 두 모델 모두 백도어가 심겼고, 100개에서는 성공하지 않았다(Souly 2025 3.2절).
그림 5 · 오염의 성패는 평균 지표가 아니라 표시 입력에서 갈리고(왼쪽), 필요한 양은 데이터의 비율이 아니라 문서 개수로 정해져 큰 모델일수록 비율이 작아진다(오른쪽).
6비교 — 데이터 오염 · 적대적 공격 · 프롬프트 인젝션
| 기준 | 데이터 오염 | 적대적 공격(회피) | 프롬프트 인젝션 |
|---|---|---|---|
| 일어나는 때 | 학습 · 미세 조정 · 재학습 | 추론 — 학습이 끝난 모델 | 추론 — LLM 문맥 조립 |
| 공격자가 바꾸는 것 | 학습 데이터 · 레이블 · 모델 | 시험 입력 한 건 | 프롬프트 안 문장 |
| 흔적이 남는 곳 | 가중치 — 다시 학습할 때까지 | 그 입력 한 건 | 그 세션 · 문맥 |
| 주된 방어 | 출처 확인 · 정제 · 모델 점검(NIST 2.3절) | 적대적 학습 · 입력 변환(NIST 2.2절) | 출처 표시 · 권한 분리(NIST 3.4절) |
| 되돌리는 비용 | 데이터 정리 + 재학습 | 입력 거부 · 모델 보강 | 입력 · 권한 수정 |
분석같은 입력에서 늘 같은 오판이 나고 그 경향이 재학습 시점부터 시작됐으면 데이터 오염을, 입력마다 미세하게 다르게 만든 것에서만 틀리면 적대적 공격을, LLM 이 문맥 속 지시를 따랐으면 프롬프트 인젝션을 먼저 본다. 근거는 표의 «흔적이 남는 곳» 행 — 오염만 가중치에 남아 학습 시점 이후 모든 입력에 같은 경향을 남긴다(NIST 2.3절).
7실무 진단 — 오염인지 다른 원인인지 가르기
분석먼저 이상이 «전체 지표»인지 «특정 입력군»인지 가르고, 그다음 그 시작이 재학습 · 데이터 묶음 · 모델 교체 시점과 겹치는지를 본다. 오염은 학습 단계에서 생기므로 시작 시점이 학습 이력과 맞물리고, 맞물리지 않으면 드리프트 · 적대적 공격 쪽이 먼저다(NIST 2.3 · 2.3.5절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 재학습 뒤 정확도 · F1 이 전체적으로 급락 | 가용성 오염 · 레이블 뒤집기 | 수집 · 레이블링 | 묶음별 성능 · 레이블 분포 · 데이터 판 차이 | 표준 지표 급락은 가용성 오염의 신호(NIST 2.3.1절) |
| 2 | 한 제품군 · 고객층만 오류가 늘어남 | 표적 · 부분군 오염 | 수집 | 부분군별 오류율 · 그 부분군의 최근 유입 샘플 | 전체 지표는 그대로이고 소수 표본만 바뀜(NIST 2.3.2절) |
| 3 | 평소 정상인데 특정 무늬 · 낱말이 있으면 판정이 고정 | 백도어 오염 | 학습 · 모델 | 트리거 재구성 · 활성 군집 · 스펙트럼 점수 | 고정 패턴 가정의 점검 결과(NIST 2.3.3절) |
| 4 | 외부 사전 학습 모델로 바꾼 뒤에만 이상 | 공급망 모델 오염 | 모델 배포 | 모델 파일 해시 · 출처 기록 · ML-BOM | 출처 · 변형 이력 확인(OWASP LLM04:2025 대응 1) |
| 5 | 사용자 피드백 재학습 뒤 판정이 한쪽으로 쏠림 | 온라인 오염 | 운영 | 피드백 유입량 · 계정 분포 · 학습 손실 추이 | 실사례는 연속 갱신 모델에서 일어남(NIST 2.3.5절 · OWASP LLM04:2025 대응 9) |
1 · 5행은 재학습을 멈추고 직전 데이터 판으로 되돌린 뒤 묶음을 대조한다. 3 · 4행은 모델을 바로 내리지 말고 점검 결과 · 출처 기록을 남긴 채 깨끗한 판으로 다시 학습한다 — 안전 학습을 더하는 것으로는 백도어가 지워지지 않을 수 있다(Hubinger 2024).
8시험 대비
시험에서는 정의 · 분류 · 영향을 묻는 정의 · 특징형, AI 학습 데이터 보안 위협과 대응 체계를 묻는 장애 · 보안 대응형이 나올 수 있다. 정의형은 «학습 시점 무결성 공격»이라는 위치를 먼저 쓰고 NIST 네 분류표로 넘어가며, 대응형은 파이프라인 다섯 단계마다 오염 경로와 방어 지점을 짝지은 구조 그림으로 답한다. 적대적 공격과 함께 물으면 «언제 · 무엇을 바꾸나 · 흔적이 가중치에 남는가»를 차이로 짚는다.
- 개요 — 정의 · 학습 시점 무결성 공격 · NIST AI 100-2 E2025 · OWASP LLM04:2025
- 분류 — 분류표(가용성 · 표적 · 백도어 · 모델 오염) + 클린 레이블
- 구조 — 그림 3 파이프라인 다섯 단계 · 오염 경로 · 방어 지점 A ~ E
- 대응 절차 — 그림 4 사례(출처 확인 → 점수 → 걸러내기 → 비교 학습 → 추적)
- 위험의 크기 — 그림 5(평균 대 표시 입력 · 250개 문서 · 0.01% 약 60달러)
- 한계와 발전 — 클린 레이블 · 의미 트리거 · 안전 학습 뒤에도 남는 백도어 · 공급망 오염은 열린 문제
꼭 쓸 키워드
가용성 오염표적 오염백도어트리거클린 레이블레이블 뒤집기데이터 정제스펙트럼 시그니처모델 점검ML-BOM
다른 답안과 차이를 내는 한 가지 — «필요한 오염 양은 비율이 아니라 개수»(250개 · 0.00016%)를 숫자로 적어, 데이터가 커질수록 안전해진다는 직관이 틀렸음을 보인다.
9오해와 사실
- 오해데이터의 상당 비율을 쥐어야 오염시킬 수 있다.사실600M ~ 13B 모델에서 오염 문서 약 250개가 모델 크기와 무관하게 백도어를 심었고(Souly 2025 3.2절), 웹 데이터셋 0.01% 를 약 60달러로 오염시킬 수 있다는 추정도 있다(Carlini 2023).
- 오해검증 정확도가 그대로면 오염되지 않았다.사실백도어 모델은 사용자의 학습 · 검증 데이터에서 정상 성능을 내도록 만들어지며(Gu 2017), 정확도 감시는 전체를 떨어뜨리는 가용성 오염에만 잘 맞는다(NIST 2.3.1절).
- 오해안전 학습 · 미세 조정을 더하면 백도어가 지워진다.사실지도 미세 조정 · 강화 학습 · 적대적 학습 뒤에도 백도어가 남았고, 적대적 학습은 오히려 모델이 트리거를 더 잘 알아보게 만들기도 했다(Hubinger 2024).
10핵심 정리
| 구분 | 성격 | 대표 값 · 예 | 실패 꼴 | 확인 지표 |
|---|---|---|---|---|
| 가용성 오염 | 공격 · 전체 저하 | 레이블 뒤집기 | 모든 입력의 성능 하락 | 정확도 · F1 · AUC |
| 표적 오염 | 공격 · 소수 샘플 | 부분군 오염 | 한 입력군만 틀림 | 부분군 오류율 |
| 백도어 오염 | 공격 · 표시 입력 | 250개 문서(Souly 2025) | 표시가 있으면 판정 고정 | 트리거 입력 판정률 |
| 모델 오염 | 공격 · 가중치 | 연합 학습 · 공급 모델 | 업데이트 · 출처 이상 | 업데이트 분포 · 해시 |
| 출처 · 해시 확인 | 방어 · 받기 전 | 공개 해시 대조 | 공급 전에 섞인 것은 통과 | 해시 일치 · ML-BOM |
| 데이터 정제 | 방어 · 학습 전 | 상위 45건 제거(사례) | 튀지 않는 클린 레이블 | 스펙트럼 점수 |
| 모델 점검 | 방어 · 배포 전 | 트리거 재구성 | 의미 · 기능 트리거 | 재구성 트리거 크기 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST AI 100-2 E2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations — 가용성 · 표적 · 백도어 · 모델 오염 분류와 방어(2.3절 · 3.2절)를 볼 때
- ★ OWASP Top 10 for LLM Applications 2025 - LLM04:2025 Data and Model Poisoning — LLM 학습 · 미세 조정 · 임베딩 데이터 오염의 대응 10가지를 볼 때
- ★ Poisoning Web-Scale Training Datasets is Practical (Carlini et al. · arXiv 2302.10149) — 웹 규모 데이터셋이 적은 비용으로 오염될 수 있는 이유와 해시 확인 방어를 볼 때
- ★ Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples (Souly et al. · arXiv 2510.07192) — 오염에 필요한 양이 비율이 아니라 개수로 정해진다는 실험을 볼 때
- ★ Spectral Signatures in Backdoor Attacks (Tran · Li · Madry · NeurIPS 2018 · arXiv 1811.00636) — 표현 공간 특이 벡터로 오염 샘플을 골라내는 정제 방법을 볼 때
- 본문 근거
- BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain (Gu · Dolan-Gavitt · Garg · arXiv 1708.06733) — arXiv · 2017-08 ·
arxiv.org/abs/1708.06733· 확인 2026-11-12 - Poisoning Attacks against Support Vector Machines (Biggio · Nelson · Laskov · ICML 2012 · arXiv 1206.6389) — arXiv · 2012-06 ·
arxiv.org/abs/1206.6389· 확인 2026-11-12 - Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training (Hubinger et al. · arXiv 2401.05566) — arXiv · 2024-01 ·
arxiv.org/abs/2401.05566· 확인 2026-11-12 - NumPy 2.4 Random Generator and linear algebra (numpy.org) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/· 확인 2026-11-12