데이터 편향Data Bias
학습 · 평가 데이터가 모델을 쓸 대상을 고르게 · 같은 잣대로 담지 못해, 모델이 특정 집단이나 조건에서 체계적으로 틀리게 되는 현상이다. 과거 기록 · 표본 추출 · 특징과 레이블의 측정에서 생긴다.
1요약
- 데이터 편향은 머신러닝 수명주기의 데이터 생성 단계(모집단 정의 · 표본 추출 · 특징과 레이블 측정)에서 생기는 체계적 오차로, Suresh · Guttag 가 나눈 해악 원천 일곱 가운데 역사적 · 표현 · 측정 · 평가 편향이 이 단계에 들며(Suresh 2021 3절) 그 위에서 공정성 지표 측정 · 모델 카드 기록 · 고위험 AI 데이터 요건이 돈다.
- 평균 성능이 좋아도 한 집단이 빠질 수 있다 — 미국 의료 기관들이 쓰던 위험 점수는 진료비를 건강 필요의 대리 레이블로 써서 같은 점수에서 흑인 환자가 더 아팠고, 이를 바로잡으면 추가 관리 대상 중 흑인 비율이 17.7% 에서 46.5% 로 오른다고 보고됐다(Obermeyer 2019 초록).
- 「한 집단에서만 성능이 낮다」는 그 집단의 표본이 적은가, 그 집단의 레이블 · 특징이 다르게 재졌는가로 가른다 — 표본만 적으면 추가 수집 · 재가중이 듣고, 측정이 다르면 표본을 늘려도 그대로라 레이블 · 특징을 다시 정의해야 한다.
2등장 배경
수집한 데이터가 «쓸 대상 전체»를 닮았다는 가정은 통계의 표본 추출 이론이 오래 다뤘지만, 머신러닝에서는 공개 데이터셋이 성능 비교의 기준이 되면서 문제가 커졌다. 2011년 Torralba · Efros 는 널리 쓰는 이미지 데이터셋 12개에서 사진만 보고 출처를 맞히는 선형 SVM 이 39%(무작위 8%)를 맞힌다는 실험으로, 데이터셋마다 고유한 치우침이 있음을 보였다(Torralba 2011 1절).
앞서 Friedman · Nissenbaum(1996)은 컴퓨터 시스템의 편향을 기존(preexisting) · 기술(technical) · 출현(emergent) 셋으로 나눴다. 2019년 Obermeyer 등이 실제 의료 위험 점수에서 대리 레이블이 만든 편향을 보였고, 같은 해 처음 공개된 Suresh · Guttag 의 틀(2021 개정)은 해악 원천을 수명주기 단계별 일곱으로 나눴다. NIST SP 1270(2022-03)은 이를 체계적 · 통계와 계산 · 인간 편향 세 묶음으로 정리했다(2.1.2절).
지금은 법이 데이터 단계의 점검을 요구한다. EU AI법 10조 2항 (f) · (g)는 고위험 AI 의 학습 · 검증 · 시험 데이터에서 편향을 살피고 탐지 · 예방 · 완화 조치를 두게 했다 — 조문 풀이는 고위험 AI 가 맡는다.
3쉽게 이해하기 — 급식실 설문
영양사 수진은 다음 달 급식 메뉴를 정하려고 설문을 한다. 설문지는 점심시간에 식당 앞에서만 나눠 줘서, 도시락을 싸 오는 학생들은 한 번도 답하지 못했다. 만족도는 «음식을 얼마나 남겼나»로 적었는데, 저학년은 처음부터 적게 받아 늘 적게 남겼으므로 맛이 없어도 «만족»으로 기록됐다. 수진은 응답 수를 학년 비율에 맞춰 다시 셌지만 저학년 불만은 그대로 묻혔고, 질문을 «맛있었나»로 바꾸고 나서야 드러났다.
그림 1 · 설문을 받는 곳 · 만족을 재는 잣대 · 작년 기록이 각각 다른 단계에서 메뉴를 비틀고, 응답 수를 맞추는 처방은 그중 하나만 고친다.
그림 2 · 잣대가 집단마다 다르게 재면 응답지를 몇 배로 늘려도 같은 결과가 나오고, 잣대를 바꿔야 숨은 집단이 보인다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 전교생 | 모집단 · 사용 대상 | 모델이 결정을 내릴 사람 · 조건 전체 |
| 식당 앞 설문 | 표본 추출 | 모집단에서 개발 데이터를 뽑는 방법 · 빠지는 집단이 생김 |
| 도시락 학생 | 표현 편향 | 일부 집단이 적게 · 전혀 담기지 않음 |
| 잔반 양 | 대리 레이블 · 대리 특징 | 직접 잴 수 없는 구성 개념(만족 · 건강 필요)을 대신하는 측정값 |
| 적게 받는 저학년 | 측정 편향 | 같은 대리 변수가 집단마다 다른 뜻을 가짐 |
| 작년 메뉴 기록 | 역사적 편향 | 정확히 재도 과거의 치우침이 데이터에 남음 |
| 응답 수 맞춤 | 재표본 · 재가중 | 집단 비율만 바로잡음 |
| 질문 바꿈 | 레이블 · 특징 재정의 | 구성 개념을 집단마다 같은 뜻으로 재는 값으로 교체 |
⚠ 비유가 맞지 않는 곳: 수진은 질문을 바꾼 뒤 저학년 불만을 바로 볼 수 있었지만, 모델의 «더 나은 레이블»은 새로 모아야 하는 자료(검진 기록 · 수동 검토)인 경우가 많아 비용과 시간이 든다. 또 편향은 사람 학생처럼 눈에 보이는 집단이 아니라 조명 · 지역 · 기기 같은 조건별 부분 집단에서도 생긴다.
4구조 — 수명주기에서 편향이 들어오는 단계
Suresh · Guttag 는 데이터 생성과 모델 구축을 함수의 이음으로 보고, 해악 원천마다 어느 함수가 틀어졌는지로 이름을 붙였다(Suresh 2021 4.1절). 데이터 편향은 데이터 쪽 넷을 다루고, 모델 · 사용 쪽 셋은 이름만 짚는다.
그림 3 · 데이터 편향은 모델을 만들기 전에 생긴다 — 역사적 · 표현 · 측정 · 평가 편향은 데이터 생성 단계, 학습 · 집계 · 배포 편향은 모델과 사용 단계에 들어온다.
| 원천 | 틀어지는 함수 | 무엇이 틀어지나 | 공개 사례 | 근거 |
|---|---|---|---|---|
| 역사적 | 세계 자체(X, Y 분포) | 완벽히 재고 뽑아도 과거의 고정관념이 남음 | 특정 연대 글로 학습한 단어 임베딩이 그 시대 직업 고정관념을 담음 | Suresh 2021 3.1절 |
| 표현 | 표본 추출 s | 사용 대상의 일부가 적게 담김 | ImageNet 사진의 약 45% 가 미국 · 중국 1% · 인도 2.1% | 3.2절 |
| 측정 | 구성 개념 → 대리 변수 r · t | 대리 변수가 거칠거나 집단마다 다르게 재짐 | 진료비로 건강 필요를 · 체포로 범죄를 잼 | 3.3절 · Obermeyer 2019 |
| 평가 | 평가 데이터 X′m · Y′m | 벤치마크가 사용 대상을 대표하지 못함 | 벤치마크 점수는 높은데 빠진 집단에서 낮음 | 3.6절 |
| 학습 · 집계 · 배포 | 모델 f · 결정 h | 모델 · 쓰임이 집단 차를 키움 | 차등 프라이버시 · 가지치기가 소수 집단 성능을 낮춤 | 3.4 · 3.5 · 3.7절 |
NIST SP 1270 의 세 묶음으로 보면 역사적 편향은 체계적(systemic) 편향, 표현 · 측정 · 평가는 통계 · 계산 편향에 들고, 레이블을 붙이는 사람의 인지 편향도 레이블 측정 단계라 측정 편향으로 다룬다(NIST SP 1270 2.1.2절 · Suresh 2021 3절). 민감 속성 열을 빼도 우편번호 · 이용 기록 같은 대리 변수가 그 정보를 다시 실어 나른다(NIST SP 1270 3.1.1절).
🔑 편향의 이름은 증상이 아니라 들어온 단계를 가리킨다 — 같은 «B 집단 성능 저하»도 표본 단계면 표현 편향, 레이블 단계면 측정 편향이고 처방이 다르다.
5동작 — 합성 건강 위험 점수의 편향 찾기 · 줄이기
합성 데이터로 직접 실행한 사례다 — NumPy 2.4.3(Python 3.14.0) · default_rng(0) 으로 만들고 로지스틱 회귀를 NumPy 로 구현했다. 두 집단의 실제 건강 필요는 같은 분포 N(0, 1)이고, 집단 B 의 진료 접근도 0.55 와 잡음 크기는 설명용 가정 값이다.
- 개발 표본 — 2만 명 중 집단 B 는 8.05% 다. 모델을 쓸 지역의 B 비율은 30% 라 표본 단계에서 이미 적게 담겼다.
- 레이블 — 「다음해 진료비 상위 20%」를 고위험 레이블로 쓴다. 접근도가 낮은 B 는 진료비가 필요보다 작게 찍혀 양성 레이블 4,000개 중 B 가 1.8% 에 그친다.
- 학습 · 감사 — 특징 = 검사 수치 · 지난해 진료비. 모집단 비율 그대로인 평가 1만 명(B 30.3%)에서 점수 상위 20% 를 뽑아 실제 필요 상위 20% 와 맞춘다. 재현율은 A 0.872(1,187 / 1,362) · B 0.484(309 / 638)다.
- 찾기 — 같은 선정자 안에서 실제 필요 평균이 A 1.18 · B 1.56 이다. 같은 점수에서 B 가 더 아프다는 것은 레이블이 B 를 덜 재고 있다는 신호다.
- 표본 맞춤 — B 를 30% 로 재가중하자 B 재현율이 0.453 으로 오히려 내렸다. B 30% 로 새로 모은 표본도 0.453 이다.
- 레이블 교체 — 레이블을 만성질환 지표(필요 + 잡음 σ 0.35) 상위 20% 로 바꾸면 B 0.547, 여기에 재가중을 더하면 0.600 이다.
- 특징 점검 — 지난해 진료비도 같은 대리 변수라 특징에서 빼면 A 0.732 · B 0.701 로 차가 0.031 이다. 선정 정밀도는 0.748 에서 0.722 로 조금 내려, 이 맞바꿈을 데이터시트 · 모델 카드에 적는다.
그림 4 · 사례의 편향은 진료비 한 길에서 들어온다 — 같은 필요가 집단 B 에서 작은 진료비로 재져 레이블과 특징 두 곳으로 퍼진다.
그림 5 · 표본 비율을 맞추면 집단 B 재현율이 오히려 내리고, 레이블과 특징의 측정을 바꿀 때 A · B 차가 0.387 에서 0.031 로 준다.
🔑 같은 잣대로 더 모으면 틀린 레이블을 더 굳게 배운다 — B 표본을 30% 로 늘리자 양성이 드문 B 의 레이블이 더 무거워져 B 재현율이 0.484 에서 0.453 으로 내렸다.
6비교 — 편향 완화 방식
완화 방법은 고치는 위치에 따라 전처리 · 학습 중 · 후처리로 나뉜다(Mehrabi 2021 5절). 공정성 제약의 지표 정의는 공정성 지표가 맡는다.
| 기준 | 추가 수집 · 재가중(전처리) | 레이블 · 특징 재정의(전처리) | 학습 중 제약 | 집단별 임계(후처리) |
|---|---|---|---|---|
| 고치는 원천 | 표현 편향 | 측정 · 역사적 편향 | 학습 편향 | 출력의 집단 차 |
| 바꾸는 것 | 표본 추출 s · 표본 가중치 | 측정 r · t | 목적 함수 f | 결정 임계 |
| 사례 B 재현율(기준 0.484) | 0.453 | 0.547 · 특징까지 0.701 | 실행 안 함 | 0.771(A 0.775 · 정밀도 0.774) |
| 필요한 것 | 집단 표지 · 사용 대상 비율 | 구성 개념을 더 잘 재는 자료 | 학습 코드 수정 | 결정 때 집단 속성 |
| 남는 한계 | 레이블이 틀리면 효과 없음(Suresh 2021 4.2절) | 새 자료 비용 · 정밀도 맞바꿈 | 정확도와 맞바꿈 | 레이블은 그대로 · 집단 속성 사용 제약 |
분석레이블 · 특징이 구성 개념을 집단마다 같은 뜻으로 재는지부터 확인하고, 그다음 표본 비율, 마지막에 후처리를 쓴다. 근거는 표의 사례 행 — 표본 대책은 오히려 낮췄고, 후처리(Hardt 2016)는 차를 0.003 으로 줄였지만 레이블을 고치지 않아 다음 재학습에 같은 편향이 다시 들어간다(Suresh 2021 4.2절).
7실무 진단 — 집단별 성능 차의 원인 가르기
분석집단 비율 → 레이블 양성률 → 같은 점수 안의 실제 상태 → 평가 데이터 순으로 본다. 비율은 표 하나로 바로 보이지만, 측정 편향은 점수 구간마다 독립 지표를 대조해야 드러나고 비율 대책이 이를 덮지 못하기 때문이다(Suresh 2021 4.2절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 한 집단 성능만 낮고 그 집단 표본이 적음 | 표현 편향 | 표본 추출 | 학습 · 평가 데이터 집단 비율 ↔ 사용 대상 비율 | 비율 차가 크고 레이블 양성률은 비슷하면 추가 수집 · 재가중(Suresh 2021 3.2절) |
| 2 | 레이블 양성률이 집단마다 크게 다름 | 측정 또는 역사적 편향 | 레이블 · 세계 | 레이블 정의 문서 · 다른 출처의 같은 비율 | 다른 출처에선 비슷하면 측정, 그쪽도 다르면 역사적(사례 B 1.8%) |
| 3 | 같은 점수인데 한 집단의 실제 상태가 더 나쁨 | 대리 레이블의 측정 편향 | 레이블 측정 | 점수 구간별 독립 지표(검진 · 수동 검토) 평균 | 집단 평균이 갈리면 레이블 재정의(Obermeyer 2019 · 사례 1.18 ↔ 1.56) |
| 4 | 민감 속성을 뺐는데도 집단 차가 남음 | 대리 특징 | 특징 측정 | 특징별 집단 분포 · 특징 하나씩 뺀 재현율 | 빼서 차가 줄면 그 특징이 대리 변수(NIST SP 1270 3.1.1절 · 사례 7단계) |
| 5 | 벤치마크 점수는 높은데 현장 한 지역에서 낮음 | 평가 편향 | 평가 데이터 | 벤치마크 수집 지역 · 집단 분포 | 사용 대상과 다르면 현장 표본으로 다시 평가(Suresh 2021 3.6절) |
데이터를 더 모은 뒤에도 차가 줄지 않으면 표본 대책을 멈추고 레이블 · 특징의 측정 과정을 본다 — 사례 5단계처럼 오히려 커지기도 한다. 감사 결과와 남은 차는 데이터시트 · 모델 카드에 적어 사용 범위와 함께 넘긴다.
8시험 대비
시험에서는 데이터 편향의 정의 · 유형을 묻는 정의 · 특징형, 편향을 찾고 줄이는 방안을 묻는 장애 · 보안 대응형이 나올 수 있다. 정의형은 유형을 나열하지 말고 수명주기 단계(그림 3)에 놓아 «어느 단계에서 들어왔나»로 쓰고, 대응형은 «원천마다 듣는 처방이 다르다»를 사례 숫자로 보이면 나열 답안과 갈린다.
- 개요 — 정의(데이터 생성 단계의 체계적 오차) · 필요성(대리 레이블 의료 위험 점수 17.7% → 46.5%)
- 발생 위치 — 그림 3 수명주기 · 역사적 · 표현 · 측정 · 평가 편향 + NIST 세 묶음
- 탐지 — 집단 비율표 · 레이블 양성률 · 점수 구간별 독립 지표 대조(사례 1.18 ↔ 1.56)
- 사례 — 그림 4 진료비가 레이블 · 특징으로 퍼지는 길
- 완화 — 그림 5 재현율 막대(표본 맞춤 0.453 · 측정 교체 차 0.031) + 전처리 · 학습 중 · 후처리 비교표
- 관리 — 데이터시트 · 모델 카드 기록 · EU AI법 10조 2항 (f) · (g) · 재학습 때 재감사
꼭 쓸 키워드
표현 편향측정 편향역사적 편향평가 편향대리 변수구성 개념재가중레이블 재정의집단별 재현율데이터시트
다른 답안과 차이를 내는 한 가지 — 「데이터를 늘리면 편향이 준다」는 통념을 그림 5 의 0.484 → 0.453 으로 뒤집어 보이면, 처방을 원천별로 골라야 하는 이유가 한 줄로 증명된다.
9오해와 사실
- 오해데이터를 많이 모으면 편향은 줄어든다.사실같은 측정 과정으로 모은 표본은 같은 편향을 담는다 — 사례에서 B 를 30% 로 늘리자 재현율이 0.484 에서 0.453 으로 내렸다(Suresh 2021 4.2절).
- 오해인종 · 성별 열을 빼면 편향도 사라진다.사실사례 모델에는 집단 열이 처음부터 없었고 진료비가 집단 차를 실어 날랐다 — 우편번호 · 이용 기록 같은 대리 변수가 속성을 대신한다(NIST SP 1270 3.1.1절).
- 오해편향은 표본이 대표성을 잃었을 때만 생긴다.사실역사적 편향은 완벽히 재고 완벽히 뽑아도 세계 자체의 치우침 때문에 생긴다(Suresh 2021 3.1절).
10핵심 정리
| 편향 | 들어오는 단계 | 대표 신호 | 찾는 자료 | 줄이는 방법 | 사례 값 |
|---|---|---|---|---|---|
| 역사적 | 세계 · 과거 기록 | 정확히 재도 해로운 결과 | 과거 결정 기록 · 다른 출처 통계 | 표본 설계로 분포 조정 · 사용 범위 제한 | — |
| 표현 | 모집단 정의 · 표본 | 집단 비율 ≠ 사용 대상 | 집단 비율표 | 추가 수집 · 재가중 | B 8.05% ↔ 30% |
| 측정(레이블) | 레이블 측정 | 같은 점수 · 다른 실제 상태 | 점수 구간별 독립 지표 | 레이블 재정의 | 양성 중 B 1.8% · 1.18 ↔ 1.56 |
| 측정(특징) | 특징 측정 | 대리 특징이 집단 차를 실음 | 특징 하나씩 뺀 재현율 | 특징 교체 · 제거 | 차 0.031 · 정밀도 0.722 |
| 평가 | 평가 데이터 | 벤치마크 ↔ 현장 차 | 벤치마크 수집 분포 | 사용 대상 표본으로 재평가 | ImageNet 미국 약 45% |
| 학습 · 집계 | 모델 학습 | 다수 집단에 맞춘 관계 | 집단별 오차 | 목적 함수 · 모델 구조 | — |
| 배포 | 사용 · 결정 | 설계와 다른 쓰임 | 사용 기록 | 사용 범위 문서화(모델 카드) | — |
11참고 문헌
- 먼저 볼 문헌
- ★ A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle (EAAMO '21 · arXiv 1901.10002v5) — 수명주기 단계별 해악 원천 일곱과 원천마다 듣는 완화 방향(4.2절)을 볼 때
- ★ NIST SP 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence — 체계적 · 통계 · 계산 · 인간 편향 세 묶음과 데이터셋 점검 지침을 볼 때
- ★ Dissecting racial bias in an algorithm used to manage the health of populations (Science 366(6464) 447-453) — 진료비를 건강 필요의 대리 레이블로 쓴 위험 점수의 편향을 볼 때
- ★ A Survey on Bias and Fairness in Machine Learning (ACM Computing Surveys 54(6) · arXiv 1908.09635) — 전처리 · 학습 중 · 후처리 완화 방법의 분류를 볼 때
- 본문 근거
- Unbiased Look at Dataset Bias (CVPR 2011) — A. Torralba · A. A. Efros · 2011-06 ·
people.csail.mit.edu/torralba/publications/datasets_cvpr11.pdf· 확인 2026-11-12 - Bias in Computer Systems (ACM Transactions on Information Systems 14(3) 330-347) — B. Friedman · H. Nissenbaum · 1996-07 ·
doi.org/10.1145/230538.230561· 확인 2026-11-12 - Data preprocessing techniques for classification without discrimination (Knowledge and Information Systems 33(1) 1-33) — F. Kamiran · T. Calders · 2012-10 ·
doi.org/10.1007/s10115-011-0463-8· 확인 2026-11-12 - Equality of Opportunity in Supervised Learning (NeurIPS 2016 · arXiv 1610.02413) — M. Hardt · E. Price · N. Srebro · 2016-10 ·
arxiv.org/abs/1610.02413· 확인 2026-11-12 - Regulation (EU) 2024/1689 (Artificial Intelligence Act) · OJ L 2024/1689 · 10조 — European Parliament · Council of the EU · 2024-07 ·
eur-lex.europa.eu/eli/reg/2024/1689/oj· 확인 2026-11-12 - NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-12