공정성 지표Fairness Metrics
AI 모델의 예측 · 결정이 성별 · 인종 같은 민감 속성으로 나눈 집단 사이에서 얼마나 다르게 나오는지를 수치로 재는 기준이다. 선발률 · 오류율 · 적중률 가운데 무엇을 집단끼리 맞추느냐에 따라 지표가 갈리고, 집단의 기준율이 다르면 모두를 한꺼번에 맞출 수 없다.
1요약
- 공정성 지표는 모델 출력 Ŷ · 실제 결과 Y · 민감 속성 A 셋의 결합 분포로 집단 사이 차이를 재는 수치로, 2016 ~ 2017년 Hardt · Kleinberg · Chouldechova 의 논문 뒤 독립성 · 분리성 · 충분성 세 계통으로 정리됐고(Barocas 2023 3장) 채용 서류 심사 · 대출 심사 · 위험 점수 감사가 이 지표로 집단별 결과를 보고한다.
- 평균 성능만 보면 한 집단에 몰린 오류가 숨는다 — 미국 한 카운티의 재범 위험 점수에서 재범하지 않은 흑인 피고인의 44.85%, 백인 피고인의 23.45%가 고위험으로 분류됐는데 고위험 판정의 적중률(PPV)은 0.63 · 0.59 로 비슷했다(ProPublica 2016).
- 「이 모델은 불공정하다」는 주장은 어느 분모로 잰 차이인가로 가른다 — 집단 전체 대비 선발률이면 독립성, 실제 적격자 · 부적격자 안의 오류율이면 분리성, 선발된 사람 안의 적격 비율이면 충분성이고, 기준율이 다르면 세 판정이 엇갈린다.
2등장 배경
2016년 5월 한 탐사 보도 매체가 미국 플로리다 한 카운티의 재범 위험 점수를 2년 추적 결과와 맞춘 6천여 명 표본으로 흑인 피고인의 오탐(FPR 44.85% ↔ 23.45%)을 근거로 편향을 주장했고, 도구 개발사는 고위험 판정의 적중률이 두 집단에서 같다는 예측 동등성으로 반박했다(ProPublica 2016 · Chouldechova 2017 1절). 같은 자료를 두고 양쪽이 다른 지표를 들었고, 어느 쪽도 계산을 틀리지 않았다.
지표의 뿌리는 둘이다. 1978년 미국 고용 선발 지침은 한 집단의 선발률이 가장 높은 집단의 4/5 미만이면 불리 효과의 증거로 본다는 4/5 규칙을 두었고(29 CFR 1607.4(D)), Feldman 등이 2015년 이를 차별 효과 비율로 식에 옮겼다(Feldman 2015 정의 1.1). 2012년 Dwork 등은 «비슷한 두 사람은 비슷한 결과를 받아야 한다»는 개인 공정성을 Lipschitz 조건으로 적었다(Dwork 2012 정의 2.1).
2016년 Hardt 등이 실제 결과 Y 에 조건을 건 균등 오즈 · 기회 균등을 냈고(Hardt 2016 정의 2.1 · 2.2), 같은 해 Kleinberg 등과 이듬해 Chouldechova 가 집단의 기준율이 다르면 보정과 오류율 균형을 함께 맞출 수 없음을 증명했다. 지금은 Fairlearn 같은 공개 도구가 이 지표를 함수로 내고, NIST SP 1270(2022)은 지표 하나로 공정을 판정하지 말고 사회 기술 맥락에서 해(harm)를 먼저 정하라고 적는다(NIST SP 1270 2.1절).
3쉽게 이해하기 — 합창단 오디션의 저울 셋
마을 합창단이 1반과 2반 학생을 함께 오디션한다. 심사위원 한 사람이 노래마다 점수를 매기고 합격선을 넘은 학생을 뽑는다. 결과가 나오자 감독관이 저울 셋을 꺼낸다 — 반마다 합격한 비율, 노래를 잘 부르는 학생 가운데 합격한 비율, 합격한 학생 가운데 정말 잘 부르는 비율. 앞의 두 저울은 평형인데 셋째 저울이 기운다. 2반에는 원래 잘 부르는 학생이 적어서, 합격선을 아무리 옮겨도 세 저울을 한꺼번에 평형으로 만들 수 없다.
그림 1 · 같은 심사 결과를 감독관이 저울 셋으로 반별로 나눠 잰다 — 두 저울이 평형이어도 셋째 저울은 기울 수 있다.
그림 2 · 저울마다 2반 지원자 100명을 나누는 분모가 다르다 — 실제 지표는 혼동 행렬의 서로 다른 셀 묶음을 분모로 쓴다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 1반 · 2반 | 민감 속성 A 로 나눈 집단 | 성별 · 나이대처럼 차이를 따질 집단을 정한다 |
| 정말 잘 부르는 학생 | 실제 결과 Y(레이블) | 1년 뒤 성과처럼 나중에 확인되는 정답 |
| 심사위원의 점수 | 모델 점수 R | 지원자마다 0 ~ 1 사이 위험 · 적합 점수를 낸다 |
| 합격선 | 임계값 · 예측 Ŷ | 점수를 선발 · 탈락 두 값으로 자른다 |
| 저울 1 · 2 · 3 | 독립성 · 분리성 · 충분성 지표 | 선발률 · 오류율 · 적중률을 집단끼리 견준다 |
| 남는 기욺 | 동시 충족 불가 | 기준율이 다르면 한 지표를 맞출 때 다른 지표가 벌어진다 |
| 감독관 | 공정성 감사 · 보고 | 어느 저울을 볼지 해(harm)부터 정하고 결과를 남긴다 |
⚠ 비유가 맞지 않는 곳: 실제 «잘 부름»(레이블 Y)은 심사 뒤에야, 그것도 합격한 사람만 확인되는 때가 많아 탈락자의 Y 는 비어 있다. 또 저울 셋 말고도 비슷한 두 사람을 견주는 개인 공정성이 있고, 집단을 성별 × 나이대처럼 겹쳐 나누면 저울 수가 늘어난다.
4구조 — 세 변수와 네 계통
집단 공정성 지표는 특징 X 를 보지 않고 Y · Ŷ(또는 점수 R) · A 세 변수의 결합 통계만 쓴다(Hardt 2016 1절). 어느 변수에 조건을 거느냐가 계통을 가르고, 특징 X 사이 거리를 쓰는 개인 공정성만 따로 선다.
그림 3 · 세 변수 Y · Ŷ · A 의 결합 분포만 보는 세 계통과 특징 거리를 쓰는 개인 공정성이 각각 다른 분모로 지표를 만든다.
| 계통 | 조건 | 대표 지표 | 분모 | 계산 함수 · 값 | 근거 |
|---|---|---|---|---|---|
| 독립성 | Ŷ ⊥ A | 인구 통계 동등성 · 차별 효과 비율 | 집단 전체 | 선발률 차이(0 = 동등) · 최소 ÷ 최대(1 = 동등) | Feldman 2015 정의 1.1 · 29 CFR 1607.4(D) |
| 분리성 | Ŷ ⊥ A | Y | 균등 오즈 · 기회 균등 | Y = 1 · Y = 0 각각 | TPR · FPR 차이 중 큰 값 · TPR 차이 | Hardt 2016 정의 2.1 · 2.2 |
| 충분성 | Y ⊥ A | Ŷ 또는 R | 예측 동등성 · 집단별 보정 | Ŷ = 1 · 점수 구간 | PPV 차이 · 구간별 실제 비율 | Chouldechova 2017 정의 2 · Kleinberg 2016 (A) |
| 개인 공정성 | 비슷한 x · x′ → 비슷한 결과 | Lipschitz 위반 쌍 수 | 개인 쌍 | 과제별 거리 d 를 먼저 정해야 함 | Dwork 2012 정의 2.1 |
계산 함수는 공개 도구 Fairlearn 의 demographic_parity_difference · demographic_parity_ratio · equalized_odds_difference 처럼 집단별 값을 내고 그 차이나 비율 하나로 줄인다(Fairlearn 문서).
5동작 — 채용 서류 심사 모델 한 건의 지표 점검
사례 = 직접 실행(합성 데이터 · Python 3.14.0 · NumPy 2.4.3 · default_rng(0)). 지원자마다 적격 여부 Y 를 정하고, 점수 = 적격이면 N(1.0, σ) · 부적격이면 N(−0.6, σ) 에서 뽑았다. 집단 B 는 이력 정보가 적어 σ 를 1.5(집단 A 는 1.0)로 두었다. 허용 한계는 차이 0.05(설명용 가정 값) · 비율 0.8(29 CFR 1607.4(D))이다.
- 데이터 — 지원자 2,000명 · 집단 A 1,200명 중 적격 461명(기준율 38.4%) · 집단 B 800명 중 적격 243명(30.4%).
- 선발 — 두 집단에 같은 임계값 0.5 를 써서 A 404명(TP 299 · FP 105) · B 280명(TP 155 · FP 125)을 서류 통과시킨다.
- 독립성 — 선발률 A 0.337 · B 0.350 · 차이 0.013 · 비율 0.962 로 4/5 기준을 넘는다.
- 기회 균등 — 적격자 통과율 TPR A 0.649 · B 0.638 · 차이 0.011 로 한계 안이다.
- 균등 오즈 — 부적격자 통과율 FPR A 0.142 · B 0.224 · 차이 0.082 로 한계를 넘고, 균등 오즈 차이(TPR · FPR 차이 중 큰 값)는 0.082 다.
- 예측 동등성 — 통과자 중 적격 비율 PPV A 0.740 · B 0.554 · 차이 0.187 — B 통과자 280명 중 125명이 부적격이다.
- 임계값 조정 — B 임계값을 0.44 로 내리면 TPR 0.650 으로 A 와 같아지지만 FPR 0.237 · PPV 0.545 로 5 · 6단계 차이가 각각 0.095 · 0.195 로 더 벌어진다.
- 판정 — 이 과제의 해가 «적격자가 서류에서 떨어지는 것»이면 주 지표는 기회 균등이고 통과다. FPR · PPV 차이는 면접 단계 부담으로 모델 카드에 적고, B 의 점수 잡음(σ 1.5)을 줄일 특징 보강을 다음 과제로 둔다.
그림 4 · 같은 임계값의 선발 결과가 선발률 · TPR 로는 한계 안이지만 FPR · PPV 로는 한계를 넘는다 — 판정은 고른 지표가 정한다.
🔑 공정성 판정은 모델이 아니라 고른 지표가 내린다 — 같은 선발 결과가 선발률 · TPR 로는 통과, FPR · PPV 로는 초과다.
기준율이 다른데 PPV 를 두 집단에서 같게 묶으면 FPR 과 FNR 의 관계가 집단마다 다른 직선이 된다(Chouldechova 2017 식 2.6). 사례 B 를 이 식에 넣으면 0.304 ÷ 0.696 × 0.446 ÷ 0.554 × 0.638 = 0.224 로 5단계의 실제 FPR 과 같다.
그림 5 · PPV 를 0.65 로 같게 묶으면 기준율이 다른 두 집단의 FNR–FPR 직선이 갈라져, FNR 이 같을 때 FPR 이 0.065 차이 난다 — 두 직선은 아무도 선발하지 않는 FNR 1 에서만 만난다.
🔑 기준율이 다르면 PPV 를 맞춘 순간 오류율 균형은 깨진다 — 지표 사이의 상충은 모델 결함이 아니라 식의 결과다(Kleinberg 2016 정리 1.1).
6비교 — 공정성 지표 계통별 차이
| 기준 | 인구 통계 동등성 | 기회 균등 | 균등 오즈 | 예측 동등성 · 보정 | 개인 공정성 |
|---|---|---|---|---|---|
| 맞추는 값 | 집단별 선발률 | 적격자 안 TPR | TPR · FPR 둘 다 | 선발자 안 PPV · 점수 구간별 실제 비율 | 비슷한 두 사람의 결과 거리 |
| 완벽 예측 Ŷ = Y 허용 | 기준율이 다르면 불허(Hardt 2016 1절) | 허용 | 허용 | 허용 | 허용 |
| 레이블 Y 필요 | 필요 없음 | 필요 | 필요 | 필요 | 필요 없음(거리 d 필요) |
| 맞추는 방법 | 학습 데이터 수리 · 제약 학습(Feldman 2015 · Agarwal 2018) | 집단별 임계값(무작위 없이) | 집단별 임계값 + 무작위화(Hardt 2016 4절) | 집단별 보정 · 학습 그대로도 근사(Barocas 2023 3장) | 선형 계획 · 거리 설계(Dwork 2012) |
| 맞는 결정 | 기회 배분 자체를 고르게 할 때 | 탈락이 해인 선발 · 승인 | 오탐 · 놓침 둘 다 해인 판정 | 점수를 사람이 그대로 읽는 위험 점수 | 같은 조건의 개인 비교 민원 |
분석해가 «기회를 잃는 것»이면 기회 균등, 오탐과 놓침이 모두 해면 균등 오즈, 점수를 판단자가 확률로 읽으면 예측 동등성 · 보정을 주 지표로 고르고 나머지는 보고만 한다. 근거는 표의 둘째 행과 그림 5 — 기준율이 다르면 분리성과 충분성을 함께 맞출 수 없어(Chouldechova 2017 2.3절) 「모두 통과」를 목표로 잡으면 어느 지표도 지키지 못한다.
7실무 진단 — 공정성 지표가 갈리는 원인 가르기
분석해(harm)와 주 지표를 먼저 맞추고, 그다음 집단 표본 수 · 기준율 · 대리 변수 순으로 본다. 기준율이 다르면 지표 사이 상충은 식의 결과라서(Chouldechova 2017 식 2.6) 임계값부터 고치면 다른 지표만 벌어진다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 선발률 비율이 0.8 을 넘는데 적격자 탈락 민원이 몰림 | 주 지표가 해와 어긋남 | 지표 선택 | 해 정의 ↔ 지표 분모 · 집단별 TPR | 탈락이 해면 TPR 차이로 판정(Hardt 2016 2.1절) |
| 2 | 민감 속성 열을 지웠는데 집단 차이가 그대로 | 다른 특징이 A 를 대신함 | 데이터 | 나머지 특징으로 A 를 맞히는 분류기의 균형 오류율(BER) | BER 이 낮으면 A 정보가 남음(Feldman 2015 3절) |
| 3 | 한 집단 임계값을 바꾸자 다른 지표가 나빠짐 | 기준율 차이에서 오는 상충 | 임계값 | 집단별 기준율 p · PPV · FNR 을 식에 대입 | 식 (2.6)의 FPR 과 실제 FPR 일치 = 구조적 상충(Chouldechova 2017) |
| 4 | 작은 집단의 지표가 평가 회차마다 크게 흔들림 | 표본 수 부족 | 평가 | 집단별 표본 수 · 부트스트랩 신뢰 구간 | 구간이 허용 한계를 걸치면 판정 보류(Fairlearn 문서 신뢰 구간 추정) |
| 5 | 지표는 모두 한계 안인데 현장 차별 신고가 계속됨 | 레이블 Y 자체의 편향 | 데이터 · 맥락 | 레이블 생성 경위 · 과거 결정 기록 | 체계적 편향은 지표 밖 맥락에서 확인(NIST SP 1270 2.1절) |
집단 표본 수가 수백 명 아래면 점 추정값끼리의 차이로 판정하지 말고 신뢰 구간을 함께 적는다. 성별 × 나이대처럼 교차 집단으로 나누면 집단마다 표본이 줄어 이 점검이 더 앞에 온다.
8시험 대비
시험에서는 지표의 종류와 식을 묻는 정의 · 특징형, 지표끼리 견주고 동시에 맞출 수 없는 이유를 묻는 비교형이 나올 수 있다. 정의형은 Y · Ŷ · A 세 변수와 세 계통 그림으로 시작해 지표마다 분모를 적고, 비교형은 한 사례의 혼동 행렬에서 지표가 엇갈리는 것을 보인 뒤 식 (2.6)으로 이유를 댄다.
- 개요 — 정의 · 민감 속성 A · 기준율 · 필요성(평균 성능이 집단 오류를 가림 · 재범 위험 점수 FPR 44.85 ↔ 23.45%)
- 지표 구조 — 그림 3 세 계통 + 개인 공정성 · 표(조건 · 분모 · 계산 함수)
- 적용 사례 — 그림 4 채용 서류 심사(선발률 비율 0.962 · TPR 차이 0.011 통과 · FPR 0.082 · PPV 0.187 초과)
- 동시 충족 불가 — 그림 5 FNR–FPR 직선 · 식 (2.6) · Kleinberg 정리 1.1
- 지표 선택과 완화 — 비교표(해 ↔ 지표) · 전처리 · 제약 학습 · 집단별 임계값
- 한계와 운영 — 레이블 편향 · 작은 집단 신뢰 구간 · 4/5 규칙의 적용 범위 · 모델 카드 보고
꼭 쓸 키워드
민감 속성기준율인구 통계 동등성차별 효과 비율4/5 규칙균등 오즈기회 균등예측 동등성집단별 보정개인 공정성
다른 답안과 차이를 내는 한 가지 — 지표 이름만 나열하지 않고 한 사례의 네 지표 값을 적어 «통과와 초과가 동시에 나온다»를 보이고, 식 (2.6)으로 그 상충이 기준율에서 온다는 것을 계산으로 보인다.
9오해와 사실
- 오해민감 속성 열을 학습에서 빼면 모델이 공정해진다.사실우편번호 · 이력 같은 다른 특징이 A 를 대신 담아, 빼도 집단 차이가 남는다 — Feldman 2015 는 나머지 특징으로 A 를 맞히는 균형 오류율로 이 누출을 잰다(Feldman 2015 3절 · Barocas 2023 3장).
- 오해차별 효과 비율이 0.8 이상이면 공정하다고 볼 수 있다.사실4/5 규칙은 미국 고용 선발 절차의 불리 효과 «증거» 기준이고, 같은 조항이 더 작은 차이도 통계 · 실무상 유의하면 불리 효과가 될 수 있다고 적는다(29 CFR 1607.4(D)) — 사례도 비율 0.962 에서 PPV 차이 0.187 이 남았다.
- 오해잘 만든 모델이면 모든 공정성 지표를 함께 만족한다.사실보정과 두 균형 조건은 완벽 예측이거나 기준율이 같을 때만 함께 성립한다(Kleinberg 2016 정리 1.1).
10핵심 정리
| 지표 | 계통 | 식 | 분모 | 사례 값 A · B | 맞는 결정 |
|---|---|---|---|---|---|
| 인구 통계 동등성 | 독립성 | P(Ŷ=1 | A=a) 같음 | 집단 전체 | 0.337 · 0.350 | 기회 배분 자체 |
| 차별 효과 비율 | 독립성 | 최소 ÷ 최대 선발률 ≥ 0.8 | 집단 전체 | 0.962 | 고용 선발 증거 기준 |
| 기회 균등 | 분리성 | P(Ŷ=1 | Y=1, A=a) 같음 | 적격자 | 0.649 · 0.638 | 탈락이 해인 선발 |
| 균등 오즈 | 분리성 | TPR · FPR 모두 같음 | 적격 · 부적격 각각 | FPR 0.142 · 0.224 | 오탐 · 놓침 모두 해 |
| 예측 동등성 | 충분성 | P(Y=1 | Ŷ=1, A=a) 같음 | 선발자 | 0.740 · 0.554 | 점수를 그대로 읽는 판단 |
| 집단별 보정 | 충분성 | 점수 구간별 실제 비율 같음 | 점수 구간 | — | 확률 점수 제공 |
| 개인 공정성 | 개인 | d(M(x), M(x′)) ≤ d(x, x′) | 비슷한 두 사람 | — | 개인 비교 민원 |
11참고 문헌
- 먼저 볼 문헌
- ★ Equality of Opportunity in Supervised Learning (Hardt · Price · Srebro · NeurIPS 2016) — 균등 오즈 · 기회 균등의 정의와 임계값 후처리 방법을 원문으로 볼 때
- ★ Fair prediction with disparate impact: A study of bias in recidivism prediction instruments (Chouldechova · Big Data 5(2)) — 예측 동등성과 오류율 균형이 함께 성립하지 않는 식 (2.6)을 볼 때
- ★ Inherent Trade-Offs in the Fair Determination of Risk Scores (Kleinberg · Mullainathan · Raghavan · ITCS 2017) — 보정과 두 균형 조건의 동시 충족 불가 정리 1.1 을 볼 때
- ★ Fairness and Machine Learning: Limitations and Opportunities (Barocas · Hardt · Narayanan · MIT Press) 3 Classification — 독립성 · 분리성 · 충분성 세 계통과 서로의 관계를 볼 때
- ★ Fairlearn User Guide · Common fairness metrics — 지표 함수의 계산법과 4/5 규칙 오용 주의를 볼 때
- 본문 근거
- Fairness Through Awareness (Dwork · Hardt · Pitassi · Reingold · Zemel · ITCS 2012) — arXiv · 2011-11 ·
arxiv.org/abs/1104.3913· 확인 2026-11-12 - Certifying and removing disparate impact (Feldman · Friedler · Moeller · Scheidegger · Venkatasubramanian · KDD 2015) — arXiv · 2014-12 ·
arxiv.org/abs/1412.3756· 확인 2026-11-12 - 29 CFR 1607.4 Information on impact (Uniform Guidelines on Employee Selection Procedures · 1978) — U.S. EEOC · eCFR · 1978-08 ·
www.ecfr.gov/current/title-29/subtitle-B/chapter-XIV/part-1607/section-1607.4· 확인 2026-11-12 - How We Analyzed the COMPAS Recidivism Algorithm (Larson · Mattu · Kirchner · Angwin) — ProPublica · 2016-05 ·
www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm· 확인 2026-11-12 - NIST SP 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence — NIST · 2022-03 ·
doi.org/10.6028/NIST.SP.1270· 확인 2026-11-12 - A Reductions Approach to Fair Classification (Agarwal · Beygelzimer · Dudík · Langford · Wallach · ICML 2018) — arXiv · 2018-03 ·
arxiv.org/abs/1803.02453· 확인 2026-11-12 - NumPy 2.4 Reference · Random Generator — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12