AI › 신뢰할 수 있는 AI › 윤리 · 공정성

공정성 지표Fairness Metrics

AI 모델의 예측 · 결정이 성별 · 인종 같은 민감 속성으로 나눈 집단 사이에서 얼마나 다르게 나오는지를 수치로 재는 기준이다. 선발률 · 오류율 · 적중률 가운데 무엇을 집단끼리 맞추느냐에 따라 지표가 갈리고, 집단의 기준율이 다르면 모두를 한꺼번에 맞출 수 없다.

1요약

  1. 공정성 지표는 모델 출력 Ŷ · 실제 결과 Y · 민감 속성 A 셋의 결합 분포로 집단 사이 차이를 재는 수치로, 2016 ~ 2017년 Hardt · Kleinberg · Chouldechova 의 논문 뒤 독립성 · 분리성 · 충분성 세 계통으로 정리됐고(Barocas 2023 3장) 채용 서류 심사 · 대출 심사 · 위험 점수 감사가 이 지표로 집단별 결과를 보고한다.
  2. 평균 성능만 보면 한 집단에 몰린 오류가 숨는다 — 미국 한 카운티의 재범 위험 점수에서 재범하지 않은 흑인 피고인의 44.85%, 백인 피고인의 23.45%가 고위험으로 분류됐는데 고위험 판정의 적중률(PPV)은 0.63 · 0.59 로 비슷했다(ProPublica 2016).
  3. 「이 모델은 불공정하다」는 주장은 어느 분모로 잰 차이인가로 가른다 — 집단 전체 대비 선발률이면 독립성, 실제 적격자 · 부적격자 안의 오류율이면 분리성, 선발된 사람 안의 적격 비율이면 충분성이고, 기준율이 다르면 세 판정이 엇갈린다.

2등장 배경

2016년 5월 한 탐사 보도 매체가 미국 플로리다 한 카운티의 재범 위험 점수를 2년 추적 결과와 맞춘 6천여 명 표본으로 흑인 피고인의 오탐(FPR 44.85% ↔ 23.45%)을 근거로 편향을 주장했고, 도구 개발사는 고위험 판정의 적중률이 두 집단에서 같다는 예측 동등성으로 반박했다(ProPublica 2016 · Chouldechova 2017 1절). 같은 자료를 두고 양쪽이 다른 지표를 들었고, 어느 쪽도 계산을 틀리지 않았다.

지표의 뿌리는 둘이다. 1978년 미국 고용 선발 지침은 한 집단의 선발률이 가장 높은 집단의 4/5 미만이면 불리 효과의 증거로 본다는 4/5 규칙을 두었고(29 CFR 1607.4(D)), Feldman 등이 2015년 이를 차별 효과 비율로 식에 옮겼다(Feldman 2015 정의 1.1). 2012년 Dwork 등은 «비슷한 두 사람은 비슷한 결과를 받아야 한다»는 개인 공정성을 Lipschitz 조건으로 적었다(Dwork 2012 정의 2.1).

2016년 Hardt 등이 실제 결과 Y 에 조건을 건 균등 오즈 · 기회 균등을 냈고(Hardt 2016 정의 2.1 · 2.2), 같은 해 Kleinberg 등과 이듬해 Chouldechova 가 집단의 기준율이 다르면 보정과 오류율 균형을 함께 맞출 수 없음을 증명했다. 지금은 Fairlearn 같은 공개 도구가 이 지표를 함수로 내고, NIST SP 1270(2022)은 지표 하나로 공정을 판정하지 말고 사회 기술 맥락에서 해(harm)를 먼저 정하라고 적는다(NIST SP 1270 2.1절).

3쉽게 이해하기 — 합창단 오디션의 저울 셋

마을 합창단이 1반과 2반 학생을 함께 오디션한다. 심사위원 한 사람이 노래마다 점수를 매기고 합격선을 넘은 학생을 뽑는다. 결과가 나오자 감독관이 저울 셋을 꺼낸다 — 반마다 합격한 비율, 노래를 잘 부르는 학생 가운데 합격한 비율, 합격한 학생 가운데 정말 잘 부르는 비율. 앞의 두 저울은 평형인데 셋째 저울이 기운다. 2반에는 원래 잘 부르는 학생이 적어서, 합격선을 아무리 옮겨도 세 저울을 한꺼번에 평형으로 만들 수 없다.

1반 지원자 집단 A 2반 지원자 집단 B 1 지원 심사위원 점수를 매김 모델 점수 합격선 임계값 2 판정 결과 합격 선발 Ŷ = 1 불합격 탈락 Ŷ = 0 3 반별로 나눠 봄 감독관 공정성 지표 4 평형 반별 합격 비율 분모 = 반 전체 인구 통계 동등성 5 평형 잘 부르는 학생 중 합격 분모 = 잘 부르는 학생 기회 균등(TPR) 6 기욺 합격자 중 잘 부르는 학생 분모 = 합격자 예측 동등성(PPV) 저울 = 두 반의 비율을 견줌 · 기욺 = 반 사이 차이가 미리 정한 허용 한계를 넘음 · 저울마다 나누는 분모가 다르다

그림 1 · 같은 심사 결과를 감독관이 저울 셋으로 반별로 나눠 잰다 — 두 저울이 평형이어도 셋째 저울은 기울 수 있다.

지원두 반 학생이 함께 오디션
채점심사위원이 노래마다 점수
합격선점수가 선을 넘으면 합격
반별로 보기결과를 반마다 나눔
저울 셋무엇끼리 견주나에 따라
남는 기욺한 저울은 기운 채 남음
비유 — 2반 지원자 100명의 네 칸 합격 불합격 잘 부름 못 부름 20명 10명 14명 56명 저울 1 합격 열 ÷ 100명 = 34% 저울 2 잘 부름 줄 안 합격 = 20 ÷ 30 저울 3 합격 열 안 잘 부름 = 20 ÷ 34 실제 — 혼동 행렬의 분모 Ŷ = 1 Ŷ = 0 Y = 1 Y = 0 TP FN FP TN 선발률 = (TP + FP) ÷ N = 0.34 TPR = TP ÷ (TP + FN) = 0.67 PPV = TP ÷ (TP + FP) = 0.59 채운 칸 = 합격(선발) · 점선 칸 = 잘 부르는데 떨어진 학생(놓침) · 숫자는 설명용 가정 값

그림 2 · 저울마다 2반 지원자 100명을 나누는 분모가 다르다 — 실제 지표는 혼동 행렬의 서로 다른 셀 묶음을 분모로 쓴다.

비유 속 역할실제 이름실제로 하는 일
1반 · 2반민감 속성 A 로 나눈 집단성별 · 나이대처럼 차이를 따질 집단을 정한다
정말 잘 부르는 학생실제 결과 Y(레이블)1년 뒤 성과처럼 나중에 확인되는 정답
심사위원의 점수모델 점수 R지원자마다 0 ~ 1 사이 위험 · 적합 점수를 낸다
합격선임계값 · 예측 Ŷ점수를 선발 · 탈락 두 값으로 자른다
저울 1 · 2 · 3독립성 · 분리성 · 충분성 지표선발률 · 오류율 · 적중률을 집단끼리 견준다
남는 기욺동시 충족 불가기준율이 다르면 한 지표를 맞출 때 다른 지표가 벌어진다
감독관공정성 감사 · 보고어느 저울을 볼지 해(harm)부터 정하고 결과를 남긴다

⚠ 비유가 맞지 않는 곳: 실제 «잘 부름»(레이블 Y)은 심사 뒤에야, 그것도 합격한 사람만 확인되는 때가 많아 탈락자의 Y 는 비어 있다. 또 저울 셋 말고도 비슷한 두 사람을 견주는 개인 공정성이 있고, 집단을 성별 × 나이대처럼 겹쳐 나누면 저울 수가 늘어난다.

4구조 — 세 변수와 네 계통

집단 공정성 지표는 특징 X 를 보지 않고 Y · Ŷ(또는 점수 R) · A 세 변수의 결합 통계만 쓴다(Hardt 2016 1절). 어느 변수에 조건을 거느냐가 계통을 가르고, 특징 X 사이 거리를 쓰는 개인 공정성만 따로 선다.

세 변수 결합 통계 A 민감 속성 성별 · 인종 · 나이대 Y 실제 결과 레이블 · 나중에 확인 Ŷ 예측 · R 점수 모델 출력 특징 X 는 보지 않음 X 특징 두 사람 사이 거리 d 독립성 Ŷ ⊥ A A 에 따라 선발률이 같다 분모 = 집단 전체 분리성 Ŷ ⊥ A | Y 같은 Y 안에서 오류율이 같다 분모 = 실제 적격 · 부적격 충분성 Y ⊥ A | Ŷ 같은 판정 안에서 적중률이 같다 분모 = 선발된 사람 · 점수 구간 개인 공정성 d(M(x), M(x′)) ≤ d(x, x′) 분모 = 비슷한 두 사람 인구 통계 동등성 차별 효과 비율(4/5) 균등 오즈(TPR · FPR) 기회 균등(TPR) 예측 동등성(PPV) 집단별 보정 Lipschitz 조건 과제별 거리 함수 필요 점선 = 기준율이 다르면 위 세 계통 중 둘 이상을 함께 맞출 수 없다(완벽 예측 제외) 채운 상자 = 지표(집단 공정성) · 빈 상자 = 개인 공정성 · ⊥ = 통계적 독립 · | = 그 변수 값마다 따로

그림 3 · 세 변수 Y · Ŷ · A 의 결합 분포만 보는 세 계통과 특징 거리를 쓰는 개인 공정성이 각각 다른 분모로 지표를 만든다.

계통조건대표 지표분모계산 함수 · 값근거
독립성Ŷ ⊥ A인구 통계 동등성 · 차별 효과 비율집단 전체선발률 차이(0 = 동등) · 최소 ÷ 최대(1 = 동등)Feldman 2015 정의 1.1 · 29 CFR 1607.4(D)
분리성Ŷ ⊥ A | Y균등 오즈 · 기회 균등Y = 1 · Y = 0 각각TPR · FPR 차이 중 큰 값 · TPR 차이Hardt 2016 정의 2.1 · 2.2
충분성Y ⊥ A | Ŷ 또는 R예측 동등성 · 집단별 보정Ŷ = 1 · 점수 구간PPV 차이 · 구간별 실제 비율Chouldechova 2017 정의 2 · Kleinberg 2016 (A)
개인 공정성비슷한 x · x′ → 비슷한 결과Lipschitz 위반 쌍 수개인 쌍과제별 거리 d 를 먼저 정해야 함Dwork 2012 정의 2.1

계산 함수는 공개 도구 Fairlearn 의 demographic_parity_difference · demographic_parity_ratio · equalized_odds_difference 처럼 집단별 값을 내고 그 차이나 비율 하나로 줄인다(Fairlearn 문서).

5동작 — 채용 서류 심사 모델 한 건의 지표 점검

사례 = 직접 실행(합성 데이터 · Python 3.14.0 · NumPy 2.4.3 · default_rng(0)). 지원자마다 적격 여부 Y 를 정하고, 점수 = 적격이면 N(1.0, σ) · 부적격이면 N(−0.6, σ) 에서 뽑았다. 집단 B 는 이력 정보가 적어 σ 를 1.5(집단 A 는 1.0)로 두었다. 허용 한계는 차이 0.05(설명용 가정 값) · 비율 0.8(29 CFR 1607.4(D))이다.

  1. 데이터 — 지원자 2,000명 · 집단 A 1,200명 중 적격 461명(기준율 38.4%) · 집단 B 800명 중 적격 243명(30.4%).
  2. 선발 — 두 집단에 같은 임계값 0.5 를 써서 A 404명(TP 299 · FP 105) · B 280명(TP 155 · FP 125)을 서류 통과시킨다.
  3. 독립성 — 선발률 A 0.337 · B 0.350 · 차이 0.013 · 비율 0.962 로 4/5 기준을 넘는다.
  4. 기회 균등 — 적격자 통과율 TPR A 0.649 · B 0.638 · 차이 0.011 로 한계 안이다.
  5. 균등 오즈 — 부적격자 통과율 FPR A 0.142 · B 0.224 · 차이 0.082 로 한계를 넘고, 균등 오즈 차이(TPR · FPR 차이 중 큰 값)는 0.082 다.
  6. 예측 동등성 — 통과자 중 적격 비율 PPV A 0.740 · B 0.554 · 차이 0.187 — B 통과자 280명 중 125명이 부적격이다.
  7. 임계값 조정 — B 임계값을 0.44 로 내리면 TPR 0.650 으로 A 와 같아지지만 FPR 0.237 · PPV 0.545 로 5 · 6단계 차이가 각각 0.095 · 0.195 로 더 벌어진다.
  8. 판정 — 이 과제의 해가 «적격자가 서류에서 떨어지는 것»이면 주 지표는 기회 균등이고 통과다. FPR · PPV 차이는 면접 단계 부담으로 모델 카드에 적고, B 의 점수 잡음(σ 1.5)을 줄일 특징 보강을 다음 과제로 둔다.
임계값 0.5 · 지원자 2,000명 1 2 집단 A 1,200명 적격 38.4% TP 299 FN 162 105 TN 634 집단 B 800명 적격 30.4% TP 155 FN 88 FP 125 TN 432 TP 통과 · 적격 FN 탈락 · 적격 FP 통과 · 부적격 TN 탈락 · 부적격 지표 A B 차이 · 비율 판정 3 선발률(독립성) 0.337 0.350 비율 0.962 통과(≥ 0.8) 4 TPR(기회 균등) 0.649 0.638 차이 0.011 통과(≤ 0.05) 5 FPR(균등 오즈) 0.142 0.224 차이 0.082 초과 6 PPV(예측 동등성) 0.740 0.554 차이 0.187 초과 7 B 임계값 0.44 로 TPR 0.650 을 맞추면 FPR 차이 0.095 · PPV 차이 0.195 로 커진다 굵은 테두리 = 허용 한계를 넘은 값 · 한계 = 차이 0.05(가정 값) · 비율 0.8(29 CFR 1607.4(D)) · 막대 폭 = 집단 안 비율

그림 4 · 같은 임계값의 선발 결과가 선발률 · TPR 로는 한계 안이지만 FPR · PPV 로는 한계를 넘는다 — 판정은 고른 지표가 정한다.

🔑 공정성 판정은 모델이 아니라 고른 지표가 내린다 — 같은 선발 결과가 선발률 · TPR 로는 통과, FPR · PPV 로는 초과다.

기준율이 다른데 PPV 를 두 집단에서 같게 묶으면 FPR 과 FNR 의 관계가 집단마다 다른 직선이 된다(Chouldechova 2017 식 2.6). 사례 B 를 이 식에 넣으면 0.304 ÷ 0.696 × 0.446 ÷ 0.554 × 0.638 = 0.224 로 5단계의 실제 FPR 과 같다.

0 0.25 0.5 0.75 1 FNR — 적격자 탈락률 0 0.1 0.2 0.3 0.4 FPR — 부적격자 선발률 0.218 0.153 FNR 0.35 FNR 1 에서만 만남 = 아무도 선발하지 않는 모델 집단 A · 기준율 0.384 집단 B · 기준율 0.304 두 집단 모두 PPV = 0.65(가정 값) FNR 0.35 에서 FPR 차이 0.065 FPR = p ÷ (1 − p) × (1 − PPV) ÷ PPV × (1 − FNR) · p = 기준율(Chouldechova 2017 식 2.6)

그림 5 · PPV 를 0.65 로 같게 묶으면 기준율이 다른 두 집단의 FNR–FPR 직선이 갈라져, FNR 이 같을 때 FPR 이 0.065 차이 난다 — 두 직선은 아무도 선발하지 않는 FNR 1 에서만 만난다.

🔑 기준율이 다르면 PPV 를 맞춘 순간 오류율 균형은 깨진다 — 지표 사이의 상충은 모델 결함이 아니라 식의 결과다(Kleinberg 2016 정리 1.1).

6비교 — 공정성 지표 계통별 차이

기준인구 통계 동등성기회 균등균등 오즈예측 동등성 · 보정개인 공정성
맞추는 값집단별 선발률적격자 안 TPRTPR · FPR 둘 다선발자 안 PPV · 점수 구간별 실제 비율비슷한 두 사람의 결과 거리
완벽 예측 Ŷ = Y 허용기준율이 다르면 불허(Hardt 2016 1절)허용허용허용허용
레이블 Y 필요필요 없음필요필요필요필요 없음(거리 d 필요)
맞추는 방법학습 데이터 수리 · 제약 학습(Feldman 2015 · Agarwal 2018)집단별 임계값(무작위 없이)집단별 임계값 + 무작위화(Hardt 2016 4절)집단별 보정 · 학습 그대로도 근사(Barocas 2023 3장)선형 계획 · 거리 설계(Dwork 2012)
맞는 결정기회 배분 자체를 고르게 할 때탈락이 해인 선발 · 승인오탐 · 놓침 둘 다 해인 판정점수를 사람이 그대로 읽는 위험 점수같은 조건의 개인 비교 민원

분석해가 «기회를 잃는 것»이면 기회 균등, 오탐과 놓침이 모두 해면 균등 오즈, 점수를 판단자가 확률로 읽으면 예측 동등성 · 보정을 주 지표로 고르고 나머지는 보고만 한다. 근거는 표의 둘째 행과 그림 5 — 기준율이 다르면 분리성과 충분성을 함께 맞출 수 없어(Chouldechova 2017 2.3절) 「모두 통과」를 목표로 잡으면 어느 지표도 지키지 못한다.

7실무 진단 — 공정성 지표가 갈리는 원인 가르기

분석해(harm)와 주 지표를 먼저 맞추고, 그다음 집단 표본 수 · 기준율 · 대리 변수 순으로 본다. 기준율이 다르면 지표 사이 상충은 식의 결과라서(Chouldechova 2017 식 2.6) 임계값부터 고치면 다른 지표만 벌어진다.

#증상의심 원인단계확인 자료판정 기준(근거)
1선발률 비율이 0.8 을 넘는데 적격자 탈락 민원이 몰림주 지표가 해와 어긋남지표 선택해 정의 ↔ 지표 분모 · 집단별 TPR탈락이 해면 TPR 차이로 판정(Hardt 2016 2.1절)
2민감 속성 열을 지웠는데 집단 차이가 그대로다른 특징이 A 를 대신함데이터나머지 특징으로 A 를 맞히는 분류기의 균형 오류율(BER)BER 이 낮으면 A 정보가 남음(Feldman 2015 3절)
3한 집단 임계값을 바꾸자 다른 지표가 나빠짐기준율 차이에서 오는 상충임계값집단별 기준율 p · PPV · FNR 을 식에 대입식 (2.6)의 FPR 과 실제 FPR 일치 = 구조적 상충(Chouldechova 2017)
4작은 집단의 지표가 평가 회차마다 크게 흔들림표본 수 부족평가집단별 표본 수 · 부트스트랩 신뢰 구간구간이 허용 한계를 걸치면 판정 보류(Fairlearn 문서 신뢰 구간 추정)
5지표는 모두 한계 안인데 현장 차별 신고가 계속됨레이블 Y 자체의 편향데이터 · 맥락레이블 생성 경위 · 과거 결정 기록체계적 편향은 지표 밖 맥락에서 확인(NIST SP 1270 2.1절)

집단 표본 수가 수백 명 아래면 점 추정값끼리의 차이로 판정하지 말고 신뢰 구간을 함께 적는다. 성별 × 나이대처럼 교차 집단으로 나누면 집단마다 표본이 줄어 이 점검이 더 앞에 온다.

8시험 대비

시험에서는 지표의 종류와 식을 묻는 정의 · 특징형, 지표끼리 견주고 동시에 맞출 수 없는 이유를 묻는 비교형이 나올 수 있다. 정의형은 Y · Ŷ · A 세 변수와 세 계통 그림으로 시작해 지표마다 분모를 적고, 비교형은 한 사례의 혼동 행렬에서 지표가 엇갈리는 것을 보인 뒤 식 (2.6)으로 이유를 댄다.

답안 목차
  1. 개요 — 정의 · 민감 속성 A · 기준율 · 필요성(평균 성능이 집단 오류를 가림 · 재범 위험 점수 FPR 44.85 ↔ 23.45%)
  2. 지표 구조 — 그림 3 세 계통 + 개인 공정성 · 표(조건 · 분모 · 계산 함수)
  3. 적용 사례 — 그림 4 채용 서류 심사(선발률 비율 0.962 · TPR 차이 0.011 통과 · FPR 0.082 · PPV 0.187 초과)
  4. 동시 충족 불가 — 그림 5 FNR–FPR 직선 · 식 (2.6) · Kleinberg 정리 1.1
  5. 지표 선택과 완화 — 비교표(해 ↔ 지표) · 전처리 · 제약 학습 · 집단별 임계값
  6. 한계와 운영 — 레이블 편향 · 작은 집단 신뢰 구간 · 4/5 규칙의 적용 범위 · 모델 카드 보고

꼭 쓸 키워드
민감 속성기준율인구 통계 동등성차별 효과 비율4/5 규칙균등 오즈기회 균등예측 동등성집단별 보정개인 공정성

다른 답안과 차이를 내는 한 가지 — 지표 이름만 나열하지 않고 한 사례의 네 지표 값을 적어 «통과와 초과가 동시에 나온다»를 보이고, 식 (2.6)으로 그 상충이 기준율에서 온다는 것을 계산으로 보인다.

9오해와 사실

  • 오해민감 속성 열을 학습에서 빼면 모델이 공정해진다.
    사실우편번호 · 이력 같은 다른 특징이 A 를 대신 담아, 빼도 집단 차이가 남는다 — Feldman 2015 는 나머지 특징으로 A 를 맞히는 균형 오류율로 이 누출을 잰다(Feldman 2015 3절 · Barocas 2023 3장).
  • 오해차별 효과 비율이 0.8 이상이면 공정하다고 볼 수 있다.
    사실4/5 규칙은 미국 고용 선발 절차의 불리 효과 «증거» 기준이고, 같은 조항이 더 작은 차이도 통계 · 실무상 유의하면 불리 효과가 될 수 있다고 적는다(29 CFR 1607.4(D)) — 사례도 비율 0.962 에서 PPV 차이 0.187 이 남았다.
  • 오해잘 만든 모델이면 모든 공정성 지표를 함께 만족한다.
    사실보정과 두 균형 조건은 완벽 예측이거나 기준율이 같을 때만 함께 성립한다(Kleinberg 2016 정리 1.1).

10핵심 정리

지표계통식분모사례 값 A · B맞는 결정
인구 통계 동등성독립성P(Ŷ=1 | A=a) 같음집단 전체0.337 · 0.350기회 배분 자체
차별 효과 비율독립성최소 ÷ 최대 선발률 ≥ 0.8집단 전체0.962고용 선발 증거 기준
기회 균등분리성P(Ŷ=1 | Y=1, A=a) 같음적격자0.649 · 0.638탈락이 해인 선발
균등 오즈분리성TPR · FPR 모두 같음적격 · 부적격 각각FPR 0.142 · 0.224오탐 · 놓침 모두 해
예측 동등성충분성P(Y=1 | Ŷ=1, A=a) 같음선발자0.740 · 0.554점수를 그대로 읽는 판단
집단별 보정충분성점수 구간별 실제 비율 같음점수 구간—확률 점수 제공
개인 공정성개인d(M(x), M(x′)) ≤ d(x, x′)비슷한 두 사람—개인 비교 민원

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Equality of Opportunity in Supervised Learning (Hardt · Price · Srebro · NeurIPS 2016) — 균등 오즈 · 기회 균등의 정의와 임계값 후처리 방법을 원문으로 볼 때
    arXiv · 2016-10 · arxiv.org/abs/1610.02413 · 확인 2026-11-12
  3. ★ Fair prediction with disparate impact: A study of bias in recidivism prediction instruments (Chouldechova · Big Data 5(2)) — 예측 동등성과 오류율 균형이 함께 성립하지 않는 식 (2.6)을 볼 때
    arXiv · 2017-02 · arxiv.org/abs/1703.00056 · 확인 2026-11-12
  4. ★ Inherent Trade-Offs in the Fair Determination of Risk Scores (Kleinberg · Mullainathan · Raghavan · ITCS 2017) — 보정과 두 균형 조건의 동시 충족 불가 정리 1.1 을 볼 때
    arXiv · 2016-09 · arxiv.org/abs/1609.05807 · 확인 2026-11-12
  5. ★ Fairness and Machine Learning: Limitations and Opportunities (Barocas · Hardt · Narayanan · MIT Press) 3 Classification — 독립성 · 분리성 · 충분성 세 계통과 서로의 관계를 볼 때
    fairmlbook.org · 2023-12 · fairmlbook.org/classification.html · 확인 2026-11-12
  6. ★ Fairlearn User Guide · Common fairness metrics — 지표 함수의 계산법과 4/5 규칙 오용 주의를 볼 때
    Fairlearn contributors · 2026-11 · fairlearn.org/main/user_guide/assessment/common_fairness_metrics.html · 확인 2026-11-12
  7. 본문 근거
  8. Fairness Through Awareness (Dwork · Hardt · Pitassi · Reingold · Zemel · ITCS 2012) — arXiv · 2011-11 · arxiv.org/abs/1104.3913 · 확인 2026-11-12
  9. Certifying and removing disparate impact (Feldman · Friedler · Moeller · Scheidegger · Venkatasubramanian · KDD 2015) — arXiv · 2014-12 · arxiv.org/abs/1412.3756 · 확인 2026-11-12
  10. 29 CFR 1607.4 Information on impact (Uniform Guidelines on Employee Selection Procedures · 1978) — U.S. EEOC · eCFR · 1978-08 · www.ecfr.gov/current/title-29/subtitle-B/chapter-XIV/part-1607/section-1607.4 · 확인 2026-11-12
  11. How We Analyzed the COMPAS Recidivism Algorithm (Larson · Mattu · Kirchner · Angwin) — ProPublica · 2016-05 · www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm · 확인 2026-11-12
  12. NIST SP 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligence — NIST · 2022-03 · doi.org/10.6028/NIST.SP.1270 · 확인 2026-11-12
  13. A Reductions Approach to Fair Classification (Agarwal · Beygelzimer · Dudík · Langford · Wallach · ICML 2018) — arXiv · 2018-03 · arxiv.org/abs/1803.02453 · 확인 2026-11-12
  14. NumPy 2.4 Reference · Random Generator — NumPy developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12