AI › 인공지능 개요 › 머신러닝 › 모델 평가

성능 지표Performance Metrics

모델의 예측을 정답과 견주어 예측 품질과 판정 품질을 숫자 하나로 줄이는 잣대다. 분류는 혼동 행렬 · 점수 순서 · 확률에서, 회귀는 오차 크기에서 잰다.

1요약

  1. 성능 지표는 모델 평가 단계에서 예측과 정답을 견주는 숫자로, 확률은 로그 손실 · Brier, 점수 순서는 ROC-AUC · AP, 임계값으로 자른 판정은 혼동 행렬 네 셀에서 재며(scikit-learn 3.4.1 · 3.4.4), 모델 선택 · 하이퍼파라미터 튜닝 · 배포 결정이 이 숫자 위에서 돈다.
  2. 지표를 잘못 고르면 아무것도 찾지 못하는 모델이 높은 점수를 받는다 — 불량 2% 시험 세트에서 «모두 정상» 판정이 정확도 0.980 을 받았고(직접 실행), 불균형 데이터를 다룬 이진 분류 연구 33편 가운데 ROC 를 쓴 것이 22편, PR 곡선을 쓴 것은 4편뿐이었다(Saito 2015 표 4).
  3. 「시험에서는 좋았는데 현장에서 쓸모없다」는 임계값 · 유병률 · 비용 가운데 무엇이 시험 세트와 달라졌는지로 가른다 — ROC-AUC 는 그대로인데 정밀도만 떨어졌으면 유병률, 둘 다 그대로인데 손실이 크면 임계값 문제다.

2등장 배경

1960년대 정보 검색 연구자들은 시스템을 정밀도 · 재현율 두 숫자로 견주었는데, 한 시스템은 정밀도가 높고 다른 시스템은 재현율이 높으면 어느 쪽이 나은지 정할 규칙이 없었다. 신호 탐지 이론을 배운 Swets 는 1963년 이 방식의 한계를 지적하고, 1967년 검색 방법 약 50가지를 통계적 결정 이론 모형 하나로 평가했다(van Rijsbergen 1979 7장).

확률 예보를 채점하는 점수는 1950년 기상 예보에서 먼저 나왔고(Brier 1950), Matthews 는 1975년 단백질 2차 구조 예측을 실제 구조와 견주는 상관계수를 썼다(Matthews 1975). 1979년 van Rijsbergen 은 정밀도 · 재현율을 하나로 묶는 E 측도를 이끌어 냈고, 두 값의 무게가 같을 때 E 는 1 − F1 이다(van Rijsbergen 1979 7장). 1982년 Hanley · McNeil 은 ROC 곡선 아래 면적이 «무작위로 고른 양성이 음성보다 높은 점수를 받을 확률»과 같음을 보였다(Hanley 1982).

2006년 Davis · Goadrich 는 ROC 공간에서 앞서는 곡선이 PR 공간에서도 앞섬을 증명하고 PR 공간의 직선 보간은 틀린다고 밝혔다(Davis 2006 정리 3.2). 2017년 Guo 외는 정확한 깊은 신경망의 확률이 과신함을 보였다 — CIFAR-100 의 ResNet 110 은 ECE 16.53% 였고 온도 조정 뒤 1.26% 가 됐다(Guo 2017 표 1). 그래서 오늘의 평가는 판정 · 순위 · 확률 세 갈래를 함께 본다.

3쉽게 이해하기 — 공항 검색대의 민감도 다이얼

공항 검색 요원 하린의 엑스레이 화면은 가방마다 수상함 점수를 띄우고, 하린은 민감도 다이얼로 몇 점부터 가방을 열지 정한다. 평일에는 가방 50개 중 1개에 금지품이 들어 있어, 아무 가방도 열지 않아도 「98% 정확」이 나온다. 그래서 감독관은 «금지품 중 몇 개를 찾았나»와 «연 가방 중 몇 개가 진짜였나»를 장부에 따로 적고, 놓친 금지품 1개를 헛걸음 20번만큼 무겁게 친다. 금지품이 더 드문 명절에는 하린의 눈썰미가 그대로여도 연 가방 중 진짜 비율이 크게 줄어든다.

가방 10,000개 50개 중 1개가 금지품 1 정답 레이블 · 유병률 2% 엑스레이 검색대 가방마다 수상함 점수 모델 출력 · 점수 p 민감도 다이얼 몇 점부터 가방을 열까 2 임계값 t 열었더니 금지품 참양성 TP 3 열었더니 빈손 거짓양성 FP 통과시킨 금지품 거짓음성 FN 그대로 탑승 참음성 TN 감독관 장부 찾은 비율 · 진짜 비율 성능 지표 4 놓침 1 = 헛걸음 20 검색대 규정표 비용 행렬 정답 레이블 모델 · 판정 규칙 맞힘 · 평가 틀림(놓침 · 헛걸음) 사람이 정한 비용

그림 1 · 다이얼 하나로 가방이 네 무리로 나뉘고, 감독관 장부는 그 네 무리를 비율로 줄이며, 규정표는 무리마다 무게를 매긴다.

줄 서기가방 1만 개 · 금지품 200
점수 매기기엑스레이가 수상함 점수
다이얼 맞추기몇 점부터 열까
가방 열기진짜 · 빈손 · 놓침 세기
장부 쓰기찾은 비율 · 진짜 비율
명절 검색금지품이 줄면 빈손이 늘어남
비유 — 같은 다이얼, 다른 날 실제 — 열어 본 가방의 구성(t = 0.048) 평일 검색대 가방 1만 개 · 금지품 200 유병률 2% 열어 본 가방 869개 144 헛걸음 725 찾은 비율 144 ÷ 200 = 0.720 · 진짜 비율 0.166 명절 검색대 가방 1만 개 · 금지품 50 유병률 0.5% 열어 본 가방 748개 진짜 39 헛걸음 709 찾은 비율 39 ÷ 50 = 0.780 · 진짜 비율 0.052 하린이 매긴 수상함 순서는 그대로 — ROC-AUC 0.924 → 0.928 · AP 0.415 → 0.272 진짜 금지품(TP) 헛걸음(FP) 유병률 막대 길이 = 열어 본 가방 수(두 줄 같은 눈금)

그림 2 · 다이얼과 눈썰미가 같아도 금지품이 드문 날에는 연 가방 더미 속 진짜의 몫이 줄어든다 — 찾은 비율은 비슷하고 진짜 비율만 크게 바뀐다.

비유 속 역할실제 이름실제로 하는 일
가방 1만 개 · 금지품 2%시험 세트 · 유병률정답 레이블이 붙은 평가 데이터와 그 안의 양성 비율
엑스레이 수상함 점수모델 점수 · 확률 p표본마다 불량일 확률을 하나씩 낸다
민감도 다이얼임계값 tp ≥ t 인 표본을 양성으로 판정한다
열었더니 금지품 · 그대로 탑승TP · TN판정이 정답과 맞은 두 셀
열었더니 빈손FP · 헛경보정밀도를 깎는 셀
통과시킨 금지품FN · 놓침재현율을 깎는 셀
감독관 장부성능 지표네 셀을 정확도 · 정밀도 · 재현율 · F1 같은 비율로 줄인다
놓침 1 = 헛걸음 20비용 행렬셀마다 값을 매겨 기대 비용이 가장 작은 임계값을 고른다

⚠ 비유가 맞지 않는 곳: 검색 요원은 연 가방의 정답을 그 자리에서 확인하지만, 모델 평가는 정답 레이블이 미리 붙은 시험 세트가 있어야 하고 운영 중에는 정답이 늦게 온다. 또 다이얼은 하나뿐이지만 실제 지표에는 로그 손실 · ROC-AUC 처럼 임계값 없이 재는 갈래도 있다.

4구조 — 예측 · 판정 두 단계와 지표 갈래

성능 지표는 모델이 «얼마나 잘 예측했나»와 «그 예측으로 얼마나 잘 판정했나»를 나누어 잰다(scikit-learn 3.4.1). 확률 · 점수 지표는 임계값 없이, 판정 지표는 혼동 행렬 네 셀에서 계산한다. 데이터를 나누어 재는 절차와 과적합 판정은 과적합이 맡는다.

회귀 출력은 같은 구조에서 MAE · RMSE · R² · MAPE 로 오차 크기를 잰다 모델 출력 점수 · 확률 p 정답 레이블 y 0 = 정상 · 1 = 불량 확률을 그대로 잼 예측 품질 · 보정 로그 손실 · Brier · ECE 0 이 최선 · 과신하면 커짐 점수 순서만 잼 임계값 없음 · 순위 품질 ROC-AUC · AP 무작위 = 0.5 · AP 무작위 = 유병률 임계값 t 로 자름 p ≥ t 이면 불량 판정 혼동 행렬(행 = 실제 · 열 = 판정) TP FN FP TN 정확도 · F1 정밀도 · 재현율 MCC · 균형 정확도 비용 행렬 놓침 · 헛경보 1건 값 기대 비용 = Σ(셀 건수 × 값) 임계값을 고르는 기준 모델 · 판정 규칙 레이블 평가 지표 · 맞힌 셀 틀린 셀 사람이 정한 비용

그림 3 · 같은 모델 출력이 세 길로 채점된다 — 확률 그대로(보정), 점수 순서(순위), 임계값으로 자른 혼동 행렬(판정) · 비용은 사람이 정해 혼동 행렬의 셀에 곱한다.

갈래지표식 · 정의범위(최악 → 최선)근거
혼동 행렬TP · FN · FP · TN실제 × 판정 2 × 2 표의 각 셀 표본 수셀 건수scikit-learn 3.4.4.6
판정 비율정확도 · 정밀도 · 재현율 · 특이도(TP + TN) ÷ N · TP ÷ (TP + FP) · TP ÷ (TP + FN) · TN ÷ (TN + FP)0 → 1scikit-learn 3.4.4.2 · 3.4.4.9
종합 판정F1 · MCC · 균형 정확도2TP ÷ (2TP + FP + FN) · 네 셀의 상관계수 · (재현율 + 특이도) ÷ 2F1 0 → 1 · MCC −1 → +1Chicco 2020 · scikit-learn 3.4.4.4
순위ROC-AUC · AP양성이 음성보다 높은 점수를 받을 확률 · Σ(Rₙ − Rₙ₋₁)Pₙ0.5 → 1 · 유병률 → 1Hanley 1982 · scikit-learn 3.4.4.9
확률로그 손실 · Brier · ECE정답 확률의 −log 평균 · (p − y)² 평균 · 구간별 정답률과 평균 확률 차이의 가중합0 이 최선Brier 1950 · Guo 2017 2절
비용기대 비용Σ(셀 건수 × 그 셀 1건의 비용)작을수록 좋음Elkan 2001 1절
다중 클래스macro · micro · weighted클래스별 값의 단순 평균 · 셀을 합친 뒤 계산 · 표본 수 가중 평균원 지표 범위scikit-learn 3.4.4.1
회귀MAE · RMSE · R² · MAPE절대 오차 평균 · 제곱 오차 평균의 제곱근 · 설명된 분산 비율 · 절대 백분율 오차 평균오차 0 이 최선 · MAPE 는 정답 0 에서 정의 안 됨scikit-learn 3.4.6 · Hyndman 2006

5동작 — 불량 판정 모델 하나의 지표 읽기

직접 실행(합성 데이터 · 시드 0)한 불량 판정 모델 사례다. 점수 분포(정상 N(0, 1) · 불량 N(2, 1))와 비용 값은 설명용 가정 값이고, 확률은 유병률 2% 에서 베이즈 규칙으로 맞게 보정했다.

  1. 시험 세트 — 10,000건 중 불량 200건(유병률 2%)에 모델이 불량 확률 p 를 하나씩 낸다.
  2. 기준선 — 전부 정상으로 판정하면 정확도 0.980 · 재현율 0 · 균형 정확도 0.500 이고, MCC 는 분모가 0 이라 관례값 0 이며(Chicco 2020), 놓침 200건 × 20 으로 기대 비용은 4,000 이다.
  3. 임계값 0.5 — TP 37 · FN 163 · FP 12 · TN 9,788 로 정확도 0.983 · 정밀도 0.755 · 재현율 0.185 · F1 0.297 · MCC 0.368 이고, 비용은 3,272 다.
  4. 임계값 없는 지표 — ROC-AUC 0.924(이론값 Φ(2 ÷ √2) = 0.921) · AP 0.415(무작위 기준 0.020) · 로그 손실 0.061 · Brier 0.0148 · ECE(10구간) 0.0016 이다.
  5. 비용 기준 임계값 — 놓침 1건 20 · 헛경보 1건 1 이면 p* = 1 ÷ (1 + 20) = 0.048 이다(Elkan 2001 1절). TP 144 · FN 56 · FP 725 · TN 9,075 로 정확도는 0.922 로 내려가지만 비용은 1,845 로 줄고, 0.001 간격으로 찾은 최소 1,788(t 0.038)과 약 3% 차이다.
  6. 불확실성 — 시험 세트를 복원 추출로 1,000번 다시 뽑으면 t 0.048 의 재현율 95% 구간은 0.658 ~ 0.780, 정밀도는 0.143 ~ 0.190 이다. 시드 0 ~ 9 의 시험 세트에서 ROC-AUC 는 0.918 ~ 0.925, AP 는 0.303 ~ 0.418 이다.
  7. 운영 유병률 0.5% — 같은 모델을 불량 50 · 정상 9,950 에 쓰면 ROC-AUC 0.928 · 재현율 0.780 은 비슷하지만 정밀도 0.052 · AP 0.272 로 떨어지고, 확률 평균 0.0167 이 실제 비율 0.005 의 3.3배가 된다. 기준율 보정식(Elkan 2001 정리 2)으로 확률을 다시 맞추면 평균 0.0051 이 되고 같은 임계값의 기대 비용은 929 에서 668 로 준다.
  8. 판정 — 모델 비교는 ROC-AUC · AP, 배포는 비용 기준 임계값으로 하고, 정밀도는 운영 유병률로 다시 계산해 재현율 구간과 함께 보고한다.
2 모두 정상으로 판정 기준선 TP 0 FN 200 FP 0 TN 9,800 정확도 0.980 정밀도 — (양성 판정 0건) 재현율 0.000 F1 0.000 MCC 0(분모 0 · 관례값) 비용 4,000 3 임계값 0.5 확률 0.5 이상이면 불량 TP 37 FN 163 FP 12 TN 9,788 정확도 0.983 정밀도 0.755 재현율 0.185 F1 0.297 MCC 0.368 비용 3,272 5 비용 기준 임계값 0.048 p* = 1 ÷ (1 + 20) TP 144 FN 56 FP 725 TN 9,075 정확도 0.922 정밀도 0.166 재현율 0.720 F1 0.269 MCC 0.321 비용 1,845 시험 세트 10,000건 · 불량 200(2%) · 셀 = 행 실제(불량 · 정상) × 열 판정(불량 · 정상) 비용 = 20 × FN + 1 × FP(설명용 가정 값) · 원 숫자 = 동작 단계 번호 맞힌 셀 틀린 셀 굵은 테두리 = 그 행에서 가장 좋은 값

그림 4 · 정확도가 가장 높은 판정(3단계)과 비용이 가장 작은 판정(5단계)이 다르다 — 같은 점수를 어디서 자르느냐가 지표의 순위를 뒤집는다.

같은 점수, 임계값만 바꾼 결과 — 기대 비용(위) · 판정 지표(아래) 4,000 2,000 0 모두 정상 판정 = 4,000 t 0.048 → 1,845 최소 1,788(t 0.038) t 0.22 → 2,480 t 0.5 → 3,272 1.0 0.5 0 재현율 0.72 F1 최대 0.425(t 0.22) 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 기대 비용 F1 재현율 정밀도 가로 = 임계값 t · 세로 점선 = t 0.048 · 0.22 · 시험 세트 10,000건(불량 200)

그림 5 · 비용이 가장 작은 임계값(0.04 근처)과 F1 이 가장 큰 임계값(0.22)은 다르다 — F1 은 놓침과 헛경보를 같은 무게로 친다.

🔑 임계값은 지표가 아니라 비용이 정한다 — 같은 점수에서 정확도가 가장 높은 0.5 는 비용 3,272, F1 이 가장 높은 0.22 는 2,480, 비용 기준 0.048 은 1,845 다.

정밀도는 재현율(TPR) · 헛경보율(FPR) · 유병률 π 셋으로 정해진다 — 정밀도 = TPR·π ÷ (TPR·π + FPR·(1 − π)). 모델 · 임계값이 같으면 TPR · FPR 과 ROC-AUC 는 그대로이고, 유병률이 줄어든 만큼 정밀도 · PR 곡선만 내려간다(Saito 2015 · Davis 2006 정리 3.2).

같은 모델 · 같은 임계값 0.048 — 유병률만 바꿀 때 1.0 0.5 0 ROC-AUC 0.924(2%) · 0.928(0.5%) — 유병률과 무관 재현율 0.72 — 유병률과 무관 사례 2% → 정밀도 0.166 0.5% → 0.052 10% → 0.52 0.1% 0.2% 0.5% 1% 2% 5% 10% 20% 50% 정밀도 재현율 ROC-AUC 가로 = 유병률(불량 비율 · 로그 눈금) 정밀도 = TPR·π ÷ (TPR·π + FPR·(1 − π)) · TPR 0.72 · FPR 0.074 = 시험 세트 값 · 테두리 원 = 직접 실행한 두 시험 세트

그림 6 · 같은 모델 · 같은 임계값에서 유병률만 2% 에서 0.5% 로 줄어도 정밀도는 0.166 에서 0.052 로 떨어지고, 재현율 · ROC-AUC 는 제자리다.

🔑 ROC-AUC · 재현율은 모델만의 성질이고 정밀도 · AP 는 모델과 유병률이 함께 정한다 — 그래서 시험 세트의 정밀도는 운영 유병률로 다시 계산해야 운영 값이 된다.

6비교 — 판정 · 순위 · 확률 지표의 성질

지표임계값TN 반영유병률 2% → 0.5%(사례)확률 보정 반영맞는 쓰임
정확도필요예0.922 → 0.928(t 0.048)아니오균형 데이터 · 기준선 비교
F1필요아니오(Chicco 2020)0.269 → 0.098아니오TN 이 의미 없는 검색 과제
MCC필요예0.321 → 0.190아니오불균형 이진 판정 한 숫자
ROC-AUC없음예(FPR)0.924 → 0.928아니오(순서만)유병률이 다른 곳의 모델 비교
AP(PR-AUC)없음아니오0.415 → 0.272아니오(순서만)드문 양성 찾기의 모델 비교
로그 손실 · ECE없음예0.061 → 0.027 · 확률 평균 3.3배 과대예확률을 그대로 쓸 때
기대 비용필요비용을 매긴 만큼1,845 → 929(보정 뒤 668)임계값을 거쳐 반영배포 임계값 결정

분석모델끼리 견줄 때는 같은 시험 세트에서 ROC-AUC 와 AP 를 함께 보고, 배포 임계값은 기대 비용으로, 확률을 그대로 쓰는 과제는 로그 손실 · ECE 를 더한다. 근거는 유병률 열에서 ROC-AUC 만 0.004 안에 머물고 F1 · AP 는 크게 움직인다는 점과, 비용이 주어지면 최적 임계값이 비용 비로 정해진다는 정리다(Elkan 2001 1절).

7실무 진단 — 지표와 현장 결과가 어긋나는 원인 가르기

분석다수 클래스 기준선부터 견주고, 지표 구간 → 유병률 → 확률 보정 → 임계값 순으로 내려간다. 기준선을 넘지 못한 모델은 나머지 점검이 의미가 없고(Chicco 2020), 구간이 겹치는 차이는 표본 수 문제로 먼저 본다.

#증상의심 원인단계확인 자료판정 기준(근거)
1정확도는 높은데 불량을 거의 못 찾음다수 클래스 판정과 다르지 않음지표 선택기준선 정확도 · 재현율 · MCC정확도가 기준선(사례 0.980) 근처이고 MCC 가 0 근처면 쓸모없음(Chicco 2020)
2두 모델의 순위가 시험 세트마다 뒤집힘양성 표본이 적어 지표 분산이 큼표본 수부트스트랩 95% 구간 · 시드별 값구간이 겹치면 차이를 단정하지 않음(사례 재현율 0.658 ~ 0.780 · AP 0.303 ~ 0.418)
3ROC-AUC 는 그대로인데 정밀도 · AP 가 떨어짐운영 유병률이 시험 세트와 다름유병률운영 양성 비율 · 정밀도 재계산 식식 값과 운영 정밀도가 맞으면 모델이 아니라 유병률 탓(Saito 2015)
4예측 확률 평균이 실제 비율과 몇 배 차이보정 어긋남 · 기준율 이동 · 과신확률신뢰도 도표 · ECE · 평균 확률 ↔ 실제 비율평균이 실제의 몇 배면 기준율 보정(Elkan 2001 정리 2) · 온도 조정(Guo 2017 4.2절)
5지표는 올랐는데 재검사 · 클레임 비용이 늘어남임계값을 0.5 · F1 최대로 정함임계값비용 행렬 · 임계값별 기대 비용p* = c_FP ÷ (c_FP + c_FN) 근처에서 최소(Elkan 2001 1절 · 사례 0.048)

순서는 1행부터 5행까지다. 기준선과 구간이 «모델이 나쁜가»와 «재는 방법이 흔들리는가»를 가르고, 그다음 운영 조건을 하나씩 맞춘다.

8시험 대비

출제 정보 정보관리(140회, 137회, 134회, 132회) · 컴퓨터시스템응용(140회, 131회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 혼동 행렬과 지표의 식 · 쓰임을 묻는 정의 · 특징형, 그리고 ROC-AUC 와 PR-AUC 또는 F1 과 MCC 를 견주는 비교형이 나올 수 있다. 식 나열 대신 임계값 · 유병률을 바꿀 때 움직이는 지표를 값으로 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의(예측 · 판정 품질을 숫자 하나로) · 필요성(불량 2% 에서 «모두 정상» 정확도 0.980)
  2. 지표 구조 — 그림 3 확률 · 순위 · 판정 세 길 + 식 표(정확도 · 정밀도 · 재현율 · F1 · MCC · AUC · 로그 손실)
  3. 임계값과 비용 — 그림 4 세 판정의 혼동 행렬 · 그림 5 임계값별 비용과 F1(p* = c_FP ÷ (c_FP + c_FN) = 0.048)
  4. ROC-AUC 와 PR-AUC — 그림 6 유병률 2% → 0.5%(ROC-AUC 0.924 → 0.928 · 정밀도 0.166 → 0.052) · 우위 동치 정리
  5. 지표 선택 기준 — 임계값 · TN · 유병률 · 보정 네 기준 비교표와 과제별 선택
  6. 신뢰성 — 부트스트랩 구간(재현율 0.658 ~ 0.780) · 확률 보정(ResNet 110 ECE 16.53% → 1.26%)

꼭 쓸 키워드
혼동 행렬정밀도재현율F1MCCROC-AUCPR-AUC(AP)로그 손실확률 보정(ECE)비용 기준 임계값

다른 답안과 차이를 내는 한 가지는 그림 6 이다 — 정밀도 식 하나로 «시험 세트의 정밀도는 운영 유병률에서 다시 계산해야 한다»를 값으로 보인다.

9오해와 사실

  • 오해ROC-AUC 가 같은 두 모델은 확률도 똑같이 믿을 수 있다.
    사실사례 확률의 로짓을 2배로 키운 과신 모델은 점수 순서가 같아 ROC-AUC 0.924 그대로지만 로그 손실은 0.061 → 0.087, ECE 는 0.0016 → 0.0132 로 나빠지며, 순위 지표는 확률 값 자체를 채점하지 않는다(Guo 2017 2절).
  • 오해F1 이 가장 높은 임계값이 현장에서도 가장 좋다.
    사실F1 은 TN 을 보지 않고 놓침 · 헛경보를 같은 무게로 쳐서(Chicco 2020), 놓침이 20배 비싼 사례에서 F1 최대 t 0.22 의 비용 2,480 은 비용 기준 t 0.048 의 1,845 보다 34% 크다.
  • 오해정밀도 0.17 은 쓸 수 없는 모델이라는 뜻이다.
    사실유병률 2% 에서 무작위 판정의 정밀도와 AP 기준값은 0.020 이므로(scikit-learn 3.4.4.9) 0.166 은 그 8배다.

10핵심 정리

구분보는 것식 · 기준사례 값(유병률 2%)유병률 0.5% 에서쓰는 때
혼동 행렬판정 네 셀실제 × 판정t 0.048 · TP 144 · FN 56 · FP 725 · TN 9,075TP 39 · FN 11 · FP 709모든 판정 지표의 출발
정밀도 · 재현율연 것 중 진짜 · 진짜 중 찾음TP ÷ (TP + FP) · TP ÷ (TP + FN)0.166 · 0.7200.052 · 0.780헛경보 · 놓침을 따로 볼 때
F1 · MCC숫자 하나로 판정조화 평균 · 네 셀 상관0.269 · 0.3210.098 · 0.190F1 = TN 무관 과제 · MCC = 불균형
ROC-AUC점수 순서양성 > 음성 확률 · 무작위 0.50.9240.928유병률이 다른 곳끼리 모델 비교
AP(PR-AUC)드문 양성의 순서Σ(Rₙ − Rₙ₋₁)Pₙ · 무작위 = 유병률0.4150.272운영 유병률에서의 모델 비교
로그 손실 · ECE확률 값−log 평균 · 구간별 차이0.061 · 0.0016확률 평균 3.3배 과대확률을 그대로 쓰는 판단
기대 비용판정의 손실Σ 셀 건수 × 비용 · p* = 1 ÷ 211,845(최소 1,788)929 → 보정 뒤 668배포 임계값 결정

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ scikit-learn 1.9.1 User Guide 3.4 Metrics and scoring: quantifying the quality of predictions — 지표별 식과 «예측 · 의사 결정» 두 단계로 지표를 고르는 지침(3.4.1)을 볼 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/model_evaluation.html · 확인 2026-11-12
  3. ★ The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets (PLOS ONE 10(3) e0118432) — 불균형 데이터에서 PR 곡선이 ROC 곡선보다 더 보여 주는 것을 볼 때
    PLOS · 2015-03 · journals.plos.org/plosone/article?id=10.1371/journal.pone.0118432 · 확인 2026-11-12
  4. ★ The Relationship Between Precision-Recall and ROC Curves (ICML 2006) — ROC 우위와 PR 우위가 같다는 정리 3.2 와 PR 공간 보간 주의를 볼 때
    J. Davis · M. Goadrich (University of Wisconsin-Madison) · 2006-06 · ftp.cs.wisc.edu/machine-learning/shavlik-group/davis.icml06.pdf · 확인 2026-11-12
  5. ★ The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation (BMC Genomics 21 6) — 정확도 · F1 · MCC 가 같은 혼동 행렬을 다르게 채점하는 사례를 볼 때
    BMC Genomics · 2020-01 · bmcgenomics.biomedcentral.com/articles/10.1186/s12864-019-6413-7 · 확인 2026-11-12
  6. 본문 근거
  7. The Foundations of Cost-Sensitive Learning (IJCAI 2001) — C. Elkan (UC San Diego) · 2001-08 · cseweb.ucsd.edu/~elkan/rescale.pdf · 확인 2026-11-12
  8. On Calibration of Modern Neural Networks (ICML 2017 · arXiv 1706.04599) — C. Guo · G. Pleiss · Y. Sun · K. Q. Weinberger · 2017-06 · arxiv.org/abs/1706.04599 · 확인 2026-11-12
  9. Information Retrieval (Second Edition) Chapter 7 Evaluation — C. J. van Rijsbergen (University of Glasgow) · 1979 · www.dcs.gla.ac.uk/Keith/Chapter.7/Ch.7.html · 확인 2026-11-12
  10. Verification of forecasts expressed in terms of probability (Monthly Weather Review 78(1) 1-3) — American Meteorological Society · 1950-01 · doi.org/10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2 · 확인 2026-11-12
  11. Comparison of the predicted and observed secondary structure of T4 phage lysozyme (BBA Protein Structure 405(2) 442-451) — Elsevier · 1975-10 · doi.org/10.1016/0005-2795(75)90109-9 · 확인 2026-11-12
  12. The meaning and use of the area under a receiver operating characteristic (ROC) curve (Radiology 143(1) 29-36) — Radiological Society of North America · 1982-04 · doi.org/10.1148/radiology.143.1.7063747 · 확인 2026-11-12
  13. Another look at measures of forecast accuracy (International Journal of Forecasting 22(4) 679-688) — R. J. Hyndman · A. B. Koehler · 2006-10 · robjhyndman.com/papers/mase.pdf · 확인 2026-11-12
  14. NumPy Reference numpy.random.Generator — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12