성능 지표Performance Metrics
모델의 예측을 정답과 견주어 예측 품질과 판정 품질을 숫자 하나로 줄이는 잣대다. 분류는 혼동 행렬 · 점수 순서 · 확률에서, 회귀는 오차 크기에서 잰다.
1요약
- 성능 지표는 모델 평가 단계에서 예측과 정답을 견주는 숫자로, 확률은 로그 손실 · Brier, 점수 순서는 ROC-AUC · AP, 임계값으로 자른 판정은 혼동 행렬 네 셀에서 재며(scikit-learn 3.4.1 · 3.4.4), 모델 선택 · 하이퍼파라미터 튜닝 · 배포 결정이 이 숫자 위에서 돈다.
- 지표를 잘못 고르면 아무것도 찾지 못하는 모델이 높은 점수를 받는다 — 불량 2% 시험 세트에서 «모두 정상» 판정이 정확도 0.980 을 받았고(직접 실행), 불균형 데이터를 다룬 이진 분류 연구 33편 가운데 ROC 를 쓴 것이 22편, PR 곡선을 쓴 것은 4편뿐이었다(Saito 2015 표 4).
- 「시험에서는 좋았는데 현장에서 쓸모없다」는 임계값 · 유병률 · 비용 가운데 무엇이 시험 세트와 달라졌는지로 가른다 — ROC-AUC 는 그대로인데 정밀도만 떨어졌으면 유병률, 둘 다 그대로인데 손실이 크면 임계값 문제다.
2등장 배경
1960년대 정보 검색 연구자들은 시스템을 정밀도 · 재현율 두 숫자로 견주었는데, 한 시스템은 정밀도가 높고 다른 시스템은 재현율이 높으면 어느 쪽이 나은지 정할 규칙이 없었다. 신호 탐지 이론을 배운 Swets 는 1963년 이 방식의 한계를 지적하고, 1967년 검색 방법 약 50가지를 통계적 결정 이론 모형 하나로 평가했다(van Rijsbergen 1979 7장).
확률 예보를 채점하는 점수는 1950년 기상 예보에서 먼저 나왔고(Brier 1950), Matthews 는 1975년 단백질 2차 구조 예측을 실제 구조와 견주는 상관계수를 썼다(Matthews 1975). 1979년 van Rijsbergen 은 정밀도 · 재현율을 하나로 묶는 E 측도를 이끌어 냈고, 두 값의 무게가 같을 때 E 는 1 − F1 이다(van Rijsbergen 1979 7장). 1982년 Hanley · McNeil 은 ROC 곡선 아래 면적이 «무작위로 고른 양성이 음성보다 높은 점수를 받을 확률»과 같음을 보였다(Hanley 1982).
2006년 Davis · Goadrich 는 ROC 공간에서 앞서는 곡선이 PR 공간에서도 앞섬을 증명하고 PR 공간의 직선 보간은 틀린다고 밝혔다(Davis 2006 정리 3.2). 2017년 Guo 외는 정확한 깊은 신경망의 확률이 과신함을 보였다 — CIFAR-100 의 ResNet 110 은 ECE 16.53% 였고 온도 조정 뒤 1.26% 가 됐다(Guo 2017 표 1). 그래서 오늘의 평가는 판정 · 순위 · 확률 세 갈래를 함께 본다.
3쉽게 이해하기 — 공항 검색대의 민감도 다이얼
공항 검색 요원 하린의 엑스레이 화면은 가방마다 수상함 점수를 띄우고, 하린은 민감도 다이얼로 몇 점부터 가방을 열지 정한다. 평일에는 가방 50개 중 1개에 금지품이 들어 있어, 아무 가방도 열지 않아도 「98% 정확」이 나온다. 그래서 감독관은 «금지품 중 몇 개를 찾았나»와 «연 가방 중 몇 개가 진짜였나»를 장부에 따로 적고, 놓친 금지품 1개를 헛걸음 20번만큼 무겁게 친다. 금지품이 더 드문 명절에는 하린의 눈썰미가 그대로여도 연 가방 중 진짜 비율이 크게 줄어든다.
그림 1 · 다이얼 하나로 가방이 네 무리로 나뉘고, 감독관 장부는 그 네 무리를 비율로 줄이며, 규정표는 무리마다 무게를 매긴다.
그림 2 · 다이얼과 눈썰미가 같아도 금지품이 드문 날에는 연 가방 더미 속 진짜의 몫이 줄어든다 — 찾은 비율은 비슷하고 진짜 비율만 크게 바뀐다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 가방 1만 개 · 금지품 2% | 시험 세트 · 유병률 | 정답 레이블이 붙은 평가 데이터와 그 안의 양성 비율 |
| 엑스레이 수상함 점수 | 모델 점수 · 확률 p | 표본마다 불량일 확률을 하나씩 낸다 |
| 민감도 다이얼 | 임계값 t | p ≥ t 인 표본을 양성으로 판정한다 |
| 열었더니 금지품 · 그대로 탑승 | TP · TN | 판정이 정답과 맞은 두 셀 |
| 열었더니 빈손 | FP · 헛경보 | 정밀도를 깎는 셀 |
| 통과시킨 금지품 | FN · 놓침 | 재현율을 깎는 셀 |
| 감독관 장부 | 성능 지표 | 네 셀을 정확도 · 정밀도 · 재현율 · F1 같은 비율로 줄인다 |
| 놓침 1 = 헛걸음 20 | 비용 행렬 | 셀마다 값을 매겨 기대 비용이 가장 작은 임계값을 고른다 |
⚠ 비유가 맞지 않는 곳: 검색 요원은 연 가방의 정답을 그 자리에서 확인하지만, 모델 평가는 정답 레이블이 미리 붙은 시험 세트가 있어야 하고 운영 중에는 정답이 늦게 온다. 또 다이얼은 하나뿐이지만 실제 지표에는 로그 손실 · ROC-AUC 처럼 임계값 없이 재는 갈래도 있다.
4구조 — 예측 · 판정 두 단계와 지표 갈래
성능 지표는 모델이 «얼마나 잘 예측했나»와 «그 예측으로 얼마나 잘 판정했나»를 나누어 잰다(scikit-learn 3.4.1). 확률 · 점수 지표는 임계값 없이, 판정 지표는 혼동 행렬 네 셀에서 계산한다. 데이터를 나누어 재는 절차와 과적합 판정은 과적합이 맡는다.
그림 3 · 같은 모델 출력이 세 길로 채점된다 — 확률 그대로(보정), 점수 순서(순위), 임계값으로 자른 혼동 행렬(판정) · 비용은 사람이 정해 혼동 행렬의 셀에 곱한다.
| 갈래 | 지표 | 식 · 정의 | 범위(최악 → 최선) | 근거 |
|---|---|---|---|---|
| 혼동 행렬 | TP · FN · FP · TN | 실제 × 판정 2 × 2 표의 각 셀 표본 수 | 셀 건수 | scikit-learn 3.4.4.6 |
| 판정 비율 | 정확도 · 정밀도 · 재현율 · 특이도 | (TP + TN) ÷ N · TP ÷ (TP + FP) · TP ÷ (TP + FN) · TN ÷ (TN + FP) | 0 → 1 | scikit-learn 3.4.4.2 · 3.4.4.9 |
| 종합 판정 | F1 · MCC · 균형 정확도 | 2TP ÷ (2TP + FP + FN) · 네 셀의 상관계수 · (재현율 + 특이도) ÷ 2 | F1 0 → 1 · MCC −1 → +1 | Chicco 2020 · scikit-learn 3.4.4.4 |
| 순위 | ROC-AUC · AP | 양성이 음성보다 높은 점수를 받을 확률 · Σ(Rₙ − Rₙ₋₁)Pₙ | 0.5 → 1 · 유병률 → 1 | Hanley 1982 · scikit-learn 3.4.4.9 |
| 확률 | 로그 손실 · Brier · ECE | 정답 확률의 −log 평균 · (p − y)² 평균 · 구간별 정답률과 평균 확률 차이의 가중합 | 0 이 최선 | Brier 1950 · Guo 2017 2절 |
| 비용 | 기대 비용 | Σ(셀 건수 × 그 셀 1건의 비용) | 작을수록 좋음 | Elkan 2001 1절 |
| 다중 클래스 | macro · micro · weighted | 클래스별 값의 단순 평균 · 셀을 합친 뒤 계산 · 표본 수 가중 평균 | 원 지표 범위 | scikit-learn 3.4.4.1 |
| 회귀 | MAE · RMSE · R² · MAPE | 절대 오차 평균 · 제곱 오차 평균의 제곱근 · 설명된 분산 비율 · 절대 백분율 오차 평균 | 오차 0 이 최선 · MAPE 는 정답 0 에서 정의 안 됨 | scikit-learn 3.4.6 · Hyndman 2006 |
5동작 — 불량 판정 모델 하나의 지표 읽기
직접 실행(합성 데이터 · 시드 0)한 불량 판정 모델 사례다. 점수 분포(정상 N(0, 1) · 불량 N(2, 1))와 비용 값은 설명용 가정 값이고, 확률은 유병률 2% 에서 베이즈 규칙으로 맞게 보정했다.
- 시험 세트 — 10,000건 중 불량 200건(유병률 2%)에 모델이 불량 확률 p 를 하나씩 낸다.
- 기준선 — 전부 정상으로 판정하면 정확도 0.980 · 재현율 0 · 균형 정확도 0.500 이고, MCC 는 분모가 0 이라 관례값 0 이며(Chicco 2020), 놓침 200건 × 20 으로 기대 비용은 4,000 이다.
- 임계값 0.5 — TP 37 · FN 163 · FP 12 · TN 9,788 로 정확도 0.983 · 정밀도 0.755 · 재현율 0.185 · F1 0.297 · MCC 0.368 이고, 비용은 3,272 다.
- 임계값 없는 지표 — ROC-AUC 0.924(이론값 Φ(2 ÷ √2) = 0.921) · AP 0.415(무작위 기준 0.020) · 로그 손실 0.061 · Brier 0.0148 · ECE(10구간) 0.0016 이다.
- 비용 기준 임계값 — 놓침 1건 20 · 헛경보 1건 1 이면 p* = 1 ÷ (1 + 20) = 0.048 이다(Elkan 2001 1절). TP 144 · FN 56 · FP 725 · TN 9,075 로 정확도는 0.922 로 내려가지만 비용은 1,845 로 줄고, 0.001 간격으로 찾은 최소 1,788(t 0.038)과 약 3% 차이다.
- 불확실성 — 시험 세트를 복원 추출로 1,000번 다시 뽑으면 t 0.048 의 재현율 95% 구간은 0.658 ~ 0.780, 정밀도는 0.143 ~ 0.190 이다. 시드 0 ~ 9 의 시험 세트에서 ROC-AUC 는 0.918 ~ 0.925, AP 는 0.303 ~ 0.418 이다.
- 운영 유병률 0.5% — 같은 모델을 불량 50 · 정상 9,950 에 쓰면 ROC-AUC 0.928 · 재현율 0.780 은 비슷하지만 정밀도 0.052 · AP 0.272 로 떨어지고, 확률 평균 0.0167 이 실제 비율 0.005 의 3.3배가 된다. 기준율 보정식(Elkan 2001 정리 2)으로 확률을 다시 맞추면 평균 0.0051 이 되고 같은 임계값의 기대 비용은 929 에서 668 로 준다.
- 판정 — 모델 비교는 ROC-AUC · AP, 배포는 비용 기준 임계값으로 하고, 정밀도는 운영 유병률로 다시 계산해 재현율 구간과 함께 보고한다.
그림 4 · 정확도가 가장 높은 판정(3단계)과 비용이 가장 작은 판정(5단계)이 다르다 — 같은 점수를 어디서 자르느냐가 지표의 순위를 뒤집는다.
그림 5 · 비용이 가장 작은 임계값(0.04 근처)과 F1 이 가장 큰 임계값(0.22)은 다르다 — F1 은 놓침과 헛경보를 같은 무게로 친다.
🔑 임계값은 지표가 아니라 비용이 정한다 — 같은 점수에서 정확도가 가장 높은 0.5 는 비용 3,272, F1 이 가장 높은 0.22 는 2,480, 비용 기준 0.048 은 1,845 다.
정밀도는 재현율(TPR) · 헛경보율(FPR) · 유병률 π 셋으로 정해진다 — 정밀도 = TPR·π ÷ (TPR·π + FPR·(1 − π)). 모델 · 임계값이 같으면 TPR · FPR 과 ROC-AUC 는 그대로이고, 유병률이 줄어든 만큼 정밀도 · PR 곡선만 내려간다(Saito 2015 · Davis 2006 정리 3.2).
그림 6 · 같은 모델 · 같은 임계값에서 유병률만 2% 에서 0.5% 로 줄어도 정밀도는 0.166 에서 0.052 로 떨어지고, 재현율 · ROC-AUC 는 제자리다.
🔑 ROC-AUC · 재현율은 모델만의 성질이고 정밀도 · AP 는 모델과 유병률이 함께 정한다 — 그래서 시험 세트의 정밀도는 운영 유병률로 다시 계산해야 운영 값이 된다.
6비교 — 판정 · 순위 · 확률 지표의 성질
| 지표 | 임계값 | TN 반영 | 유병률 2% → 0.5%(사례) | 확률 보정 반영 | 맞는 쓰임 |
|---|---|---|---|---|---|
| 정확도 | 필요 | 예 | 0.922 → 0.928(t 0.048) | 아니오 | 균형 데이터 · 기준선 비교 |
| F1 | 필요 | 아니오(Chicco 2020) | 0.269 → 0.098 | 아니오 | TN 이 의미 없는 검색 과제 |
| MCC | 필요 | 예 | 0.321 → 0.190 | 아니오 | 불균형 이진 판정 한 숫자 |
| ROC-AUC | 없음 | 예(FPR) | 0.924 → 0.928 | 아니오(순서만) | 유병률이 다른 곳의 모델 비교 |
| AP(PR-AUC) | 없음 | 아니오 | 0.415 → 0.272 | 아니오(순서만) | 드문 양성 찾기의 모델 비교 |
| 로그 손실 · ECE | 없음 | 예 | 0.061 → 0.027 · 확률 평균 3.3배 과대 | 예 | 확률을 그대로 쓸 때 |
| 기대 비용 | 필요 | 비용을 매긴 만큼 | 1,845 → 929(보정 뒤 668) | 임계값을 거쳐 반영 | 배포 임계값 결정 |
분석모델끼리 견줄 때는 같은 시험 세트에서 ROC-AUC 와 AP 를 함께 보고, 배포 임계값은 기대 비용으로, 확률을 그대로 쓰는 과제는 로그 손실 · ECE 를 더한다. 근거는 유병률 열에서 ROC-AUC 만 0.004 안에 머물고 F1 · AP 는 크게 움직인다는 점과, 비용이 주어지면 최적 임계값이 비용 비로 정해진다는 정리다(Elkan 2001 1절).
7실무 진단 — 지표와 현장 결과가 어긋나는 원인 가르기
분석다수 클래스 기준선부터 견주고, 지표 구간 → 유병률 → 확률 보정 → 임계값 순으로 내려간다. 기준선을 넘지 못한 모델은 나머지 점검이 의미가 없고(Chicco 2020), 구간이 겹치는 차이는 표본 수 문제로 먼저 본다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 정확도는 높은데 불량을 거의 못 찾음 | 다수 클래스 판정과 다르지 않음 | 지표 선택 | 기준선 정확도 · 재현율 · MCC | 정확도가 기준선(사례 0.980) 근처이고 MCC 가 0 근처면 쓸모없음(Chicco 2020) |
| 2 | 두 모델의 순위가 시험 세트마다 뒤집힘 | 양성 표본이 적어 지표 분산이 큼 | 표본 수 | 부트스트랩 95% 구간 · 시드별 값 | 구간이 겹치면 차이를 단정하지 않음(사례 재현율 0.658 ~ 0.780 · AP 0.303 ~ 0.418) |
| 3 | ROC-AUC 는 그대로인데 정밀도 · AP 가 떨어짐 | 운영 유병률이 시험 세트와 다름 | 유병률 | 운영 양성 비율 · 정밀도 재계산 식 | 식 값과 운영 정밀도가 맞으면 모델이 아니라 유병률 탓(Saito 2015) |
| 4 | 예측 확률 평균이 실제 비율과 몇 배 차이 | 보정 어긋남 · 기준율 이동 · 과신 | 확률 | 신뢰도 도표 · ECE · 평균 확률 ↔ 실제 비율 | 평균이 실제의 몇 배면 기준율 보정(Elkan 2001 정리 2) · 온도 조정(Guo 2017 4.2절) |
| 5 | 지표는 올랐는데 재검사 · 클레임 비용이 늘어남 | 임계값을 0.5 · F1 최대로 정함 | 임계값 | 비용 행렬 · 임계값별 기대 비용 | p* = c_ |
순서는 1행부터 5행까지다. 기준선과 구간이 «모델이 나쁜가»와 «재는 방법이 흔들리는가»를 가르고, 그다음 운영 조건을 하나씩 맞춘다.
8시험 대비
www.q-net.or.kr시험에서는 혼동 행렬과 지표의 식 · 쓰임을 묻는 정의 · 특징형, 그리고 ROC-AUC 와 PR-AUC 또는 F1 과 MCC 를 견주는 비교형이 나올 수 있다. 식 나열 대신 임계값 · 유병률을 바꿀 때 움직이는 지표를 값으로 보이면 답안이 갈린다.
- 개요 — 정의(예측 · 판정 품질을 숫자 하나로) · 필요성(불량 2% 에서 «모두 정상» 정확도 0.980)
- 지표 구조 — 그림 3 확률 · 순위 · 판정 세 길 + 식 표(정확도 · 정밀도 · 재현율 · F1 · MCC · AUC · 로그 손실)
- 임계값과 비용 — 그림 4 세 판정의 혼동 행렬 · 그림 5 임계값별 비용과 F1(p* = c_FP ÷ (c_FP + c_FN) = 0.048)
- ROC-AUC 와 PR-AUC — 그림 6 유병률 2% → 0.5%(ROC-AUC 0.924 → 0.928 · 정밀도 0.166 → 0.052) · 우위 동치 정리
- 지표 선택 기준 — 임계값 · TN · 유병률 · 보정 네 기준 비교표와 과제별 선택
- 신뢰성 — 부트스트랩 구간(재현율 0.658 ~ 0.780) · 확률 보정(ResNet 110 ECE 16.53% → 1.26%)
꼭 쓸 키워드
혼동 행렬정밀도재현율F1MCCROC-AUCPR-AUC(AP)로그 손실확률 보정(ECE)비용 기준 임계값
다른 답안과 차이를 내는 한 가지는 그림 6 이다 — 정밀도 식 하나로 «시험 세트의 정밀도는 운영 유병률에서 다시 계산해야 한다»를 값으로 보인다.
9오해와 사실
- 오해ROC-AUC 가 같은 두 모델은 확률도 똑같이 믿을 수 있다.사실사례 확률의 로짓을 2배로 키운 과신 모델은 점수 순서가 같아 ROC-AUC 0.924 그대로지만 로그 손실은 0.061 → 0.087, ECE 는 0.0016 → 0.0132 로 나빠지며, 순위 지표는 확률 값 자체를 채점하지 않는다(Guo 2017 2절).
- 오해F1 이 가장 높은 임계값이 현장에서도 가장 좋다.사실F1 은 TN 을 보지 않고 놓침 · 헛경보를 같은 무게로 쳐서(Chicco 2020), 놓침이 20배 비싼 사례에서 F1 최대 t 0.22 의 비용 2,480 은 비용 기준 t 0.048 의 1,845 보다 34% 크다.
- 오해정밀도 0.17 은 쓸 수 없는 모델이라는 뜻이다.사실유병률 2% 에서 무작위 판정의 정밀도와 AP 기준값은 0.020 이므로(scikit-learn 3.4.4.9) 0.166 은 그 8배다.
10핵심 정리
| 구분 | 보는 것 | 식 · 기준 | 사례 값(유병률 2%) | 유병률 0.5% 에서 | 쓰는 때 |
|---|---|---|---|---|---|
| 혼동 행렬 | 판정 네 셀 | 실제 × 판정 | t 0.048 · TP 144 · FN 56 · FP 725 · TN 9,075 | TP 39 · FN 11 · FP 709 | 모든 판정 지표의 출발 |
| 정밀도 · 재현율 | 연 것 중 진짜 · 진짜 중 찾음 | TP ÷ (TP + FP) · TP ÷ (TP + FN) | 0.166 · 0.720 | 0.052 · 0.780 | 헛경보 · 놓침을 따로 볼 때 |
| F1 · MCC | 숫자 하나로 판정 | 조화 평균 · 네 셀 상관 | 0.269 · 0.321 | 0.098 · 0.190 | F1 = TN 무관 과제 · MCC = 불균형 |
| ROC-AUC | 점수 순서 | 양성 > 음성 확률 · 무작위 0.5 | 0.924 | 0.928 | 유병률이 다른 곳끼리 모델 비교 |
| AP(PR-AUC) | 드문 양성의 순서 | Σ(Rₙ − Rₙ₋₁)Pₙ · 무작위 = 유병률 | 0.415 | 0.272 | 운영 유병률에서의 모델 비교 |
| 로그 손실 · ECE | 확률 값 | −log 평균 · 구간별 차이 | 0.061 · 0.0016 | 확률 평균 3.3배 과대 | 확률을 그대로 쓰는 판단 |
| 기대 비용 | 판정의 손실 | Σ 셀 건수 × 비용 · p* = 1 ÷ 21 | 1,845(최소 1,788) | 929 → 보정 뒤 668 | 배포 임계값 결정 |
11참고 문헌
- 먼저 볼 문헌
- ★ scikit-learn 1.9.1 User Guide 3.4 Metrics and scoring: quantifying the quality of predictions — 지표별 식과 «예측 · 의사 결정» 두 단계로 지표를 고르는 지침(3.4.1)을 볼 때
- ★ The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets (PLOS ONE 10(3) e0118432) — 불균형 데이터에서 PR 곡선이 ROC 곡선보다 더 보여 주는 것을 볼 때
- ★ The Relationship Between Precision-Recall and ROC Curves (ICML 2006) — ROC 우위와 PR 우위가 같다는 정리 3.2 와 PR 공간 보간 주의를 볼 때
- ★ The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation (BMC Genomics 21 6) — 정확도 · F1 · MCC 가 같은 혼동 행렬을 다르게 채점하는 사례를 볼 때
- 본문 근거
- The Foundations of Cost-Sensitive Learning (IJCAI 2001) — C. Elkan (UC San Diego) · 2001-08 ·
cseweb.ucsd.edu/~elkan/rescale.pdf· 확인 2026-11-12 - On Calibration of Modern Neural Networks (ICML 2017 · arXiv 1706.04599) — C. Guo · G. Pleiss · Y. Sun · K. Q. Weinberger · 2017-06 ·
arxiv.org/abs/1706.04599· 확인 2026-11-12 - Information Retrieval (Second Edition) Chapter 7 Evaluation — C. J. van Rijsbergen (University of Glasgow) · 1979 ·
www.dcs.gla.ac.uk/Keith/Chapter.7/Ch.7.html· 확인 2026-11-12 - Verification of forecasts expressed in terms of probability (Monthly Weather Review 78(1) 1-3) — American Meteorological Society · 1950-01 ·
doi.org/10.1175/1520-0493(1950)078<0001:VOFEIT>2.0.CO;2· 확인 2026-11-12 - Comparison of the predicted and observed secondary structure of T4 phage lysozyme (BBA Protein Structure 405(2) 442-451) — Elsevier · 1975-10 ·
doi.org/10.1016/0005-2795(75)90109-9· 확인 2026-11-12 - The meaning and use of the area under a receiver operating characteristic (ROC) curve (Radiology 143(1) 29-36) — Radiological Society of North America · 1982-04 ·
doi.org/10.1148/radiology.143.1.7063747· 확인 2026-11-12 - Another look at measures of forecast accuracy (International Journal of Forecasting 22(4) 679-688) — R. J. Hyndman · A. B. Koehler · 2006-10 ·
robjhyndman.com/papers/mase.pdf· 확인 2026-11-12 - NumPy Reference numpy.random.Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12