모델 카드Model Card
학습된 머신러닝 모델과 함께 내놓는 짧은 문서로, 모델의 용도 · 범위 밖 사용 · 평가 조건과 조건별로 나눈 성능 · 한계를 적는다. 2019년 Mitchell 등이 아홉 절 형식으로 제안했다.
1요약
- 모델 카드는 학습된 모델에 붙여 내놓는 1 ~ 2쪽 문서로, Mitchell 등이 2019년 FAT* 학회에서 아홉 절(모델 세부 · 사용 목적 · 요인 · 지표 · 평가 데이터 · 학습 데이터 · 정량 분석 · 윤리 고려 · 주의와 권고)로 제안했고(Mitchell 2019 4절) 모델 공개 저장소의 설명 페이지 · 사내 모델 등록부 · 조달 검토 서류가 이 형식 위에서 돈다.
- 평균 하나만 적으면 특정 조건의 실패가 숨는다 — 상용 성별 분류기 셋을 피부색 × 성별 교차 집단으로 나눠 재자 어두운 피부 여성 오류율이 최대 34.7%, 밝은 피부 남성은 최대 0.8%였다(Buolamwini 2018 초록).
- 「카드 수치와 현장 성능이 다르다」는 현장 입력이 카드의 평가 조건 안에 드는가로 가른다 — 밖이면 범위 밖 사용, 안인데 다르면 평가 데이터의 대표성 · 조건별 표본 수 문제, 조건도 표본도 맞으면 카드가 배포 모델의 판과 다른 것이다.
2등장 배경
2010년대 중반부터 얼굴 인식 · 댓글 독성 판별 · 재범 위험 평가 모델이 공개 API 와 행정 서비스에 쓰였지만, 함께 나오는 문서는 전체 정확도 한 줄이 대부분이었다. 체계적 오류는 배포 뒤 피해를 본 사용자가 알리고 나서야 드러났다(Mitchell 2019 1절). 2018년 2월 Buolamwini · Gebru 가 교차 집단 평가로 이 틈을 수치로 보였다.
같은 해 3월 Gebru 등이 데이터셋마다 수집 · 구성 · 권장 용도를 적는 데이터시트를 제안했고(Gebru 2021), 10월 Mitchell 등이 모델 쪽 짝으로 모델 카드를 arXiv 에 올려 2019년 1월 FAT* 에서 발표했다. 그 사이 2018년 8월에는 AI 서비스 공급자가 목적 · 성능 · 안전 · 출처를 선언하는 FactSheets 가 나왔다(Arnold 2019). 모델 카드는 1998년 미국 FDA 가 임상시험 결과를 나이 · 인종 · 성별로 나눠 보고하게 한 관행을 근거로 들었다(Mitchell 2019 2절).
지금은 규범이 문서를 요구한다. NIST AI RMF 1.0(2023-01)은 지식 한계 · 사람 감독 방식의 문서화(MAP 2.2)와 시험 데이터 · 지표 · 도구의 기록(MEASURE 2.1)을 두었고, EU AI법은 고위험 AI 의 기술 문서(11조)와 범용 AI 모델의 문서(53조)를 의무로 했다 — 법 조문 전체는 EU AI법이 맡는다.
3쉽게 이해하기 — 약 상자 속 첨부 문서
제약사는 새 약을 여러 나이대 환자에게 시험한 뒤, 약 상자에 효능 · 용법 · 나이대별 시험 결과 · 복용 금지 대상을 적은 첨부 문서를 넣어 내보낸다. 약사는 그 문서를 읽고 처방전의 환자가 시험한 범위 안에 드는지 본 뒤에만 약을 건넨다. 검사관은 첨부 문서의 수치가 실제 시험과 맞는지 확인하고, 부작용 신고가 쌓이면 제약사가 첨부 문서를 고쳐 새 판으로 바꾼다.
그림 1 · 약(모델)에 첨부 문서(모델 카드)를 붙여 내보내면 약사(통합 개발자)가 범위 안의 환자에게만 쓰고, 부작용 신고가 새 판을 만든다.
그림 2 · 첨부 문서의 「전체 효과 90%」 아래에 숨은 「70세 이상 62%」 줄이 모델 카드의 요인별 정량 분석이고, 「복용 금지 대상」 줄이 범위 밖 사용이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 제약사 | 모델 개발자 | 모델을 만들고 평가한 뒤 카드를 쓴다 |
| 약 | 학습된 모델 | 특정 판(v1.0 등)으로 배포되는 산출물 |
| 첨부 문서 | 모델 카드 | 용도 · 평가 조건 · 요인별 성능 · 한계를 1 ~ 2쪽에 적는다 |
| 나이대별 시험 | 분리 평가 · 교차 분석 | 요인별로, 요인 둘 이상을 겹친 조건마다 지표를 낸다 |
| 복용 금지 대상 | 범위 밖 사용 | 쓰면 안 되는 입력 · 상황을 미리 적는다 |
| 약사 | 통합 개발자 · 도입 조직 | 자기 사용 조건이 카드의 평가 조건 안에 드는지 본다 |
| 검사관 | 감사 · 규제 기관 | 카드 수치가 재현되는지, 요구 항목이 있는지 본다 |
| 개정판 | 카드 갱신 | 모델 판이 바뀌면 정량 분석을 다시 해 새 판을 낸다 |
⚠ 비유가 맞지 않는 곳: 첨부 문서는 허가 기관이 형식과 기재를 강제하지만, 모델 카드는 형식이 권고이고 내용의 정확성은 쓰는 사람의 성실성에 달려 있다(Mitchell 2019 6절). 카드가 있다는 사실만으로 수치가 검증된 것은 아니다.
4구조 — 아홉 절과 짝 문서
카드의 아홉 절은 «이 모델은 무엇인가 → 어떤 조건에서 어떻게 쟀나 → 결과와 한계» 순서로 읽힌다(Mitchell 2019 그림 1). 절 목록은 완결 목록이 아니라 모델 · 맥락에 맞춰 줄이거나 더하는 출발점이다(같은 논문 4절).
그림 3 · 아홉 절은 «무엇인가 · 어떻게 쟀나 · 결과와 한계» 세 갈래이고, 데이터 쪽 상세는 데이터시트에 넘기며 판이 바뀌면 정량 분석부터 다시 쓴다.
| 절 | 적는 값 | 왜 필요한가 | 근거 |
|---|---|---|---|
| 모델 세부 | 개발 주체 · 날짜 · 판 · 종류 · 라이선스 · 문의처 | 알려진 결함을 정확한 판에 잇는다 | Mitchell 2019 4.1절 |
| 사용 목적 | 주 용도 · 주 사용자 · 범위 밖 사용 | 혼동하기 쉬운 용도를 먼저 막는다 | 4.2절 |
| 요인 | 관련 요인 · 평가 요인(다르면 그 이유) | 성능이 갈릴 조건(집단 · 계측 장비 · 환경)을 고른다 | 4.3절 |
| 지표 | 성능 척도 · 결정 임계 · 신뢰 구간 계산법 | FNR · FPR 중 무엇을 우선했는지 밝힌다 | 4.4절 |
| 평가 · 학습 데이터 | 데이터셋 · 선택 이유 · 전처리 · 요인 분포 | 대표 입력 + 어려운 입력이 들었는지 보인다 | 4.5 · 4.6절 |
| 정량 분석 | 단일 요인 · 교차 요인별 지표 + 구간 | 평균이 가린 실패를 드러낸다 | 4.7절 |
| 윤리 고려 · 주의와 권고 | 민감 데이터 · 위험 · 완화 · 빠진 집단 · 추가 시험 | 숫자로 못 보인 한계를 적는다 | 4.8 · 4.9절 |
학습 데이터를 계약상 밝힐 수 없으면 집단 · 요인별 분포만이라도 적는다(4.6절). 사람 대상 모델에서 성별 · 인종 같은 민감 범주로 집단을 나눌 때는 자기 신고 레이블인지 지각 레이블인지를 밝히고, 개인정보 · 법무 검토를 함께 한다(같은 논문 2절 · 4.3.1절).
🔑 모델 카드의 중심은 형식 아홉 절이 아니라 정량 분석 한 절이다 — 요인별로 나누지 않은 카드는 정확도 한 줄을 긴 문서로 바꾼 것에 그친다.
5동작 — 외관 불량 판정 모델의 카드 한 장
합성 데이터로 직접 실행한 사례다 — 실행 환경은 NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(0) 이다. 모델 이름 · 조건별 표본 수 · 불량 비율 10% 는 설명용 가정 값이며, 점수는 조건마다 불량 · 정상 분리 정도를 다르게 둔 로지스틱 점수로 만들었다.
- 모델 세부 · 사용 목적 — 「외관 불량 판정 이진 분류기 v1.0」 · 주 용도 = 사람이 다시 보는 것을 전제로 한 1차 선별 · 주 사용자 = 검사 공정 담당.
- 요인 — 관련 요인과 평가 요인을 같게 카메라(A · B) × 조명(정상 · 저조도)으로 정한다(Mitchell 2019 4.3.2 계측 장비 · 4.3.3 환경).
- 평가 데이터 — 4,000장(A 정상 1,600 · A 저조도 400 · B 정상 1,600 · B 저조도 400) · 그중 불량 418장.
- 지표 · 임계 — 놓침률(FNR) · 오경보율(FPR) · 결정 임계 0.5 · 95% 신뢰 구간 = 부트스트랩 재표본 1,000회(같은 논문 4.4절).
- 전체 결과 — 정확도 0.935 · FNR 0.120(구간 0.089 ~ 0.152) · FPR 0.059 — 카드가 여기서 끝나면 「쓸 만한 모델」로 읽힌다.
- 단일 요인 — 카메라 B 의 FNR 0.167 · 저조도 0.209 로 전체보다 높지만, 둘 다 1.4 ~ 1.7배라 한 요인만 보면 「조금 나쁜 조건」에 머문다.
- 교차 요인 — B × 저조도의 FNR 은 0.390(불량 41장 중 16장 놓침 · 구간 0.250 ~ 0.546)이고, 나머지 셋은 0.044 ~ 0.113 이다. 이 조건의 정확도는 0.907 이라 정확도만 보면 차이가 3%p 도 안 된다.
- 카드 기록 — 범위 밖 사용에 「카메라 B 저조도 라인의 단독 판정」을, 주의와 권고에 「B × 저조도 불량 표본 41장 · 구간 폭 0.30 — 불량 표본 추가 수집 뒤 재평가」를 적고 v1.0 카드로 낸다.
그림 4 · 전체 · 단일 요인 단계까지는 «조금 나쁜 조건»으로 보이던 모델이 교차 요인 단계에서 B × 저조도의 놓침률 0.390 을 드러내고, 그 값이 범위 밖 사용 줄이 된다.
임계를 0.3 으로 낮추면 B × 저조도의 FNR 은 0.268 로 내려가지만 여전히 네 조건 중 가장 높고, 전체 FPR 은 0.059 에서 0.144 로 두 배 넘게 오른다. 그래서 이 카드는 임계 조정이 아니라 범위 밖 사용 · 추가 수집으로 B × 저조도를 다룬다.
그림 5 · 평균 놓침률 0.120 은 B × 저조도의 0.390 을 가리고, 그 조건은 불량 41장뿐이라 구간이 0.250 ~ 0.546 으로 넓다 — 교차 조건은 값과 구간을 함께 적어야 판단이 된다.
🔑 요인 하나씩 나눈 표는 교차 조건의 실패를 평균한다 — 카메라 B 와 저조도가 각각 «조금 나쁜» 값이어도 둘이 겹친 조건은 세 배 넘게 나쁠 수 있다.
6비교 — 모델 카드와 다른 AI 문서
| 기준 | 모델 카드 | 데이터시트 | FactSheets | 고위험 AI 기술 문서(EU AI법) | 국소 설명(LIME · SHAP) |
|---|---|---|---|---|---|
| 대상 | 학습된 모델 하나의 판 | 데이터셋 하나 | AI 서비스(모델 + 운영) | 시장에 내놓는 AI 시스템 | 판정 하나 |
| 핵심 내용 | 용도 · 요인별 성능 · 한계 | 동기 · 구성 · 수집 · 권장 용도 · 유지 | 목적 · 성능 · 안전 · 보안 · 출처 선언 | 설계 · 데이터 · 시험 · 위험 관리 기록 | 특성별 기여 값 |
| 읽는 사람 | 통합 개발자 · 도입 조직 · 정책 담당 | 모델 개발자 · 데이터 이용자 | 서비스 소비자 | 시장 감시 기관 · 인증 기관 | 개발자 · 판정을 받은 사람 |
| 강제성 | 권고 형식(Mitchell 2019) | 권고 형식(Gebru 2021) | 공급자 자율 선언(Arnold 2019) | 법적 의무(11조) | 없음 · 도구 |
| 갱신 시점 | 모델 판마다 | 데이터 판마다 | 서비스 변경마다 | 시스템 수명 동안 최신 유지 | 판정마다 새로 계산 |
분석모델을 남에게 넘기거나 공개하면 모델 카드를 기본으로 두고, 데이터 상세는 데이터시트로 떼어 링크하며, 법 적용 대상이면 카드 내용을 기술 문서의 시험 · 성능 항목에 옮겨 쓴다. 근거는 표의 대상 · 읽는 사람 행 — 세 문서는 대상이 달라 하나가 다른 하나를 대신하지 못하고, 판정 하나의 설명(LIME · SHAP)은 카드의 정량 분석에 들어갈 값이 아니라 개별 판정의 보조 자료다.
7실무 진단 — 카드와 현장이 어긋날 때
분석현장 입력이 카드의 평가 조건 안에 드는지부터 보고, 그다음 그 조건의 표본 수 · 구간, 마지막으로 카드와 배포 모델의 판 번호를 대조한다. 범위 밖 입력이면 뒤의 수치 대조가 모두 의미를 잃기 때문이다(Mitchell 2019 4.2 · 4.5절).
| # | 증상 | 의심 원인 | 카드 절 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 현장 놓침이 카드 수치보다 훨씬 많음 | 현장 조건이 평가 조건 밖 | 사용 목적 · 요인 | 현장 입력의 카메라 · 조명 분포 ↔ 카드 평가 요인 | 조건 밖이면 범위 밖 사용 · 재평가(Mitchell 2019 4.2 · 4.3절) |
| 2 | 조건 안인데도 성능이 다름 | 평가 데이터가 현장을 대표하지 못함 | 평가 데이터 | 평가 데이터 수집 시기 · 전처리 ↔ 현장 입력 | 대표 입력과 어려운 입력을 함께 담아야 함(4.5절) |
| 3 | 조건별 차이로 결론을 못 냄 | 조건별 표본 수가 작음 | 지표 · 정량 분석 | 조건별 양성 수 · 신뢰 구간 | 구간이 겹치면 차이 결론 보류 · 표본 추가(4.4.3 · 4.7절) |
| 4 | 운영 임계를 바꾼 뒤 카드 수치와 다름 | 카드가 한 임계 값만 기록 | 지표 | 카드 임계 ↔ 운영 설정 임계 | 임계와 그 이유를 적고 임계별 값을 보임(4.4절) |
| 5 | 새 판 배포 뒤 특정 조건 악화 | 카드가 옛 판 그대로 | 모델 세부 | 카드 판 번호 ↔ 배포 모델 판 번호 | 판마다 정량 분석을 다시(5.2절 · NIST AI 100-1 MANAGE 3.2 · MEASURE 2.4) |
외부에서 받은 사전 학습 모델은 카드의 평가 요인과 내 사용 조건을 먼저 표로 맞춰 보고, 겹치지 않는 조건은 내 데이터로 정량 분석을 다시 낸다(NIST AI 100-1 MAP 2.2 · MEASURE 2.3).
8시험 대비
시험에서는 모델 카드의 개념 · 구성 항목을 묻는 정의 · 특징형, AI 투명성 · 문서화 요구의 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 아홉 절을 세 갈래(그림 3)로 보이고 정량 분석의 분리 · 교차 평가를 중심에 두며, 동향형은 데이터시트 · FactSheets 와의 관계와 NIST AI RMF · EU AI법의 문서 요구로 마무리한다. XAI 와 함께 물으면 «판정 하나의 설명(LIME · SHAP)»과 «모델 전체의 보고(모델 카드)»로 경계를 긋는다.
- 개요 — 정의 · 필요성(평균이 가리는 실패 · 범위 밖 사용) · 교차 집단 오류 34.7% ↔ 0.8%
- 구성 — 그림 3 아홉 절 세 갈래 + 절별 적는 값 표
- 핵심 원리 — 그림 5 분리 · 교차 평가(전체 0.120 ↔ B × 저조도 0.390 · 구간)
- 작성 절차 — 그림 4 사례 순서(요인 → 지표 · 임계 → 정량 분석 → 범위 밖 사용 기록)
- 관련 문서 비교 — 비교표(모델 카드 · 데이터시트 · FactSheets · 기술 문서 · 국소 설명)
- 한계와 발전 — 작성자 성실성 의존 · 제3자 감사 병행 · 판마다 갱신 · NIST MAP 2.2 · EU AI법 11 · 53조
꼭 쓸 키워드
사용 목적범위 밖 사용평가 요인분리 평가교차 분석결정 임계신뢰 구간데이터시트FactSheets판 관리
다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 «요인 하나씩은 1.4 ~ 1.7배인데 교차 결과는 3.3배»라는 숫자를 보이면, 분리 평가를 교차까지 해야 하는 이유를 한 줄로 증명할 수 있다.
9오해와 사실
- 오해모델 카드는 정해진 표준 양식이라 항목만 채우면 된다.사실원 논문은 아홉 절을 완결 목록이 아닌 출발점으로 두고 모델 · 맥락에 맞춰 바꾸라고 했다(Mitchell 2019 4절).
- 오해학습 데이터를 공개할 수 없으면 카드를 쓸 수 없다.사실학습 데이터 절은 실무상 어려울 수 있다고 적고, 그때는 요인별 분포 같은 최소 정보만 두게 했다(Mitchell 2019 4.6절).
- 오해카드에 적힌 수치는 검증된 값이다.사실카드의 정확성은 작성자의 성실성에 달려 있어 제3자 감사 · 적대적 시험과 함께 써야 한다고 원 논문이 밝혔다(Mitchell 2019 6절).
10핵심 정리
| 카드 절 | 답하는 질문 | 적는 값 | 사례 값 | 빠뜨리면 |
|---|---|---|---|---|
| 모델 세부 | 어느 판의 무엇인가 | 판 · 종류 · 날짜 · 라이선스 | v1.0 이진 분류기 | 결함을 엉뚱한 판에 잇는다 |
| 사용 목적 | 어디에 쓰고 어디에 안 쓰나 | 주 용도 · 사용자 · 범위 밖 사용 | 1차 선별 · B × 저조도 단독 판정 제외 | 범위 밖 입력에 그대로 쓴다 |
| 요인 | 성능이 어디서 갈리나 | 관련 · 평가 요인 | 카메라 × 조명 | 실패 조건을 아예 재지 않는다 |
| 지표 | 무엇을 어떤 임계로 쟀나 | 척도 · 임계 · 구간 계산법 | FNR · FPR · 0.5 · 부트스트랩 1,000회 | 운영 임계와 수치가 어긋난다 |
| 정량 분석 | 조건마다 얼마인가 | 단일 · 교차 결과 + 구간 | 0.120 ↔ 0.390(0.250 ~ 0.546) | 평균이 실패를 가린다 |
| 주의와 권고 | 아직 모르는 것은 | 빠진 집단 · 추가 시험 | 불량 41장 → 추가 수집 | 좁은 근거를 확정 값으로 읽는다 |
| 카드 갱신 | 지금 판과 맞나 | 판마다 다시 낸 분석 | v1.0 → 다음 판 재평가 | 옛 카드로 새 모델을 판단한다 |
11참고 문헌
- 먼저 볼 문헌
- ★ Model Cards for Model Reporting (Mitchell · Wu · Zaldivar · Barnes · Vasserman · Hutchinson · Spitzer · Raji · Gebru · FAT* 2019) — 아홉 절의 항목 · 분리 평가 · 교차 분석 · 예시 카드 둘을 원문으로 볼 때
- ★ Datasheets for Datasets (Gebru · Morgenstern · Vecchione · Wortman Vaughan · Wallach · Daumé III · Crawford · CACM 64(12)) — 모델 카드와 짝이 되는 데이터 문서의 질문 목록을 볼 때
- ★ NIST AI 100-1 Artificial Intelligence Risk Management Framework (AI RMF 1.0) — MAP · MEASURE · MANAGE 하위 항목 가운데 문서화를 요구하는 항목을 볼 때
- ★ Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (Buolamwini · Gebru · PMLR 81) — 평균 정확도가 교차 집단의 오류를 가린 사례를 볼 때
- 본문 근거
- FactSheets: Increasing Trust in AI Services through Supplier's Declarations of Conformity (Arnold · Bellamy 외 11명) — arXiv · 2019-02 ·
arxiv.org/abs/1808.07261· 확인 2026-11-12 - Regulation (EU) 2024/1689 (Artificial Intelligence Act) · OJ L 2024/1689 — European Parliament · Council of the EU · 2024-07 ·
eur-lex.europa.eu/eli/reg/2024/1689/oj· 확인 2026-11-12 - NumPy 2.4 Reference numpy.random.Generator — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12