설명 가능한 AI(XAI)Explainable Artificial Intelligence
AI 모델이 내린 판정의 근거를 사람이 확인할 수 있는 형태로 내놓는 방법과 그 방법을 평가하는 기준 전체다. 모델 자체를 읽을 수 있게 만드는 내재 방식과, 만들어진 모델을 바깥에서 재는 사후 방식으로 나뉜다.
1요약
- 설명 가능한 AI 는 모델 판정의 근거를 사람에게 내놓는 방법으로, 미국 표준 기관 NIST 가 2021년 설명 · 의미 · 설명 정확성 · 지식 한계 네 원칙으로 정리했고(NIST IR 8312 2절) 대출 심사 사유 안내 · 영상 판독 보조 · 공정 불량 원인 분석이 이 원칙 위에서 설명을 만든다.
- 정확도 숫자만으로는 모델이 엉뚱한 단서를 쓰는지 알 수 없다 — 눈 배경만 보고 늑대를 고르게 일부러 만든 분류기를 대학원생 27명 중 10명이 믿었으나, 판정마다 근거 화소를 보여 주자 3명만 믿었다(Ribeiro 2016 6.4절).
- 「설명이 이상하다」는 설명이 모델을 따라 바뀌는가로 가른다 — 모델 가중치를 무작위로 바꿔도 설명이 그대로면 설명 방법의 실패이고, 설명은 모델을 따르는데 사람 눈에 틀리면 모델이 잘못된 단서를 배운 것이다.
2등장 배경
예측 정확도가 높은 모델일수록 내부가 복잡해 「왜 이 대출을 거절했나」 · 「왜 이 사진을 늑대로 봤나」에 답하기 어렵다. 2016년 Ribeiro 등은 학습 사진 20장의 늑대가 모두 눈 배경이도록 골라, 동물이 아니라 눈으로 판정하는 분류기를 만들어 이 문제를 보였다(Ribeiro 2016 6.4절).
설명 방법은 그 앞뒤로 쌓였다. 2001년 Breiman 이 랜덤 포레스트에서 특성 값을 뒤섞어 정확도 하락을 재는 순열 중요도를 썼고, 2016년 LIME 이 판정 하나 주변에 단순 모델을 맞췄으며, 2017년 Lundberg · Lee 의 SHAP 이 기존 방법 여섯을 섀플리 값 하나로 묶었다(Lundberg 2017). 같은 해 Doshi-Velez · Kim 이 설명의 평가 수준을 나눴고, 미국 국방고등연구계획국(DARPA)의 XAI 사업은 2018년 5월 1단계 시연을 했다(DARPA XAI).
2018 ~ 2019년에는 설명 자체를 의심하는 연구가 나왔다. 일부 돌출 맵이 학습 전 모델에서도 같은 그림을 냈고(Adebayo 2018), Rudin 은 고위험 판정에는 사후 설명 대신 처음부터 읽히는 모델을 쓰라고 주장했다(Rudin 2019). 2021년 NIST IR 8312 가 원칙 넷과 평가 방법을 묶었고, 설명 의무를 다루는 법 · 규제는 AI 기본법 · EU AI법이 맡는다.
3쉽게 이해하기 — 말없는 과일 감별사와 조사원
과일 도매 시장의 베테랑 감별사는 과일을 한 번 보고 「상」 · 「중」 · 「하」 꼬리표를 붙이지만 이유를 말하지 못한다. 손님이 「왜 이 사과가 하냐」고 묻자, 조사원이 감별사 옆에서 사과 꼭지를 가려 보거나 하루치 과일의 색 기록을 일부러 뒤섞어 다시 판정을 맡기며 감별사가 무엇에 기대는지 알아낸다. 조사원은 알아낸 것을 설명서로 써 손님과 시장 검사관에게 주고, 그 설명서가 맞는지는 과일을 실제로 바꿔 다시 판정해 확인한다. 처음 보는 열대 과일이 오면 감별사는 판정을 보류해야 한다.
그림 1 · 말없는 감별사(모델)를 조사원(설명 방법)이 과일을 바꿔 보이며 관찰해 설명서를 만들고, 그 설명서는 다시 바꿔 보는 확인과 판정 보류 규칙으로 따진다.
그림 2 · 색 기록만 섞었을 때 맞은 판정이 92개에서 60개로 줄면 감별사는 색에 크게 기댄다 — 실제 순열 중요도는 특성 열 하나를 섞은 뒤 점수 하락을 잰다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 과일 기록(색 · 무게 · 모양) | 입력 특성 | 모델이 판정에 쓰는 열 값 |
| 말없는 감별사 | 블랙박스 모델 | 정확하지만 내부 계산을 사람이 따라가기 어려운 모델 |
| 등급표를 쓰는 감별사 | 내재 해석 모델 | 선형 계수 · 얕은 트리처럼 모델 자체가 설명인 모델 |
| 사과 하나 가려 보기 | 국소 사후 설명 | 판정 하나 주변 입력을 바꿔 특성별 기여를 잰다 |
| 하루치 기록 섞기 | 전역 사후 설명 | 전체 데이터에서 열을 섞어 모델의 의존을 잰다 |
| 손님 · 검사관 | 설명을 받는 사람 | 개발자 · 규제 기관 · 이용자마다 필요한 깊이가 다르다 |
| 바꿔서 다시 판정 | 설명 정확성 평가 | 설명이 가리킨 특성을 실제로 바꿔 출력 변화를 본다 |
| 열대 과일 보류 | 지식 한계 | 설계 범위 밖 입력 · 낮은 확신에는 판정을 내지 않는다 |
⚠ 비유가 맞지 않는 곳: 실제 사후 설명은 감별사의 머릿속이 아니라 입력과 출력의 관계만 본다 — 모델이 몰래 쓰는 다른 단서가 서로 얽혀 있으면 섞기 한 번으로는 드러나지 않고(아래 그림 5), 조사원이 무엇을 바꿔 볼지 알아채고 그때만 다르게 판정하는 모델도 만들 수 있다(NIST IR 8312 6.3절).
4구조 — 설명 방법의 두 축과 원칙 넷
설명 방법은 «설명이 어디서 나오는가»(모델 자체 = 내재 · 다른 도구 = 사후)와 «무엇을 설명하는가»(모델 전체 = 전역 · 판정 하나 = 국소) 두 축으로 나뉜다(NIST IR 8312 6절). 사후 방법은 모델에 입력을 넣고 출력만 받으면 되므로 모델 종류를 가리지 않는다.
그림 3 · 내재 · 사후와 전역 · 국소 두 축이 설명 방법을 네 유형으로 나누고, 어느 유형의 설명이든 설명 정확성과 의미를 따로 평가한다.
| 원칙 | 묻는 것 | 평가 방법 | 근거 |
|---|---|---|---|
| 설명 | 출력 · 처리에 근거나 이유가 붙는가 | 설명이 있는가만 본다(맞는지 · 알아듣는지는 묻지 않음) | NIST IR 8312 2.1절 |
| 의미 | 받는 사람이 그 설명을 이해하는가 | 사람이 모델 출력을 맞혀 보기 · 설명을 받고 과제 정확도 · 만족 척도 | 2.2 · 7.1절 |
| 설명 정확성 | 설명이 모델의 실제 이유를 반영하는가 | 충실도 · 중요 특성 삭제 실험 · 무작위화 점검 | 2.3 · 7.2절 |
| 지식 한계 | 설계 범위 밖 입력 · 낮은 확신을 스스로 알리는가 | 범위 밖 입력 · 확신 임계 시험(연구가 적다고 밝힘) | 2.4 · 7절 |
설명 정확성은 판정이 맞았는가(결정 정확도)와 다른 값이다 — 맞는 판정에도 틀린 설명이 붙을 수 있다(NIST IR 8312 2.3절). 의미는 받는 사람에 따라 달라, 개발자는 디버깅 · 학습 데이터 점검을, 규제 기관은 요구 충족 확인을 원한다(같은 보고서 3절).
평가 수준은 셋으로 나뉜다 — 실제 사람이 실제 과제에서 쓰는 적용 기반, 실제 사람이 단순화한 과제를 푸는 사람 기반, 사람 없이 대리 지표로 재는 기능 기반이다(Doshi-Velez 2017 3.1 ~ 3.3절). 아래 사례의 무작위화 점검 · 삭제 후 재학습은 기능 기반 평가다.
🔑 「설명이 있다」와 「설명이 맞다」와 「설명을 알아듣는다」는 서로 다른 원칙이다 — 그림 한 장이 나왔다고 셋이 함께 채워지지 않는다.
5동작 — 품질 점수 모델의 설명과 검증
합성 데이터로 직접 실행한 사례다 — 실행 환경은 NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(0) 이다. 품질 점수 y 를 온도 · 압력 · 온도 보조 센서 · 습도 넷으로 예측하며, 참값은 y = 3 × 온도 + 1 × 압력 + 잡음이다 — 보조 센서는 온도에 잡음을 더한 값이고 습도는 y 와 무관하다.
- 데이터 — 표준화한 특성 넷으로 600건을 만들어 학습 400 · 시험 200 으로 나눈다. 온도와 보조 센서의 상관계수는 0.954 다.
- 학습 · 내재 설명 — 최소제곱 선형 모델(
numpy.linalg.lstsq)의 계수가 온도 3.008 · 압력 1.042 · 보조 −0.007 · 습도 −0.097 이고 시험 R² 는 0.915 다. 계수 자체가 전역 설명이다. - 전역 사후 설명 — 시험 데이터에서 열 하나씩 10회 섞어 R² 하락 평균을 잰다(scikit-learn 순열 중요도 식). 온도 1.634 · 압력 0.188 · 보조 0.000 · 습도 0.002 다.
- 국소 설명 — 시험 표본 #424 의 예측 6.948 을 「계수 × (값 − 학습 평균)」으로 나눈다. 학습 평균 입력의 예측 −0.258 에 온도 +6.452 · 압력 +0.594 · 습도 +0.173 · 보조 −0.013 이 더해져 6.948 이 된다.
- 무작위화 점검 — 학습 레이블 y 를 섞어 다시 학습하면 시험 R² 가 −0.031 로 떨어지고 순열 중요도는 넷 모두 절댓값 0.071 이하로 줄어, 설명이 데이터 · 모델에 반응함을 확인한다(Adebayo 2018 데이터 무작위화 시험과 같은 꼴).
- 삭제 후 재학습 — 온도를 빼고 다시 학습하면 R² 0.815, 온도와 보조를 함께 빼면 0.095, 습도를 빼면 0.914 다(Hooker 2019 의 삭제 후 재학습 꼴).
- 판정 — 보조 센서의 중요도 0.000 은 «이 모델이 쓰지 않는다»이지 «정보가 없다»가 아니다. 온도가 빠지자 보조 센서가 대신 맡아 R² 가 0.815 로 남았다.
그림 4 · 계수 · 순열 중요도 · 국소 기여가 모두 온도를 가리키지만, 삭제 후 재학습에서 보조 센서가 온도를 대신 맡아 중요도 0.000 이 «정보 없음»이 아님이 드러난다.
정확도가 거의 같은 다른 모델을 고르면 설명이 바뀐다. 같은 데이터에 릿지 회귀(벌점 α = 50)를 맞추면 시험 R² 는 0.892 로 0.023 만 낮은데, 온도와 보조 센서가 무게를 나눠 보조 센서의 순열 중요도가 0.000 에서 0.207 로 오른다.
그림 5 · R² 차이가 0.023 인 두 모델이 보조 센서 중요도를 0.000 과 0.207 로 다르게 내놓는다 — 순열 중요도는 데이터의 성질이 아니라 고른 모델 하나의 의존을 잰다.
🔑 설명은 데이터가 아니라 고른 모델 하나를 말한다 — 서로 얽힌 특성은 정확도가 같은 모델끼리도 중요도를 다르게 나눠 가진다(Fisher 2019).
6비교 — 설명 방법 다섯 가지
| 기준 | 내재 해석 모델 | 순열 중요도 | 국소 기여(LIME · SHAP) | 반사실 설명 | 돌출 맵(Grad-CAM 등) |
|---|---|---|---|---|---|
| 범위 | 전역 + 국소 | 전역 | 국소(모으면 전역 요약) | 국소 | 국소 |
| 모델 접근 | 모델 종류 자체를 고름 | 입력 · 출력만 | 입력 · 출력만 | 입력 · 출력 | 신경망 내부 기울기 |
| 내놓는 것 | 계수 · 규칙 · 트리 경로 | 특성별 점수 하락 | 특성별 기여 값 | 「이만큼 바꾸면 판정이 바뀐다」는 입력 하나 | 화소별 기여 색 |
| 알려진 약점 | 정확도를 잃는다는 주장 · 반론 있음(Rudin 2019) | 서로 얽힌 특성의 중요도가 모델 따라 갈림(그림 5) | 주변 표본을 알아채고 다르게 답하는 모델에 속음(NIST IR 8312 6.3절) | 답이 여럿인데 보통 하나만 보임(같은 보고서 6.2.1절) | 모델 · 데이터와 무관한 맵을 내는 방법이 있음(Adebayo 2018) |
| 주로 쓰는 곳 | 고위험 판정 · 표 형태 데이터 | 특성 선택 · 모델 점검 | 판정 사유 안내 · 디버깅 | 이용자에게 바꿀 방법 안내 | 영상 판독 · 비전 검사 |
분석판정이 무겁고 데이터가 표 형태면 내재 해석 모델을 먼저 시험하고, 이미 쓰는 복잡한 모델을 점검할 때는 순열 중요도로 전체 의존을 본 뒤 국소 기여로 판정 하나를 푼다. 근거는 표의 약점 행 — 사후 방법은 모두 모델 밖에서 재는 근사라 속을 수 있고, 내재 모델은 설명과 모델이 같아 설명 정확성 문제가 생기지 않는다(Rudin 2019 · NIST IR 8312 6.1절).
7실무 진단 — 이상한 설명의 원인 가르기
분석설명이 모델을 따라 바뀌는지(무작위화 점검)부터 보고, 그다음 특성 상관 · 사람 이해 순으로 좁힌다. 설명 방법이 모델에 반응하지 않으면 그 뒤의 해석은 모두 근거가 없기 때문이다(Adebayo 2018 · NIST IR 8312 7.2절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 전 모델에서도 같은 돌출 맵이 나옴 | 설명 방법이 모델 가중치에 둔감 | 설명 정확성 | 모델 파라미터 무작위화 전후의 설명 비교 | 전후 설명이 비슷하면 방법 탈락(Adebayo 2018) |
| 2 | 중요도 0 인 특성을 빼고 재학습해도 성능이 거의 그대로 | 다른 특성과 얽혀 대신 쓰일 수 있음 | 전역 설명 | 특성 상관 행렬 · 묶음별 순열 중요도 | 상관이 큰 특성은 묶어 한 번에 섞음(scikit-learn 순열 중요도 문서) |
| 3 | 트리 모델 중요도 1위가 값 종류가 많은 ID 열 | 불순도 기반 중요도의 편향 | 전역 설명 | 같은 모델의 순열 중요도와 대조 | 불순도 중요도는 값 종류가 많은 특성에 치우침(같은 문서) |
| 4 | 같은 판정의 국소 설명 순위가 실행마다 바뀜 | 주변 표본 추출 난수 · 표본 수 부족 | 국소 설명 | 시드를 바꾼 반복 실행의 순위 분산 | 비슷한 입력에 비슷한 설명이 나와야 함(NIST IR 8312 7.2절) |
| 5 | 설명을 붙였는데 담당자 판단 정확도가 그대로 | 받는 사람에게 의미가 없음 | 의미 | 설명 유무를 나눈 사람 시험의 정확도 · 시간 | 사람 기반 평가로 차이 확인(Doshi-Velez 2017 3.2절) |
| 6 | 학습 범위 밖 입력에도 높은 확신과 설명이 나옴 | 지식 한계 미구현 | 지식 한계 | 입력 분포 대비 거리 · 확신 임계 기록 | 범위 밖 · 낮은 확신이면 판정 보류(NIST IR 8312 2.4절) |
무작위화 점검을 통과한 설명만 해석에 쓰고, 중요도가 낮게 나온 특성을 빼기 전에는 상관 묶음으로 다시 잰다. 담당자에게 보여 줄 설명은 기능 기반 점검을 통과한 뒤 사람 시험으로 의미를 확인한다.
8시험 대비
www.q-net.or.kr시험에서는 XAI 의 필요성 · 분류 · 대표 기법을 묻는 정의 · 특징형, 사후 설명의 한계와 평가 · 규제 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 두 축 네 유형 그림 3 으로 분류를 먼저 보이고 유형마다 대표 기법을 넣으며, 동향형은 「설명이 맞는가」를 재는 무작위화 점검 · 삭제 후 재학습과 원칙 넷으로 마무리한다. SHAP · LIME 과 함께 물으면 둘 다 «사후 · 국소» 유형의 기법이라는 위치를 짚고 계산 차이는 짧게 둔다.
- 개요 — 정의 · 필요성(신뢰 · 디버깅 · 규제 대응) · 늑대 · 허스키 실험 10/27 → 3/27
- 분류 — 그림 3 내재 · 사후 × 전역 · 국소 네 유형 + 유형별 대표 기법
- 원칙과 평가 — 원칙 넷 표(설명 · 의미 · 설명 정확성 · 지식 한계) + 적용 · 사람 · 기능 기반 평가
- 적용 절차 — 그림 4 사례 순서(계수 → 순열 중요도 → 국소 기여 → 무작위화 점검 → 삭제 후 재학습)
- 기법 비교와 한계 — 비교표 다섯 방법 + 그림 5 같은 정확도 · 다른 중요도(0.000 ↔ 0.207)
- 발전 방향 — 고위험 판정의 내재 해석 모델 · 설명 조작 대응 · 모델 카드로 설명 문서화
꼭 쓸 키워드
내재 해석 모델사후 설명전역 설명국소 설명순열 중요도반사실 설명돌출 맵설명 정확성무작위화 점검지식 한계
다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 정확도가 같은 두 모델이 다른 중요도를 내는 숫자를 보이면, 「설명은 모델을 설명할 뿐 세상을 설명하지 않는다」는 한계를 한 줄로 증명할 수 있다.
9오해와 사실
- 오해그럴듯해 보이는 설명은 맞는 설명이다.사실Guided BackProp · Guided GradCAM 은 상위 가중치를 무작위로 바꿔도 맵이 거의 그대로여서 무작위화 점검에서 탈락했다(Adebayo 2018 1절).
- 오해중요도가 0 에 가까운 특성은 결과와 관계가 없다.사실사례의 보조 센서는 중요도 0.000 이었지만 온도를 빼자 대신 맡아 R² 0.815 를 지켰다 — 중요도는 그 모델의 의존이다(Fisher 2019).
- 오해해석 가능한 모델은 늘 정확도를 잃는다.사실정확도와 해석 가능성이 맞바꾸기라는 주장에는 반론이 있고, 많은 경우 해석 가능한 모델로 정확도 손실 없이 판정할 수 있다는 연구가 있다(NIST IR 8312 6.1절 · Rudin 2019).
10핵심 정리
| 구분 | 묻는 것 | 대표 방법 · 지표 | 사례 값 | 흔한 함정 |
|---|---|---|---|---|
| 내재 · 전역 | 모델 전체가 무엇을 쓰나 | 선형 계수 · 얕은 트리 | 온도 계수 3.008 | 얽힌 특성의 계수가 불안정 |
| 내재 · 국소 | 이 판정은 왜 | 계수 × (값 − 평균) · 트리 경로 | #424 온도 +6.452 | 기준값 선택에 따라 기여가 바뀜 |
| 사후 · 전역 | 모델이 어느 특성에 기대나 | 순열 중요도 · PDP | 온도 1.634 · 보조 0.000 | 0 을 「관계 없음」으로 읽음 |
| 사후 · 국소 | 판정 하나의 특성별 기여 | LIME · SHAP · 반사실 · 돌출 맵 | — | 실행마다 순위가 바뀜 |
| 설명 정확성 | 설명이 모델의 실제 이유인가 | 무작위화 점검 · 삭제 후 재학습 | R² −0.031 · 0.815 | 화면에 그럴듯하면 통과시킴 |
| 의미 | 받는 사람이 알아듣나 | 적용 · 사람 · 기능 기반 평가 | — | 개발자용 설명을 이용자에게 그대로 |
| 지식 한계 | 판정하지 말아야 할 입력인가 | 범위 밖 탐지 · 확신 임계 | — | 범위 밖에도 설명을 붙임 |
11참고 문헌
- 먼저 볼 문헌
- ★ NISTIR 8312 Four Principles of Explainable Artificial Intelligence — 설명 원칙 넷과 설명 방법 분류 · 평가 방법 정리를 볼 때
- ★ Towards A Rigorous Science of Interpretable Machine Learning (Doshi-Velez · Kim) — 적용 · 사람 · 기능 기반 평가 세 수준을 볼 때
- ★ Why Should I Trust You?: Explaining the Predictions of Any Classifier (Ribeiro · Singh · Guestrin · KDD 2016) — 설명을 본 사람이 잘못된 단서를 찾아낸 실험을 볼 때
- ★ Sanity Checks for Saliency Maps (Adebayo et al. · NeurIPS 2018) — 모델 · 데이터 무작위화로 설명 방법을 걸러 내는 시험을 볼 때
- ★ scikit-learn 1.9.1 User Guide 5.2 Permutation feature importance — 순열 중요도 식과 상관 특성 · 불순도 중요도 주의를 볼 때
- 본문 근거
- A Unified Approach to Interpreting Model Predictions (Lundberg · Lee · NIPS 2017) — arXiv · 2017-05 ·
arxiv.org/abs/1705.07874· 확인 2026-11-09 - A Benchmark for Interpretability Methods in Deep Neural Networks (Hooker · Erhan · Kindermans · Kim · NeurIPS 2019) — arXiv · 2018-06 ·
arxiv.org/abs/1806.10758· 확인 2026-11-09 - Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead (Rudin · Nature Machine Intelligence 1) — arXiv · 2018-11 ·
arxiv.org/abs/1811.10154· 확인 2026-11-09 - All Models are Wrong, but Many are Useful: Learning a Variable's Importance by Studying an Entire Class of Prediction Models Simultaneously (Fisher · Rudin · Dominici · JMLR 20) — arXiv · 2018-01 ·
arxiv.org/abs/1801.01489· 확인 2026-11-09 - Random Forests (Breiman · Machine Learning 45(1) 5-32) — Springer · 2001-10 ·
doi.org/10.1023/A:1010933404324· 확인 2026-11-09 - DARPA Explainable Artificial Intelligence (XAI) program — DARPA · 2026-11 ·
www.darpa.mil/research/programs/explainable-artificial-intelligence· 확인 2026-11-09 - NumPy 2.4 Reference numpy.linalg.lstsq — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html· 확인 2026-11-09