AI › 신뢰할 수 있는 AI › 설명 가능성

설명 가능한 AI(XAI)Explainable Artificial Intelligence

AI 모델이 내린 판정의 근거를 사람이 확인할 수 있는 형태로 내놓는 방법과 그 방법을 평가하는 기준 전체다. 모델 자체를 읽을 수 있게 만드는 내재 방식과, 만들어진 모델을 바깥에서 재는 사후 방식으로 나뉜다.

1요약

  1. 설명 가능한 AI 는 모델 판정의 근거를 사람에게 내놓는 방법으로, 미국 표준 기관 NIST 가 2021년 설명 · 의미 · 설명 정확성 · 지식 한계 네 원칙으로 정리했고(NIST IR 8312 2절) 대출 심사 사유 안내 · 영상 판독 보조 · 공정 불량 원인 분석이 이 원칙 위에서 설명을 만든다.
  2. 정확도 숫자만으로는 모델이 엉뚱한 단서를 쓰는지 알 수 없다 — 눈 배경만 보고 늑대를 고르게 일부러 만든 분류기를 대학원생 27명 중 10명이 믿었으나, 판정마다 근거 화소를 보여 주자 3명만 믿었다(Ribeiro 2016 6.4절).
  3. 「설명이 이상하다」는 설명이 모델을 따라 바뀌는가로 가른다 — 모델 가중치를 무작위로 바꿔도 설명이 그대로면 설명 방법의 실패이고, 설명은 모델을 따르는데 사람 눈에 틀리면 모델이 잘못된 단서를 배운 것이다.

2등장 배경

예측 정확도가 높은 모델일수록 내부가 복잡해 「왜 이 대출을 거절했나」 · 「왜 이 사진을 늑대로 봤나」에 답하기 어렵다. 2016년 Ribeiro 등은 학습 사진 20장의 늑대가 모두 눈 배경이도록 골라, 동물이 아니라 눈으로 판정하는 분류기를 만들어 이 문제를 보였다(Ribeiro 2016 6.4절).

설명 방법은 그 앞뒤로 쌓였다. 2001년 Breiman 이 랜덤 포레스트에서 특성 값을 뒤섞어 정확도 하락을 재는 순열 중요도를 썼고, 2016년 LIME 이 판정 하나 주변에 단순 모델을 맞췄으며, 2017년 Lundberg · Lee 의 SHAP 이 기존 방법 여섯을 섀플리 값 하나로 묶었다(Lundberg 2017). 같은 해 Doshi-Velez · Kim 이 설명의 평가 수준을 나눴고, 미국 국방고등연구계획국(DARPA)의 XAI 사업은 2018년 5월 1단계 시연을 했다(DARPA XAI).

2018 ~ 2019년에는 설명 자체를 의심하는 연구가 나왔다. 일부 돌출 맵이 학습 전 모델에서도 같은 그림을 냈고(Adebayo 2018), Rudin 은 고위험 판정에는 사후 설명 대신 처음부터 읽히는 모델을 쓰라고 주장했다(Rudin 2019). 2021년 NIST IR 8312 가 원칙 넷과 평가 방법을 묶었고, 설명 의무를 다루는 법 · 규제는 AI 기본법 · EU AI법이 맡는다.

3쉽게 이해하기 — 말없는 과일 감별사와 조사원

과일 도매 시장의 베테랑 감별사는 과일을 한 번 보고 「상」 · 「중」 · 「하」 꼬리표를 붙이지만 이유를 말하지 못한다. 손님이 「왜 이 사과가 하냐」고 묻자, 조사원이 감별사 옆에서 사과 꼭지를 가려 보거나 하루치 과일의 색 기록을 일부러 뒤섞어 다시 판정을 맡기며 감별사가 무엇에 기대는지 알아낸다. 조사원은 알아낸 것을 설명서로 써 손님과 시장 검사관에게 주고, 그 설명서가 맞는지는 과일을 실제로 바꿔 다시 판정해 확인한다. 처음 보는 열대 과일이 오면 감별사는 판정을 보류해야 한다.

과일 상자 들어오는 것 오늘 온 과일 입력 데이터 색 · 무게 · 모양 기록 감별사 판정하는 쪽 이유는 말 못 함 블랙박스 모델 등급 꼬리표 나온 것 상 · 중 · 하 예측 건넴 1 붙임 2 바꿔 보이며 관찰 3 조사원 감별사가 무엇에 기대는지 알아내는 쪽 사과 하나의 꼭지를 가림 국소 설명 하루치 색 기록을 섞음 전역 설명 하나만 보면 국소 · 전체 판정을 모아 보면 전역 손님 · 검사관 설명서를 읽음 받는 사람 읽는 사람마다 필요한 깊이가 다름 설명서 4 설명서가 쓸 만한지 따지는 셋 과일을 바꿔 다시 판정 설명 정확성 처음 보는 과일은 보류 지식 한계 등급표를 쓰는 감별사 내재 해석 모델

그림 1 · 말없는 감별사(모델)를 조사원(설명 방법)이 과일을 바꿔 보이며 관찰해 설명서를 만들고, 그 설명서는 다시 바꿔 보는 확인과 판정 보류 규칙으로 따진다.

과일 건넴색 · 무게 · 모양을 본 감별사
꼬리표상 · 중 · 하만 붙임
하나 가려 보기이 사과는 무엇 때문에
기록 섞기하루치에서 무엇에 기대나
설명서손님 · 검사관에게
다시 판정설명대로 바뀌는지 확인
비유 — 기록 하나만 섞어 보기 하루치 100개 중 맞은 판정 그대로 92 색 60 무게 90 모양 91 빈 굵은 테두리 = 섞어서 줄어든 만큼 줄어든 만큼 = 그 기록에 기대는 정도 맞은 수 92 · 60 · 90 · 91 = 설명용 가정 값 실제 — 열 하나 섞고 점수 하락 x1 x2 x3 c a e b d 그대로 그대로 x1 열만 행 순서를 섞음(a · b · c · d · e → c · a · e · b · d) 모델 f s 0.92 ↓ s′ 0.60 i(x1) = s − (K회 섞은 점수 평균) = 0.32 s = 섞기 전 점수 · s′ = 섞은 뒤 점수 · K = 섞는 횟수

그림 2 · 색 기록만 섞었을 때 맞은 판정이 92개에서 60개로 줄면 감별사는 색에 크게 기댄다 — 실제 순열 중요도는 특성 열 하나를 섞은 뒤 점수 하락을 잰다.

비유 속 역할실제 이름실제로 하는 일
과일 기록(색 · 무게 · 모양)입력 특성모델이 판정에 쓰는 열 값
말없는 감별사블랙박스 모델정확하지만 내부 계산을 사람이 따라가기 어려운 모델
등급표를 쓰는 감별사내재 해석 모델선형 계수 · 얕은 트리처럼 모델 자체가 설명인 모델
사과 하나 가려 보기국소 사후 설명판정 하나 주변 입력을 바꿔 특성별 기여를 잰다
하루치 기록 섞기전역 사후 설명전체 데이터에서 열을 섞어 모델의 의존을 잰다
손님 · 검사관설명을 받는 사람개발자 · 규제 기관 · 이용자마다 필요한 깊이가 다르다
바꿔서 다시 판정설명 정확성 평가설명이 가리킨 특성을 실제로 바꿔 출력 변화를 본다
열대 과일 보류지식 한계설계 범위 밖 입력 · 낮은 확신에는 판정을 내지 않는다

⚠ 비유가 맞지 않는 곳: 실제 사후 설명은 감별사의 머릿속이 아니라 입력과 출력의 관계만 본다 — 모델이 몰래 쓰는 다른 단서가 서로 얽혀 있으면 섞기 한 번으로는 드러나지 않고(아래 그림 5), 조사원이 무엇을 바꿔 볼지 알아채고 그때만 다르게 판정하는 모델도 만들 수 있다(NIST IR 8312 6.3절).

4구조 — 설명 방법의 두 축과 원칙 넷

설명 방법은 «설명이 어디서 나오는가»(모델 자체 = 내재 · 다른 도구 = 사후)와 «무엇을 설명하는가»(모델 전체 = 전역 · 판정 하나 = 국소) 두 축으로 나뉜다(NIST IR 8312 6절). 사후 방법은 모델에 입력을 넣고 출력만 받으면 되므로 모델 종류를 가리지 않는다.

전역 — 모델 전체 국소 — 판정 하나 내재 모델 자체가 설명 사후 다른 도구가 입출력으로 만듦 모델을 그대로 읽기 선형 · 로지스틱 회귀 계수 얕은 결정 트리 · 규칙 목록 사람이 직접 계산해 볼 수 있음 입력 하나를 모델에 따라가기 트리 경로 · 계수 × 값 같은 모델에서 바로 나옴 위 화살 = 입력을 넣어 따라감 · 아래 화살 = 국소 설명을 모아 요약 모델을 바깥에서 재기 순열 중요도 · PDP TCAV · 전역 대리 모델 모델 전체의 의존을 수치로 판정 하나를 바깥에서 재기 LIME · SHAP · 반사실 설명 돌출 맵(Grad-CAM) · ICE 특성 · 화소별 기여를 판정마다 평가 — 설명 정확성: 무작위화 점검 · 삭제 후 재학습 · 충실도 의미: 적용 · 사람 · 기능 기반 시험(사람이 이해하는가) 모델 자체(내재) 출력에서 만든 설명(사후) 굵은 테두리 = 네 유형 모두에 적용

그림 3 · 내재 · 사후와 전역 · 국소 두 축이 설명 방법을 네 유형으로 나누고, 어느 유형의 설명이든 설명 정확성과 의미를 따로 평가한다.

원칙묻는 것평가 방법근거
설명출력 · 처리에 근거나 이유가 붙는가설명이 있는가만 본다(맞는지 · 알아듣는지는 묻지 않음)NIST IR 8312 2.1절
의미받는 사람이 그 설명을 이해하는가사람이 모델 출력을 맞혀 보기 · 설명을 받고 과제 정확도 · 만족 척도2.2 · 7.1절
설명 정확성설명이 모델의 실제 이유를 반영하는가충실도 · 중요 특성 삭제 실험 · 무작위화 점검2.3 · 7.2절
지식 한계설계 범위 밖 입력 · 낮은 확신을 스스로 알리는가범위 밖 입력 · 확신 임계 시험(연구가 적다고 밝힘)2.4 · 7절

설명 정확성은 판정이 맞았는가(결정 정확도)와 다른 값이다 — 맞는 판정에도 틀린 설명이 붙을 수 있다(NIST IR 8312 2.3절). 의미는 받는 사람에 따라 달라, 개발자는 디버깅 · 학습 데이터 점검을, 규제 기관은 요구 충족 확인을 원한다(같은 보고서 3절).

평가 수준은 셋으로 나뉜다 — 실제 사람이 실제 과제에서 쓰는 적용 기반, 실제 사람이 단순화한 과제를 푸는 사람 기반, 사람 없이 대리 지표로 재는 기능 기반이다(Doshi-Velez 2017 3.1 ~ 3.3절). 아래 사례의 무작위화 점검 · 삭제 후 재학습은 기능 기반 평가다.

🔑 「설명이 있다」와 「설명이 맞다」와 「설명을 알아듣는다」는 서로 다른 원칙이다 — 그림 한 장이 나왔다고 셋이 함께 채워지지 않는다.

5동작 — 품질 점수 모델의 설명과 검증

합성 데이터로 직접 실행한 사례다 — 실행 환경은 NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(0) 이다. 품질 점수 y 를 온도 · 압력 · 온도 보조 센서 · 습도 넷으로 예측하며, 참값은 y = 3 × 온도 + 1 × 압력 + 잡음이다 — 보조 센서는 온도에 잡음을 더한 값이고 습도는 y 와 무관하다.

  1. 데이터 — 표준화한 특성 넷으로 600건을 만들어 학습 400 · 시험 200 으로 나눈다. 온도와 보조 센서의 상관계수는 0.954 다.
  2. 학습 · 내재 설명 — 최소제곱 선형 모델(numpy.linalg.lstsq)의 계수가 온도 3.008 · 압력 1.042 · 보조 −0.007 · 습도 −0.097 이고 시험 R² 는 0.915 다. 계수 자체가 전역 설명이다.
  3. 전역 사후 설명 — 시험 데이터에서 열 하나씩 10회 섞어 R² 하락 평균을 잰다(scikit-learn 순열 중요도 식). 온도 1.634 · 압력 0.188 · 보조 0.000 · 습도 0.002 다.
  4. 국소 설명 — 시험 표본 #424 의 예측 6.948 을 「계수 × (값 − 학습 평균)」으로 나눈다. 학습 평균 입력의 예측 −0.258 에 온도 +6.452 · 압력 +0.594 · 습도 +0.173 · 보조 −0.013 이 더해져 6.948 이 된다.
  5. 무작위화 점검 — 학습 레이블 y 를 섞어 다시 학습하면 시험 R² 가 −0.031 로 떨어지고 순열 중요도는 넷 모두 절댓값 0.071 이하로 줄어, 설명이 데이터 · 모델에 반응함을 확인한다(Adebayo 2018 데이터 무작위화 시험과 같은 꼴).
  6. 삭제 후 재학습 — 온도를 빼고 다시 학습하면 R² 0.815, 온도와 보조를 함께 빼면 0.095, 습도를 빼면 0.914 다(Hooker 2019 의 삭제 후 재학습 꼴).
  7. 판정 — 보조 센서의 중요도 0.000 은 «이 모델이 쓰지 않는다»이지 «정보가 없다»가 아니다. 온도가 빠지자 보조 센서가 대신 맡아 R² 가 0.815 로 남았다.
단계 사례 값(직접 실행 · 합성 데이터) 1 데이터 600건(학습 400 · 시험 200) · 특성 4 · 온도 ↔ 보조 상관 0.954 2 학습 · 계수 온도 3.008 · 압력 1.042 · 보조 −0.007 · 습도 −0.097 시험 R² 0.915 — 계수 자체가 내재 전역 설명 3 순열 중요도 온도 1.634 · 압력 0.188 · 보조 0.000 · 습도 0.002(K = 10) 4 국소 기여 표본 #424 예측 6.948 = 기준 −0.258 + 온도 6.452 + 압력 0.594 + 습도 0.173 − 보조 0.013 5 무작위화 점검 레이블 섞어 재학습 → R² −0.031 · 중요도 절댓값 0.071 이하 6 삭제 후 재학습 온도 뺌 R² 0.815 · 온도 + 보조 뺌 0.095 습도 뺌 0.914 — 온도가 빠지면 보조 센서가 대신 맡음 7 판정 보조 0.000 = 「모델이 쓰지 않음」 · 「정보 없음」 아님 데이터 모델 · 판정 설명 · 평가 설명이 놓친 것(굵은 테두리) R² 하락 = 중요도

그림 4 · 계수 · 순열 중요도 · 국소 기여가 모두 온도를 가리키지만, 삭제 후 재학습에서 보조 센서가 온도를 대신 맡아 중요도 0.000 이 «정보 없음»이 아님이 드러난다.

정확도가 거의 같은 다른 모델을 고르면 설명이 바뀐다. 같은 데이터에 릿지 회귀(벌점 α = 50)를 맞추면 시험 R² 는 0.892 로 0.023 만 낮은데, 온도와 보조 센서가 무게를 나눠 보조 센서의 순열 중요도가 0.000 에서 0.207 로 오른다.

순열 중요도(시험 R² 하락) — 같은 데이터 · 다른 모델 온도 1.634 0.648 압력 0.188 0.178 보조 센서 0.000 0.207 습도 0.002 0.002 두 모델의 정확도 A 시험 R² 0.915 B 시험 R² 0.892 차이 0.023 둘 다 쓸 만한 모델 모델 A = 최소제곱 모델 B = 릿지 α 50 굵은 테두리 = 두 모델이 갈린 특성 막대 길이 = 중요도 × 245px · 온도 ↔ 보조 상관 0.954 · 직접 실행(합성 데이터)

그림 5 · R² 차이가 0.023 인 두 모델이 보조 센서 중요도를 0.000 과 0.207 로 다르게 내놓는다 — 순열 중요도는 데이터의 성질이 아니라 고른 모델 하나의 의존을 잰다.

🔑 설명은 데이터가 아니라 고른 모델 하나를 말한다 — 서로 얽힌 특성은 정확도가 같은 모델끼리도 중요도를 다르게 나눠 가진다(Fisher 2019).

6비교 — 설명 방법 다섯 가지

기준내재 해석 모델순열 중요도국소 기여(LIME · SHAP)반사실 설명돌출 맵(Grad-CAM 등)
범위전역 + 국소전역국소(모으면 전역 요약)국소국소
모델 접근모델 종류 자체를 고름입력 · 출력만입력 · 출력만입력 · 출력신경망 내부 기울기
내놓는 것계수 · 규칙 · 트리 경로특성별 점수 하락특성별 기여 값「이만큼 바꾸면 판정이 바뀐다」는 입력 하나화소별 기여 색
알려진 약점정확도를 잃는다는 주장 · 반론 있음(Rudin 2019)서로 얽힌 특성의 중요도가 모델 따라 갈림(그림 5)주변 표본을 알아채고 다르게 답하는 모델에 속음(NIST IR 8312 6.3절)답이 여럿인데 보통 하나만 보임(같은 보고서 6.2.1절)모델 · 데이터와 무관한 맵을 내는 방법이 있음(Adebayo 2018)
주로 쓰는 곳고위험 판정 · 표 형태 데이터특성 선택 · 모델 점검판정 사유 안내 · 디버깅이용자에게 바꿀 방법 안내영상 판독 · 비전 검사

분석판정이 무겁고 데이터가 표 형태면 내재 해석 모델을 먼저 시험하고, 이미 쓰는 복잡한 모델을 점검할 때는 순열 중요도로 전체 의존을 본 뒤 국소 기여로 판정 하나를 푼다. 근거는 표의 약점 행 — 사후 방법은 모두 모델 밖에서 재는 근사라 속을 수 있고, 내재 모델은 설명과 모델이 같아 설명 정확성 문제가 생기지 않는다(Rudin 2019 · NIST IR 8312 6.1절).

7실무 진단 — 이상한 설명의 원인 가르기

분석설명이 모델을 따라 바뀌는지(무작위화 점검)부터 보고, 그다음 특성 상관 · 사람 이해 순으로 좁힌다. 설명 방법이 모델에 반응하지 않으면 그 뒤의 해석은 모두 근거가 없기 때문이다(Adebayo 2018 · NIST IR 8312 7.2절).

#증상의심 원인단계확인 자료판정 기준(근거)
1학습 전 모델에서도 같은 돌출 맵이 나옴설명 방법이 모델 가중치에 둔감설명 정확성모델 파라미터 무작위화 전후의 설명 비교전후 설명이 비슷하면 방법 탈락(Adebayo 2018)
2중요도 0 인 특성을 빼고 재학습해도 성능이 거의 그대로다른 특성과 얽혀 대신 쓰일 수 있음전역 설명특성 상관 행렬 · 묶음별 순열 중요도상관이 큰 특성은 묶어 한 번에 섞음(scikit-learn 순열 중요도 문서)
3트리 모델 중요도 1위가 값 종류가 많은 ID 열불순도 기반 중요도의 편향전역 설명같은 모델의 순열 중요도와 대조불순도 중요도는 값 종류가 많은 특성에 치우침(같은 문서)
4같은 판정의 국소 설명 순위가 실행마다 바뀜주변 표본 추출 난수 · 표본 수 부족국소 설명시드를 바꾼 반복 실행의 순위 분산비슷한 입력에 비슷한 설명이 나와야 함(NIST IR 8312 7.2절)
5설명을 붙였는데 담당자 판단 정확도가 그대로받는 사람에게 의미가 없음의미설명 유무를 나눈 사람 시험의 정확도 · 시간사람 기반 평가로 차이 확인(Doshi-Velez 2017 3.2절)
6학습 범위 밖 입력에도 높은 확신과 설명이 나옴지식 한계 미구현지식 한계입력 분포 대비 거리 · 확신 임계 기록범위 밖 · 낮은 확신이면 판정 보류(NIST IR 8312 2.4절)

무작위화 점검을 통과한 설명만 해석에 쓰고, 중요도가 낮게 나온 특성을 빼기 전에는 상관 묶음으로 다시 잰다. 담당자에게 보여 줄 설명은 기능 기반 점검을 통과한 뒤 사람 시험으로 의미를 확인한다.

8시험 대비

출제 정보 정보관리(117회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 XAI 의 필요성 · 분류 · 대표 기법을 묻는 정의 · 특징형, 사후 설명의 한계와 평가 · 규제 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 두 축 네 유형 그림 3 으로 분류를 먼저 보이고 유형마다 대표 기법을 넣으며, 동향형은 「설명이 맞는가」를 재는 무작위화 점검 · 삭제 후 재학습과 원칙 넷으로 마무리한다. SHAP · LIME 과 함께 물으면 둘 다 «사후 · 국소» 유형의 기법이라는 위치를 짚고 계산 차이는 짧게 둔다.

답안 목차
  1. 개요 — 정의 · 필요성(신뢰 · 디버깅 · 규제 대응) · 늑대 · 허스키 실험 10/27 → 3/27
  2. 분류 — 그림 3 내재 · 사후 × 전역 · 국소 네 유형 + 유형별 대표 기법
  3. 원칙과 평가 — 원칙 넷 표(설명 · 의미 · 설명 정확성 · 지식 한계) + 적용 · 사람 · 기능 기반 평가
  4. 적용 절차 — 그림 4 사례 순서(계수 → 순열 중요도 → 국소 기여 → 무작위화 점검 → 삭제 후 재학습)
  5. 기법 비교와 한계 — 비교표 다섯 방법 + 그림 5 같은 정확도 · 다른 중요도(0.000 ↔ 0.207)
  6. 발전 방향 — 고위험 판정의 내재 해석 모델 · 설명 조작 대응 · 모델 카드로 설명 문서화

꼭 쓸 키워드
내재 해석 모델사후 설명전역 설명국소 설명순열 중요도반사실 설명돌출 맵설명 정확성무작위화 점검지식 한계

다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 정확도가 같은 두 모델이 다른 중요도를 내는 숫자를 보이면, 「설명은 모델을 설명할 뿐 세상을 설명하지 않는다」는 한계를 한 줄로 증명할 수 있다.

9오해와 사실

  • 오해그럴듯해 보이는 설명은 맞는 설명이다.
    사실Guided BackProp · Guided GradCAM 은 상위 가중치를 무작위로 바꿔도 맵이 거의 그대로여서 무작위화 점검에서 탈락했다(Adebayo 2018 1절).
  • 오해중요도가 0 에 가까운 특성은 결과와 관계가 없다.
    사실사례의 보조 센서는 중요도 0.000 이었지만 온도를 빼자 대신 맡아 R² 0.815 를 지켰다 — 중요도는 그 모델의 의존이다(Fisher 2019).
  • 오해해석 가능한 모델은 늘 정확도를 잃는다.
    사실정확도와 해석 가능성이 맞바꾸기라는 주장에는 반론이 있고, 많은 경우 해석 가능한 모델로 정확도 손실 없이 판정할 수 있다는 연구가 있다(NIST IR 8312 6.1절 · Rudin 2019).

10핵심 정리

구분묻는 것대표 방법 · 지표사례 값흔한 함정
내재 · 전역모델 전체가 무엇을 쓰나선형 계수 · 얕은 트리온도 계수 3.008얽힌 특성의 계수가 불안정
내재 · 국소이 판정은 왜계수 × (값 − 평균) · 트리 경로#424 온도 +6.452기준값 선택에 따라 기여가 바뀜
사후 · 전역모델이 어느 특성에 기대나순열 중요도 · PDP온도 1.634 · 보조 0.0000 을 「관계 없음」으로 읽음
사후 · 국소판정 하나의 특성별 기여LIME · SHAP · 반사실 · 돌출 맵—실행마다 순위가 바뀜
설명 정확성설명이 모델의 실제 이유인가무작위화 점검 · 삭제 후 재학습R² −0.031 · 0.815화면에 그럴듯하면 통과시킴
의미받는 사람이 알아듣나적용 · 사람 · 기능 기반 평가—개발자용 설명을 이용자에게 그대로
지식 한계판정하지 말아야 할 입력인가범위 밖 탐지 · 확신 임계—범위 밖에도 설명을 붙임

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ NISTIR 8312 Four Principles of Explainable Artificial Intelligence — 설명 원칙 넷과 설명 방법 분류 · 평가 방법 정리를 볼 때
    NIST · 2021-09 · doi.org/10.6028/NIST.IR.8312 · 확인 2026-11-09
  3. ★ Towards A Rigorous Science of Interpretable Machine Learning (Doshi-Velez · Kim) — 적용 · 사람 · 기능 기반 평가 세 수준을 볼 때
    arXiv · 2017-02 · arxiv.org/abs/1702.08608 · 확인 2026-11-09
  4. ★ Why Should I Trust You?: Explaining the Predictions of Any Classifier (Ribeiro · Singh · Guestrin · KDD 2016) — 설명을 본 사람이 잘못된 단서를 찾아낸 실험을 볼 때
    arXiv · 2016-02 · arxiv.org/abs/1602.04938 · 확인 2026-11-09
  5. ★ Sanity Checks for Saliency Maps (Adebayo et al. · NeurIPS 2018) — 모델 · 데이터 무작위화로 설명 방법을 걸러 내는 시험을 볼 때
    arXiv · 2018-10 · arxiv.org/abs/1810.03292 · 확인 2026-11-09
  6. ★ scikit-learn 1.9.1 User Guide 5.2 Permutation feature importance — 순열 중요도 식과 상관 특성 · 불순도 중요도 주의를 볼 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/permutation_importance.html · 확인 2026-11-09
  7. 본문 근거
  8. A Unified Approach to Interpreting Model Predictions (Lundberg · Lee · NIPS 2017) — arXiv · 2017-05 · arxiv.org/abs/1705.07874 · 확인 2026-11-09
  9. A Benchmark for Interpretability Methods in Deep Neural Networks (Hooker · Erhan · Kindermans · Kim · NeurIPS 2019) — arXiv · 2018-06 · arxiv.org/abs/1806.10758 · 확인 2026-11-09
  10. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead (Rudin · Nature Machine Intelligence 1) — arXiv · 2018-11 · arxiv.org/abs/1811.10154 · 확인 2026-11-09
  11. All Models are Wrong, but Many are Useful: Learning a Variable's Importance by Studying an Entire Class of Prediction Models Simultaneously (Fisher · Rudin · Dominici · JMLR 20) — arXiv · 2018-01 · arxiv.org/abs/1801.01489 · 확인 2026-11-09
  12. Random Forests (Breiman · Machine Learning 45(1) 5-32) — Springer · 2001-10 · doi.org/10.1023/A:1010933404324 · 확인 2026-11-09
  13. DARPA Explainable Artificial Intelligence (XAI) program — DARPA · 2026-11 · www.darpa.mil/research/programs/explainable-artificial-intelligence · 확인 2026-11-09
  14. NumPy 2.4 Reference numpy.linalg.lstsq — NumPy developers · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html · 확인 2026-11-09