AI › 신뢰할 수 있는 AI › 설명 가능성

SHAP섀플리 가법 설명 · SHapley Additive exPlanations

협력 게임 이론의 섀플리 값으로 예측 하나를 기준값과 특성별 몫의 합으로 나누는 사후 설명 방법이다. 몫의 합이 언제나 그 예측값과 같다.

1요약

  1. SHAP 은 1953년 Shapley 가 협력 게임의 몫 나누기로 정의한 섀플리 값을 2017년 Lundberg · Lee 가 예측 설명에 옮긴 사후 · 국소 설명 방법이며, 트리 모델의 정확 계산(Tree SHAP)과 표본 수천 건의 몫을 모은 전역 요약 그림이 이 값 위에서 돈다.
  2. 같은 예측을 방법마다 다른 숫자로 설명하던 문제가 있었다 — 증상 둘 중 하나만 있으면 5, 둘 다 있으면 2 를 내는 모델을 사람 30명에게 나눠 보게 하자, LIME · DeepLIFT 보다 SHAP 의 몫(두 증상에 1 씩)이 사람의 가장 흔한 답과 훨씬 잘 맞았다(Lundberg 2017 5.2절 · 그림 4A).
  3. 「SHAP 값이 이상하다」는 빈 특성을 무엇으로 채웠는가로 가른다 — 모델이 쓰지 않는 특성에 몫이 붙으면 조건부 채우기와 특성 상관 탓이고, 실행마다 값이 흔들리면 표본 추정의 분산이며, 몫의 합이 예측과 다르면 설명한 출력 공간이 다르다.

2등장 배경

예측 하나를 특성별 기여로 나누는 방법은 2017년 이전에도 여럿 있었다. LIME 은 주변 표본에 선형 모델을 맞췄고, DeepLIFT 는 기준 입력과의 차이를 신경망 안에서 거꾸로 나눴으며, 트리 모델에서는 판정 경로를 따라 값 변화를 더하는 방식(Saabas 값)이 쓰였다. 이 방식들은 같은 예측에 서로 다른 몫을 냈고, 트리 경로 방식은 뿌리 가까운 분기에 몫을 덜 주는 치우침이 있었다(Lundberg 2020 2.3절).

2017년 NIPS 에서 Lundberg · Lee 는 이 방법들이 모두 「기준값 + 특성별 몫의 합」이라는 가법 꼴(정의 1)임을 보이고, 국소 정확성 · 결측성 · 일관성 세 성질을 함께 만족하는 몫은 섀플리 값 하나뿐임을 정리 1 로 보였다(Lundberg 2017 3절). 같은 논문의 Kernel SHAP 은 가중 선형 회귀로 섀플리 값을 추정했고, 2020년 Tree SHAP 은 트리 앙상블의 정확 계산 비용을 O(TLM2^M) 에서 O(TLD²) 로 낮췄다(Lundberg 2020 Methods 10).

2019 ~ 2020년에는 «빠진 특성을 무엇으로 채우는가»를 두고 논쟁이 이어졌다. Janzing 등은 조건부가 아닌 주변 분포 기댓값이 맞다고 했고(Janzing 2020), Sundararajan · Najmi 는 채우는 방식마다 섀플리 값이 달라 유일성이 뜻을 잃는다고 지적했다(Sundararajan 2020 초록). 설명 방법 전체의 분류 · 평가 원칙은 설명 가능한 AI(XAI)가 맡는다.

3쉽게 이해하기 — 길거리 공연 팀의 수입 나누기

광장의 길거리 공연 팀이 저녁에 동전통을 연다. 아무도 연주하지 않아도 지나가던 사람들이 던지는 기본 2만 원이 있고, 오늘은 4만 4천 원이 모였다. 팀은 기타 · 노래 · 드럼 · 구경만 한 친구 넷이 «합류 순서를 모든 경우로 바꿔 보며 각자 합류할 때 늘어난 돈»을 평균 내어 몫을 정한다. 기타와 노래가 함께일 때만 나는 호흡 값은 둘이 반씩 나누고, 구경만 한 친구는 보탠 돈이 없으니 0 원을 받는다.

기본 동전통 아무도 없을 때 2만 원 기준값 φ0 정산표 기본 + 네 몫 = 4만 4천 국소 정확성 오늘 수입 동전통 4만 4천 원 예측값 f(x) 1 4 2 순서를 바꿔 합류 3 늘어난 돈을 평균 기타 몫 9천 원 특성 · φ1 노래 몫 1만 1천 원 특성 · φ2 드럼 몫 4천 원 특성 · φ3 구경꾼 보탠 돈 없음 → 0 원 안 쓰는 특성 0 기타와 노래가 함께일 때만 나는 호흡 6천 원은 반씩(3천 원) 나눈다 상호작용 몫

그림 1 · 기본 동전(기준값)에 네 사람의 몫(SHAP 값)을 더하면 오늘 수입(예측값)과 정확히 맞고, 보탠 것이 없는 구경꾼의 몫은 0 이다.

기본 동전아무도 없을 때 2만 원
합류 순서모든 순서를 바꿔 본다
늘어난 돈합류할 때마다 적는다
순서 평균그 평균이 각자 몫
정산기본 + 몫 합 = 오늘 수입
구경꾼보탠 것 없으면 0
비유 — 두 사람의 합류 순서 기타 먼저 기타 6 노래 8 +호흡 6 노래 먼저 노래 8 기타 6 +호흡 6 두 순서 평균 기타 (6 + 12) ÷ 2 = 9 노래 (14 + 8) ÷ 2 = 11 합 20 = 둘이 늘린 돈 전부 기타 몫 노래 몫 굵은 테두리 = 함께일 때만 나는 돈 단위 천 원 · 금액 = 설명용 가정 값 실제 — 섀플리 값 식 φi = Σ 가중치(S) × [v(S ∪ i) − v(S)] 가중치(S) = |S|! (M − |S| − 1)! / M! M = 2 → S = {} · {노래} 가중치 1/2 · 1/2 φ기타 = ½ × (6 − 0) + ½ × (20 − 8) = 3 + 6 = 9 (천 원) v(S) = S 의 사람만 공연할 때 늘어난 돈 · |S| = S 의 인원

그림 2 · 두 사람의 합류 순서 둘을 평균하면 기타 9천 · 노래 1만 1천 원이 된다 — 섀플리 값은 이 «순서 평균»을 가중치 식으로 쓴 것이다.

비유 속 역할실제 이름실제로 하는 일
기본 동전 2만 원기준값 φ0배경 데이터 전체의 평균 예측 E[f(X)]
기타 · 노래 · 드럼특성모델 입력의 열 하나하나(온도 · 부하 등)
합류 순서 바꾸기연합(특성 부분 집합) S2^M 개 부분 집합마다 모델 출력을 잰다
합류 때 늘어난 돈한계 기여 v(S ∪ i) − v(S)특성 i 를 실제 값으로 넣었을 때 기대 출력의 변화
순서 평균섀플리 가중 평균 → SHAP 값 φi모든 순서에 걸친 한계 기여의 평균
정산이 맞음국소 정확성φ0 + Σφi = f(x) 가 언제나 성립
구경꾼 0 원쓰지 않는 특성모델이 읽지 않는 특성의 몫은 0(개입 방식)
오늘 수입예측값 f(x)설명하려는 입력 하나의 모델 출력

⚠ 비유가 맞지 않는 곳: 공연자는 자리를 비울 수 있지만 모델 입력은 비울 수 없어, 빠진 특성 자리에 배경 데이터의 값을 대신 넣는다 — 무엇을 넣느냐(주변 분포 · 조건부 분포)에 따라 몫이 달라진다(아래 그림 6). 또 SHAP 값은 «그 사람을 빼면 수입이 얼마 줄까»라는 인과 효과가 아니라 이 배경에 대한 평균 몫이다.

4구조 — 가치 함수 · 추정기 · 몫

SHAP 계산에는 설명할 모델 f · 입력 x · 배경 데이터 셋이 들어간다. 이 셋으로 «특성 집합 S 만 실제 값일 때의 기대 출력» v(S) 를 정의하고(가치 함수), 그 v 에 섀플리 식을 적용해 몫 φi 를 얻는다(Lundberg 2017 4절 식 9 ~ 12).

모델 f 트리 · 신경망 · 선형 입력 x 설명할 행 하나 · 특성 M개 배경 데이터 빈자리를 채울 기준 분포 가치 함수 v(S) S 의 특성만 x 값일 때 모델의 기대 출력 빈자리 채우기 — 둘 중 하나 개입(주변 분포) E[f(x_S, X_나머지)] 조건부(관측 분포) E[f(X) | X_S = x_S] 섀플리 계산 가중치 |S|! (M − |S| − 1)! / M! 추정기: 정확 전수 · 순서 표본 Kernel · Tree · Linear Deep · Gradient φ0 + Σ φi = f(x) 기준값 + 특성별 SHAP 값 국소 보기 — 행 하나 워터폴 · 힘 그림 「이 예측은 왜 이 값인가」 전역 요약 — 행 전체 평균 |φ| 막대 · 벌떼 그림 의존 산점도 · 상호작용 값 모델 · 계산 규칙 입력 데이터 출력 · 설명 굵은 테두리 = 본문 사례가 고른 방식

그림 3 · 모델 · 입력 · 배경이 가치 함수 v(S) 를 정하고, 추정기가 섀플리 몫을 계산하며, 몫은 판정 하나의 보기와 표본 전체의 요약으로 함께 쓰인다.

요소기호역할사례 값 · 근거
모델f설명 대상 · 출력 공간(값 · 확률 · 로그 오즈)이 몫의 단위가 된다소비 전력 kW · SHAP TreeExplainer 문서 model_output
입력x · M설명할 행 하나와 특성 수특성 4개
배경 데이터X빈 특성 자리를 채우는 표본 · 기준값을 정함100건 · Lundberg 2017 그림 1
가치 함수v(S)개입 = 모델의 의존 · 조건부 = 데이터의 상관까지 반영Janzing 2020 · Aas 2021
섀플리 가중치|S|!(M−|S|−1)!/M!연합 크기마다 합이 1/M 이 되게 나눔M = 4 → 크기별 1/4 · Lundberg 2017 식 8
SHAP 값φi특성 i 의 몫 · 부호 = 예측을 올렸나 내렸나부하율 +13.917 kW
기준값φ0배경 평균 예측 E[f(X)]65.044 kW
상호작용 값φij두 특성이 함께일 때만 생기는 몫을 따로 뗌Lundberg 2020 2.6절

섀플리 값이 유일하다는 정리 1 은 세 성질에 기댄다 — 국소 정확성(몫의 합 = 예측) · 결측성(입력에 없는 특성은 몫 0) · 일관성(모델이 바뀌어 한 특성의 한계 기여가 어디서나 늘거나 같으면 그 몫은 줄지 않음)이다(Lundberg 2017 3절 성질 1 ~ 3). 게임 이론에서는 Young(1985)이 국소 정확성 · 일관성에 가까운 공리로 같은 유일성을 보였고, 결측성은 이 결과를 특성 기여 꼴에 옮기려고 더한 성질이다(같은 절).

🔑 섀플리 값의 유일성은 가치 함수를 정한 «다음» 이야기다 — 모델 · 입력이 같아도 배경과 빈자리 채우기가 바뀌면 다른 SHAP 값이 나온다(Sundararajan 2020).

5동작 — 설비 소비 전력 예측 하나의 분해

합성 데이터로 직접 실행한 사례다 — NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(0). 부하율 · 회전 속도 · 냉각수 온도 · 외기 온도로 설비 소비 전력(kW)을 예측하며, 참값에는 부하율 × 회전 속도 상호작용이 있고 외기 온도는 냉각수 온도와 상관 0.8 이지만 전력에는 영향이 없다.

  1. 데이터 · 모델 — 500건 중 400건으로 numpy.linalg.lstsq 회귀(항 = 부하율 · 속도 · 부하율 × 속도 · 냉각수, 외기 없음)를 맞추고, 나머지 100건 시험 R² 는 0.985 다.
  2. 설명할 입력 — x = (부하율 85 % · 1,800 rpm · 냉각수 36 °C · 외기 33 °C) · 예측 f(x) = 86.875 kW.
  3. 기준값 — 학습 데이터 앞 100건을 배경으로 두고 평균 예측 φ0 = 65.044 kW 를 얻는다.
  4. 가치 함수 — 연합 2^4 = 16개마다 S 밖 특성을 배경 값으로 둔 평균 출력(개입 방식)을 잰다 · 모델 호출 16 × 100 = 1,600회.
  5. 부하율의 몫 — 한계 기여는 S 에 속도가 없으면 12.346, 있으면 15.489 kW 다. 섀플리 가중 평균은 13.917 kW 다(그림 5).
  6. 나머지 몫 · 정산 — 속도 4.632 · 냉각수 3.282 · 외기 0.000 kW 이고, 65.044 + 21.831 = 86.875 kW 로 예측과 맞는다(국소 정확성).
  7. 추정기 대조 — 순서 표본 추정은 순서 1개면 최대 오차 1.572, 100개면 0.094 kW 다. Kernel SHAP 을 연합 14개 전부(빈 · 전체 제외)로 풀면 정확 값과 소수 셋째 자리까지 같다(Lundberg 2017 정리 2).
SHAP 워터폴 — 입력 x 의 예측 분해(kW) 3 기준값 φ0 65.044 5 부하율 85 % +13.917 6 회전 속도 1,800 rpm +4.632 냉각수 36 °C +3.282 외기 33 °C 0.000 2 예측 f(x) 86.875 60 70 80 90 배경 평균 특성 몫(+) 몫 0(모델이 안 씀) 모델 출력 가로축 시작 = 60 kW · 직접 실행

그림 4 · 기준값 65.044 kW 에 네 몫을 차례로 더하면 예측 86.875 kW 가 되고, 모델 식에 없는 외기 온도의 몫은 0 이다.

부하율의 한계 기여 Δ = v(S ∪ 부하율) − v(S) — 연합 8개 크기 0 크기 1 크기 2 크기 3 빈 집합 · 1/4 Δ 12.346 속도 · 1/12 Δ 15.489 냉각수 · 1/12 Δ 12.346 외기 · 1/12 Δ 12.346 속도 + 냉각수 · 1/12 Δ 15.489 속도 + 외기 · 1/12 Δ 15.489 냉각수 + 외기 · 1/12 Δ 12.346 속도 + 냉각수 + 외기 · 1/4 Δ 15.489 열 합 1/4 열 합 1/4 열 합 1/4 열 합 1/4 φ부하율 = ¼ × 12.346 + 1/12 × (15.489 + 12.346 × 2) + 1/12 × (15.489 × 2 + 12.346) + ¼ × 15.489 = 13.917 kW · 상호작용 15.489 − 12.346 = 3.143 → 부하율 · 속도가 1.572 씩 굵은 테두리 = S 에 회전 속도가 있음 섀플리 가중치 규칙 결과 몫 · 직접 실행 값

그림 5 · 연합 크기마다 가중치 합이 1/4 로 같아, 부하율의 몫 13.917 은 속도가 «없는» 연합의 12.346 과 «있는» 연합의 15.489 를 반씩 섞은 값이 된다.

같은 모델 · 입력이라도 빈자리를 조건부 분포로 채우면 몫이 옮겨 간다. 생성 분포(정규 · 냉각수 ↔ 외기 상관 0.8)에서 20만 표본으로 두 방식을 계산하면, 몫의 합 21.885 kW 는 같지만 외기 온도의 몫이 0.000 에서 1.516 으로 오르고 냉각수는 3.555 에서 2.037 로 내려간다.

같은 모델 · 같은 입력 — 빈자리 채우기만 다름(kW) 부하율 13.775 13.781 회전 속도 4.555 4.551 냉각수 3.555 2.037 외기 0.000 1.516 두 방식의 공통점 · 차이 몫의 합 = 21.885 kW(둘 다) 모델 식에 외기 항 없음 조건부만 외기에 몫을 줌 개입(모델을 설명) 조건부(데이터 상관까지) 굵은 테두리 = 두 방식이 갈린 특성 막대 길이 = 값 × 28px · 생성 분포 20만 표본 · 기준값 64.989 kW · 직접 실행(합성 데이터)

그림 6 · 몫의 합은 같아도, 조건부 채우기는 모델 식에 없는 외기 온도에 1.516 kW 를 나눠 준다 — 상관된 냉각수 몫이 옮겨 간 것이다.

🔑 개입 채우기는 모델이 무엇을 읽는지를, 조건부 채우기는 데이터 속 상관까지 보여 준다 — «이 모델을 고쳐야 하나»에는 앞의 것이, «이 값이 무엇과 함께 움직이나»에는 뒤의 것이 답한다(Janzing 2020 · Aas 2021).

6비교 — SHAP 추정기 다섯 가지

기준정확 전수순서 표본Kernel SHAPTree SHAPDeep · Gradient SHAP
대상 모델아무 모델아무 모델아무 모델트리 · 트리 앙상블신경망
계산량2^M 연합 × 배경순서 K개 × M표본 연합 수 · 회귀 O(2^M + M³)(전수 시)O(TLD²)(Lundberg 2020 Methods 10)역전파 몇 번
정확도정확근사 · K 에 따라 오차(사례 1.572 → 0.094)근사 · 연합 전부면 정확(사례)정확 · 추정 분산 0근사(선형화 · 기대 기울기)
기본 가정고른 가치 함수 그대로특성 독립(주변 분포)특성 독립(Lundberg 2017 식 11)배경을 주면 개입 · 없으면 트리 경로 조건부(SHAP TreeExplainer 문서)특성 독립 · 모델 선형화
쓰는 때특성 10여 개 이하 · 검산빠른 대략 값모델 내부를 못 볼 때부스팅 · 랜덤 포레스트 표 데이터이미지 · 큰 신경망

분석트리 모델이면 Tree SHAP 을 먼저 쓰고, 모델 내부를 볼 수 없을 때만 Kernel SHAP 으로 내려가 표본 수를 늘려 가며 수렴을 확인한다. 근거는 표의 정확도 행 — Tree SHAP 은 정확 값이라 추정 분산이 없고 Kernel · 순서 표본은 표본 수에 따라 오차가 남는다(Lundberg 2020 2.5절). LIME 과의 차이(가중 커널 · 정규화 선택)는 LIME 에서 다룬다.

7실무 진단 — 이상한 SHAP 값의 원인 가르기

분석몫의 합이 예측과 맞는지(국소 정확성)부터 보고, 그다음 가치 함수 · 배경, 마지막으로 추정 분산 순으로 좁힌다. 합이 맞지 않으면 설명한 출력 자체가 달라 뒤의 해석이 모두 어긋나기 때문이다(Lundberg 2017 성질 1).

#증상의심 원인단계확인 자료판정 기준(근거)
1φ0 + Σφ 가 화면의 예측 확률과 다름설명한 출력이 확률이 아닌 원시 출력출력 공간같은 행의 원시 출력 · 확률 · 설명 대상 설정합 = 설명한 출력이어야 함(Lundberg 2017 성질 1 · SHAP TreeExplainer 문서 model_output)
2모델이 읽지 않는 특성에 몫이 붙음조건부 채우기 + 다른 특성과 상관가치 함수특성 상관 행렬 · 개입 방식으로 다시 계산개입 방식이면 쓰지 않는 특성 몫 0(Sundararajan 2020 Dummy 공리)
3같은 행의 몫 순위가 실행마다 바뀜Kernel · 순서 표본의 표본 수 부족추정기시드를 바꾼 반복 실행의 분산 · 정확 해와 대조분산이 몫 차이보다 작아질 때까지 표본 증가(Lundberg 2020 2.4절)
4배경을 바꾸자 몫 부호가 뒤집힘기준값이 바뀜(비교 대상이 다른 집단)배경배경 표본 수 · 구성 · φ0몫은 배경 평균 대비 값 — 보고서에 배경을 함께 적음(Lundberg 2017 그림 1)
5설명에서 민감 특성의 몫이 사라졌는데 판정 결과는 그대로 치우침배경으로 만든 합성 입력에서만 다르게 답하는 모델설명 신뢰합성 입력의 분포 밖 정도 · 실제 데이터 판정 비율설명만으로 공정성을 판정하지 않음(Slack 2020 초록)

합이 맞으면 배경 표본과 채우기 방식을 설명 결과와 함께 기록한다. 그다음 추정기의 반복 분산을 본다. 몫이 0 에 가까운 특성을 빼기 전에는 상관 특성을 묶어 다시 잰다.

8시험 대비

시험에서는 SHAP 의 정의 · 성질 · 계산 방법을 묻는 정의 · 특징형, 다른 설명 방법과 견주거나 한계 · 발전을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 섀플리 식과 성질 셋을 적고 그림 5 처럼 가중 평균을 숫자로 보이면 된다. 동향형은 추정기 비교표와 가치 함수 논쟁(그림 6)으로 «유일성은 가치 함수를 정한 뒤»라는 한계를 짚는다.

답안 목차
  1. 개요 — 정의 · 협력 게임에서 온 몫 나누기 · 사후 · 국소 설명의 위치 · 기준값 + 몫의 합 = 예측
  2. 원리 — 섀플리 식 · 성질 셋(국소 정확성 · 결측성 · 일관성) · 그림 5 연합 크기별 가중치 1/M
  3. 구성 — 그림 3 모델 · 입력 · 배경 → 가치 함수 → 추정기 → 국소 보기 · 전역 요약
  4. 적용 절차 — 그림 4 워터폴(기준값 65.044 → 예측 86.875 kW)과 단계별 검산
  5. 추정기 비교 — 비교표(정확 전수 · 순서 표본 · Kernel · Tree · Deep) · 계산량 O(TLD²)
  6. 한계와 대응 — 그림 6 개입 ↔ 조건부(외기 0 ↔ 1.516) · 인과 효과 아님 · 설명 조작 · 배경 기록

꼭 쓸 키워드
섀플리 값가법 특성 기여국소 정확성일관성기준값가치 함수Kernel SHAPTree SHAP상호작용 값배경 데이터

다른 답안과 차이를 내는 한 가지 — 그림 6 처럼 «합은 같은데 몫이 옮겨 가는» 숫자를 보이면, SHAP 값이 모델 하나 · 배경 하나 · 채우기 하나에 묶인 값이라는 점을 한 줄로 증명할 수 있다.

9오해와 사실

  • 오해SHAP 값이 큰 특성을 그만큼 바꾸면 예측도 그만큼 바뀐다.
    사실SHAP 값은 배경 평균 대비 몫이지 개입 효과가 아니며, 사례의 부하율 몫 13.917 에는 속도와의 상호작용 몫 1.572 가 섞여 있다(Kumar 2020 · 그림 5).
  • 오해SHAP 은 정의가 하나라 어느 도구로 계산해도 같은 값이 나온다.
    사실채우기 방식에 따라 같은 입력의 외기 몫이 0.000 과 1.516 으로 갈렸다 — 유일성은 가치 함수를 정한 뒤에만 성립한다(Sundararajan 2020).
  • 오해Kernel SHAP 은 표본을 많이 쓸수록 LIME 과 같아진다.
    사실둘은 같은 가중 회귀 꼴이지만, 섀플리 커널 · 정규화 0 · 빈 연합과 전체 연합 제약을 쓸 때만 섀플리 값을 되찾는다(Lundberg 2017 정리 2).

10핵심 정리

구분묻는 것식 · 방법사례 값흔한 함정
기준값 φ0아무것도 모를 때의 예측배경 평균 E[f(X)]65.044 kW배경을 적지 않고 몫만 보고함
SHAP 값 φi이 예측에서 특성 i 의 몫연합별 한계 기여의 섀플리 가중 평균부하율 +13.917인과 효과로 읽음
섀플리 가중치연합을 어떻게 섞나|S|!(M−|S|−1)!/M! · 크기별 합 1/MM = 4 → 1/4연합 수를 줄여 가중치를 깸
국소 정확성몫이 예측을 다 설명하나φ0 + Σφi = f(x)86.875 kW확률과 원시 출력을 섞음
개입 채우기모델이 무엇을 읽나E[f(x_S, X_나머지)]외기 0.000상관을 무시한 비현실 입력
조건부 채우기데이터에서 무엇이 함께 움직이나E[f(X) | X_S = x_S]외기 1.516모델이 안 쓰는 특성에 몫
추정기얼마나 빨리 · 정확히정확 · 순서 표본 · Kernel · Tree · Deep순서 1개 오차 1.572수렴 확인 없이 순위 보고
전역 요약표본 전체에서 무엇이 크나평균 |φ| · 벌떼 · 의존 · 상호작용 값—평균 |φ| 를 부호 있는 효과로 읽음

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ A Unified Approach to Interpreting Model Predictions (Lundberg · Lee · NIPS 2017) — 가법 특성 기여 정의 · 성질 셋 · 유일성 정리 · Kernel SHAP 을 볼 때
    arXiv · 2017-05 · arxiv.org/abs/1705.07874 · 확인 2026-11-12
  3. ★ From Local Explanations to Global Understanding with Explainable AI for Trees (Lundberg et al. · Nature Machine Intelligence 2) — Tree SHAP 의 다항 시간 계산 · 상호작용 값 · 전역 요약 그림을 볼 때
    arXiv · 2019-05 · arxiv.org/abs/1905.04610 · 확인 2026-11-12
  4. ★ The Many Shapley Values for Model Explanation (Sundararajan · Najmi · ICML 2020) — 가치 함수에 따라 섀플리 값이 여럿이 되는 문제를 볼 때
    arXiv · 2019-08 · arxiv.org/abs/1908.08474 · 확인 2026-11-12
  5. ★ Explaining Individual Predictions When Features Are Dependent: More Accurate Approximations to Shapley Values (Aas · Jullum · Løland · Artificial Intelligence 298) — 특성이 서로 얽힐 때 조건부 기댓값 계산을 볼 때
    arXiv · 2019-03 · arxiv.org/abs/1903.10464 · 확인 2026-11-12
  6. ★ SHAP API Reference (Explainers · Plots) — 추정기 종류와 요약 그림 함수를 볼 때
    SHAP developers · 2026-11 · shap.readthedocs.io/en/latest/api.html · 확인 2026-11-12
  7. 본문 근거
  8. A Value for n-Person Games (Shapley · Contributions to the Theory of Games II · Annals of Mathematics Studies 28) — Princeton University Press · 1953-01 · doi.org/10.1515/9781400881970-018 · 확인 2026-11-12
  9. Feature Relevance Quantification in Explainable AI: A Causal Problem (Janzing · Minorics · Blöbaum · AISTATS 2020) — arXiv · 2019-10 · arxiv.org/abs/1910.13413 · 확인 2026-11-12
  10. Problems with Shapley-value-based Explanations as Feature Importance Measures (Kumar et al. · ICML 2020) — arXiv · 2020-02 · arxiv.org/abs/2002.11097 · 확인 2026-11-12
  11. Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods (Slack et al. · AIES 2020) — arXiv · 2019-11 · arxiv.org/abs/1911.02508 · 확인 2026-11-12
  12. SHAP TreeExplainer (feature_perturbation · model_output) — SHAP developers · 2026-11 · shap.readthedocs.io/en/latest/generated/shap.TreeExplainer.html · 확인 2026-11-12
  13. NumPy 2.4 Reference numpy.linalg.lstsq — NumPy developers · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html · 확인 2026-11-12