SHAP섀플리 가법 설명 · SHapley Additive exPlanations
협력 게임 이론의 섀플리 값으로 예측 하나를 기준값과 특성별 몫의 합으로 나누는 사후 설명 방법이다. 몫의 합이 언제나 그 예측값과 같다.
1요약
- SHAP 은 1953년 Shapley 가 협력 게임의 몫 나누기로 정의한 섀플리 값을 2017년 Lundberg · Lee 가 예측 설명에 옮긴 사후 · 국소 설명 방법이며, 트리 모델의 정확 계산(Tree SHAP)과 표본 수천 건의 몫을 모은 전역 요약 그림이 이 값 위에서 돈다.
- 같은 예측을 방법마다 다른 숫자로 설명하던 문제가 있었다 — 증상 둘 중 하나만 있으면 5, 둘 다 있으면 2 를 내는 모델을 사람 30명에게 나눠 보게 하자, LIME · DeepLIFT 보다 SHAP 의 몫(두 증상에 1 씩)이 사람의 가장 흔한 답과 훨씬 잘 맞았다(Lundberg 2017 5.2절 · 그림 4A).
- 「SHAP 값이 이상하다」는 빈 특성을 무엇으로 채웠는가로 가른다 — 모델이 쓰지 않는 특성에 몫이 붙으면 조건부 채우기와 특성 상관 탓이고, 실행마다 값이 흔들리면 표본 추정의 분산이며, 몫의 합이 예측과 다르면 설명한 출력 공간이 다르다.
2등장 배경
예측 하나를 특성별 기여로 나누는 방법은 2017년 이전에도 여럿 있었다. LIME 은 주변 표본에 선형 모델을 맞췄고, DeepLIFT 는 기준 입력과의 차이를 신경망 안에서 거꾸로 나눴으며, 트리 모델에서는 판정 경로를 따라 값 변화를 더하는 방식(Saabas 값)이 쓰였다. 이 방식들은 같은 예측에 서로 다른 몫을 냈고, 트리 경로 방식은 뿌리 가까운 분기에 몫을 덜 주는 치우침이 있었다(Lundberg 2020 2.3절).
2017년 NIPS 에서 Lundberg · Lee 는 이 방법들이 모두 「기준값 + 특성별 몫의 합」이라는 가법 꼴(정의 1)임을 보이고, 국소 정확성 · 결측성 · 일관성 세 성질을 함께 만족하는 몫은 섀플리 값 하나뿐임을 정리 1 로 보였다(Lundberg 2017 3절). 같은 논문의 Kernel SHAP 은 가중 선형 회귀로 섀플리 값을 추정했고, 2020년 Tree SHAP 은 트리 앙상블의 정확 계산 비용을 O(TLM2^M) 에서 O(TLD²) 로 낮췄다(Lundberg 2020 Methods 10).
2019 ~ 2020년에는 «빠진 특성을 무엇으로 채우는가»를 두고 논쟁이 이어졌다. Janzing 등은 조건부가 아닌 주변 분포 기댓값이 맞다고 했고(Janzing 2020), Sundararajan · Najmi 는 채우는 방식마다 섀플리 값이 달라 유일성이 뜻을 잃는다고 지적했다(Sundararajan 2020 초록). 설명 방법 전체의 분류 · 평가 원칙은 설명 가능한 AI(XAI)가 맡는다.
3쉽게 이해하기 — 길거리 공연 팀의 수입 나누기
광장의 길거리 공연 팀이 저녁에 동전통을 연다. 아무도 연주하지 않아도 지나가던 사람들이 던지는 기본 2만 원이 있고, 오늘은 4만 4천 원이 모였다. 팀은 기타 · 노래 · 드럼 · 구경만 한 친구 넷이 «합류 순서를 모든 경우로 바꿔 보며 각자 합류할 때 늘어난 돈»을 평균 내어 몫을 정한다. 기타와 노래가 함께일 때만 나는 호흡 값은 둘이 반씩 나누고, 구경만 한 친구는 보탠 돈이 없으니 0 원을 받는다.
그림 1 · 기본 동전(기준값)에 네 사람의 몫(SHAP 값)을 더하면 오늘 수입(예측값)과 정확히 맞고, 보탠 것이 없는 구경꾼의 몫은 0 이다.
그림 2 · 두 사람의 합류 순서 둘을 평균하면 기타 9천 · 노래 1만 1천 원이 된다 — 섀플리 값은 이 «순서 평균»을 가중치 식으로 쓴 것이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 기본 동전 2만 원 | 기준값 φ0 | 배경 데이터 전체의 평균 예측 E[f(X)] |
| 기타 · 노래 · 드럼 | 특성 | 모델 입력의 열 하나하나(온도 · 부하 등) |
| 합류 순서 바꾸기 | 연합(특성 부분 집합) S | 2^M 개 부분 집합마다 모델 출력을 잰다 |
| 합류 때 늘어난 돈 | 한계 기여 v(S ∪ i) − v(S) | 특성 i 를 실제 값으로 넣었을 때 기대 출력의 변화 |
| 순서 평균 | 섀플리 가중 평균 → SHAP 값 φi | 모든 순서에 걸친 한계 기여의 평균 |
| 정산이 맞음 | 국소 정확성 | φ0 + Σφi = f(x) 가 언제나 성립 |
| 구경꾼 0 원 | 쓰지 않는 특성 | 모델이 읽지 않는 특성의 몫은 0(개입 방식) |
| 오늘 수입 | 예측값 f(x) | 설명하려는 입력 하나의 모델 출력 |
⚠ 비유가 맞지 않는 곳: 공연자는 자리를 비울 수 있지만 모델 입력은 비울 수 없어, 빠진 특성 자리에 배경 데이터의 값을 대신 넣는다 — 무엇을 넣느냐(주변 분포 · 조건부 분포)에 따라 몫이 달라진다(아래 그림 6). 또 SHAP 값은 «그 사람을 빼면 수입이 얼마 줄까»라는 인과 효과가 아니라 이 배경에 대한 평균 몫이다.
4구조 — 가치 함수 · 추정기 · 몫
SHAP 계산에는 설명할 모델 f · 입력 x · 배경 데이터 셋이 들어간다. 이 셋으로 «특성 집합 S 만 실제 값일 때의 기대 출력» v(S) 를 정의하고(가치 함수), 그 v 에 섀플리 식을 적용해 몫 φi 를 얻는다(Lundberg 2017 4절 식 9 ~ 12).
그림 3 · 모델 · 입력 · 배경이 가치 함수 v(S) 를 정하고, 추정기가 섀플리 몫을 계산하며, 몫은 판정 하나의 보기와 표본 전체의 요약으로 함께 쓰인다.
| 요소 | 기호 | 역할 | 사례 값 · 근거 |
|---|---|---|---|
| 모델 | f | 설명 대상 · 출력 공간(값 · 확률 · 로그 오즈)이 몫의 단위가 된다 | 소비 전력 kW · SHAP TreeExplainer 문서 model_ |
| 입력 | x · M | 설명할 행 하나와 특성 수 | 특성 4개 |
| 배경 데이터 | X | 빈 특성 자리를 채우는 표본 · 기준값을 정함 | 100건 · Lundberg 2017 그림 1 |
| 가치 함수 | v(S) | 개입 = 모델의 의존 · 조건부 = 데이터의 상관까지 반영 | Janzing 2020 · Aas 2021 |
| 섀플리 가중치 | |S|!(M−|S|−1)!/M! | 연합 크기마다 합이 1/M 이 되게 나눔 | M = 4 → 크기별 1/4 · Lundberg 2017 식 8 |
| SHAP 값 | φi | 특성 i 의 몫 · 부호 = 예측을 올렸나 내렸나 | 부하율 +13.917 kW |
| 기준값 | φ0 | 배경 평균 예측 E[f(X)] | 65.044 kW |
| 상호작용 값 | φij | 두 특성이 함께일 때만 생기는 몫을 따로 뗌 | Lundberg 2020 2.6절 |
섀플리 값이 유일하다는 정리 1 은 세 성질에 기댄다 — 국소 정확성(몫의 합 = 예측) · 결측성(입력에 없는 특성은 몫 0) · 일관성(모델이 바뀌어 한 특성의 한계 기여가 어디서나 늘거나 같으면 그 몫은 줄지 않음)이다(Lundberg 2017 3절 성질 1 ~ 3). 게임 이론에서는 Young(1985)이 국소 정확성 · 일관성에 가까운 공리로 같은 유일성을 보였고, 결측성은 이 결과를 특성 기여 꼴에 옮기려고 더한 성질이다(같은 절).
🔑 섀플리 값의 유일성은 가치 함수를 정한 «다음» 이야기다 — 모델 · 입력이 같아도 배경과 빈자리 채우기가 바뀌면 다른 SHAP 값이 나온다(Sundararajan 2020).
5동작 — 설비 소비 전력 예측 하나의 분해
합성 데이터로 직접 실행한 사례다 — NumPy 2.4.3(Python 3.14.0) · 난수 시드 default_rng(0). 부하율 · 회전 속도 · 냉각수 온도 · 외기 온도로 설비 소비 전력(kW)을 예측하며, 참값에는 부하율 × 회전 속도 상호작용이 있고 외기 온도는 냉각수 온도와 상관 0.8 이지만 전력에는 영향이 없다.
- 데이터 · 모델 — 500건 중 400건으로
numpy.linalg.lstsq회귀(항 = 부하율 · 속도 · 부하율 × 속도 · 냉각수, 외기 없음)를 맞추고, 나머지 100건 시험 R² 는 0.985 다. - 설명할 입력 — x = (부하율 85 % · 1,800 rpm · 냉각수 36 °C · 외기 33 °C) · 예측 f(x) = 86.875 kW.
- 기준값 — 학습 데이터 앞 100건을 배경으로 두고 평균 예측 φ0 = 65.044 kW 를 얻는다.
- 가치 함수 — 연합 2^4 = 16개마다 S 밖 특성을 배경 값으로 둔 평균 출력(개입 방식)을 잰다 · 모델 호출 16 × 100 = 1,600회.
- 부하율의 몫 — 한계 기여는 S 에 속도가 없으면 12.346, 있으면 15.489 kW 다. 섀플리 가중 평균은 13.917 kW 다(그림 5).
- 나머지 몫 · 정산 — 속도 4.632 · 냉각수 3.282 · 외기 0.000 kW 이고, 65.044 + 21.831 = 86.875 kW 로 예측과 맞는다(국소 정확성).
- 추정기 대조 — 순서 표본 추정은 순서 1개면 최대 오차 1.572, 100개면 0.094 kW 다. Kernel SHAP 을 연합 14개 전부(빈 · 전체 제외)로 풀면 정확 값과 소수 셋째 자리까지 같다(Lundberg 2017 정리 2).
그림 4 · 기준값 65.044 kW 에 네 몫을 차례로 더하면 예측 86.875 kW 가 되고, 모델 식에 없는 외기 온도의 몫은 0 이다.
그림 5 · 연합 크기마다 가중치 합이 1/4 로 같아, 부하율의 몫 13.917 은 속도가 «없는» 연합의 12.346 과 «있는» 연합의 15.489 를 반씩 섞은 값이 된다.
같은 모델 · 입력이라도 빈자리를 조건부 분포로 채우면 몫이 옮겨 간다. 생성 분포(정규 · 냉각수 ↔ 외기 상관 0.8)에서 20만 표본으로 두 방식을 계산하면, 몫의 합 21.885 kW 는 같지만 외기 온도의 몫이 0.000 에서 1.516 으로 오르고 냉각수는 3.555 에서 2.037 로 내려간다.
그림 6 · 몫의 합은 같아도, 조건부 채우기는 모델 식에 없는 외기 온도에 1.516 kW 를 나눠 준다 — 상관된 냉각수 몫이 옮겨 간 것이다.
🔑 개입 채우기는 모델이 무엇을 읽는지를, 조건부 채우기는 데이터 속 상관까지 보여 준다 — «이 모델을 고쳐야 하나»에는 앞의 것이, «이 값이 무엇과 함께 움직이나»에는 뒤의 것이 답한다(Janzing 2020 · Aas 2021).
6비교 — SHAP 추정기 다섯 가지
| 기준 | 정확 전수 | 순서 표본 | Kernel SHAP | Tree SHAP | Deep · Gradient SHAP |
|---|---|---|---|---|---|
| 대상 모델 | 아무 모델 | 아무 모델 | 아무 모델 | 트리 · 트리 앙상블 | 신경망 |
| 계산량 | 2^M 연합 × 배경 | 순서 K개 × M | 표본 연합 수 · 회귀 O(2^M + M³)(전수 시) | O(TLD²)(Lundberg 2020 Methods 10) | 역전파 몇 번 |
| 정확도 | 정확 | 근사 · K 에 따라 오차(사례 1.572 → 0.094) | 근사 · 연합 전부면 정확(사례) | 정확 · 추정 분산 0 | 근사(선형화 · 기대 기울기) |
| 기본 가정 | 고른 가치 함수 그대로 | 특성 독립(주변 분포) | 특성 독립(Lundberg 2017 식 11) | 배경을 주면 개입 · 없으면 트리 경로 조건부(SHAP TreeExplainer 문서) | 특성 독립 · 모델 선형화 |
| 쓰는 때 | 특성 10여 개 이하 · 검산 | 빠른 대략 값 | 모델 내부를 못 볼 때 | 부스팅 · 랜덤 포레스트 표 데이터 | 이미지 · 큰 신경망 |
분석트리 모델이면 Tree SHAP 을 먼저 쓰고, 모델 내부를 볼 수 없을 때만 Kernel SHAP 으로 내려가 표본 수를 늘려 가며 수렴을 확인한다. 근거는 표의 정확도 행 — Tree SHAP 은 정확 값이라 추정 분산이 없고 Kernel · 순서 표본은 표본 수에 따라 오차가 남는다(Lundberg 2020 2.5절). LIME 과의 차이(가중 커널 · 정규화 선택)는 LIME 에서 다룬다.
7실무 진단 — 이상한 SHAP 값의 원인 가르기
분석몫의 합이 예측과 맞는지(국소 정확성)부터 보고, 그다음 가치 함수 · 배경, 마지막으로 추정 분산 순으로 좁힌다. 합이 맞지 않으면 설명한 출력 자체가 달라 뒤의 해석이 모두 어긋나기 때문이다(Lundberg 2017 성질 1).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | φ0 + Σφ 가 화면의 예측 확률과 다름 | 설명한 출력이 확률이 아닌 원시 출력 | 출력 공간 | 같은 행의 원시 출력 · 확률 · 설명 대상 설정 | 합 = 설명한 출력이어야 함(Lundberg 2017 성질 1 · SHAP TreeExplainer 문서 model_ |
| 2 | 모델이 읽지 않는 특성에 몫이 붙음 | 조건부 채우기 + 다른 특성과 상관 | 가치 함수 | 특성 상관 행렬 · 개입 방식으로 다시 계산 | 개입 방식이면 쓰지 않는 특성 몫 0(Sundararajan 2020 Dummy 공리) |
| 3 | 같은 행의 몫 순위가 실행마다 바뀜 | Kernel · 순서 표본의 표본 수 부족 | 추정기 | 시드를 바꾼 반복 실행의 분산 · 정확 해와 대조 | 분산이 몫 차이보다 작아질 때까지 표본 증가(Lundberg 2020 2.4절) |
| 4 | 배경을 바꾸자 몫 부호가 뒤집힘 | 기준값이 바뀜(비교 대상이 다른 집단) | 배경 | 배경 표본 수 · 구성 · φ0 | 몫은 배경 평균 대비 값 — 보고서에 배경을 함께 적음(Lundberg 2017 그림 1) |
| 5 | 설명에서 민감 특성의 몫이 사라졌는데 판정 결과는 그대로 치우침 | 배경으로 만든 합성 입력에서만 다르게 답하는 모델 | 설명 신뢰 | 합성 입력의 분포 밖 정도 · 실제 데이터 판정 비율 | 설명만으로 공정성을 판정하지 않음(Slack 2020 초록) |
합이 맞으면 배경 표본과 채우기 방식을 설명 결과와 함께 기록한다. 그다음 추정기의 반복 분산을 본다. 몫이 0 에 가까운 특성을 빼기 전에는 상관 특성을 묶어 다시 잰다.
8시험 대비
시험에서는 SHAP 의 정의 · 성질 · 계산 방법을 묻는 정의 · 특징형, 다른 설명 방법과 견주거나 한계 · 발전을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 섀플리 식과 성질 셋을 적고 그림 5 처럼 가중 평균을 숫자로 보이면 된다. 동향형은 추정기 비교표와 가치 함수 논쟁(그림 6)으로 «유일성은 가치 함수를 정한 뒤»라는 한계를 짚는다.
- 개요 — 정의 · 협력 게임에서 온 몫 나누기 · 사후 · 국소 설명의 위치 · 기준값 + 몫의 합 = 예측
- 원리 — 섀플리 식 · 성질 셋(국소 정확성 · 결측성 · 일관성) · 그림 5 연합 크기별 가중치 1/M
- 구성 — 그림 3 모델 · 입력 · 배경 → 가치 함수 → 추정기 → 국소 보기 · 전역 요약
- 적용 절차 — 그림 4 워터폴(기준값 65.044 → 예측 86.875 kW)과 단계별 검산
- 추정기 비교 — 비교표(정확 전수 · 순서 표본 · Kernel · Tree · Deep) · 계산량 O(TLD²)
- 한계와 대응 — 그림 6 개입 ↔ 조건부(외기 0 ↔ 1.516) · 인과 효과 아님 · 설명 조작 · 배경 기록
꼭 쓸 키워드
섀플리 값가법 특성 기여국소 정확성일관성기준값가치 함수Kernel SHAPTree SHAP상호작용 값배경 데이터
다른 답안과 차이를 내는 한 가지 — 그림 6 처럼 «합은 같은데 몫이 옮겨 가는» 숫자를 보이면, SHAP 값이 모델 하나 · 배경 하나 · 채우기 하나에 묶인 값이라는 점을 한 줄로 증명할 수 있다.
9오해와 사실
- 오해SHAP 값이 큰 특성을 그만큼 바꾸면 예측도 그만큼 바뀐다.사실SHAP 값은 배경 평균 대비 몫이지 개입 효과가 아니며, 사례의 부하율 몫 13.917 에는 속도와의 상호작용 몫 1.572 가 섞여 있다(Kumar 2020 · 그림 5).
- 오해SHAP 은 정의가 하나라 어느 도구로 계산해도 같은 값이 나온다.사실채우기 방식에 따라 같은 입력의 외기 몫이 0.000 과 1.516 으로 갈렸다 — 유일성은 가치 함수를 정한 뒤에만 성립한다(Sundararajan 2020).
- 오해Kernel SHAP 은 표본을 많이 쓸수록 LIME 과 같아진다.사실둘은 같은 가중 회귀 꼴이지만, 섀플리 커널 · 정규화 0 · 빈 연합과 전체 연합 제약을 쓸 때만 섀플리 값을 되찾는다(Lundberg 2017 정리 2).
10핵심 정리
| 구분 | 묻는 것 | 식 · 방법 | 사례 값 | 흔한 함정 |
|---|---|---|---|---|
| 기준값 φ0 | 아무것도 모를 때의 예측 | 배경 평균 E[f(X)] | 65.044 kW | 배경을 적지 않고 몫만 보고함 |
| SHAP 값 φi | 이 예측에서 특성 i 의 몫 | 연합별 한계 기여의 섀플리 가중 평균 | 부하율 +13.917 | 인과 효과로 읽음 |
| 섀플리 가중치 | 연합을 어떻게 섞나 | |S|!(M−|S|−1)!/M! · 크기별 합 1/M | M = 4 → 1/4 | 연합 수를 줄여 가중치를 깸 |
| 국소 정확성 | 몫이 예측을 다 설명하나 | φ0 + Σφi = f(x) | 86.875 kW | 확률과 원시 출력을 섞음 |
| 개입 채우기 | 모델이 무엇을 읽나 | E[f(x_ | 외기 0.000 | 상관을 무시한 비현실 입력 |
| 조건부 채우기 | 데이터에서 무엇이 함께 움직이나 | E[f(X) | X_ | 외기 1.516 | 모델이 안 쓰는 특성에 몫 |
| 추정기 | 얼마나 빨리 · 정확히 | 정확 · 순서 표본 · Kernel · Tree · Deep | 순서 1개 오차 1.572 | 수렴 확인 없이 순위 보고 |
| 전역 요약 | 표본 전체에서 무엇이 크나 | 평균 |φ| · 벌떼 · 의존 · 상호작용 값 | — | 평균 |φ| 를 부호 있는 효과로 읽음 |
11참고 문헌
- 먼저 볼 문헌
- ★ A Unified Approach to Interpreting Model Predictions (Lundberg · Lee · NIPS 2017) — 가법 특성 기여 정의 · 성질 셋 · 유일성 정리 · Kernel SHAP 을 볼 때
- ★ From Local Explanations to Global Understanding with Explainable AI for Trees (Lundberg et al. · Nature Machine Intelligence 2) — Tree SHAP 의 다항 시간 계산 · 상호작용 값 · 전역 요약 그림을 볼 때
- ★ The Many Shapley Values for Model Explanation (Sundararajan · Najmi · ICML 2020) — 가치 함수에 따라 섀플리 값이 여럿이 되는 문제를 볼 때
- ★ Explaining Individual Predictions When Features Are Dependent: More Accurate Approximations to Shapley Values (Aas · Jullum · Løland · Artificial Intelligence 298) — 특성이 서로 얽힐 때 조건부 기댓값 계산을 볼 때
- ★ SHAP API Reference (Explainers · Plots) — 추정기 종류와 요약 그림 함수를 볼 때
- 본문 근거
- A Value for n-Person Games (Shapley · Contributions to the Theory of Games II · Annals of Mathematics Studies 28) — Princeton University Press · 1953-01 ·
doi.org/10.1515/9781400881970-018· 확인 2026-11-12 - Feature Relevance Quantification in Explainable AI: A Causal Problem (Janzing · Minorics · Blöbaum · AISTATS 2020) — arXiv · 2019-10 ·
arxiv.org/abs/1910.13413· 확인 2026-11-12 - Problems with Shapley-value-based Explanations as Feature Importance Measures (Kumar et al. · ICML 2020) — arXiv · 2020-02 ·
arxiv.org/abs/2002.11097· 확인 2026-11-12 - Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods (Slack et al. · AIES 2020) — arXiv · 2019-11 ·
arxiv.org/abs/1911.02508· 확인 2026-11-12 - SHAP TreeExplainer (feature_perturbation · model_output) — SHAP developers · 2026-11 ·
shap.readthedocs.io/en/latest/generated/shap.TreeExplainer.html· 확인 2026-11-12 - NumPy 2.4 Reference numpy.linalg.lstsq — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html· 확인 2026-11-12