LIME국소 해석 가능 모델 무관 설명 · Local Interpretable Model-agnostic Explanations
설명할 입력 하나 둘레에서 입력을 조금씩 바꾼 표본을 만들어 원래 모델의 출력을 받고, 가까운 표본일수록 무게를 준 단순 선형 모델을 맞춰 그 계수를 판정의 설명으로 내놓는 사후 · 국소 설명 방법이다. 모델 내부를 보지 않고 입력과 출력만 쓴다.
1요약
- LIME 은 2016년 Ribeiro · Singh · Guestrin 이 KDD 에서 낸 사후 · 국소 설명 방법으로, 입력 하나 둘레의 교란 표본에 가중 희소 선형 모델을 맞춰 그 계수를 설명으로 삼으며 문서 분류의 단어 · 영상 분류의 슈퍼픽셀 · 표 데이터의 특성 설명이 이 방식 위에서 나온다(Ribeiro 2016 3절).
- 시험 정확도 94.0% 인 문서 분류기가 주제와 무관한 머리글 단어 「Posting」 · 「Host」로 판정하고 있었고 다른 출처 문서에서는 57.3% 에 그쳤다 — 정확도만 보면 실제 69.0% 를 내는 정리판(시험 88.6%) 대신 이 모델을 골랐을 것이다(Ribeiro 2016 3.5 · 6.2절).
- 「LIME 설명을 믿어도 되나」는 설명 모델이 그 입력에서 원 모델 값을 맞히는가로 가른다 — 국소 예측이 원 예측과 크게 어긋나면 커널 폭 · 표본 범위가 틀린 것이고, 맞는데 실행마다 특성 순위가 바뀌면 표본 수가 모자란 것이다.
2등장 배경
딥러닝 · 앙상블 모델은 정확도가 높아도 판정 하나의 이유를 내놓지 않는다. 2016년 Ribeiro 등은 RBF 커널 SVM 문서 분류기에서 학습 문서의 22% 에 나오는 「Posting」이 99% 한쪽 범주에만 붙어 있어, 모델이 내용이 아니라 게시판 머리글로 판정하는 것을 설명 한 장으로 드러냈다(Ribeiro 2016 3.5절).
그 전의 국소 설명은 Parzen 창으로 모델 전체를 근사한 뒤 기울기를 읽었으나, 고차원에서는 근사가 어려워 중요 특성 재현율이 낮았다 — 같은 시험에서 LIME 은 두 분류기 · 두 데이터 모두 90% 넘게 되찾았다(Ribeiro 2016 5.2절). 2017년 Lundberg · Lee 는 LIME 을 가중 선형 회귀의 한 경우로 묶고 섀플리 값을 주는 커널을 골라 SHAP 으로 이었고(Lundberg 2017), 2018년 같은 저자들은 적용 범위가 분명한 규칙 설명 Anchors 를 냈다(Ribeiro 2018).
2018 ~ 2020년에는 LIME 자체의 한계가 연구됐다. 비슷한 입력에 다른 설명이 나오는 불안정성(Alvarez-Melis 2018), 매개변수에 따라 중요한 특성을 놓치는 문제(Garreau 2020), 교란 표본을 알아채고 다르게 답해 편향을 감추는 모델(Slack 2020)이다. 원 저자의 공개 저장소(marcotcr/lime)가 지금도 표 · 문서 · 영상 설명기의 기준 구현으로 쓰인다.
3쉽게 이해하기 — 안개 낀 산의 측량사
짙은 안개로 산 전체가 보이지 않는 날, 등산객이 꽂은 깃발 지점에서 «어느 쪽이 오르막인가»를 알려 달라는 부탁이 측량사에게 왔다. 측량사는 깃발 둘레에 말뚝을 아무렇게나 여러 개 박고, 산에 물어 말뚝마다 높이를 받아 적는다. 깃발에 끈을 매어 끈이 닿는 말뚝일수록 굵게 표시한 뒤, 그 높이들 위에 평평한 널빤지 하나를 가장 잘 맞게 얹는다. 널빤지가 기운 방향을 표지판에 «동쪽 오르막 · 북쪽 내리막»으로 적어 등산객에게 건넨다.
그림 1 · 측량사(LIME)는 깃발(입력 x) 둘레에 말뚝(교란 표본)을 박아 산(블랙박스 모델)의 높이를 받고, 끈(근접 커널)으로 무게를 준 널빤지(선형 모델)의 기울기를 표지판(설명)으로 낸다.
그림 2 · 끈이 짧으면 널빤지가 깃발 바로 밑의 경사를, 길면 옆 봉우리까지 섞인 완만한 경사를 보인다 — 실제 LIME 은 커널 폭 w 가 거리별 무게를 정한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 깃발 지점 | 설명할 입력 x | 이유를 알고 싶은 판정 하나의 입력 |
| 둘레의 말뚝 | 교란 표본 z | 해석 표현(단어 · 슈퍼픽셀 · 특성 값)을 끄거나 흔든 사본 수천 개 |
| 안개 낀 산 | 블랙박스 모델 f | 표본마다 예측 값만 돌려주는 원 모델 |
| 끈 | 근접 커널 π_x | 입력과 가까운 표본에 큰 가중을 주는 함수 · 끈 길이 = 폭 |
| 평평한 널빤지 | 설명 모델 g | 가중 최소제곱으로 맞춘 희소 선형 모델(특성 K개) |
| 표지판 | 설명 ξ(x) | 특성별 계수 · 부호가 판정을 어느 쪽으로 미는지 |
| 깃발 높이 대조 | 국소 충실도 | 설명 모델이 입력 x 에서 원 모델 값을 맞히는지 |
| 대표 깃발 고르기 | SP-LIME | 설명 B개로 중요 특성을 가장 많이 덮는 입력 고르기 |
⚠ 비유가 맞지 않는 곳: 실제 표본은 땅 위 위치가 아니라 단어를 지우거나 슈퍼픽셀을 회색으로 바꾼 «해석 표현»에서 뽑으므로, 원 데이터에 없는 조합이 섞인다. 산은 두 방향뿐이지만 실제 입력은 특성이 수백 개라 널빤지에 K개 방향만 남긴다.
4구조 — 해석 표현 · 표본 · 커널 · 설명 모델
LIME 의 설명은 목적식 ξ(x) = argmin_g L(f, g, π_x) + Ω(g) 의 해다 — L 은 커널 가중 제곱 오차 Σ π_x(z)(f(z) − g(z′))², Ω(g) 는 설명의 복잡도이고, 논문은 g 를 선형 모델 · Ω 를 «0 아닌 계수 K개 이하»로 두었다(Ribeiro 2016 식 1 · 2 · 3.4절). 모델에는 입력을 넣고 출력을 받기만 하므로 모델 종류를 가리지 않는다.
그림 3 · 입력은 해석 표현으로 바뀐 뒤 교란 표본이 되고, 원 모델의 답과 커널 가중이 한 표에 모여 희소 선형 모델 하나로 맞춰진다 — SP-LIME 은 그 설명들 가운데 사람에게 보일 B개를 고른다.
| 요소 | 값 · 선택 | 역할 | 근거 |
|---|---|---|---|
| 해석 표현 x′ | 문서 = 단어 있음 · 없음 · 영상 = 슈퍼픽셀 켬 · 끔 · 표 = 사분위 구간(저장소 기본) | 사람이 읽는 단위로 설명을 낸다 | Ribeiro 2016 3.1절 · lime 저장소 |
| 표본 수 N | 논문 5,000 · 저장소 기본 5,000 | 표본이 적으면 계수가 실행마다 흔들린다 | 3.4절 · num_samples |
| 근접 커널 π_x | 논문 exp(−D²/σ²) · 저장소 √exp(−d²/w²) · w = 0.75 × √특성 수 | 국소 범위를 정한다 | 3.4절 · kernel_width |
| 설명 모델 g | 논문 K-LASSO · 저장소 Ridge(alpha=1) | 계수 K개만 남겨 읽히게 한다 | 알고리즘 1 · lime_base |
| 충실도 지표 | 가중 R²(score) · 입력 x 의 국소 예측(local_pred) | 설명이 그 입력 둘레에서 원 모델을 따르는지 | lime_base |
| SP-LIME | 예산 B · 탐욕 선택 · 최적의 1 − 1/e 보장 | 모델 전체를 볼 입력 B개를 고른다 | 4절 식 3 · 4 |
⚠ 표 데이터용 저장소 기본 설정은 표본을 «설명할 입력»이 아니라 «학습 데이터 평균» 둘레에서 뽑고(sample_around_instance=), 연속 특성을 사분위 구간으로 바꾼다. 아래 사례는 입력 둘레 표본 · 연속 특성(sample_around_instance= · discretize_continuous= 와 같은 꼴)으로 돌렸다.
5동작 — 블랙박스 함수 하나의 판정 설명
직접 실행한 사례다(NumPy 2.4.3 · Python 3.14.0 · default_rng(0) · 저장소의 커널 식과 Ridge(alpha=1)을 NumPy 로 구현). 블랙박스는 설명용 합성 함수 f(x) = sin(2x₁) + 0.5x₂ + 0.25x₃² 이고 x₄ 는 쓰지 않는다 — 정답을 알고 LIME 이 그 정답을 되찾는지 보려는 설정이다.
- 대상 — 입력 x = (1.0, 0.4, −1.2, 0.3) 의 예측 f(x) = 1.469 다. 이 점의 실제 기울기는 x₁ −0.832 · x₂ +0.500 · x₃ −0.600 · x₄ 0 이라, 판정에 가장 민감한 특성은 x₁ 이다.
- 표본 — x 에 표준 정규 잡음을 더한 표본 5,000개(첫 행 = x 자신)를 만들어 f 에 넣고 답을 받는다.
- 가중 — 거리 d 마다 √exp(−d²/w²) 를 주며 w = 0.75 × √4 = 1.5 다. 무게가 0.5 를 넘는 표본이 2,372개다.
- 설명 모델 — 가중 릿지 회귀(α = 1)의 계수가 x₁ −0.266 · x₂ +0.489 · x₃ −0.608 · x₄ +0.005 다. 설명 순위는 x₃ › x₂ › x₁ 로, 정답 1위인 x₁ 이 3위로 밀렸다.
- 충실도 — 가중 R² 가 0.505 이고 입력 x 의 국소 예측은 0.954 로 원 예측 1.469 보다 0.515 낮다. 설명 모델이 그 점에서 원 모델을 따르지 못한다는 신호다.
- 반복 — 시드 20개로 다시 돌리면 N = 5,000 에서 x₁ 계수가 −0.266 ~ −0.188 이고 순위는 20번 모두 같다. N = 100 이면 x₁ 이 −0.373 ~ −0.032 로 흔들리고 1위 특성이 두 번 바뀐다.
- 폭 조정 — w = 0.3 으로 좁히면 계수가 x₁ −0.508 · x₃ −0.412 · x₂ +0.371 로 x₁ 이 1위가 되고, 국소 예측 1.367 이 원 예측에 다가선다. 기본 폭의 설명은 x 한 점이 아니라 둘레 전체의 평균 경사였다.
그림 4 · 기본 커널 폭의 설명은 순위가 안정적이어도 국소 예측이 원 예측보다 0.515 낮아, 정답 1위 특성 x₁ 을 3위로 낸다 — 폭을 좁혀야 x₁ 이 1위로 돌아온다.
그림 5 · 커널 폭을 넓힐수록 x₁ 계수가 0.508 에서 0.164 로 줄어(실제 기울기 0.832) 1위가 x₃ 로 바뀐다 — LIME 의 「국소」는 폭 하나가 정한다.
🔑 LIME 의 설명은 원 모델의 이유가 아니라 원 모델을 흉내 낸 직선의 계수다 — 그 직선이 설명할 입력에서 원 모델 값을 맞히는지부터 확인한다.
🔑 커널 폭이 «국소»의 넓이를 정한다 — 폭이 넓을수록 설명은 그 입력 한 점이 아니라 둘레 전체의 평균 경사를 말한다(Garreau 2020).
6비교 — 국소 대리 설명 넷
| 기준 | LIME | Anchors | Kernel SHAP | 전역 대리 모델 |
|---|---|---|---|---|
| 내놓는 것 | 특성별 계수 K개 | «이 조건이면 같은 판정» 규칙 | 섀플리 값(기여 합 = 예측 − 기댓값) | 모델 전체를 흉내 낸 트리 · 규칙 |
| 적용 범위 | 커널 폭이 정한 둘레 · 경계가 보이지 않음 | 규칙이 맞는 입력 전부 · 범위가 분명함 | 판정 하나 | 입력 공간 전체 |
| 무게 주는 근거 | 거리 커널(폭은 사용자가 고름) | 정밀도 ≥ τ 를 만족하는 조건 탐색 | 섀플리 커널(부분 집합 크기로 정해짐) | 무게 없음 · 전체 표본 |
| 같은 입력 반복 | 표본 · 폭에 따라 흔들림(그림 4 ⑥ · 그림 5) | 규칙은 안정적이나 탐색 비용 큼 | 표본 수가 같으면 LIME 보다 정의가 분명 | 학습할 때 한 번 |
| 주된 약점 | 국소 범위 임의성 · 교란 표본 알아채는 모델(Slack 2020) | 규칙이 길어지면 적용 입력이 줄어듦 | 특성 수가 많으면 계산량 증가 | 국소 판정을 틀리게 설명 |
분석판정 하나의 이유를 빠르게 훑을 때는 LIME, 그 설명을 다른 입력에도 옮겨 쓸 사람에게는 적용 범위가 분명한 Anchors, 기여의 합이 예측과 맞아야 하는 보고에는 Kernel SHAP 을 쓴다. 근거는 표의 «적용 범위» · «무게 주는 근거» 행 — LIME 만 국소 범위를 사용자가 정한 폭에 맡긴다(Ribeiro 2018 · Lundberg 2017).
7실무 진단 — 믿기 어려운 LIME 설명의 원인 가르기
분석국소 충실도(국소 예측과 원 예측의 차 · 가중 R²)부터 보고, 그다음 반복 안정성 · 표본 분포 순으로 좁힌다. 설명 모델이 그 입력에서 원 모델을 따르지 않으면 계수 순위의 안정성은 의미가 없기 때문이다(그림 4 ⑤ · lime 저장소 score · local_pred).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 국소 예측이 원 예측과 크게 다름 | 커널 폭이 넓어 둘레 전체를 맞춤 | 커널 | local_pred ↔ f(x) · 폭을 바꾼 계수 곡선 | 폭을 좁혀 국소 예측이 다가서면 폭 문제(Garreau 2020) |
| 2 | 같은 입력의 1위 특성이 실행마다 바뀜 | 표본 수 N 부족 | 표본 | 시드를 바꾼 반복 실행의 계수 범위 | 비슷한 입력엔 비슷한 설명(Alvarez-Melis 2018) |
| 3 | 구간 경계 근처 입력의 설명 부호가 뒤집힘 | 사분위 이산화 기본값 | 해석 표현 | discretize_continuous 켬 · 끔 비교 | 구간 대신 연속 특성으로 같은 결론인지 |
| 4 | 학습 데이터에 없는 조합의 표본이 많음 | 평균 중심 · 독립 표본 | 표본 | 표본 분포 ↔ 학습 분포 거리 | 분포 밖 표본을 알아채는 모델은 설명을 감출 수 있음(Slack 2020) |
| 5 | 영상 설명이 분할 방법마다 다른 영역을 가리킴 | 슈퍼픽셀 분할 의존 | 해석 표현 | 분할 수 · 알고리즘을 바꾼 설명 비교 | 해석 표현은 사용자가 고르는 선택(Ribeiro 2016 3.1절) |
국소 예측 차가 크면 폭을 바꿔 계수 곡선을 그려 보고, 충실도가 확보된 폭에서 시드를 바꿔 순위가 같은지 본다. 사람에게 보일 설명은 마지막으로 표본이 학습 분포 안에 있는지 확인한 뒤 낸다.
8시험 대비
www.q-net.or.kr시험에서는 LIME 의 원리 · 절차를 묻는 정의 · 특징형, SHAP 등 다른 설명 방법과 견주는 비교형이 나올 수 있다. 정의형은 목적식 ξ(x) = argmin L + Ω(g) 와 그림 3 구성을 먼저 쓰고 그림 4 절차로 사례를 보이며, 비교형은 비교표의 «적용 범위» · «무게 주는 근거» 행으로 차이를 잡고 커널 폭 한계를 그림 5 로 증명한다. XAI 전체 분류를 함께 물으면 LIME 이 «사후 · 국소» 유형이라는 위치만 짚는다.
- 개요 — 정의 · 필요성(정확도 94.0% 모델의 머리글 단어 판정 · 실제 57.3%)
- 원리 — 목적식 ξ(x) = argmin L(f, g, π_x) + Ω(g) · 그림 3 해석 표현 · 표본 · 커널 · 설명 모델
- 절차 — 그림 4 사례(표본 5,000 → 가중 → 릿지 계수 → 충실도 → 반복)
- SP-LIME — 예산 B · 덮는 특성 중요도 최대 · 탐욕 선택 1 − 1/e
- 한계와 대응 — 그림 5 커널 폭에 따른 순위 변화 · 불안정성 · 분포 밖 표본
- 비교 · 발전 — 비교표(Anchors · Kernel SHAP · 전역 대리) · 충실도 지표 함께 보고
꼭 쓸 키워드
사후 국소 설명모델 무관해석 표현교란 표본근접 커널커널 폭K-LASSO국소 충실도SP-LIMEKernel SHAP
다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 같은 표본에서 커널 폭만 바꿔 1위 특성이 x₁ 에서 x₃ 로 바뀌는 숫자를 보이면, 「LIME 의 국소는 정의가 아니라 매개변수」라는 한계를 한 줄로 증명할 수 있다.
9오해와 사실
- 오해LIME 계수는 그 판정에서 특성의 실제 영향이다.사실계수는 커널 가중 직선의 기울기라, 사례에서 실제 기울기 −0.832 인 x₁ 이 기본 폭에서 −0.266 으로 3위가 됐다(그림 5).
- 오해실행마다 같은 순위가 나오면 설명이 맞다.사실N = 5,000 에서 순위는 20번 모두 같았지만 국소 예측은 원 예측보다 0.515 낮았다 — 안정성과 충실도는 따로 본다.
- 오해모델 내부를 보지 않으니 어떤 모델이든 같은 품질로 설명한다.사실교란 표본이 학습 분포 밖이라는 것을 알아채고 그때만 다르게 답하는 분류기는 LIME 설명에서 편향을 감출 수 있다(Slack 2020).
10핵심 정리
| 구분 | 정하는 것 | 저장소 기본 · 논문 값 | 사례 값 | 흔한 함정 |
|---|---|---|---|---|
| 해석 표현 | 설명의 단위 | 단어 · 슈퍼픽셀 · 사분위 구간 | 연속 특성 넷 | 구간 경계에서 부호 뒤집힘 |
| 표본 | 둘레를 얼마나 촘촘히 보나 | N = 5,000 · 표 = 학습 평균 중심 | 입력 중심 5,000개 | N 100 이면 1위가 바뀜 |
| 근접 커널 | 국소 범위 | √exp(−d²/w²) · w = 0.75√특성 수 | w = 1.5 · 0.3 | 폭이 넓으면 평균 경사 |
| 설명 모델 | 읽히는 꼴 | K-LASSO · Ridge(alpha=1) | x₃ −0.608 › x₂ › x₁ −0.266 | 계수를 실제 영향으로 읽음 |
| 국소 충실도 | 설명을 믿을 근거 | score · local_pred | R² 0.505 · 0.954 ↔ 1.469 | 보고에서 빼먹음 |
| SP-LIME | 사람에게 보일 입력 | 예산 B · 1 − 1/e 보장 | — | 임의로 고른 몇 건만 봄 |
| 분포 밖 표본 | 설명이 속는 경로 | 독립 정규 표본 | — | 표본을 알아채는 모델 |
11참고 문헌
- 먼저 볼 문헌
- ★ Why Should I Trust You?: Explaining the Predictions of Any Classifier (Ribeiro · Singh · Guestrin · KDD 2016) — 목적식 · 근접 커널 · K-LASSO · SP-LIME 정의와 사람 실험을 볼 때
- ★ lime 저장소 lime/lime_tabular.py · lime/lime_base.py (marcotcr/lime) — 커널 폭 기본값 · 표본 중심 · 릿지 설명 모델 · score 계산을 확인할 때
- ★ Explaining the Explainer: A First Theoretical Analysis of LIME (Garreau · von Luxburg · AISTATS 2020) — 계수가 기울기에 비례한다는 해석과 매개변수 선택의 위험을 볼 때
- ★ Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods (Slack · Hilgard · Jia · Singh · Lakkaraju · AIES 2020) — 교란 표본을 알아채는 모델이 설명을 속이는 한계를 볼 때
- 본문 근거
- Anchors: High-Precision Model-Agnostic Explanations (Ribeiro · Singh · Guestrin · AAAI 2018) — University of Washington · 2018-02 ·
homes.cs.washington.edu/~marcotcr/aaai18.pdf· 확인 2026-11-12 - On the Robustness of Interpretability Methods (Alvarez-Melis · Jaakkola · ICML 2018 WHI) — arXiv · 2018-06 ·
arxiv.org/abs/1806.08049· 확인 2026-11-12 - A Unified Approach to Interpreting Model Predictions (Lundberg · Lee · NIPS 2017) — arXiv · 2017-05 ·
arxiv.org/abs/1705.07874· 확인 2026-11-12 - NumPy 2.4 Reference numpy.linalg.solve — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.solve.html· 확인 2026-11-12