할루시네이션AI Hallucination
생성형 AI 가 사실과 다르거나 근거로 확인할 수 없는 내용, 또는 지시 · 입력과 어긋나는 내용을 그럴듯한 문장으로 자신 있게 내놓는 현상이다.
1요약
- 할루시네이션은 NIST AI 600-1(2024)이 생성형 AI 위험 12가지 중 하나인 작화(confabulation)로 정한 현상으로, 사실과 맞서는 «사실성» 환각과 지시 · 입력 문맥을 벗어나는 «충실성» 환각으로 나뉘며 요약 · 질의응답 · 코드 생성 · 에이전트 출력 어디에서나 생긴다.
- 답이 자신 있는 문장으로 나오므로 사용자가 그대로 믿기 쉽고, 사람이 94% 맞힌 TruthfulQA 817문항에서 가장 나은 모델은 58%만 진실하게 답했다(Lin 2021).
- 「AI 가 틀렸다」는 무엇과 대조해 틀렸는가로 가른다 — 세상 사실과 다르면 사실성, 준 지시 · 문서와 다르면 충실성, 대조할 근거 자체가 없으면 날조이고, 같은 질문을 다시 물어 답이 흔들리면 모델이 모르는 사실이다.
2등장 배경
2020년 Maynez 등은 신경망 요약 모델이 만든 요약을 사람이 읽어 보니 모든 모델의 요약에 원문에 없는 내용이 적지 않게 섞여 있음을 보였다(Maynez 2020). 번역 · 요약처럼 원문이 주어진 과제에서는 원문과 대조해 틀린 곳을 찾을 수 있었지만, 원문 없이 묻고 답하는 대화형 LLM 에서는 대조할 기준부터 정해야 했다.
2021년 Lin 등은 사람이 흔히 잘못 아는 질문 817개 · 38범주로 TruthfulQA 를 만들어 큰 모델일수록 오히려 덜 진실하다는 결과를 냈다(Lin 2021). 2023년 Huang 등은 LLM 환각을 사실성 · 충실성 두 갈래 다섯 종류로 다시 나눴고(Huang 2023 2.3절), Min 등의 FActScore 는 사람이 매긴 인물 소개 글의 사실 지지 비율이 ChatGPT 58.3%라고 보고했다(Min 2023 표 1).
2024년 7월 NIST 는 이 현상을 위험 관리 대상으로 넣으며, 생성 모델이 학습 데이터의 통계 분포를 흉내 내도록 만들어진 결과라고 적었다(NIST AI 600-1 2.2절). 2025년 Kalai 등은 정답률만 세는 채점이 「모름」에 0점을 줘 추측을 보상하기 때문에 정렬 뒤에도 환각이 남는다고 설명했다(Kalai 2025 4.1절).
3쉽게 이해하기 — 빈칸 없는 답안지를 채점하는 시험
수험생이 시험지를 받고 기억으로 답을 쓴다. 이 시험은 빈칸으로 내도 0점, 틀려도 0점이라 수험생은 모르는 문제도 그럴듯한 말로 채운다. 채점관은 답안을 한 줄씩 잘라 교과서와 맞대 보고 맞은 줄 · 틀린 줄 · 교과서에 아예 없는 줄을 가린다. 채점 규칙을 「틀리면 감점」으로 바꾸자 수험생은 자신 없는 문제를 빈칸으로 남기기 시작한다.
그림 1 · 빈칸과 오답이 똑같이 0점이면 수험생은 모르는 칸도 채우고, 채점관이 답안을 줄 단위로 교과서와 대조해야 지어낸 줄이 드러난다.
그림 2 · 자신 30% 인 문제에서 틀려도 0점이면 찍는 편이, 틀리면 감점이면 빈칸이 이득이다 — 실제 평가의 신뢰도 목표 t 가 이 감점을 정한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 시험지 | 질문 · 프롬프트 | 모델이 답할 과제와 지시 · 첨부 문서를 준다 |
| 수험생 | LLM | 학습한 분포에서 다음 토큰을 골라 답을 만든다 |
| 채운 빈칸 | 사실 날조 | 근거 없는 내용을 그럴듯한 문장으로 만든다 |
| 틀린 줄 | 사실 모순 · 충실성 환각 | 세상 사실 또는 준 지시 · 문서와 맞서는 문장 |
| 한 줄씩 자른 답안 | 원자 사실 분해 | 긴 답을 하나씩 확인할 수 있는 짧은 진술로 나눈다 |
| 교과서 | 지식원 | 위키백과 · 표준 원문 · 사내 문서처럼 대조 기준이 되는 자료 |
| 채점관 | 검증기 | 진술마다 지식원 근거를 찾아 지지 · 반박 · 없음을 판정한다 |
| 채점 규칙 | 평가 · 보상 기준 | 「모름」에 주는 점수가 학습 · 평가에서 추측 여부를 정한다 |
⚠ 비유가 맞지 않는 곳: 수험생은 모르는 줄을 스스로 알지만, LLM 은 틀린 문장도 맞는 문장과 같은 방식으로 만들어 자기가 지어냈다는 표시를 남기지 않는다. 또 교과서가 늘 있는 시험과 달리 실제 질문의 상당수는 대조할 지식원이 없어 «없음» 판정이 가장 어렵다.
4구조 — 원인 · 종류 · 탐지 · 완화
환각은 생기는 단계(데이터 · 학습 · 추론), 나타나는 종류(사실성 · 충실성), 그것을 잡는 측정과 줄이는 방법의 네 덩이로 본다. 분류와 원인 단계는 Huang 2023 2.3 · 3절, 측정은 Min 2023 · Manakul 2023 의 방식이다.
그림 3 · 데이터 · 학습 · 추론 세 단계가 사실성 · 충실성 환각 다섯 종류를 만들고, 탐지가 잡은 종류에 따라 원인 단계로 돌아가 고친다.
| 요소 | 무엇이 틀리나 | 대조 기준 | 예 · 근거 |
|---|---|---|---|
| 사실 모순 | 확인 가능한 사실을 틀리게 말함 | 세상 사실 · 지식원 | 가장 흔한 종류 · 개체 오류 · 관계 오류로 나뉨(Huang 2023 2.3.1절) |
| 사실 날조 | 확인할 근거가 없는 사실을 만듦 | 지식원에 «없음» | 없는 문헌 · 인용 · 수치(NIST AI 600-1 2.2절) |
| 지시 불일치 | 시킨 일과 다른 일을 함 | 사용자 지시 | 번역을 시켰는데 답을 함(Huang 2023 표 1) |
| 문맥 불일치 | 준 문서와 다르게 말함 | 첨부 · 검색 문서 | 요약이 원문 수치와 다름 |
| 논리 불일치 | 앞 단계와 맞지 않는 결론 | 답 자신의 추론 단계 | 풀이 단계와 최종 답이 다름 |
| 데이터 원인 | 학습 데이터에 한 번뿐인 사실 | 학습 데이터 빈도 | 한 번만 나온 사실의 비율이 환각률 하한(Kalai 2025 3.3.1절) |
| 학습 · 추론 원인 | 추측을 보상 · 확률 표본 | 평가 채점 · 디코딩 설정 | 이진 채점에서는 기권이 최적이 아님(Kalai 2025 4.1절) |
| 측정 | 틀린 비율을 숫자로 | 원자 사실 · 표본 | FActScore · SelfCheckGPT · TruthfulQA |
🔑 사실성 환각은 세상과, 충실성 환각은 사용자가 준 것과 대조한다 — 대조 기준을 먼저 정하지 않으면 같은 답을 두고 «맞다 · 틀리다»가 갈린다.
5동작 — 표준 문서 소개 답 한 건의 환각 측정
사용자가 「RFC 9293 은 어떤 문서인가?」를 묻고 모델 답을 원자 사실 대조와 표본 일관성으로 재는 사례다. 답 문장 · 표본 수 N = 5 · 불일치 점수는 설명용 가정 값이고, 점수 식은 각 논문, 지식원은 RFC 9293 원문이다.
- 질문 — 지시 없이 질문만 넣고, 지식원은 RFC Editor 의 RFC 9293 원문과 정보 페이지로 정한다.
- 답 생성 — 모델이 문장 4개를 낸다. S1 「2022년 8월 IETF 가 낸 TCP 표준」 · S2 「RFC 793 을 대체 · 편집자 W. Eddy」 · S3 「기본 헤더를 24바이트로 늘림」 · S4 「구현 47개가 상호 운용 시험을 거침」.
- 원자 사실 분해 — 문장을 하나씩 확인할 수 있는 진술 7개(①표준 ②2022년 8월 ③IETF ④RFC 793 대체 ⑤편집자 ⑥헤더 24바이트 ⑦구현 47개)로 나눈다(Min 2023 3.1절).
- 근거 대조 — ① ~ ⑤ 는 원문으로 지지되고, ⑥ 은 원문 3.1절 헤더 형식(최소 20바이트)과 맞서며, ⑦ 은 원문 · 정보 페이지 어디에도 근거가 없다 → FActScore = 지지 5 ÷ 원자 사실 7 = 0.71.
- 표본 일관성 — 같은 질문으로 답을 5번 더 만들고, 문장마다 「이 표본이 문장을 지지하는가」를 물어 「아니오」 비율을 불일치 점수로 쓴다(Manakul 2023 5.5절 식 11) → S1 0.0 · S2 0.2 · S3 0.8 · S4 1.0.
- 종류 판정 — 두 측정이 함께 가리킨 S3 은 사실 모순, S4 는 사실 날조로 분류한다(Huang 2023 2.3.1절).
- 조치 · 재측정 — S3 을 원문 값으로 고치고 S4 를 지운 뒤 다시 재면 원자 사실 6개가 모두 지지되어 FActScore 가 1.00 이 된다.
그림 4 · 답 4문장 중 S3 · S4 가 원자 사실 대조와 표본 일관성 두 측정에서 함께 걸려, 고치고 지운 뒤 FActScore 가 0.71 에서 1.00 이 된다.
🔑 원자 사실 대조는 «무엇이 틀렸는지»를, 표본 일관성은 «모델이 그것을 모른다는 것»을 알려 준다 — 둘이 함께 가리킨 문장이 먼저 고칠 곳이다.
S4 처럼 모델이 모르는 사실을 지어내는 까닭은 채점에 있다. 「모름」이 0점이고 오답도 0점이면 확신이 얼마든 답하는 쪽의 기대 점수가 높고, 오답에 t ÷ (1 − t)점을 깎으면 확신이 t 를 넘을 때만 답하는 쪽이 낫다(Kalai 2025 4.2절).
그림 5 · 같은 확신 0.6 에서 이진 채점과 t = 0.5 는 답하기가, t = 0.9 는 「모름」이 이득이다 — 각 선이 0점을 넘는 지점이 곧 t 다.
⚠ 그래프는 모델이 자기 확신을 정확히 안다고 가정한다. 실제 모델의 확신 표현은 보정이 어긋날 수 있어, 신뢰도 목표를 지시에 넣은 뒤에도 기권률과 오답률을 함께 재야 한다(Kalai 2025 5절).
6비교 — 탐지 · 완화 방법
| 기준 | 근거 붙이기(RAG) | 검증 질문(CoVe) | 표본 일관성(SelfCheckGPT) | 신뢰도 목표 채점 |
|---|---|---|---|---|
| 하는 일 | 답 전에 문서를 찾아 넣음 | 초안 → 검증 질문 → 따로 답 → 최종 답 | 같은 질문 N회 표본으로 문장 판정 | 오답 벌점을 지시 · 평가에 밝힘 |
| 겨누는 원인 | 데이터 · 지식 경계 | 추론(초안의 오류) | 탐지만(원인 수정 없음) | 학습 · 평가 채점 |
| 외부 자료 | 필요(색인) | 필요 없음 | 필요 없음 | 필요 없음 |
| 추가 호출 | 검색 1회 | 질문 수만큼 | N회(원 논문 20) | 없음 |
| 보고된 효과 | — (→ RAG) | 인물 소개 FActScore 55.9 → 71.4(Dhuliawala 2023 표 3) | 비사실 문장 AUC-PR 93.42(Manakul 2023 표 2) | 확신 > t 일 때만 답이 이득(Kalai 2025 4.2절) |
분석대조할 사내 · 공개 문서가 있으면 근거 붙이기를 먼저 두고, 문서가 없으면 검증 질문으로 초안을 고치며, 표본 일관성은 출력 감시 단계에 붙여 고칠 문장을 고른다. 근거는 표의 «겨누는 원인» · «외부 자료» 행 — 표본 일관성만 원인을 고치지 않고, 신뢰도 목표는 모델 동작이 아니라 평가 · 보상 기준을 바꾼다.
7실무 진단 — 환각 원인 단계 가르기
분석먼저 대조 기준(세상 사실 · 준 문서 · 지시)을 정해 종류를 가르고, 같은 질문을 다시 물어 흔들림을 본 뒤 데이터 · 채점 원인으로 내려간다. 종류를 정하지 않고 고치면 충실성 문제에 지식원을 붙이는 식으로 엉뚱한 단계를 고친다(Huang 2023 2.3절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 인용한 문헌 · URL 이 실제로 없음 | 사실 날조 | 생성 | 인용 목록 ↔ 원 출처 조회 | 조회 0건 = 날조 · 배포 전 출처 검증(NIST AI 600-1 MS-2.5-003) |
| 2 | 다시 물을 때마다 수치 · 이름이 바뀜 | 모델이 모르는 사실 | 추론 | 같은 질문 N회 표본의 문장별 불일치 점수 | 점수가 높을수록 비사실(Manakul 2023 5.5절) |
| 3 | 잘 알려지지 않은 대상에서만 틀림 | 학습 데이터에 드문 사실 | 데이터 | 대상 빈도별 FActScore | 빈도가 낮을수록 점수 하락(Min 2023 3.4절) |
| 4 | 「모르면 모른다고 답할 것」 지시에도 추측 | 추측을 보상하는 채점 | 학습 · 평가 | 평가 채점표의 「모름」 점수 | 「모름」 0점 · 오답 0점이면 기권은 최적이 아님(Kalai 2025 4.1절) |
| 5 | 요약 · 번역이 첨부 문서와 다름 | 문맥 · 지시 불일치 | 충실성 | 출력 문장 ↔ 첨부 원문 · 지시 | 원문 · 지시와 맞서면 충실성 환각(Huang 2023 2.3.2절) → RAG 진단 |
1 · 5행은 대조 자료가 손에 있어 바로 끝나고, 2행은 지식원 없이 표본만으로 의심 문장을 좁힌다. 3 · 4행까지 오면 질문 묶음을 고정해 대상 빈도별 점수와 기권률을 같은 표로 다시 잰다.
8시험 대비
시험에서는 환각의 정의 · 종류 · 원인을 묻는 정의 · 특징형, 업무에 LLM 을 도입할 때의 환각 대응 방안을 묻는 장애 · 보안 대응형이 나올 수 있다. 정의형은 사실성 · 충실성 분류와 데이터 · 학습 · 추론 원인 지도를 먼저 그리고, 대응형은 탐지(측정) → 완화 → 운영 관리 순으로 쓰고 각 방법에 수치를 붙인다.
- 개요 — 정의 · NIST AI 600-1 작화 · 필요성(TruthfulQA 사람 94% ↔ 모델 58%)
- 종류와 원인 — 그림 3 원인 · 종류 지도 + 요소 표(사실 모순 · 날조 · 지시 · 문맥 · 논리 불일치)
- 측정 — 그림 4 사례(원자 사실 7개 · FActScore 0.71 → 1.00 · 표본 불일치 점수)
- 발생 원리 — 그림 5 기대 점수 그래프(이진 채점 · 신뢰도 목표 t · 벌점 t ÷ (1 − t))
- 대응 방안 — 비교표(RAG · CoVe · SelfCheckGPT · 신뢰도 목표) + 선택 기준
- 운영 관리 — 출처 검증 · 기권 허용 · 위험 높은 업무의 사람 확인 · 가드레일 · 레드팀
꼭 쓸 키워드
사실성 환각충실성 환각사실 날조작화원자 사실FActScoreSelfCheckGPTTruthfulQACoVe신뢰도 목표
다른 답안과 차이를 내는 한 가지 — 그림 5 처럼 「모름」 0점 채점이 추측을 보상한다는 기대 점수 식을 적어, 환각을 «모델 결함»만이 아니라 «평가 · 보상 설계» 문제로도 보인다.
9오해와 사실
- 오해모델을 키우면 환각은 저절로 줄어든다.사실TruthfulQA 에서는 가장 큰 모델이 대체로 가장 덜 진실했고, 저자들은 크기만 늘리는 것보다 학습 목표를 바꾸는 쪽을 권했다(Lin 2021).
- 오해학습 데이터가 모두 참이면 환각은 생기지 않는다.사실Kalai 2025 는 오류 없는 데이터에서도 사전 학습 목표가 오류를 낳으며, 한 번만 나온 사실의 비율만큼은 틀린다는 하한을 보였다(Kalai 2025 1 · 3.3.1절).
- 오해환각을 잡으려면 모델 내부 확률을 봐야 한다.사실출력 글만 쓰는 SelfCheckGPT 의 질의 변형이 비사실 문장 AUC-PR 93.42로, 토큰 확률을 쓴 방법의 최고값 87.51 을 넘었다(Manakul 2023 표 2).
10핵심 정리
| 구분 | 대조 기준 | 대표 증상 | 측정 | 주된 대응 |
|---|---|---|---|---|
| 사실 모순 | 세상 사실 · 지식원 | 연도 · 수치 · 사람을 틀림 | 원자 사실 대조(FActScore) | 근거 붙이기 · 검증 질문 |
| 사실 날조 | 지식원에 «없음» | 없는 문헌 · 사례 인용 | 출처 조회 · 표본 불일치 | 출처 검증 · 기권 허용 |
| 지시 불일치 | 사용자 지시 | 시킨 일과 다른 출력 | 지시 준수 점검 | 지시 미세 조정 |
| 문맥 불일치 | 준 문서 | 요약이 원문과 다름 | 출력 ↔ 원문 대조 | 근거 위치 · 개수 조정 |
| 논리 불일치 | 답의 추론 단계 | 풀이와 결론이 다름 | 단계별 검산 | 검증 질문 · 도구 계산 |
| 드문 사실 | 학습 데이터 빈도 | 덜 알려진 대상만 틀림 | 빈도별 FActScore | 근거 붙이기 |
| 추측 보상 | 평가 채점표 | 「모름」 대신 추측 | 기권률 · 오답률 | 신뢰도 목표 t 명시 |
11참고 문헌
- 먼저 볼 문헌
- ★ A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions (Huang et al. · ACM TOIS) — 사실성 · 충실성 분류와 데이터 · 학습 · 추론 원인을 한 번에 볼 때
- ★ Why Language Models Hallucinate (Kalai · Nachum · Vempala · Zhang) — 기권에 점수를 주지 않는 채점이 추측을 보상하는 이유와 신뢰도 목표를 볼 때
- ★ FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation (Min et al. · EMNLP 2023) — 긴 답을 원자 사실로 나눠 지지 비율을 재는 법을 볼 때
- ★ SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (Manakul · Liusie · Gales · EMNLP 2023) — 외부 자료 없이 표본 일관성으로 문장을 가려내는 법을 볼 때
- ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 작화(confabulation)를 위험으로 다루는 조직 관리 조치를 볼 때
- 본문 근거
- TruthfulQA: Measuring How Models Mimic Human Falsehoods (Lin · Hilton · Evans · ACL 2022) — arXiv · 2021-09 ·
arxiv.org/abs/2109.07958· 확인 2026-11-09 - Chain-of-Verification Reduces Hallucination in Large Language Models (Dhuliawala et al.) — arXiv · 2023-09 ·
arxiv.org/abs/2309.11495· 확인 2026-11-09 - On Faithfulness and Factuality in Abstractive Summarization (Maynez · Narayan · Bohnet · McDonald · ACL 2020) — arXiv · 2020-05 ·
arxiv.org/abs/2005.00661· 확인 2026-11-09 - RFC 9293 Transmission Control Protocol (TCP) — IETF · 2022-08 ·
www.rfc-editor.org/info/rfc9293· 확인 2026-11-09