RAG검색 증강 생성 · Retrieval-Augmented Generation
질문과 관련된 문서 조각을 외부 색인에서 검색해 프롬프트에 붙이고, LLM 이 그 근거를 바탕으로 답을 생성하게 하는 방식이다. 모델을 다시 학습하지 않고 색인만 바꿔 지식을 갱신한다.
1요약
- RAG 는 LLM 이 답하기 전에 외부 문서 색인에서 관련 청크를 찾아 프롬프트에 넣는 검색 · 생성 결합 방식으로, Lewis 등이 2020년 NeurIPS 에서 이름을 붙였고 사내 규정 질의응답 · 고객 상담 · 기술 문서 도우미가 이 구조 위에서 돈다.
- 모델 파라미터에 담긴 지식은 학습 시점에 굳어 있어, 2016년 위키백과 색인으로 2018년 세계 지도자를 물으면 정답률이 4%였고 색인만 2018년 판으로 바꾸자 재학습 없이 68%가 됐다(Lewis 2020 4.5절).
- 「RAG 답이 틀렸다」는 정답 청크가 top-k 에 들었는가로 가른다 — 들지 않았으면 검색 실패, 들었는데 답이 근거와 다르면 생성 실패, 든 청크가 개정 전 판이면 색인 갱신 실패다.
2등장 배경
LLM 만으로 답하면 학습 뒤에 바뀐 규정을 모르고, 답이 어느 문서에서 왔는지 댈 수 없다. 2020년 파라미터 110억 개의 T5-11B 도 검색 없이 Natural Questions 정확 일치(EM) 34.5에 그쳤다(Lewis 2020 표 1).
2017년 Chen 등의 DrQA 가 위키백과 문서 검색기와 독해 모델을 이어 붙였고, 2020년 2월 Guu 등의 REALM 이 검색기를 사전 학습 안에 넣었다. 같은 해 4월 Karpukhin 등의 DPR 은 BERT 인코더 두 개로 만든 밀집 검색으로 top-20 정확도를 BM25 의 59.1%에서 78.4%로 올렸다(Karpukhin 2020 표 2). 5월 Lewis 등의 RAG 는 DPR 검색기와 4억 파라미터 BART-large 생성기를 묶어 위키백과 2,100만 청크를 색인으로 쓰고 NQ EM 44.5를 냈다(Lewis 2020 2.2 · 2.3 · 3절).
컨텍스트 창이 길어진 뒤에도 RAG 가 남는 까닭은 입력 비용과 위치 효과다 — 긴 입력의 가운데 놓인 근거는 잘 쓰이지 않는다(Liu 2023 2.3절). 원 논문은 질의 인코더와 생성기를 함께 미세 조정했지만(Lewis 2020 2.4절), 두 모델을 고정한 채 검색 결과를 프롬프트에 붙이기만 하는 구성도 같은 이름으로 부른다.
3쉽게 이해하기 — 사서에게 쪽지를 받아 답하는 상담원
도서관 안내 데스크의 상담원은 손님 질문에 기억만으로 답하지 않는다. 옆 사서가 책을 미리 쪽 단위로 잘라 내용을 줄인 꼬리표를 달아 카드 서랍에 꽂아 두었고, 질문이 오면 꼬리표가 가장 닮은 카드 다섯 장을 골라 쪽지로 건넨다. 상담원은 쪽지에 적힌 내용으로만 답하고 「몇 번 카드에 있다」고 덧붙인다. 새 책이 들어오면 상담원을 다시 가르치지 않고 서랍에 카드만 꽂는다.
그림 1 · 사서가 미리 꼬리표를 달아 정리한 서랍에서 닮은 카드를 찾아 쪽지로 건네면, 상담원은 그 쪽지만으로 답하고 카드 번호를 붙인다.
그림 2 · 사서는 질문 꼬리표와 가장 닮은 카드를 고른다 — 실제 검색기는 질의 벡터와 유사도(내적)가 큰 청크 벡터 k개를 고른다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 쪽으로 자른 책 | 청크 분할 | 문서를 검색 · 인용 단위로 나눈다(원 논문 100단어) |
| 꼬리표 | 임베딩 | 청크와 질문을 같은 공간의 768차원 벡터로 바꾼다 |
| 카드 서랍 | 벡터 색인 | 벡터를 그래프로 엮어 가까운 이웃을 빨리 찾게 한다 |
| 사서 | 검색기 | 질의 벡터와 내적이 큰 청크 k개를 고른다 |
| 고른 카드 다시 추리기 | 재순위 | 후보를 질문과 함께 다시 읽고 순서를 고친다 |
| 쪽지 | 프롬프트 결합 | 지시 · 근거 청크 · 질문을 이어 LLM 입력을 만든다 |
| 카드 번호를 단 답 | 생성 · 출처 표시 | 근거 청크로 답하고 청크 ID 를 붙인다 |
| 새 책 꽂기 | 색인 갱신 | 모델 학습 없이 바뀐 문서의 청크만 다시 넣는다 |
⚠ 비유가 맞지 않는 곳: 실제 꼬리표(임베딩)는 낱말 목록이 아니라 768개 숫자이고, 서랍(HNSW 색인)은 근사 검색이라 가장 닮은 카드를 놓칠 수 있다(Malkov 2018 1절). 상담원(LLM)은 쪽지 밖 기억으로도 말할 수 있어, 쪽지만 보고 답했는지는 따로 재야 한다.
4구조 — 색인 경로와 질의 경로
RAG 는 문서가 바뀔 때 도는 색인 경로와 질문마다 도는 질의 경로로 나뉘고, 두 경로는 벡터 색인 하나에서 만난다. 원 논문은 문서 인코더와 색인을 고정하고 질의 인코더와 생성기만 학습했다(Lewis 2020 2.4절).
그림 3 · 색인 경로가 만든 벡터 색인을 질의 경로가 조회하고, 검색 · 재순위 · 프롬프트 결합을 거친 근거만 생성기에 들어간다.
| 요소 | 크기 · 단위 | 역할 | 값 · 근거 |
|---|---|---|---|
| 청크 | 100단어(원 논문) | 검색 · 인용 단위 | 위키백과 2018년 12월 판 2,100만 개(Lewis 2020 3절) |
| 임베딩 인코더 | 768차원 | 텍스트를 벡터로 | BERT-base [CLS] 출력 · 질의용 · 문서용 따로(Karpukhin 2020 3.1절) |
| 벡터 색인 | 2,100만 × 768 | 최근접 검색 구조 | 메모리 약 100GB, 압축 뒤 36GB(Lewis 2020 부록 C) |
| 근사 최근접 검색 | 계층 그래프 | 위 계층에서 내려오며 탐색 | 탐색 비용이 로그로 증가 · 계층 수 인자 mL = 1/ln(M)(Malkov 2018 4.1절) |
| 희소 검색 | 역색인 | 낱말 일치 점수 | BM25(Robertson 2009) |
| 재순위 | 질문 · 청크 쌍 | 후보 순서를 다시 매김 | BERT 교차 인코더 · MRR@10 상대 27% 향상(Nogueira 2019) |
| 프롬프트 결합 | 토큰 | 입력과 근거를 이어 붙임 | 원 논문은 질문과 청크를 단순 연결(Lewis 2020 2.3절) |
| 생성기 | 4억 파라미터(원 논문) | 근거로 답 생성 | BART-large(Lewis 2020 2.3절) |
🔑 검색기는 무엇을 읽힐지를, 생성기는 어떻게 말할지를 정한다 — top-k 에 들지 못한 사실은 생성기가 되살리지 못한다.
5동작 — 사내 출장비 규정 질문 한 건
직원이 사내 규정 도우미에 「해외 출장비 정산 기한은?」을 묻는 사례다. 문서 수 · 청크 번호 · 유사도 · 답 내용은 설명용 가정 값이고, 768차원 · k = 60 · 근거성 식은 각 논문의 값이다.
- 색인 — 규정 문서 3,000건을 400토큰 청크(앞 청크와 50토큰 겹침)로 잘라 48,000개를 만들고, 청크마다 768차원 벡터와 원문 · 문서 ID · 개정일을 함께 저장한다.
- 질의 임베딩 — 질의 인코더가 질문을 768차원 질의 벡터 q 로 바꾼다(Karpukhin 2020 3.1절).
- 후보 검색 — HNSW 색인에서 q 와 내적이 큰 청크 20개, BM25 로 낱말 점수가 큰 청크 20개를 뽑고 겹친 8개를 빼 후보 32개를 만든다.
- 순위 결합 — RRF 점수 = Σ 1/(60 + 순위)로 두 목록을 합친다(Cormack 2009 1절). 밀집 3위 · 희소 1위인 #18842 는 1/63 + 1/61 = 0.0323, 밀집 2위 · 희소 4위인 #18843 은 0.0318, 밀집 1위지만 희소 목록에 없는 #07311 은 1/61 = 0.0164 다.
- 재순위 — 교차 인코더가 질문 · 후보 32쌍을 한 쌍씩 함께 읽어 다시 채점하고 상위 5개만 남긴다(Nogueira 2019).
- 프롬프트 결합 — 「아래 근거로만 답하고 근거 번호를 달 것」 지시, 청크 5개(약 2,000토큰 · 1위 청크를 맨 앞), 질문을 이어 LLM 에 넣는다.
- 생성 — LLM 이 진술 4개로 된 답(「귀국 뒤 30일 이내 정산 · 영수증 원본 첨부 …」)에 [#18842] · [#18843] 을 붙여 낸다.
- 평가 — 답을 진술 4개로 나눠 근거로 확인하니 3개가 지지되어 근거성 F = 3 ÷ 4 = 0.75 이고(Es 2023 3절), 근거에 없는 「법인카드 사용분은 7일 이내」 진술이 생성 실패로 남는다.
그림 4 · 청크 48,000개가 후보 32개 · 근거 5개로 줄어 답이 되고, 두 목록에 함께 오른 #18842 가 순위 결합에서 1위로 올라온다.
🔑 순위 결합은 점수가 아니라 순위만 더한다 — 척도가 다른 BM25 점수와 내적을 맞추지 않고도 두 목록에 함께 오른 청크가 위로 올라온다(Cormack 2009 1절).
결과는 두 축으로 판정한다 — 정답 청크가 top-k 에 들었는가(검색 재현율), 답의 진술이 그 근거로 지지되는가(근거성). 사례는 정답 청크 #18842 가 들었는데 F 가 0.75 이므로 생성 쪽을 고칠 차례다.
그림 5 · 검색 재현율과 근거성 두 축이 실패를 넷으로 가르고, 검색 축이 먼저다 — 사례(F 0.75)는 생성 실패에 든다.
⚠ 원 논문의 청크는 100단어였고 사례의 400토큰 · 겹침 50토큰은 가정 값이다. 청크 크기와 겹침에는 표준 값이 없어 문서 종류마다 recall@k 를 재서 고른다.
6비교 — 희소 · 밀집 · 하이브리드 검색
| 기준 | 희소 검색(BM25) | 밀집 검색(DPR) | 하이브리드(점수 · 순위 결합) |
|---|---|---|---|
| 표현 | 낱말 빈도 · 역색인 | 768차원 벡터 · 내적 | 두 결과 목록을 합침 |
| 잘 맞는 질의 | 조항 번호 · 제품 코드 · 고유명사 | 낱말은 다르고 뜻이 같은 질의 | 두 종류가 섞인 질의 |
| top-20 정확도 NQ · SQuAD | 59.1% · 68.8% | 78.4% · 63.2% | 76.6% · 71.5%(선형 결합 λ = 1.1) |
| 학습 데이터 | 필요 없음 | 질문 · 정답 문단 쌍으로 인코더 학습(Karpukhin 2020 3.2절) | 밀집 쪽 학습 그대로 |
| 인코더를 바꿀 때 | 역색인 그대로 | 청크 전체의 벡터를 다시 계산 | 밀집 쪽 재계산 그대로 |
정확도 행은 Karpukhin 2020 표 2(단일 데이터 학습) 값이다.
분석질문이 자연어 서술 위주면 밀집, 조항 번호 · 코드처럼 정확한 낱말이 답을 가르는 문서면 희소 쪽이 낫고, 두 질의가 섞인 사내 문서는 하이브리드가 안전하다. 근거는 표의 정확도 행 — NQ 에서는 밀집이 19.3%p 앞서지만 낱말이 질문과 겹치는 SQuAD 에서는 BM25 가 5.6%p 앞서고, 결합은 SQuAD 에서 둘 다 넘는다(Karpukhin 2020 5.1절).
7실무 진단 — 틀린 답의 원인 가르기
분석검색 로그부터 보고 생성 · 색인 순으로 좁힌다. 정답 청크가 top-k 에 없으면 프롬프트를 고쳐도 생성기가 볼 근거가 없기 때문이다(Lewis 2020 2.1절 top-K 근사).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 문서에 있는 답을 「찾지 못했다」고 함 | 정답 청크가 top-k 밖 | 검색 | 검색 로그의 top-k 청크 ID ↔ 정답 청크 ID | 정답 청크 미포함 = top-k 정확도 실패(Karpukhin 2020 5.1절) |
| 2 | 근거에는 맞는 값이 있는데 답이 다름 | 생성기가 근거 밖 진술을 만듦 | 생성 | 답 진술별 근거 대조 | 근거성 F = 지지 진술 ÷ 전체 진술 < 1(Es 2023 3절) |
| 3 | 근거 청크가 들었는데 답에 안 쓰임 | 근거가 긴 입력의 가운데에 놓임 | 생성 | 프롬프트 안 정답 청크의 순서 · 전체 토큰 수 | 가운데 놓일 때 정확도 하락(Liu 2023 2.3절) |
| 4 | 개정 전 규정으로 답함 | 색인 적재 누락 | 색인 | 청크 메타데이터의 문서 개정일 ↔ 적재 시각 | 개정일이 적재 시각보다 뒤 = 옛 청크(Lewis 2020 4.5절) |
| 5 | 조항 번호 · 제품 코드 질문만 실패 | 밀집 검색의 낱말 일치 약점 | 검색 | BM25 단독 top-k 와 대조 | 희소 목록에만 정답이 있음 = 하이브리드 필요(Karpukhin 2020 표 2) |
정답 청크가 들었으면 프롬프트 안 순서와 근거성을 보고, 둘 다 정상인데도 틀리면 청크의 개정일을 본다. 평가용 질문 · 정답 청크 쌍을 고정해 두면 청크 크기 · k · 인코더를 바꿀 때마다 같은 표로 다시 잴 수 있다.
8시험 대비
www.q-net.or.kr시험에서는 색인 · 검색 · 생성 구성 요소와 처리 절차를 묻는 구조 · 구성형, LLM 의 환각 · 최신성 문제에 대한 대응책과 평가 방법을 묻는 장애 · 보안 대응형이 나올 수 있다. 구조형은 두 경로 그림을 먼저 그리고, 대응형은 실패를 검색 · 생성 · 색인 셋으로 나눈 판정 격자로 답한다. 미세 조정과 함께 물으면 「지식 갱신 = 색인 교체 · 모델 동작 변경 = 학습」으로 차이를 짚는다.
- 개요 — 정의 · Lewis 2020 · 파라미터 기억과 색인 기억의 결합 · 필요성(최신성 · 출처 · 환각)
- 구성 — 그림 3 색인 경로 · 질의 경로 + 요소 표(청크 100단어 · 768차원 · HNSW · 재순위 · 프롬프트)
- 처리 절차 — 그림 4 사례 순서(청크 48,000 → 후보 32 → RRF → 상위 5 → 근거 번호 단 답)
- 검색 방식 비교 — 비교표(희소 · 밀집 · 하이브리드 · NQ top-20 59.1 ↔ 78.4%)
- 평가와 장애 대응 — 그림 5 판정 격자(재현율 × 근거성) + F = 지지 진술 ÷ 전체 진술 · 옛 청크 · 가운데 위치
- 한계와 발전 — 색인 갱신 비용 · 인코더 교체 시 재계산 · 검색을 반복하는 에이전트형 구성
꼭 쓸 키워드
청크임베딩벡터 색인HNSWBM25하이브리드 검색RRF재순위근거성recall@k
다른 답안과 차이를 내는 한 가지 — 원 논문의 색인 교체 실험(정답률 4% → 68%)과 근거성 식을 숫자로 적어 「재학습 없이 갱신된다」 · 「근거를 붙여도 환각은 잰다」를 증거로 보인다.
9오해와 사실
- 오해RAG 를 붙이면 환각이 사라진다.사실생성기는 근거 밖 진술도 만들 수 있어, Es 2023 은 답을 진술로 나눠 근거로 지지되는 비율을 근거성으로 따로 잰다(Es 2023 3절).
- 오해컨텍스트 창이 충분히 길면 검색은 필요 없다.사실문서 20개를 넣은 실험에서 정답 문서가 가운데 놓이면 한 모델의 정확도가 문서 없이 답할 때(56.1%)보다 낮았다(Liu 2023 1 · 2.3절).
- 오해RAG 는 모델을 다시 학습하는 미세 조정의 한 종류다.사실원 논문도 문서 인코더와 색인을 고정했고(Lewis 2020 2.4절), 지식을 바꾸는 일은 학습이 아니라 청크를 다시 넣는 색인 쓰기다.
10핵심 정리
| 단계 | 맡는 일 | 단위 · 값 | 흔한 실패 | 확인 지표 |
|---|---|---|---|---|
| 청크 분할 | 문서를 검색 단위로 나눔 | 100단어(원 논문) | 답이 경계에서 잘림 | 정답 청크 존재 여부 |
| 임베딩 | 텍스트를 벡터로 | 768차원(DPR) | 인코더 교체 뒤 옛 벡터 혼용 | 인코더 판 일치 |
| 벡터 색인 | 근사 최근접 검색 | HNSW 계층 그래프 | 근사로 이웃 놓침 | recall@k |
| 희소 · 밀집 결합 | 두 순위 목록 합침 | RRF k = 60 | 한쪽 목록만 반영 | top-k 정확도 |
| 재순위 | 후보 순서를 다시 매김 | 교차 인코더 | 후보 수만큼 지연 증가 | MRR@10 |
| 프롬프트 결합 | 지시 · 근거 · 질문 연결 | 토큰 수 | 근거가 가운데에 묻힘 | 정답 청크 순서 |
| 생성 · 평가 | 근거로 답 · 출처 표시 | 근거성 F | 근거 밖 진술 | 지지 진술 비율 |
11참고 문헌
- 먼저 볼 문헌
- ★ Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al. · NeurIPS 2020) — 검색기 · 생성기 구성과 색인 교체 실험을 원문으로 볼 때
- ★ Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al. · EMNLP 2020) — 밀집 검색과 BM25 의 top-k 정확도 차이를 볼 때
- ★ Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs (Malkov · Yashunin · IEEE TPAMI) — 벡터 색인의 계층 그래프 탐색 원리를 볼 때
- ★ Lost in the Middle: How Language Models Use Long Contexts (Liu et al. · TACL) — 근거의 위치가 답 정확도를 바꾸는 실험을 볼 때
- ★ Ragas: Automated Evaluation of Retrieval Augmented Generation (Es et al.) — 근거성 · 답 관련성 · 문맥 관련성 식을 볼 때
- 본문 근거
- Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods (Cormack · Clarke · Buettcher · SIGIR 2009) — University of Waterloo · 2009-07 ·
plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf· 확인 2026-11-03 - Passage Re-ranking with BERT (Nogueira · Cho) — arXiv · 2019-01 ·
arxiv.org/abs/1901.04085· 확인 2026-11-03 - REALM: Retrieval-Augmented Language Model Pre-Training (Guu et al.) — arXiv · 2020-02 ·
arxiv.org/abs/2002.08909· 확인 2026-11-03 - Reading Wikipedia to Answer Open-Domain Questions (Chen et al. · ACL 2017) — arXiv · 2017-03 ·
arxiv.org/abs/1704.00051· 확인 2026-11-03 - The Probabilistic Relevance Framework: BM25 and Beyond (Robertson · Zaragoza · Foundations and Trends in IR 3(4)) — now publishers · 2009-04 ·
doi.org/10.1561/1500000019· 확인 2026-11-03