AI › 생성형 AI › LLM › 활용

RAG검색 증강 생성 · Retrieval-Augmented Generation

질문과 관련된 문서 조각을 외부 색인에서 검색해 프롬프트에 붙이고, LLM 이 그 근거를 바탕으로 답을 생성하게 하는 방식이다. 모델을 다시 학습하지 않고 색인만 바꿔 지식을 갱신한다.

1요약

  1. RAG 는 LLM 이 답하기 전에 외부 문서 색인에서 관련 청크를 찾아 프롬프트에 넣는 검색 · 생성 결합 방식으로, Lewis 등이 2020년 NeurIPS 에서 이름을 붙였고 사내 규정 질의응답 · 고객 상담 · 기술 문서 도우미가 이 구조 위에서 돈다.
  2. 모델 파라미터에 담긴 지식은 학습 시점에 굳어 있어, 2016년 위키백과 색인으로 2018년 세계 지도자를 물으면 정답률이 4%였고 색인만 2018년 판으로 바꾸자 재학습 없이 68%가 됐다(Lewis 2020 4.5절).
  3. 「RAG 답이 틀렸다」는 정답 청크가 top-k 에 들었는가로 가른다 — 들지 않았으면 검색 실패, 들었는데 답이 근거와 다르면 생성 실패, 든 청크가 개정 전 판이면 색인 갱신 실패다.

2등장 배경

LLM 만으로 답하면 학습 뒤에 바뀐 규정을 모르고, 답이 어느 문서에서 왔는지 댈 수 없다. 2020년 파라미터 110억 개의 T5-11B 도 검색 없이 Natural Questions 정확 일치(EM) 34.5에 그쳤다(Lewis 2020 표 1).

2017년 Chen 등의 DrQA 가 위키백과 문서 검색기와 독해 모델을 이어 붙였고, 2020년 2월 Guu 등의 REALM 이 검색기를 사전 학습 안에 넣었다. 같은 해 4월 Karpukhin 등의 DPR 은 BERT 인코더 두 개로 만든 밀집 검색으로 top-20 정확도를 BM25 의 59.1%에서 78.4%로 올렸다(Karpukhin 2020 표 2). 5월 Lewis 등의 RAG 는 DPR 검색기와 4억 파라미터 BART-large 생성기를 묶어 위키백과 2,100만 청크를 색인으로 쓰고 NQ EM 44.5를 냈다(Lewis 2020 2.2 · 2.3 · 3절).

컨텍스트 창이 길어진 뒤에도 RAG 가 남는 까닭은 입력 비용과 위치 효과다 — 긴 입력의 가운데 놓인 근거는 잘 쓰이지 않는다(Liu 2023 2.3절). 원 논문은 질의 인코더와 생성기를 함께 미세 조정했지만(Lewis 2020 2.4절), 두 모델을 고정한 채 검색 결과를 프롬프트에 붙이기만 하는 구성도 같은 이름으로 부른다.

3쉽게 이해하기 — 사서에게 쪽지를 받아 답하는 상담원

도서관 안내 데스크의 상담원은 손님 질문에 기억만으로 답하지 않는다. 옆 사서가 책을 미리 쪽 단위로 잘라 내용을 줄인 꼬리표를 달아 카드 서랍에 꽂아 두었고, 질문이 오면 꼬리표가 가장 닮은 카드 다섯 장을 골라 쪽지로 건넨다. 상담원은 쪽지에 적힌 내용으로만 답하고 「몇 번 카드에 있다」고 덧붙인다. 새 책이 들어오면 상담원을 다시 가르치지 않고 서랍에 카드만 꽂는다.

손님 묻는 쪽 질문하는 사람 사용자 질문 카드 질의 상담원 답하는 쪽 상담원 LLM 생성기 받은 쪽지 프롬프트 사서 찾는 쪽 사서 검색기 닮은 카드 찾기 top-k 검색 질문 4 답 · 출처 7 자료 요청 5 쪽지 5장 6 서랍에서 찾음 미리 해 두는 일 — 서랍 정리 1 책을 쪽으로 자름 청크 분할 2 쪽마다 꼬리표 임베딩 3 서랍에 꽂음 벡터 색인 새 책은 꽂기만 색인 갱신 꼬리표 = 쪽 내용을 숫자로 줄인 표시 · 서랍 = 닮은 꼬리표끼리 빨리 찾게 엮은 상자 · 상담원은 다시 배우지 않는다

그림 1 · 사서가 미리 꼬리표를 달아 정리한 서랍에서 닮은 카드를 찾아 쪽지로 건네면, 상담원은 그 쪽지만으로 답하고 카드 번호를 붙인다.

쪽 자르기책을 한 쪽씩 나눔
꼬리표쪽마다 내용을 줄인 표시
서랍 정리닮은 꼬리표끼리 빨리 찾게
카드 찾기질문과 닮은 순서로
쪽지고른 다섯 장을 건넴
답하기쪽지 내용 + 카드 번호
비유 — 꼬리표가 닮은 카드 질문 카드 해외 출장비 정산 기한 출장비 정산 규정 0.82 국외 출장 신청 절차 0.79 출장 숙박비 한도 0.74 연차 휴가 규정 0.31 막대 = 질문 꼬리표와 닮은 정도 · 색 막대 = 고른 카드(그림은 k = 3) 고른 카드를 쪽지로 상담원에게 실제 — 가장 가까운 벡터 k개 0.31 0.82 0.79 0.74 q 점선 원 안 = top-3 점 = 청크 벡터 · 768차원을 평면에 줄여 그린 개념도 보라 점 q = 질의 · 숫자 = q 와의 유사도(내적)

그림 2 · 사서는 질문 꼬리표와 가장 닮은 카드를 고른다 — 실제 검색기는 질의 벡터와 유사도(내적)가 큰 청크 벡터 k개를 고른다.

비유 속 역할실제 이름실제로 하는 일
쪽으로 자른 책청크 분할문서를 검색 · 인용 단위로 나눈다(원 논문 100단어)
꼬리표임베딩청크와 질문을 같은 공간의 768차원 벡터로 바꾼다
카드 서랍벡터 색인벡터를 그래프로 엮어 가까운 이웃을 빨리 찾게 한다
사서검색기질의 벡터와 내적이 큰 청크 k개를 고른다
고른 카드 다시 추리기재순위후보를 질문과 함께 다시 읽고 순서를 고친다
쪽지프롬프트 결합지시 · 근거 청크 · 질문을 이어 LLM 입력을 만든다
카드 번호를 단 답생성 · 출처 표시근거 청크로 답하고 청크 ID 를 붙인다
새 책 꽂기색인 갱신모델 학습 없이 바뀐 문서의 청크만 다시 넣는다

⚠ 비유가 맞지 않는 곳: 실제 꼬리표(임베딩)는 낱말 목록이 아니라 768개 숫자이고, 서랍(HNSW 색인)은 근사 검색이라 가장 닮은 카드를 놓칠 수 있다(Malkov 2018 1절). 상담원(LLM)은 쪽지 밖 기억으로도 말할 수 있어, 쪽지만 보고 답했는지는 따로 재야 한다.

4구조 — 색인 경로와 질의 경로

RAG 는 문서가 바뀔 때 도는 색인 경로와 질문마다 도는 질의 경로로 나뉘고, 두 경로는 벡터 색인 하나에서 만난다. 원 논문은 문서 인코더와 색인을 고정하고 질의 인코더와 생성기만 학습했다(Lewis 2020 2.4절).

색인 경로 — 문서가 바뀔 때 원문 문서 규정 · 매뉴얼 청크 분할 100단어 단위 문서 인코더 768차원 벡터 벡터 색인 HNSW + 원문 · 메타데이터 top-k 조회 · 내적이 큰 순서 질의 경로 — 질문마다 질문 사용자 질의 인코더 768차원 q 후보 검색 밀집 + 희소 재순위 교차 인코더 프롬프트 결합 지시 · 근거 · 질문 상위 5개 청크 LLM 생성 근거로 답 답 + 출처 청크 ID 표시 평가 검색 재현율 · 근거성 문서 · 청크 벡터 · 색인 검색 · 결합 규칙 사용자 생성 · 답 평가(질문 흐름 밖)

그림 3 · 색인 경로가 만든 벡터 색인을 질의 경로가 조회하고, 검색 · 재순위 · 프롬프트 결합을 거친 근거만 생성기에 들어간다.

요소크기 · 단위역할값 · 근거
청크100단어(원 논문)검색 · 인용 단위위키백과 2018년 12월 판 2,100만 개(Lewis 2020 3절)
임베딩 인코더768차원텍스트를 벡터로BERT-base [CLS] 출력 · 질의용 · 문서용 따로(Karpukhin 2020 3.1절)
벡터 색인2,100만 × 768최근접 검색 구조메모리 약 100GB, 압축 뒤 36GB(Lewis 2020 부록 C)
근사 최근접 검색계층 그래프위 계층에서 내려오며 탐색탐색 비용이 로그로 증가 · 계층 수 인자 mL = 1/ln(M)(Malkov 2018 4.1절)
희소 검색역색인낱말 일치 점수BM25(Robertson 2009)
재순위질문 · 청크 쌍후보 순서를 다시 매김BERT 교차 인코더 · MRR@10 상대 27% 향상(Nogueira 2019)
프롬프트 결합토큰입력과 근거를 이어 붙임원 논문은 질문과 청크를 단순 연결(Lewis 2020 2.3절)
생성기4억 파라미터(원 논문)근거로 답 생성BART-large(Lewis 2020 2.3절)

🔑 검색기는 무엇을 읽힐지를, 생성기는 어떻게 말할지를 정한다 — top-k 에 들지 못한 사실은 생성기가 되살리지 못한다.

5동작 — 사내 출장비 규정 질문 한 건

직원이 사내 규정 도우미에 「해외 출장비 정산 기한은?」을 묻는 사례다. 문서 수 · 청크 번호 · 유사도 · 답 내용은 설명용 가정 값이고, 768차원 · k = 60 · 근거성 식은 각 논문의 값이다.

  1. 색인 — 규정 문서 3,000건을 400토큰 청크(앞 청크와 50토큰 겹침)로 잘라 48,000개를 만들고, 청크마다 768차원 벡터와 원문 · 문서 ID · 개정일을 함께 저장한다.
  2. 질의 임베딩 — 질의 인코더가 질문을 768차원 질의 벡터 q 로 바꾼다(Karpukhin 2020 3.1절).
  3. 후보 검색 — HNSW 색인에서 q 와 내적이 큰 청크 20개, BM25 로 낱말 점수가 큰 청크 20개를 뽑고 겹친 8개를 빼 후보 32개를 만든다.
  4. 순위 결합 — RRF 점수 = Σ 1/(60 + 순위)로 두 목록을 합친다(Cormack 2009 1절). 밀집 3위 · 희소 1위인 #18842 는 1/63 + 1/61 = 0.0323, 밀집 2위 · 희소 4위인 #18843 은 0.0318, 밀집 1위지만 희소 목록에 없는 #07311 은 1/61 = 0.0164 다.
  5. 재순위 — 교차 인코더가 질문 · 후보 32쌍을 한 쌍씩 함께 읽어 다시 채점하고 상위 5개만 남긴다(Nogueira 2019).
  6. 프롬프트 결합 — 「아래 근거로만 답하고 근거 번호를 달 것」 지시, 청크 5개(약 2,000토큰 · 1위 청크를 맨 앞), 질문을 이어 LLM 에 넣는다.
  7. 생성 — LLM 이 진술 4개로 된 답(「귀국 뒤 30일 이내 정산 · 영수증 원본 첨부 …」)에 [#18842] · [#18843] 을 붙여 낸다.
  8. 평가 — 답을 진술 4개로 나눠 근거로 확인하니 3개가 지지되어 근거성 F = 3 ÷ 4 = 0.75 이고(Es 2023 3절), 근거에 없는 「법인카드 사용분은 7일 이내」 진술이 생성 실패로 남는다.
단계 사례 값 1 색인 문서 3,000건 → 청크 48,000개(400토큰) → 768차원 벡터 2 질의 임베딩 「해외 출장비 정산 기한은?」 → 질의 벡터 q(768차원) 3 후보 검색 밀집 top-20 + 희소 top-20 → 겹친 8개를 빼고 후보 32개 4 순위 결합 RRF 점수 = Σ 1/(60 + 순위) — 두 목록에 함께 오르면 위로 1위 #18842 · 0.0323 밀집 3위 · 희소 1위 2위 #18843 · 0.0318 밀집 2위 · 희소 4위 #07311 · 0.0164 밀집 1위 · 희소 없음 5 재순위 교차 인코더가 질문 · 후보 32쌍을 다시 채점 → 상위 5개 6 프롬프트 결합 지시 + 청크 5개(약 2,000토큰 · 1위를 맨 앞) + 질문 7 생성 진술 4개로 된 답 + 근거 번호 [#18842] · [#18843] 8 평가 근거성 F = 지지 3 ÷ 진술 4 = 0.75 근거 없음: 법인카드 7일 문서 · 청크 벡터 검색 · 결합 규칙 생성 · 평가 근거 없는 진술 청크 번호 · 점수 · 답 = 가정 값

그림 4 · 청크 48,000개가 후보 32개 · 근거 5개로 줄어 답이 되고, 두 목록에 함께 오른 #18842 가 순위 결합에서 1위로 올라온다.

🔑 순위 결합은 점수가 아니라 순위만 더한다 — 척도가 다른 BM25 점수와 내적을 맞추지 않고도 두 목록에 함께 오른 청크가 위로 올라온다(Cormack 2009 1절).

결과는 두 축으로 판정한다 — 정답 청크가 top-k 에 들었는가(검색 재현율), 답의 진술이 그 근거로 지지되는가(근거성). 사례는 정답 청크 #18842 가 들었는데 F 가 0.75 이므로 생성 쪽을 고칠 차례다.

검색 — 정답 청크가 top-k 에 들었는가 들지 않음 들었음 근거성 높음 진술이 근거로 지지됨 근거성 낮음 근거 밖 진술이 섞임 검색 실패 엉뚱한 근거에 충실한 답 또는 「찾지 못했다」 고칠 곳: 청크 · 하이브리드 · k 정상 근거 있는 답 · 출처로 확인 가능 F 가 1 에 가까움 둘 다 실패 근거 없이 모델 기억으로 답함 고칠 곳: 검색부터 생성 실패 근거를 받고도 다르게 말함 사례 — 진술 4 중 지지 3 · F 0.75 고칠 곳: 지시 · 근거 순서 · 개수 가려내는 순서 — 가로 먼저(검색 로그의 top-k 청크 ID), 세로 다음(진술별 근거 대조) 정상 실패 검색 쪽 수정 생성 쪽 수정 굵은 테두리 = 사례가 든 상자

그림 5 · 검색 재현율과 근거성 두 축이 실패를 넷으로 가르고, 검색 축이 먼저다 — 사례(F 0.75)는 생성 실패에 든다.

⚠ 원 논문의 청크는 100단어였고 사례의 400토큰 · 겹침 50토큰은 가정 값이다. 청크 크기와 겹침에는 표준 값이 없어 문서 종류마다 recall@k 를 재서 고른다.

6비교 — 희소 · 밀집 · 하이브리드 검색

기준희소 검색(BM25)밀집 검색(DPR)하이브리드(점수 · 순위 결합)
표현낱말 빈도 · 역색인768차원 벡터 · 내적두 결과 목록을 합침
잘 맞는 질의조항 번호 · 제품 코드 · 고유명사낱말은 다르고 뜻이 같은 질의두 종류가 섞인 질의
top-20 정확도 NQ · SQuAD59.1% · 68.8%78.4% · 63.2%76.6% · 71.5%(선형 결합 λ = 1.1)
학습 데이터필요 없음질문 · 정답 문단 쌍으로 인코더 학습(Karpukhin 2020 3.2절)밀집 쪽 학습 그대로
인코더를 바꿀 때역색인 그대로청크 전체의 벡터를 다시 계산밀집 쪽 재계산 그대로

정확도 행은 Karpukhin 2020 표 2(단일 데이터 학습) 값이다.

분석질문이 자연어 서술 위주면 밀집, 조항 번호 · 코드처럼 정확한 낱말이 답을 가르는 문서면 희소 쪽이 낫고, 두 질의가 섞인 사내 문서는 하이브리드가 안전하다. 근거는 표의 정확도 행 — NQ 에서는 밀집이 19.3%p 앞서지만 낱말이 질문과 겹치는 SQuAD 에서는 BM25 가 5.6%p 앞서고, 결합은 SQuAD 에서 둘 다 넘는다(Karpukhin 2020 5.1절).

7실무 진단 — 틀린 답의 원인 가르기

분석검색 로그부터 보고 생성 · 색인 순으로 좁힌다. 정답 청크가 top-k 에 없으면 프롬프트를 고쳐도 생성기가 볼 근거가 없기 때문이다(Lewis 2020 2.1절 top-K 근사).

#증상의심 원인단계확인 자료판정 기준(근거)
1문서에 있는 답을 「찾지 못했다」고 함정답 청크가 top-k 밖검색검색 로그의 top-k 청크 ID ↔ 정답 청크 ID정답 청크 미포함 = top-k 정확도 실패(Karpukhin 2020 5.1절)
2근거에는 맞는 값이 있는데 답이 다름생성기가 근거 밖 진술을 만듦생성답 진술별 근거 대조근거성 F = 지지 진술 ÷ 전체 진술 < 1(Es 2023 3절)
3근거 청크가 들었는데 답에 안 쓰임근거가 긴 입력의 가운데에 놓임생성프롬프트 안 정답 청크의 순서 · 전체 토큰 수가운데 놓일 때 정확도 하락(Liu 2023 2.3절)
4개정 전 규정으로 답함색인 적재 누락색인청크 메타데이터의 문서 개정일 ↔ 적재 시각개정일이 적재 시각보다 뒤 = 옛 청크(Lewis 2020 4.5절)
5조항 번호 · 제품 코드 질문만 실패밀집 검색의 낱말 일치 약점검색BM25 단독 top-k 와 대조희소 목록에만 정답이 있음 = 하이브리드 필요(Karpukhin 2020 표 2)

정답 청크가 들었으면 프롬프트 안 순서와 근거성을 보고, 둘 다 정상인데도 틀리면 청크의 개정일을 본다. 평가용 질문 · 정답 청크 쌍을 고정해 두면 청크 크기 · k · 인코더를 바꿀 때마다 같은 표로 다시 잴 수 있다.

8시험 대비

출제 정보 정보관리(139회, 134회) · 컴퓨터시스템응용(137회, 135회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 색인 · 검색 · 생성 구성 요소와 처리 절차를 묻는 구조 · 구성형, LLM 의 환각 · 최신성 문제에 대한 대응책과 평가 방법을 묻는 장애 · 보안 대응형이 나올 수 있다. 구조형은 두 경로 그림을 먼저 그리고, 대응형은 실패를 검색 · 생성 · 색인 셋으로 나눈 판정 격자로 답한다. 미세 조정과 함께 물으면 「지식 갱신 = 색인 교체 · 모델 동작 변경 = 학습」으로 차이를 짚는다.

답안 목차
  1. 개요 — 정의 · Lewis 2020 · 파라미터 기억과 색인 기억의 결합 · 필요성(최신성 · 출처 · 환각)
  2. 구성 — 그림 3 색인 경로 · 질의 경로 + 요소 표(청크 100단어 · 768차원 · HNSW · 재순위 · 프롬프트)
  3. 처리 절차 — 그림 4 사례 순서(청크 48,000 → 후보 32 → RRF → 상위 5 → 근거 번호 단 답)
  4. 검색 방식 비교 — 비교표(희소 · 밀집 · 하이브리드 · NQ top-20 59.1 ↔ 78.4%)
  5. 평가와 장애 대응 — 그림 5 판정 격자(재현율 × 근거성) + F = 지지 진술 ÷ 전체 진술 · 옛 청크 · 가운데 위치
  6. 한계와 발전 — 색인 갱신 비용 · 인코더 교체 시 재계산 · 검색을 반복하는 에이전트형 구성

꼭 쓸 키워드
청크임베딩벡터 색인HNSWBM25하이브리드 검색RRF재순위근거성recall@k

다른 답안과 차이를 내는 한 가지 — 원 논문의 색인 교체 실험(정답률 4% → 68%)과 근거성 식을 숫자로 적어 「재학습 없이 갱신된다」 · 「근거를 붙여도 환각은 잰다」를 증거로 보인다.

9오해와 사실

  • 오해RAG 를 붙이면 환각이 사라진다.
    사실생성기는 근거 밖 진술도 만들 수 있어, Es 2023 은 답을 진술로 나눠 근거로 지지되는 비율을 근거성으로 따로 잰다(Es 2023 3절).
  • 오해컨텍스트 창이 충분히 길면 검색은 필요 없다.
    사실문서 20개를 넣은 실험에서 정답 문서가 가운데 놓이면 한 모델의 정확도가 문서 없이 답할 때(56.1%)보다 낮았다(Liu 2023 1 · 2.3절).
  • 오해RAG 는 모델을 다시 학습하는 미세 조정의 한 종류다.
    사실원 논문도 문서 인코더와 색인을 고정했고(Lewis 2020 2.4절), 지식을 바꾸는 일은 학습이 아니라 청크를 다시 넣는 색인 쓰기다.

10핵심 정리

단계맡는 일단위 · 값흔한 실패확인 지표
청크 분할문서를 검색 단위로 나눔100단어(원 논문)답이 경계에서 잘림정답 청크 존재 여부
임베딩텍스트를 벡터로768차원(DPR)인코더 교체 뒤 옛 벡터 혼용인코더 판 일치
벡터 색인근사 최근접 검색HNSW 계층 그래프근사로 이웃 놓침recall@k
희소 · 밀집 결합두 순위 목록 합침RRF k = 60한쪽 목록만 반영top-k 정확도
재순위후보 순서를 다시 매김교차 인코더후보 수만큼 지연 증가MRR@10
프롬프트 결합지시 · 근거 · 질문 연결토큰 수근거가 가운데에 묻힘정답 청크 순서
생성 · 평가근거로 답 · 출처 표시근거성 F근거 밖 진술지지 진술 비율

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al. · NeurIPS 2020) — 검색기 · 생성기 구성과 색인 교체 실험을 원문으로 볼 때
    arXiv · 2020-05 · arxiv.org/abs/2005.11401 · 확인 2026-11-03
  3. ★ Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al. · EMNLP 2020) — 밀집 검색과 BM25 의 top-k 정확도 차이를 볼 때
    arXiv · 2020-04 · arxiv.org/abs/2004.04906 · 확인 2026-11-03
  4. ★ Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs (Malkov · Yashunin · IEEE TPAMI) — 벡터 색인의 계층 그래프 탐색 원리를 볼 때
    arXiv · 2018-08 · arxiv.org/abs/1603.09320 · 확인 2026-11-03
  5. ★ Lost in the Middle: How Language Models Use Long Contexts (Liu et al. · TACL) — 근거의 위치가 답 정확도를 바꾸는 실험을 볼 때
    arXiv · 2023-07 · arxiv.org/abs/2307.03172 · 확인 2026-11-03
  6. ★ Ragas: Automated Evaluation of Retrieval Augmented Generation (Es et al.) — 근거성 · 답 관련성 · 문맥 관련성 식을 볼 때
    arXiv · 2023-09 · arxiv.org/abs/2309.15217 · 확인 2026-11-03
  7. 본문 근거
  8. Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods (Cormack · Clarke · Buettcher · SIGIR 2009) — University of Waterloo · 2009-07 · plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf · 확인 2026-11-03
  9. Passage Re-ranking with BERT (Nogueira · Cho) — arXiv · 2019-01 · arxiv.org/abs/1901.04085 · 확인 2026-11-03
  10. REALM: Retrieval-Augmented Language Model Pre-Training (Guu et al.) — arXiv · 2020-02 · arxiv.org/abs/2002.08909 · 확인 2026-11-03
  11. Reading Wikipedia to Answer Open-Domain Questions (Chen et al. · ACL 2017) — arXiv · 2017-03 · arxiv.org/abs/1704.00051 · 확인 2026-11-03
  12. The Probabilistic Relevance Framework: BM25 and Beyond (Robertson · Zaragoza · Foundations and Trends in IR 3(4)) — now publishers · 2009-04 · doi.org/10.1561/1500000019 · 확인 2026-11-03