벡터 · 의미 검색Vector and Semantic Search
질의와 문서를 임베딩 벡터로 바꿔 낱말이 달라도 뜻이 가까운 항목을 찾는 검색 방법이다. 후보를 찾는 벡터 검색, 낱말 검색과 목록을 합치는 하이브리드 검색, 후보 순서를 다시 매기는 리랭킹, 이미지 · 텍스트를 함께 다루는 멀티모달 검색으로 나뉜다.
1요약
- 벡터 · 의미 검색은 검색 아래에서 역색인 · BM25 의 낱말 일치 대신 임베딩 벡터 사이의 거리로 적합도를 매기는 방법을 모은 것으로, 후보 찾기 → 목록 합치기 → 다시 매기기의 다단계 구조(Lin 2021 1절)를 이루고 그 위에서 사내 문서 검색 · 이미지 검색 · RAG 의 검색기가 돈다.
- 뜻으로 찾는 방법도 영역이 바뀌면 깨진다 — 18개 데이터셋 비교에서 밀집 검색 DPR 은 BM25 보다 평균 47.7% 낮았고, BM25 후보 100개를 교차 인코더로 다시 매긴 방식은 11% 높았다(Thakur 2021 표 2).
- 「검색 결과가 엉뚱하다」는 정답 문서가 후보 목록 안에 들었는가로 가른다 — 후보 밖이면 후보 단계(벡터 · 낱말 · 합치기) 문제, 후보 안인데 상위 10 밖이면 리랭킹 단계 문제다.
2등장 배경
「모터가 과열로 멈췄다」고 물었는데 문서에는 「과전류 보호 동작」이라고만 적혀 있으면, 낱말이 하나도 겹치지 않아 역색인은 그 문서를 후보에 올리지 못한다. 낱말 무게로 문서를 벡터로 놓은 1975년 벡터 공간 모델도 같은 낱말이 있어야 점수가 났다.
2020년 Khattab · Zaharia 의 ColBERT 는 질의와 문서를 따로 인코딩한 뒤 마지막에 맞대어, BERT 리랭커와 비슷한 정확도를 내면서 질의당 연산을 1만분의 1 수준으로 줄였다(Khattab 2020 초록). 같은 해 Lin · Nogueira · Yates 는 이 흐름을 «다단계 구조의 리랭킹»과 «밀집 검색» 두 갈래로 정리했다(Lin 2021 초록).
2021년 Thakur 등의 BEIR 는 학습 영역 밖에서 밀집 검색이 BM25 에 자주 지는 것을 보여 BM25 가 여전히 강한 기준선임을 확인했고(Thakur 2021 5절), 같은 해 Radford 등은 이미지와 문장을 한 벡터 공간에 놓아 글로 사진을 찾는 길을 열었다(Radford 2021). 오늘 벡터 · 의미 검색은 낱말 검색을 버린 것이 아니라 그 옆에 붙은 단계들의 모음이다.
3쉽게 이해하기 — 헌책방에서 책 다섯 권 고르기
손님이 헌책방에 와서 「비 오는 날 읽기 좋은 잔잔한 소설」을 부탁하고, 휴대폰으로 예전에 읽은 책 표지 사진도 보여 준다. 분위기로 서가를 기억하는 점원은 비슷한 느낌의 책 30권을, 제목 카드를 뒤지는 점원은 「비」가 든 책 30권을 바구니에 담는다. 점장이 두 바구니를 합친 뒤 한 권씩 펼쳐 손님 말과 맞대어 읽고 다섯 권만 건넨다.
그림 1 · 두 점원이 빠르게 넓게 담고, 점장이 바구니를 합쳐 한 권씩 펼쳐 읽어 다섯 권으로 줄인다.
그림 2 · 점원은 책등만 보아 20만 권도 훑지만, 점장은 손님 말과 본문을 함께 읽어 100권만 볼 수 있다 — 실제에서는 따로 인코딩과 함께 인코딩의 차이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님의 부탁 | 질의 | 사용자가 친 문장 · 올린 사진 |
| 표지 사진 | 멀티모달 검색 | 사진을 글과 같은 벡터 공간에 놓아 함께 찾는다(Radford 2021) |
| 분위기 점원 | 벡터 검색(ANN) | 질의 벡터와 가까운 문서 벡터를 근사 색인으로 뽑는다 |
| 카드 점원 | 낱말 검색(BM25) | 역색인으로 낱말이 겹치는 문서를 뽑는다(정보 검색(IR)에서 다룸) |
| 바구니 합치기 | 하이브리드 검색 | 두 후보 목록을 순위 · 점수로 하나로 합친다 |
| 점장이 펼쳐 읽기 | 리랭킹 | 질의 · 문서 쌍을 함께 읽어 후보 순서를 다시 매긴다 |
| 다섯 권 | 결과 목록 | 상위 k 개를 돌려주고 nDCG@10 으로 평가한다 |
⚠ 비유가 맞지 않는 곳: 점원은 손님 말을 들으며 담지만, 벡터 검색은 질의 하나를 벡터 하나로 줄여 거리만 재므로 「비 오는 날 아닌 책」 같은 부정 · 조건은 잘 놓친다 — 그런 조건은 낱말 검색 · 필터 · 리랭킹이 맡는다.
4구조 — 후보 · 합치기 · 다시 매기기 세 단계와 네 토픽
네 토픽은 검색 한 건의 서로 다른 단계를 맡는다. 앞 단계일수록 많은 문서를 싸게 보고, 뒤 단계일수록 적은 문서를 비싸게 본다.
그림 3 · 질의는 벡터 검색과 낱말 검색으로 갈라져 후보를 만들고, 하이브리드 검색이 합친 목록을 리랭킹이 다시 매겨 결과로 낸다 — 멀티모달 검색은 입력 매체를 넓힌다.
| 토픽 | 푸는 문제 | 입력 → 출력 | 질의당 비용 | 근거 |
|---|---|---|---|---|
| 벡터 검색(ANN) | 낱말이 달라도 뜻이 가까운 문서 찾기 | 질의 벡터 → 후보 top-k | 색인 탐색 · 문서 수에 덜 민감 | Lin 2021 · 밀집 검색 갈래 |
| 하이브리드 검색 | 벡터가 놓친 코드 · 고유 낱말 보완 | 두 후보 목록 → 한 목록 | 목록 길이만큼 덧셈 | Thakur 2021 표 2 · BM25 기준선 |
| 리랭킹 | 후보 안 순서 바로잡기 | 질의 · 문서 쌍 → 점수 | 후보 수 × 모델 1회 | Lin 2021 · 다단계 구조 |
| 멀티모달 검색 | 글로 사진 찾기 · 사진으로 글 찾기 | 이미지 · 텍스트 → 같은 공간 벡터 | 매체별 인코더 1회 | Radford 2021 |
🔑 후보 단계는 정답을 «놓치지 않는 것»(재현율)을, 리랭킹은 정답을 «위로 올리는 것»(상위 10 정확도)을 책임진다 — 후보에 없는 문서는 리랭킹이 아무리 좋아도 돌아오지 않는다.
5동작 — 설비 정비 문서 20만 건에서 질의 한 건
사내 정비 문서 200,000건에 질의 「모터 드라이브 E-07 과전류 차단 뒤 다시 켜는 법」을 던진다. 문서 수 · 순위 · 후보 수는 설명용 가정 값이고, 색인 크기는 그 값으로 직접 계산했다.
- 색인 — 문서마다 768차원 float32 벡터(3,072바이트)를 만들어 200,000 × 3,072 = 614,400,000바이트(약 614 MB)의 벡터 색인을 두고, 같은 문서로 역색인도 만든다.
- 질의 변환 — 같은 인코더로 질의를 768차원 벡터 q 로 바꾼다(문서 쪽은 1단계에서 미리 끝남).
- 후보 찾기 — 벡터 검색이 q 와 가까운 100개, 낱말 검색이 「E-07」 · 「과전류」가 든 100개를 뽑고, 겹친 40개를 빼 후보 160개를 만든다. 정답 문서 A 는 벡터 목록 37위 · 낱말 목록 2위다.
- 합치기 — 하이브리드 검색이 두 목록의 순위를 합쳐 상위 100개를 넘기고, 두 목록에 함께 오른 문서 A 는 5위가 된다.
- 리랭킹 — 교차 인코더가 질의 · 후보 100쌍을 한 쌍씩 채점한다. 모델 계산은 전체 문서의 0.05%(100 ÷ 200,000)에만 들어간다.
- 결과 — 문서 A 가 1위로 올라 상위 10개와 함께 돌아가고, 평가는 상위 10개 순위 품질(nDCG@10)로 본다.
- 사진 질의 — 같은 날 정비원이 드라이브 표시창 사진을 올리면, 이미지 · 텍스트를 같은 공간에 놓는 인코더로 사진을 벡터로 바꿔 3단계부터 같은 길을 탄다.
그림 4 · 단계마다 후보가 200,000 → 160 → 100 → 10 으로 줄고, 문서 A 는 낱말 목록 덕에 후보에 들어 리랭킹에서 1위로 오른다.
🔑 문서 A 를 살린 것은 리랭킹이 아니라 낱말 목록이다 — 벡터 목록만 썼다면 37위로 후보 경계 근처에 머물렀고, 리랭킹은 후보에 든 문서만 올릴 수 있다.
그림 5 · 질의와 문서를 따로 인코딩하는 방식은 빠르지만 영역 밖에서 흔들리고, 함께 읽는 리랭킹은 가장 정확하지만 질의당 수백 ms 가 든다 — 그래서 단계를 나눈다.
🔑 정확도와 속도를 한 모델로 다 얻을 수 없어서 단계를 나눈다 — 문서를 미리 벡터로 만들어 둘 수 있는 방식만 수백만 건을 볼 수 있다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 벡터 · 의미 검색과의 경계 | 넘기는 곳 |
|---|---|---|---|
| 정보 검색(IR) | 역색인 · BM25 · 검색 평가 지표 · 적합성 피드백 | 낱말 일치로 후보를 내고, 벡터 · 의미 검색은 벡터 거리로 후보를 낸다 · 하이브리드에서 둘이 만난다 | BM25 식 · nDCG 정의 → 정보 검색(IR) |
| 검색 엔진 | 크롤러 · 색인 구축 · 형태소 분석 · 서비스 구조 | 문서를 모으고 나누는 일까지가 그쪽이고, 나눈 조각을 벡터로 바꾸는 일부터 벡터 · 의미 검색이 맡는다 | 크롤링 · 한국어 색인 → 검색 엔진 |
| 지식 그래프 · 시맨틱 웹 | 개체 · 관계를 기호로 적고 SPARQL 로 질의 | 뜻을 명시한 기호로 정확히 묻고, 벡터 · 의미 검색은 뜻을 학습한 벡터로 가깝게 찾는다 | 개체 · 관계 질의 → 지식 그래프 · 시맨틱 웹 |
| RAG · 벡터 검색 | 검색 결과로 LLM 답 생성 · 근사 최근접 이웃 색인 원리 | 벡터 · 의미 검색은 검색 단계 구성까지, 생성 · 색인 내부 알고리즘은 RAG · 벡터 검색이 맡는다 | 생성 · HNSW → RAG · 벡터 검색 |
분석「정확히 그 낱말 · 관계가 있는가」를 묻는 질의면 정보 검색(IR) · 지식 그래프 쪽, 「뜻이 가까운 것」을 묻는 질의면 벡터 · 의미 검색이 먼저 간다. 근거는 그림 5 — 영역 밖 데이터에서 BM25 가 여전히 강한 기준선이라(Thakur 2021 5절) 두 쪽을 함께 두는 하이브리드 구성이 흔하다.
7실무 진단 — 틀린 검색 결과의 단계 가르기
분석정답 문서가 후보 목록(합치기 전 두 목록) 안에 있는지부터 본다. 후보 밖이면 리랭킹을 고쳐도 소용없고(구조 절 핵심 한 줄), 후보 안이면 후보 단계를 건드릴 필요가 없기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 뜻은 같고 낱말이 다른 문서를 못 찾음 | 낱말 검색만 씀 | 후보 찾기 | 질의 · 정답 문서의 겹치는 낱말 수 | 겹침 0 이면 역색인 후보에 못 듦 → 벡터 검색 추가 |
| 2 | 새 분야 문서에서 벡터 결과가 낱말 검색보다 나쁨 | 학습 영역 밖 데이터 | 후보 찾기 | 같은 질의 묶음의 BM25 단독 nDCG@10 | 생의학 BioASQ 에서 DPR 0.127 ↔ BM25 0.465(Thakur 2021 표 2) → 하이브리드 · 영역 학습 |
| 3 | 정답이 후보 100 안인데 상위 10 밖 | 후보 단계 점수로만 순서를 정함 | 다시 매기기 | 후보 안 정답 순위 · 리랭킹 전후 nDCG@10 | 후보 안이면 리랭킹 추가 · 교체(Lin 2021 다단계 구조) |
| 4 | 리랭킹을 붙인 뒤 응답이 수백 ms 늘어남 | 넘기는 후보 수가 많음 | 다시 매기기 | 질의당 지연 ↔ 후보 수 | 쌍마다 모델 1회라 후보 수에 비례 · BM25 상위 100 재채점 = GPU 450 ms(Thakur 2021 표 3) → 후보 수 줄임 · 늦은 상호작용 |
| 5 | 사진 질의가 같은 물건 대신 같은 배경을 돌려줌 | 이미지 · 텍스트 인코더가 다른 공간 · 분야 차이 | 입력 매체 | 같은 물건 사진 · 설명문의 벡터 거리 | 짝 거리가 남남 거리보다 크면 공간이 안 맞음(Radford 2021 대조 학습) → 멀티모달 인코더 교체 |
8시험 대비
시험에서는 의미 검색의 정의와 단계 구성을 묻는 정의 · 특징형, 낱말 일치 검색과 의미 검색 또는 따로 인코딩 · 함께 인코딩을 견주는 비교형이 나올 수 있다. 정의 · 특징형이면 세 단계와 네 토픽의 역할을 그림 3 으로, 비교형이면 정확도 · 지연 · 미리 계산 여부 세 축을 BEIR 수치로 쓴다.
- 개요 — 낱말 일치의 한계(어휘 불일치) · 임베딩 거리로 적합도 · 다단계 구조(Lin 2021)
- 구성 — 그림 3 단계 지도(후보 찾기 · 합치기 · 다시 매기기 + 멀티모달)와 네 토픽 표
- 처리 절차 — 그림 4 사례(200,000 → 160 → 100 → 10 · 정답 문서 순위 변화)
- 방식 비교 — 그림 5 BEIR 수치(DPR −47.7% · BM25+CE +11% · 20 ms 미만 ↔ 450 ms)
- 고려 사항 — 영역 밖 일반화 · 부정 조건 · 색인 크기 · 사진 · 글 공간 정렬
- 선택 기준 — 후보 재현율은 후보 단계, 상위 정확도는 리랭킹
꼭 쓸 키워드
의미 검색임베딩밀집 검색하이브리드 검색리랭킹교차 인코더늦은 상호작용멀티모달 검색nDCG@10다단계 구조
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «영역 밖에서 BM25 가 강한 기준선»이라는 BEIR 결과를 수치로 들어, 벡터 검색이 낱말 검색을 대체하지 않고 보완한다는 결론을 보이는 것이다.
9오해와 사실
- 오해벡터 검색을 쓰면 낱말 검색은 필요 없다.사실18개 데이터셋에서 밀집 검색 모델 대부분이 평균으로 BM25 보다 낮았고, 앞선 것은 늦은 상호작용 · 리랭킹뿐이었다(Thakur 2021 표 2).
- 오해학습 데이터 성적이 좋은 모델은 다른 분야에서도 좋다.사실학습 영역인 MS MARCO 에서는 신경망 방식이 BM25 를 7 ~ 18점 앞섰지만, 영역 밖 데이터에서는 그 순서가 자주 뒤집혔다(Thakur 2021 5절).
- 오해리랭킹은 검색 결과를 늘 더 좋게 만든다.사실리랭킹은 받은 후보의 순서만 바꾸므로, 후보에 없는 정답은 되살리지 못한다(동작 3 · 5단계).
10핵심 정리
| 구분 | 비교 단위 | 미리 계산 | 질의당 비용 | 보는 지표 | 약점 |
|---|---|---|---|---|---|
| 벡터 검색(ANN) | 질의 벡터 ↔ 문서 벡터 | 문서 벡터 전부 | 색인 탐색 · 20 ms 미만(밀집 · GPU) | 후보 재현율 | 영역 밖 데이터 · 부정 조건 |
| 낱말 검색(이웃) | 낱말 ↔ 역색인 | 역색인 | 목록 조회 | 후보 재현율 | 어휘 불일치 |
| 하이브리드 검색 | 두 후보 목록 | 두 색인 | 목록 합치기 | 후보 재현율 | 색인 둘 운영 |
| 리랭킹 | 질의 · 문서 쌍 | 없음 | 후보 수 × 모델 1회 · 450 ms(100건 · GPU) | nDCG@10 | 후보 밖 정답 못 살림 |
| 늦은 상호작용 | 낱말 벡터 묶음끼리 | 문서마다 벡터 여러 개 | 350 ms(GPU) | nDCG@10 | 색인 큼(1,500만 건 약 900 GB) |
| 멀티모달 검색 | 이미지 · 텍스트 벡터 | 매체별 벡터 | 인코더 1회 + 벡터 검색 | 매체 간 재현율 | 공간 정렬 실패 |
11참고 문헌
- 먼저 볼 문헌
- ★ BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models (NeurIPS 2021 Datasets and Benchmarks · arXiv 2104.08663v4) — 낱말 · 밀집 · 늦은 상호작용 · 리랭킹 방식을 18개 데이터셋에서 견준 정확도 · 지연 · 색인 크기를 볼 때
- ★ ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (SIGIR 2020 · arXiv 2004.12832) — 질의 · 문서를 따로 인코딩한 뒤 늦게 맞대는 방식이 리랭킹 비용을 어떻게 줄이는지 볼 때
- ★ Pretrained Transformers for Text Ranking: BERT and Beyond (arXiv 2010.06467v3) — 다단계 순위 구조(후보 검색 → 리랭킹)와 밀집 검색을 두 갈래로 정리한 개관을 볼 때
- ★ Learning Transferable Visual Models From Natural Language Supervision (arXiv 2103.00020) — 이미지와 텍스트를 같은 벡터 공간에 놓는 대조 학습이 멀티모달 검색의 바탕이 된 과정을 볼 때
- 본문 근거