검색Information Retrieval
문서 · 영상 같은 비정형 자료 모음에서 사용자의 정보 요구에 맞는 항목을 찾아 적합한 순서로 돌려주는 색인 · 순위 · 평가 · 의미 표현 기법을 묶은 정보 검색 분야다. 자료 구조의 탐색 알고리즘이나 특정 웹 검색 서비스가 아니라, 데이터 영역에서 «적합도»로 답을 고르는 일을 다룬다.
1요약
- 검색은 비정형 문서 모음 위에 역색인을 두고 그 위에서 질의 처리 · 순위 매기기(BM25) · 평가가 돌며, 1992년 NIST 가 시작한 TREC 이 평가의 틀을, 2014년 W3C RDF 1.1 이 데이터의 뜻을 적는 틀을 정했다.
- 색인 없이 낱말을 찾으면 질의마다 모든 문서를 다시 읽고 결과에 순서도 없으며, 낱말 일치만 보면 「떨림」이라고 쓴 적합 문서를 놓친다 — 본문 사례의 AND 질의는 정밀도 1.00 이지만 재현율은 0.67 에 머문다.
- 「검색이 이상하다」는 문서가 어느 단계에서 빠지거나 밀렸나로 가른다 — 색인어에 없으면 색인, 색인어는 있는데 질의 낱말과 다르면 어휘 불일치, 후보에는 있는데 아래로 밀렸으면 순위 문제다.
2등장 배경
문서를 낱말로 찾는 가장 단순한 방법은 모든 파일을 처음부터 끝까지 훑는 것이다. 자료가 수만 건이 되면 질의 하나마다 전체를 다시 읽어야 하고, 일치한 문서끼리는 무엇이 더 맞는지 순서가 없다.
1960년 Fredkin 은 낱말을 글자 단위 나무 경로로 저장하는 트라이(Trie)를 발표했고(Fredkin 1960), 1975년 Salton · Wong · Yang 은 문서와 질의를 낱말 무게의 벡터로 놓고 유사도로 순위를 매기는 벡터 공간 모델을 냈다(Salton 1975). 1992년 NIST 와 미 국방부는 대규모 시험 모음으로 시스템을 견주는 TREC 을 시작했고(TREC 개요), 1994년 TREC-3 에서 Robertson 등이 BM11 · BM15 를 하나로 묶은 BM25 를 썼다(Robertson 1994 3절).
2001년 Berners-Lee 등은 웹 문서에 기계가 읽는 뜻을 다는 시맨틱 웹을 제안했고(Berners-Lee 2001), W3C 는 RDF 1.1(2014) · SPARQL 1.1(2013)로 그 데이터 형식과 질의어를 정했다. 원격 목록 데이터베이스를 찾는 Z39.50 은 ISO 23950 과 같은 표준으로 지금도 관리되고, 후속 SRU · CQL 이 그 의미를 잇는다(LoC Z39.50).
3쉽게 이해하기 — 신문사 자료실의 기사 찾기
신문사 박 기자가 자료실 한 씨에게 「펌프 진동」 기사를 부탁한다. 한 씨는 기사 수천 건을 넘기지 않고, 낱말 카드함에서 「펌프」 · 「진동」 카드를 꺼내 두 카드에 함께 적힌 기사 번호만 고른다. 그 낱말이 자주 나오고 짧은 기사를 위에 올려 건네자, 박 기자는 맞는 기사에 표시하며 「떨림이라고 쓴 기사가 빠졌다」고 말하고, 한 씨는 동의어 장부에서 「진동 = 떨림」을 찾아 다시 찾는다.
그림 1 · 자료실 한 씨가 카드함으로 기사를 찾고 책상에서 순서를 매기면, 기자의 표시와 동의어 장부가 다음 찾기를 고친다.
그림 2 · 카드함은 후보가 «어느 기사인가»만 정하고, 책상은 그 후보의 «순서»만 바꾼다 — 카드에 없는 기사는 책상에 오르지 못한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 박 기자의 부탁 | 사용자 · 질의 | 정보 요구를 낱말 질의로 낸다 |
| 자료실 한 씨 | 검색 엔진 | 색인 · 순위 · 결과 반환을 맡는다 |
| 낱말 카드 · 기사 번호 | 역색인 · 게시 목록 | 색인어마다 그 낱말이 든 문서 번호를 담는다 |
| 가나다순으로 꽂은 카드함 | Trie | 색인어 자체를 빨리 찾게 정리한다 |
| 순서 매기는 책상 | 랭킹 · BM25 | tf · idf · 문서 길이로 점수를 매긴다 |
| 기자의 「맞다」 표시 | 적합성 피드백 · 검색 평가 지표 | 적합 판정으로 질의를 고치고 정밀도 · 재현율을 잰다 |
| 동의어 장부 | 시소러스 · 질의 확장 | 낱말이 다른 같은 뜻을 질의에 더한다 |
| 인물 · 설비 관계도 | 지식 그래프 · 시맨틱 웹 | 개체 사이 관계를 트리플로 적어 이어 찾는다 |
⚠ 비유가 맞지 않는 곳: 한 씨는 기사의 뜻을 읽고 판단하지만 BM25 는 낱말 횟수 · 문서 수 · 길이만 셈하고 뜻은 모른다. 또 카드함은 사람이 손으로 채우지만 역색인은 문서가 들어올 때 낱말 분석기가 자동으로 만든다.
4구조 — 다섯 단계와 네 갈래
검색 한 건은 색인 → 질의 처리 → 순위 → 결과 · 평가로 흐르고, 의미 표현이 색인과 질의에 뜻을 더한다. 검색은 정보 검색(IR), 검색 엔진, 벡터 · 의미 검색, 지식 그래프 · 시맨틱 웹의 네 갈래로 나뉘어 그 단계를 맡는다 — 정보 검색(IR)은 색인 · 순위 · 평가 기법을, 검색 엔진은 그 기법을 한 시스템으로 묶는 구성을, 벡터 · 의미 검색은 낱말 대신 특징 값으로 찾는 방식을, 지식 그래프 · 시맨틱 웹은 기계가 읽는 뜻을 맡는다.
그림 3 · 정보 검색(IR)이 색인 · 질의 처리 · 순위 · 결과 · 평가 네 단계의 기법을, 검색 엔진이 그 단계를 한 시스템으로, 벡터 · 의미 검색이 특징 값 비교를, 지식 그래프 · 시맨틱 웹이 의미 표현을 맡는다.
| 갈래 | 푸는 문제 | 다루는 단위 | 아래 토픽 | 대표 값 · 근거 |
|---|---|---|---|---|
| 정보 검색(IR) | 낱말에서 문서 번호를 곧바로 찾고, 후보를 적합한 순서로 놓고, 같은 잣대로 잼 | 색인어 · 게시 목록 · 점수 · 적합 판정 | 역색인 · 랭킹 · BM25 · 검색 평가 지표 · 적합성 피드백 | b 0.75 안팎(Robertson 1994 3절) · k1 1.2(Lucene BM25Similarity) · 시험 모음 평가 1992 ~(TREC 개요) |
| 검색 엔진 | 색인 · 질의 · 순위를 한 시스템으로 묶고 원격 자료까지 찾음 | 문서 모음 · 원격 질의 | 검색 엔진 구조 · 전문 검색 엔진 · 웹 크롤러 · 한국어 형태소 분석 · 색인 | Z39.50 = ISO 23950 · 후속 SRU · CQL(LoC Z39.50) |
| 벡터 · 의미 검색 | 낱말이 없는 영상 · 소리를 특징 값으로 찾음 | 특징 벡터 | 벡터 검색(ANN) · 하이브리드 검색 · 리랭킹 · 멀티모달 검색 | 색 · 질감 · 모양 특징 비교 |
| 지식 그래프 · 시맨틱 웹 | 기계가 데이터의 뜻을 읽고 관계를 따라 찾음 | 트리플(주어 · 술어 · 목적어) | 지식 그래프 · 온톨로지 · RDF · SPARQL · 시맨틱 웹 · 택소노미 · 시소러스 | RDF 1.1(2014 · 3.1절) · SPARQL 1.1(2013) |
관련 기술과의 경계는 «답이 정해져 있는가»로 나뉜다 — 조건에 맞는 행을 빠짐없이 돌려주는 SQL 질의는 데이터베이스, 데이터에서 패턴을 찾는 마이닝은 데이터 분석, 정렬된 배열에서 값 하나를 찾는 탐색 알고리즘은 컴퓨터 시스템의 알고리즘이 맡는다. 문장 뜻을 벡터로 비교하는 벡터 검색은 벡터 · 의미 검색이, 임베딩 모델과 LLM 답변에 검색 결과를 붙이는 RAG 는 AI 영역이 다룬다.
5동작 — 설비 문서 다섯 건에서 「펌프 진동」 찾기
사내 설비 문서 다섯 건(D1 ~ D5)에서 질의 「펌프 진동」을 처리하는 사례다. 문서 수 · 길이 · 출현 횟수 · 적합 판정은 설명용 가정 값이고, 점수는 Lucene 의 idf 식과 Robertson 1994 의 (k1 + 1) 꼴 BM25 식으로 직접 계산했다.
- 문서 다섯 건을 낱말로 나눈다 — 길이는 D1 8 · D2 20 · D3 6 · D4 10 · D5 16 낱말, 평균 길이 avgdl 은 12 다.
- 역색인을 만든다 — 펌프 → D1(2) · D2(1) · D3(1) · D4(1), 진동 → D1(1) · D2(3), 떨림 → D5(2)이며 괄호는 그 문서 안 출현 횟수 tf 다.
- 질의를 같은 규칙으로 나눠 두 게시 목록을 읽는다 — AND 는 교집합 D1 · D2, OR 는 합집합 D1 ~ D4 를 후보로 낸다.
- idf 를 ln(1 + (N − n + 0.5) / (n + 0.5))로 구한다(Lucene BM25Similarity) — 문서 4건에 든 펌프는 0.288, 2건에 든 진동은 0.875 라 흔한 낱말의 무게가 1/3 수준이다.
- BM25(k1 1.2 · b 0.75)로 낱말 점수를 더한다 — D1 1.450 · D2 1.430 · D3 0.362 · D4 0.309 이며, 진동이 세 번 나온 D2 는 길이 20 이라 D1 에 밀린다.
- 사람이 판정한 적합 문서 D1 · D2 · D5 로 평가한다 — AND 결과는 정밀도 1.00 · 재현율 0.67, OR 상위 3건(D1 · D2 · D3)은 정밀도 0.67 이다.
- 시소러스의 「진동 = 떨림」으로 질의를 넓히면 D5 가 1.743 으로 들어와, 상위 3건 D5 · D1 · D2 의 정밀도 · 재현율이 모두 1.00 이 된다.
그림 4 · 게시 목록이 후보를 정하고 BM25 가 순서를 정한다 — 진동이 세 번 나온 D2 는 길이 때문에 D1 보다 낮고, D5 는 확장 뒤에만 점수를 얻는다.
그림 5 · 순위는 이미 찾은 후보의 정밀도를, 어휘 확장은 놓친 문서의 재현율을 올린다 — 같은 적합 문서 셋을 두고 네 전략의 두 값이 다르게 움직인다.
🔑 순위는 이미 찾은 문서의 순서만 바꿔 정밀도를 올리고, 어휘 확장은 찾지 못한 문서를 불러와 재현율을 올린다 — 게시 목록에 없는 적합 문서는 어떤 순위 식으로도 끌어올릴 수 없다.
6비교 — 검색 · 데이터베이스 · 데이터 관리 · 데이터 분석의 경계
| 기준 | 검색 | 데이터베이스 | 데이터 관리 | 데이터 분석 |
|---|---|---|---|---|
| 맡는 일 | 정보 요구에 맞는 문서를 골라 순서대로 냄 | 공유 데이터를 저장하고 질의 · 갱신을 일관되게 처리 | 데이터의 정의 · 품질 · 이동을 정책으로 통제 | 쌓인 데이터를 집계 · 탐색해 판단 자료로 바꿈 |
| 다루는 단위 | 문서 · 색인어 · 게시 목록 | 테이블의 행 · 트랜잭션 | 데이터 항목 · 메타데이터 · 표준 코드 | 사실 테이블 · 차원 · 측정값 |
| 돌려주는 답 | 적합도 점수 순 후보 목록(사례 D1 1.450 › D2 1.430) | 조건을 만족하는 행 전부 · 순서는 질의가 지정 | 규칙 위반 목록 · 품질 측정 결과 | 합계 · 추세 · 군집(클러스터) |
| 대표 하위 토픽 | 역색인 · 랭킹(BM25) · 지식 그래프 | 트랜잭션 · 동시성제어 · 옵티마이저 | 데이터 거버넌스 · 메타데이터 · MDM | DW · OLAP · K-Means알고리즘 |
| 맞았는지 재는 잣대 | 정밀도 · 재현율(TREC 개요의 시험 모음) | 제약 · 트랜잭션 규칙을 지켰는가 | 같은 항목이 시스템마다 같은 값인가 | 원천 건수와 집계가 맞는가 |
| 끝나는 곳 | 후보의 순서를 정해 건넴 | 질의 결과 집합을 돌려줌 | 믿을 수 있는 원본을 정해 둠 | 해석된 지표를 대시보드에 올림 |
분석「빠진 행이 하나도 없어야 하는가」를 먼저 묻는다. 그렇다면 데이터베이스 질의로 풀고, 낱말이 어긋나도 쓸 만한 문서를 위에서부터 보여 주면 되는 일이면 검색, 값 자체가 시스템마다 다르면 데이터 관리, 쌓인 값의 경향을 묻는 일이면 데이터 분석으로 간다(근거 = 표의 「돌려주는 답」 · 「맞았는지 재는 잣대」 행).
7실무 진단 — 누락 · 순서 · 개선 판단의 단계 가르기
분석색인 → 질의 처리 → 순위 → 평가 순서로 본다. 문서가 게시 목록에 아예 없으면 순위 식을 바꿔도 결과에 오르지 않으므로(사례 5 · 7단계), 앞 단계부터 지워야 한 번에 한 단계씩 후보가 준다.
| # | 증상 | 의심 원인 | 단계 · 갈래 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 있는 문서가 결과에 안 나옴 | 색인 누락 · 낱말 분석 차이 | 색인 · 정보 검색(IR) | 문서를 분석기에 넣은 색인어 목록 · 게시 목록 | 문서의 낱말이 색인어에 없으면 색인 · 있는데 질의어와 다르면 어휘 불일치 → 시소러스 확장 |
| 2 | 결과는 나오는데 짧은 문서만 위로 옴 | 길이 정규화 과다 | 순위 · 정보 검색(IR) | Lucene IndexSearcher.explain() 점수 내역 | b 가 1 에 가까울수록 긴 문서의 tf 를 크게 깎음 · 출발값 b 0.75(Robertson 1994 3절 · Lucene BM25Similarity) |
| 3 | 흔한 낱말 하나 때문에 엉뚱한 문서가 섞임 | OR 질의 · 불용어 미처리 | 질의 처리 | 질의 해석 결과 · 낱말별 idf | idf 가 0 에 가까운 낱말(대부분 문서에 있음)은 후보만 늘림 · 사례 펌프 0.288 |
| 4 | 바꾼 설정이 나아졌는지 판단 못 함 | 시험 모음 없음 | 결과 · 평가 · 정보 검색(IR) | 고정 질의 · 적합 판정 모음 | 같은 시험 모음으로 정밀도 · 재현율을 전후 비교(TREC 개요의 시험 모음 방식) |
1행과 2행은 둘 다 「원하는 문서가 안 보인다」지만, 점수 내역에 그 문서가 아예 없으면 1행 · 낮은 점수로 있으면 2행이다. 4행은 설정을 바꾸기 전에 먼저 갖춰 둘 항목이다.
8시험 대비
www.q-net.or.kr시험에서는 정보 검색 시스템의 구성과 색인 · 순위 · 평가를 묻는 정의 · 특징형, 낱말 일치 검색과 시맨틱 검색 또는 불리언 · 벡터 · 확률 모델을 견주는 비교형이 나올 수 있다. 정의 · 특징형이면 그림 3 의 단계 지도에 네 갈래를 얹고, 비교형이면 표현 단위 · 순위 근거 · 어휘 불일치 처리 · 표준 네 줄로 비교한다.
- 개요 — 정의(정보 검색 분야) · 데이터베이스 질의와 차이(정답 집합 ↔ 적합도 순위) · 1975 벡터 모델 → 1992 TREC → 1994 BM25 → 2014 RDF 1.1
- 구성 — 그림 3 단계 지도(색인 · 질의 처리 · 순위 · 결과 · 평가 · 의미 표현)와 네 갈래
- 핵심 기법 — 그림 4 역색인 게시 목록 · BM25(k1 1.2 · b 0.75 · idf 식) · 길이 정규화
- 평가 — 그림 5 네 전략의 정밀도 · 재현율 + 시험 모음 · 적합 판정
- 시맨틱 검색 — 트리플(주어 · 술어 · 목적어) · RDF · SPARQL · 개체 관계 질의 · 시소러스 확장
- 동향 · 고려사항 — 벡터 · 의미 검색(멀티모달 · 하이브리드) · AI 영역 RAG 와의 결합 · 필터링 · Z39.50 후속 SRU
꼭 쓸 키워드
역색인tfidfBM25길이 정규화정밀도재현율적합성 피드백시소러스RDF 트리플
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 적합 문서 셋에서 순위와 어휘 확장이 정밀도 · 재현율을 각각 어떻게 움직이는지 한 그래프로 보이는 것이다. Search 2.0 은 지금은 잘 쓰지 않는 기술 · 기출 용어라서 이름만 짚는다.
9오해와 사실
- 오해검색은 데이터베이스의 조건 질의와 같은 일이다.사실SQL 질의는 각 행이 조건에 맞는지 참 · 거짓으로 가려 맞는 행을 빠짐없이 돌려주고, 검색은 부분 일치한 후보에 적합도 점수를 매겨 순서를 돌려준다 — 사례에서 OR 후보 4건은 1.450 ~ 0.309 의 점수로 줄 선다.
- 오해낱말이 많이 나올수록 점수가 계속 오른다.사실BM25 의 k1 은 단어 빈도의 비선형 포화를, b 는 문서 길이 정규화를 맡는다(Lucene BM25Similarity) — 사례에서 진동 3회인 D2(길이 20)가 1회인 D1(길이 8)보다 낮다.
- 오해정밀도가 1.00 이면 좋은 검색이다.사실사례의 AND 질의는 정밀도 1.00 이지만 「떨림」으로 쓴 D5 를 놓쳐 재현율이 0.67 이다 — 두 값을 함께 봐야 한다.
10핵심 정리
| 기법 | 갈래 | 입력 → 출력 | 대표 값 | 확인 지표 |
|---|---|---|---|---|
| 역색인 | 정보 검색(IR) | 문서 → 낱말별 게시 목록 | 펌프 → D1 ~ D4 | 색인어 · 문서 수 n |
| Trie | 정보 검색(IR) | 글자열 → 나무 경로 | Fredkin 1960 | 접두어 일치 |
| 랭킹 · BM25 | 정보 검색(IR) | 질의 + 후보 → 점수 순위 | k1 1.2 · b 0.75 | 점수 내역(explain) |
| 적합성 피드백 | 정보 검색(IR) | 적합 표시 → 고친 질의 | 표시한 문서의 낱말 추가 | 다음 질의 정밀도 |
| 멀티모달 검색 | 벡터 · 의미 검색 | 영상 · 소리 → 특징 값 비교 | 색 · 질감 · 모양 | 상위 k 건 적합 수 |
| 검색 평가 지표 | 정보 검색(IR) | 결과 + 적합 판정 → 지표 | AND 정밀도 1.00 · 재현율 0.67 | 정밀도 · 재현율 |
| 필터링 | 검색 엔진 | 들어오는 문서 흐름 → 통과 · 차단 | 고정 관심사 프로필 | 잘못 막음 · 놓침 |
| 지식 그래프 | 지식 그래프 · 시맨틱 웹 | 개체 · 관계 → 트리플 | RDF 1.1 · SPARQL 1.1 | 질의 결과 개체 수 |
11참고 문헌
- 먼저 볼 문헌
- ★ Okapi at TREC-3 (Overview of the Third Text REtrieval Conference, NIST SP 500-225) — BM11 · BM15 를 하나로 묶은 BM25 의 단어 빈도 · 문서 길이 식과 b 0.75 를 원문으로 볼 때
- ★ Text REtrieval Conference (TREC) Overview — 대규모 시험 모음으로 검색 시스템을 평가하는 틀이 언제 · 누구에 의해 시작됐는지 볼 때
- ★ Apache Lucene 10.4.0 BM25Similarity — 오픈소스 검색 라이브러리가 쓰는 idf 식과 k1 · b 기본값을 볼 때
- ★ RDF 1.1 Concepts and Abstract Syntax (W3C Recommendation 25 February 2014) — 시맨틱 웹 데이터의 기본 단위인 트리플(주어 · 술어 · 목적어)과 IRI 를 볼 때
- ★ Z39.50 Maintenance Agency Page (ISO 23950 · ANSI/NISO Z39.50) — 원격 데이터베이스 검색 프로토콜의 표준 번호와 후속 SRU · CQL 을 볼 때
- 본문 근거
- A vector space model for automatic indexing (Communications of the ACM 18(11) 613-620) — G. Salton · A. Wong · C. S. Yang · ACM · 1975-11 ·
doi.org/10.1145/361219.361220· 확인 2026-11-09 - Trie memory (Communications of the ACM 3(9) 490-499) — E. Fredkin · ACM · 1960-09 ·
doi.org/10.1145/367390.367400· 확인 2026-11-09 - The Semantic Web (Scientific American 284(5) 34-43) — T. Berners-Lee · J. Hendler · O. Lassila · Scientific American · 2001-05 ·
doi.org/10.1038/scientificamerican0501-34· 확인 2026-11-09 - SPARQL 1.1 Query Language (W3C Recommendation 21 March 2013) — W3C · 2013-03 ·
www.w3.org/TR/sparql11-query/· 확인 2026-11-09 - RDF 1.2 Concepts and Abstract Syntax (W3C Candidate Recommendation Snapshot 07 April 2026) — W3C · 2026-04 ·
www.w3.org/TR/rdf12-concepts/· 확인 2026-11-09 - Apache Lucene 10.4.0 package org.apache.lucene.search.similarities — The Apache Software Foundation · 2026-11 ·
lucene.apache.org/core/10_4_0/core/org/apache/lucene/search/similarities/package-summary.html· 확인 2026-11-09