IT › 데이터 › 검색

정보 검색(IR)Information Retrieval (IR)

문서 모음에서 질의에 맞는 후보를 역색인으로 찾고, 점수로 줄 세우고, 판정 묶음으로 재고, 사용자 판정으로 질의를 고치는 네 기법(역색인 · 랭킹 · 검색 평가 지표 · 적합성 피드백)을 묶은 것이다. 크롤링 · 분산 운영(검색 엔진)이나 임베딩 근접 탐색(벡터 · 의미 검색)이 아니라 낱말 기반 검색의 원리를 다룬다.

1요약

  1. 정보 검색(IR)은 역색인 → 랭킹 → 평가 → 적합성 피드백을 한 고리로 묶고, 그 위에서 검색 엔진의 질의 처리와 RAG 의 문서 찾기 단계가 돈다(Lucene 10.4 파일 형식).
  2. 학습한 영역에서는 임베딩 검색이 BM25 를 상위 20건 정확도로 9 ~ 19%p 앞서지만(Karpukhin 2020), 학습하지 않은 18개 데이터 모음에서는 BM25 가 여전히 강한 기준선이다(Thakur 2021) — 낱말 기반 고리를 먼저 갖추는 이유다.
  3. 「고쳤더니 나아졌다」는 같은 판정 묶음 · 같은 지표 · 판정 안 된 문서 비율 셋이 그대로일 때만 믿는다 — 하나라도 바뀌면 점수 차이는 기법이 아니라 잣대의 차이다.

2등장 배경

1960년대 도서관 · 논문 데이터베이스는 낱말이 맞는 문서를 한 묶음으로 돌려줄 뿐이라, 결과가 수백 건이면 사용자가 다 읽고 고르고 질의를 다시 짜야 했다. 1971년 Rocchio 는 SMART 시스템에서 사용자가 «맞다 · 아니다»로 표시한 문서로 질의 벡터를 옮기는 방법을 냈다(Rocchio 1971).

1992년 시작한 TREC Ad Hoc 은 1999년까지 189만 문서 · 정보 요구 450개를 두고, 참가 시스템 상위 결과만 모아 판정하는 풀링으로 평가 묶음을 만들었다(Cambridge IR 6강). 2002년 Järvelin · Kekäläinen 은 등급 판정과 순위 할인을 쓰는 누적 이득(nDCG)을 냈고(Järvelin · Kekäläinen 2002), 2006년 Zobel · Moffat 은 역색인의 압축 · 질의 처리를 정리했다(Zobel · Moffat 2006). 지금은 같은 Lucene 색인 안에 게시 목록과 벡터 그래프가 함께 들어간다(Lucene 10.4 파일 형식).

3쉽게 이해하기 — 분실물 센터의 물건 찾기

지하철 분실물 센터 직원 윤 씨는 물건이 들어오면 「검정 · 우산 · 나무 손잡이」처럼 낱말마다 보관 번호를 장부에 적는다. 손님이 「검은 우산」을 찾으면 장부에서 번호를 모아 가장 비슷한 것부터 꺼내 보이고, 손님은 「이건 비슷한데 이건 아니에요」라고 말한다. 윤 씨는 그 말을 듣고 「장우산 · 자동」을 더해 다시 찾고, 센터장은 매주 «맞는 물건이 몇 번째에 나왔나»를 채점한다.

분실물 센터 — 찾고 · 줄 세우고 · 듣고 · 채점한다 손님 「검은 우산 찾아요」 사용자 · 질의 1 보관 장부 낱말마다 보관 번호 역색인 2 직원 윤 씨 비슷한 것부터 꺼냄 랭킹 · BM25 3 손님의 말 「이건 비슷 · 이건 아님」 적합성 피드백 찾는 말 고침 「장우산 · 자동」 더함 고친 질의 4 센터장 채점 맞는 물건이 몇 번째? 검색 평가 지표 순서를 점수로 찾기 고리 채점에 넘김 색인 순위 규칙 사람 평가 질의

그림 1 · 장부가 후보를, 직원이 순서를, 손님 말이 다음 찾기를, 센터장 채점이 방법의 좋고 나쁨을 맡는다 — 넷이 한 고리로 돈다.

장부 적기낱말마다 보관 번호
번호 모으기찾는 말의 번호를 꺼냄
줄 세우기비슷한 것부터 보임
손님 말비슷함 · 아님 표시
말 고치기낱말을 더해 다시 찾음
주간 채점맞는 물건의 순번을 셈
비유 — 센터장의 채점 실제 — 순위 할인 맞는 우산을 첫째에 보임 → 1점 같은 우산을 셋째에 보임 → 0.5점 · 손님이 두 개를 먼저 봄 1위 1.00 2위 0.63 3위 0.50 4위 0.43 5위 0.39 경계 — 랭킹은 순서를 내고, 평가 지표는 순서를 점수로 바꾼다 할인 값 = 1 / log2(순위 + 1) 굵은 테두리 = 비유의 셋째(0.5점)

그림 2 · 직원은 순서만 정하고, 채점은 그 순서에 할인을 매겨 점수로 바꾼다 — 같은 우산도 셋째에 보이면 첫째의 절반만 센다.

비유 속 역할실제 이름실제로 하는 일
손님의 물음질의 · 정보 요구찾는 것을 낱말로 낸다
낱말별 보관 장부역색인색인어마다 그 낱말이 든 문서 번호 목록을 둔다
직원이 줄 세움랭킹 · BM25후보마다 점수를 매겨 높은 순으로 낸다
「비슷 · 아님」 말적합성 피드백표시된 문서로 질의 낱말 무게를 옮긴다
「장우산」 더함질의 확장적합 문서에 있던 낱말을 질의에 더한다
센터장 주간 채점검색 평가 지표판정 묶음으로 P@k · AP · nDCG 를 센다
지난주 분실 신고 묶음판정 묶음(테스트 컬렉션)같은 질의 · 같은 판정으로 전후를 견준다

⚠ 비유가 맞지 않는 곳: 윤 씨는 우산을 눈으로 보고 판단하지만 랭킹 식은 낱말 횟수 · 문서 수 · 길이만 센다. 또 센터장은 모든 물건을 알지만, 실제 판정 묶음은 일부 문서만 판정되어 있어 판정 안 된 문서가 늘 남는다.

4구조 — 네 토픽의 고리와 넘기는 곳

네 토픽은 한 질의의 수명을 나눠 맡는다. 역색인은 «어느 문서가 후보인가», 랭킹은 «어떤 순서인가», 평가 지표는 «그 순서가 얼마나 좋은가», 적합성 피드백은 «다음 질의를 어떻게 고치나»만 정한다.

질의 낱말 · 무게 역색인 후보 집합 랭킹 · BM25 순위 목록 · 점수 사용자 판정 적합 · 비적합 검색 평가 지표 P@k · AP · nDCG ← 판정 묶음 적합성 피드백 Rocchio · 의사 피드백 → 고친 질의 판정을 질의로 재기 넘기는 곳 크롤링 · 분산 운영 → 검색 엔진 임베딩 후보 → 벡터 · 의미 검색 개체 관계 → 지식 그래프 굵은 화살 = 한 질의가 지나는 길 · 회색 화살 = 판정을 평가로 넘김

그림 3 · 후보를 정하는 역색인과 순서를 정하는 랭킹은 한 번 돌고, 평가 지표와 적합성 피드백이 그 결과를 재고 질의로 되돌린다.

토픽푸는 문제입력 → 출력대표 값 · 형식근거
역색인질의마다 전체 문서를 읽지 않기색인어 → 문서 번호 · 빈도 · 위치어휘 사전 .tim · 빈도 .doc · 위치 .posLucene 10.4 파일 형식
랭킹 · BM25후보의 순서 정하기질의 · 후보 → 점수 순 목록낱말 빈도 · 문서 빈도 · 길이Zobel · Moffat 2006
검색 평가 지표순서가 좋은지 숫자로 재기순위 목록 + 판정 → 점수못 찾은 적합 문서는 정밀도 0 으로 셈Cambridge IR 6강
적합성 피드백다음 질의 고치기질의 + 판정 문서 → 고친 질의α 1.0 · β 0.75 · γ 0.15 · 음수 무게 0Cambridge IR 7강

🔑 역색인은 후보의 «집합», 랭킹은 그 집합 안의 «순서»만 바꾼다 — 평가 점수가 낮을 때 고칠 토픽은 적합 문서가 후보에 없었는지, 후보에 있는데 아래였는지로 정해진다.

5동작 — 「배터리 방전」 질의 한 건이 고리를 한 바퀴 도는 과정

휴대 기기 고객 지원 문서 모음에서 질의 「배터리 방전」을 처리한다. 문서 번호 · 낱말 무게 · 첫 순위 점수 · 판정 등급(2 매우 적합 · 1 적합 · 0 아님)은 설명용 가정 값이고, 지표 · 무게는 원문 식으로 직접 계산했다.

  1. 역색인을 연다 — 배터리 → d3 · d8 · d15 · d22 · d40 을 번호 간격 3 · 5 · 7 · 7 · 18 로, 방전 → d8 · d15 를 8 · 7 로 저장한다(Zobel · Moffat 2006).
  2. OR 로 후보 5건을 모으고 BM25 로 줄 세운다 — d8 · d40 · d3 · d22 · d15 순이고, 두 낱말이 다 든 d15 는 긴 문서라 다섯째다.
  3. 판정 묶음과 맞댄다 — 적합 문서는 d8(2) · d15(2) · d3(1) · d51(1) · d77(1) 다섯 건이고, d51 · d77 은 질의 낱말이 없어 후보에 없다.
  4. 지표를 센다 — P@5 0.60, AP = (1/1 + 2/3 + 3/5) ÷ 5 = 0.45, nDCG@5 = 3.27 ÷ 4.58 = 0.71 이다(Cambridge IR 6강 · Järvelin · Kekäläinen 2002).
  5. 사용자가 d8 · d15 를 적합, d40 을 비적합으로 표시하고 Rocchio 로 질의를 옮긴다 — 배터리 1.25 · 방전 1.41 · 충전 0.49 · 화면 −0.12 → 0 이다(Cambridge IR 7강).
  6. 고친 질의로 다시 찾는다 — 충전이 든 d51 이 후보에 들어오고 순서는 d8 · d15 · d3 · d51 · d22 가 된다.
  7. 같은 판정 묶음으로 다시 잰다 — P@5 0.80 · AP 0.80 · nDCG@5 0.92 로 오르지만, 「전원이 빨리 나감」이라고만 쓴 d77 은 여전히 없다.
1 게시 목록(번호 간격) 배터리 d3 d8 d15 d22 d40 간격 3 · 5 · 7 · 7 · 18 방전 d8 d15 간격 8 · 7 충전 d8 d15 d51 · 피드백 뒤 사용 2 첫 순위 1 d82 2 d400 3 d31 4 d220 5 d152 4 P@5 0.60 · AP 0.45 · nDCG 0.71 5 6 피드백 뒤 순위 1 d82 2 d152 3 d31 4 d511 5 d220 7 P@5 0.80 · AP 0.80 · nDCG 0.92 d77 (등급 1) 「전원이 빨리 나감」 — 배터리 · 방전 · 충전 어느 낱말도 없어 두 순위 모두에서 빠짐 오른쪽 숫자 = 판정 등급(2 매우 적합 · 1 적합 · 0 아님) 굵은 테두리 = 새로 들어온 문서 · 점선 상자 = 후보에 없는 적합 문서 질의 낱말 더한 낱말 놓친 적합 문서

그림 4 · 피드백 한 번으로 d51 이 후보에 들어와 세 지표가 함께 오르지만, 질의 낱말이 하나도 없는 d77 은 고리를 한 바퀴 돌아도 빠진다.

q' = 1.0 × q + 0.75 × 적합 중심 − 0.15 × 비적합 중심 0 1.0 2.0 배터리 1.25 방전 1.41 충전 0.49 · 새로 생김 화면 −0.12 → 0 으로 둠 나감 0 · 판정 문서 d8 · d15 · d40 어디에도 없음 원래 질의 몫(α) 적합 문서 몫(β) 비적합 문서 몫(γ · 뺌) 굵은 테두리 = 질의에 없던 낱말

그림 5 · Rocchio 는 적합 문서에 있던 낱말만 키우고 비적합 문서의 낱말은 0 아래로 내리지 않는다 — 어느 판정 문서에도 없는 낱말은 무게를 얻을 길이 없다.

🔑 적합성 피드백은 판정한 문서에 «이미 있는» 낱말로만 질의를 넓힌다 — 같은 뜻을 다른 말로 쓴 문서(d77)는 피드백을 몇 번 돌려도 오지 않고, 그런 문서는 벡터 · 의미 검색이 맡는다.

6비교 — 정보 검색(IR)과 관련 기술의 경계

기술맡는 일찾는 단위경계넘기는 곳
정보 검색(IR)후보 · 순서 · 평가 · 질의 고침의 원리색인어 · 게시 목록낱말이 맞아야 후보가 됨운영은 검색 엔진으로
검색 엔진크롤링 · 형태소 분석 · 분산 색인 운영웹 문서 · 샤드같은 원리를 대규모로 돌리는 쪽점수 식 · 지표는 정보 검색(IR)으로
벡터 · 의미 검색임베딩 근접 탐색(ANN) · 하이브리드 · 재순위벡터 · HNSW 그래프낱말이 달라도 뜻으로 후보를 냄평가는 같은 지표를 씀
지식 그래프 · 시맨틱 웹개체와 관계를 트리플로 찾음주어 · 술어 · 목적어문서 순위가 아니라 사실을 돌려줌문서 찾기는 정보 검색(IR)으로
RAG찾은 문서를 언어 모델 문맥에 넣음문단 조각검색 단계에 정보 검색(IR) 기법을 그대로 씀찾기 품질은 같은 지표로

분석놓친 적합 문서가 질의 낱말을 하나라도 갖고 있으면 피드백 · 확장으로 정보 검색(IR) 안에서 풀고, 하나도 없으면(사례 d77) 벡터 · 의미 검색을 함께 쓴다. 근거 = 학습 영역에서는 임베딩 검색이 앞서고(Karpukhin 2020) 처음 보는 영역에서는 BM25 가 강한 기준선이라(Thakur 2021) 둘을 같은 지표로 견줘 고른다.

7실무 진단 — 좋아진 줄 알았는데 나빠진 경우 가르기

분석지표가 오르면 먼저 판정 묶음 · 지표 · 판정 안 된 문서 비율이 전후로 같은지 보고, 같을 때만 기법을 의심한다. 잣대가 바뀌면 같은 순위도 점수가 달라지기 때문이다(Cambridge IR 6강 · MAP 의 미검색 0 규칙).

#증상의심 원인토픽확인 자료판정 기준(근거)
1피드백 뒤 결과가 엉뚱한 주제로 흐름의사 피드백이 비적합 상위 문서를 적합으로 씀적합성 피드백더해진 낱말 목록 · 무게상위 k 건 중 비적합이 많으면 k 를 줄이거나 끔(Cambridge IR 7강)
2P@10 은 오르는데 사용자는 나빠졌다고 함1위 · 2위가 바뀐 것을 P@k 가 못 봄검색 평가 지표등급 판정 · nDCG순서 차이는 순위 할인 지표로 봄(Järvelin · Kekäläinen 2002)
3새 방식만 점수가 낮게 나옴판정 묶음이 옛 방식 결과로 만든 풀검색 평가 지표상위 결과 중 판정 없는 문서 비율판정 없음이 많으면 판정을 더한 뒤 비교(TREC Ad Hoc 풀링 · Cambridge IR 6강)
4색인을 바꾼 뒤 지표가 크게 흔들림낱말 분석 규칙이 바뀌어 게시 목록이 달라짐역색인같은 문서의 색인어 전후 대조색인어가 다르면 랭킹 비교 전에 색인부터 맞춤(Lucene 10.4 파일 형식)

같은 질의 · 같은 판정 묶음 · 같은 trec_eval -m 측정 목록으로 전후를 돌리면 1 · 2행과 3 · 4행이 섞이지 않는다(trec_eval).

8시험 대비

출제 정보 컴퓨터시스템응용(66회) · 정보관리(69회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 역색인 · 랭킹 · 평가 · 피드백의 관계를 묻는 정의 · 특징형, 낱말 기반 검색과 벡터 검색 또는 평가 지표끼리를 견주는 비교형으로 나올 수 있다. 정의 · 특징형이면 그림 3 고리에 네 토픽을 얹고, 비교형이면 사례 한 건의 지표 변화와 d77 같은 어휘 불일치를 함께 보인다.

답안 목차
  1. 개요 — 정보 검색(IR)의 뜻 · 데이터베이스 질의와 차이(정답 집합 ↔ 순위 목록) · 1971 Rocchio → 1992 TREC → 2002 nDCG
  2. 구성 — 그림 3 네 토픽의 고리(후보 · 순서 · 평가 · 질의 고침)와 구조 표
  3. 동작 — 그림 4 「배터리 방전」 한 바퀴(P@5 0.60 → 0.80 · nDCG 0.71 → 0.92)
  4. 핵심 원리 — 그림 5 Rocchio 무게 변화(α 1.0 · β 0.75 · γ 0.15 · 음수 0)
  5. 비교 — 벡터 · 의미 검색 · 검색 엔진과의 경계 표 · BM25 기준선(BEIR 18개 데이터 모음)
  6. 고려 사항 — 판정 묶음 풀링 · 의사 피드백의 주제 흐름 · 하이브리드 검색

꼭 쓸 키워드
역색인게시 목록BM25P@k평균 정밀도(AP)nDCGRocchio 알고리즘의사 적합성 피드백풀링어휘 불일치

다른 답안과 차이를 내는 한 가지는 같은 질의 한 건으로 피드백 전후 세 지표를 숫자로 보이고, 피드백으로도 못 찾는 문서(d77)를 들어 벡터 검색이 필요한 경계를 짚는 것이다.

9오해와 사실

  • 오해벡터 검색이 나왔으니 BM25 는 버려도 된다.
    사실학습하지 않은 18개 데이터 모음에서 BM25 는 강한 기준선으로 남았고(Thakur 2021), Lucene 10.4 는 게시 목록과 벡터 그래프를 한 색인에 함께 둔다(Lucene 10.4 파일 형식).
  • 오해MAP 은 찾아낸 적합 문서의 정밀도만 평균한다.
    사실못 찾은 적합 문서는 정밀도 0 으로 넣어 적합 문서 전체 수로 나눈다(Cambridge IR 6강) — 사례 첫 순위 AP 가 0.76 이 아니라 0.45 인 이유다.
  • 오해적합성 피드백은 비적합 표시를 많이 할수록 좋아진다.
    사실비적합 몫 γ 0.15 는 적합 몫 β 0.75 보다 작게 두고, 음수가 된 무게는 0 으로 둔다(Cambridge IR 7강).

10핵심 정리

토픽묻는 질문다루는 값대표 식 · 값틀어지는 꼴넘기는 곳
역색인어느 문서가 후보인가게시 목록 · 번호 간격.tim · .doc · .pos분석 규칙 변경 · 누락운영은 검색 엔진
랭킹 · BM25어떤 순서인가낱말 빈도 · 문서 빈도 · 길이점수 높은 순긴 문서가 밀림재순위는 벡터 · 의미 검색
검색 평가 지표그 순서가 얼마나 좋은가판정 등급 · 순위P@k · AP · nDCG@k판정 없는 문서 · 지표 혼동측정 도구 trec_eval
적합성 피드백다음 질의를 어떻게 고치나적합 · 비적합 판정α 1.0 · β 0.75 · γ 0.15의사 피드백의 주제 흐름뜻 넓히기는 벡터 · 의미 검색
질의무엇을 찾는가낱말 · 무게고친 질의 q'어휘 불일치(d77)개체 관계는 지식 그래프
판정 묶음무엇이 정답인가질의 · 판정 쌍TREC Ad Hoc 450 요구 · 풀링옛 방식에 기운 풀판정 추가

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Inverted files for text search engines (ACM Computing Surveys 38(2) · Article 6) — 역색인의 어휘 사전 · 게시 목록 구성과 문서 번호 간격 압축을 처음부터 볼 때
    J. Zobel · A. Moffat · ACM · 2006-07 · doi.org/10.1145/1132956.1132959 · 확인 2026-11-14
  3. ★ Apache Lucene 10.4.0 package org.apache.lucene.codecs.lucene104 (Lucene 10.4 file format) — 실제 검색 라이브러리가 어휘 사전(.tim) · 빈도(.doc) · 위치(.pos)와 벡터(.vec · .vex)를 한 색인에 어떻게 나눠 두는지 볼 때
    The Apache Software Foundation · 2026-11 · lucene.apache.org/core/10_4_0/core/org/apache/lucene/codecs/lucene104/package-summary.html · 확인 2026-11-14
  4. ★ Lecture 6: Evaluation (Information Retrieval · Computer Science Tripos Part II) — MAP 에서 못 찾은 적합 문서를 0 으로 세는 규칙과 TREC Ad Hoc 판정 묶음(풀링)을 볼 때
    H. Yannakoudakis · University of Cambridge Computer Laboratory · 2018 · www.cl.cam.ac.uk/teaching/1718/InfoRtrv/slides/lecture6-evaluation.pdf · 확인 2026-11-14
  5. ★ Lecture 7: Relevance Feedback and Query Expansion (Information Retrieval · Computer Science Tripos Part II) — Rocchio 식의 α 1.0 · β 0.75 · γ 0.15 와 음수 무게를 0 으로 두는 규칙 · 의사 적합성 피드백을 볼 때
    H. Yannakoudakis · University of Cambridge Computer Laboratory · 2018 · www.cl.cam.ac.uk/teaching/1718/InfoRtrv/slides/lecture7-relevance-feedback.pdf · 확인 2026-11-14
  6. ★ BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models (arXiv 2104.08663v4) — 학습하지 않은 18개 데이터 모음에서 BM25 가 강한 기준선으로 남는다는 결과를 볼 때
    N. Thakur · N. Reimers · A. Rücklé · A. Srivastava · I. Gurevych · arXiv · 2021-10 · arxiv.org/abs/2104.08663 · 확인 2026-11-14
  7. 본문 근거
  8. Dense Passage Retrieval for Open-Domain Question Answering (arXiv 2004.04906v3) — V. Karpukhin 외 · arXiv · 2020-09 · arxiv.org/abs/2004.04906 · 확인 2026-11-14
  9. Cumulated gain-based evaluation of IR techniques (ACM Transactions on Information Systems 20(4) 422-446) — K. Järvelin · J. Kekäläinen · ACM · 2002-10 · doi.org/10.1145/582415.582418 · 확인 2026-11-14
  10. Relevance Feedback in Information Retrieval (in G. Salton (ed.) The SMART Retrieval System, Prentice-Hall) — J. J. Rocchio · Prentice-Hall · 1971 · www.bibsonomy.org/bibtex/21c3d4db290f8e1043d9b25ed7d49b31a/bsmyth · 확인 2026-11-14
  11. trec_eval — evaluation software used by the TREC community — NIST (usnistgov) · 2026-11 · github.com/usnistgov/trec_eval · 확인 2026-11-14