검색 엔진Search Engine
웹 · 사내 문서를 모으고(웹 크롤러) 낱말로 나눠(한국어 형태소 분석) 색인을 만든 뒤 질의에 답하는(전문 검색 엔진) 시스템 부품과 그 전체 배치(검색 엔진 구조)를 묶은 것이다. 점수 식 · 평가 이론은 정보 검색, 의미 벡터 비교는 벡터 · 의미 검색이 맡는다.
1요약
- 검색 엔진은 검색 가운데 수집 → 분석 → 색인 → 질의 처리를 실제로 돌리는 시스템 부품을 모은 것으로, 수집 예절은 RFC 9309(2022) 가, 색인은 세그먼트를 더하고 합치는 방식(Lucene 10.4 색인 형식)이 받치며 그 위에서 사이트 검색 · 사내 문서 검색 · 로그 검색이 돈다.
- 점수 식만 있고 이 부품이 없으면 새 글은 모이지 않고, 조사가 붙은 「주차장을」은 「주차장」으로 찾히지 않으며, 조각 하나만 느려도 질의 전체가 느려진다 — 아래 사례에서 조각 10개 가운데 하나라도 늦을 확률은 9.6% 다.
- 「새 글이 검색되지 않는다」는 문서가 어느 단계에서 멈췄나로 가른다 — 수집 기록에 없으면 크롤러, 수집됐는데 낱말이 다르면 분석, 낱말은 맞는데 아직 안 보이면 색인의 새로 고침이다.
2등장 배경
웹 문서가 사람이 만든 분류 목록으로는 따라갈 수 없을 만큼 늘자, 문서를 기계가 모으고 색인해 답하는 시스템이 필요해졌다. 한 프로그램이 모으기 · 색인 · 답하기를 함께 하면 수집이 밀릴 때 질의 응답까지 멈춘다.
1998년 Brin · Page 는 대규모 웹 검색 엔진을 수집 · 색인 · 검색 프로그램으로 나눈 구조를 발표했고(Brin · Page 1998), 1999년 Heydon · Najork 는 부품을 갈아 끼울 수 있는 확장형 크롤러 Mercator 를 냈다(Heydon · Najork 1999). 1994년 관행으로 시작한 robots.txt 는 2022년 RFC 9309 로 표준이 됐다(RFC 9309 초록).
한국어는 낱말에 조사 · 어미가 붙는 교착어라 띄어쓰기 단위로 색인하면 「주차장을」 · 「주차장은」이 다른 색인어가 된다. 지금은 세그먼트 색인 라이브러리와 한국어 형태소 분석기(Lucene Nori)가 오픈소스로 공개돼, 사내 검색도 같은 네 단계로 짓는다.
3쉽게 이해하기 — 시립 도서관 분관의 새 책 찾기
시립 도서관 분관의 정 사서는 출판사 서가를 돌며 «가져가도 됨» 안내판이 붙은 칸의 새 책만 받아 온다. 정리실에서는 책 문장을 낱말로 쪼개 토씨를 떼고 낱말 카드를 새 서랍에 꽂으며, 밤에는 작은 서랍들을 큰 서랍 하나로 합친다. 안내 데스크는 손님이 묻는 「주차장 공사」 책도 같은 장부로 쪼개 서랍마다 묻고 답을 모아 건넨다.
그림 1 · 새 책은 허락받은 서가에서 출발해 낱말로 쪼개지고 서랍에 꽂힌 뒤에야 안내 데스크가 찾아 줄 수 있다.
그림 2 · 정리실과 안내 데스크가 같은 낱말 장부를 써야 카드의 낱말과 손님의 낱말이 맞는다 — 질의 쪽만 다르게 자르면 있는 책도 못 찾는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 출판사 서가의 안내판 | robots.txt · sitemap | 수집 금지 경로와 새로 바뀐 주소를 알린다(RFC 9309 · sitemaps.org) |
| 순회 사서 | 웹 크롤러 | 허락된 주소만 받아 오고 같은 서버를 몰아 두드리지 않는다 |
| 정리실의 낱말 쪼개기 | 한국어 형태소 분석 | 조사 · 어미를 떼고 합성 명사를 나눠 색인어를 만든다 |
| 낱말 카드 | 색인어 · 게시 목록 | 낱말마다 그 낱말이 든 문서 번호를 담는다 |
| 새 서랍 | 세그먼트 | 새 문서를 담은 작은 독립 색인으로, 따로 검색할 수 있다 |
| 밤의 서랍 합치기 | 세그먼트 병합 | 작은 세그먼트를 큰 것으로 합치며 지운 문서를 뺀다 |
| 안내 데스크 | 질의 처리 · 조각 모음 | 질의를 같은 규칙으로 쪼개 조각마다 묻고 상위 결과를 합친다 |
| 손님 | 사용자 · 질의 | 낱말 몇 개로 원하는 문서를 묻는다 |
⚠ 비유가 맞지 않는 곳: 사서는 안내판을 어기면 꾸중을 듣지만 robots.txt 는 따를지를 크롤러에 맡기는 약속이라 접근 통제가 아니다(RFC 9309 1절). 또 서랍 합치기는 밤에 한 번이 아니라 색인이 자라는 동안 수시로 일어난다.
4구조 — 색인 길과 질의 길의 네 토픽
네 토픽은 문서가 색인으로 들어가는 «색인 길»과 질의가 결과로 나오는 «질의 길»을 나눠 맡는다. 형태소 분석은 두 길에 함께 들어가며, 색인과 질의가 같은 규칙을 쓰는 것이 검색 엔진의 첫 조건이다.
그림 3 · 크롤러 · 분석 · 색인이 색인 길을, 같은 분석 규칙과 조각 검색이 질의 길을 맡고, 검색 엔진 구조는 두 길을 감싼 배치 전체다.
| 토픽 | 맡는 일 | 입력 → 출력 | 핵심 규칙 · 값 | 근거 |
|---|---|---|---|---|
| 웹 크롤러 | 허락된 주소를 골라 받아 옴 | 주소 목록 → 문서 원본 | 가장 긴 규칙이 이김 · robots.txt 캐시 24시간 이하 · 5xx 면 전체 금지로 봄 | RFC 9309 2.2.2 · 2.4 · 2.3.1.4절 |
| 한국어 형태소 분석 · 색인 | 문장을 색인어로 나눔 | 문장 → 형태소 · 품사 | 최소 비용 분할 · 합성어 분해 기본 DISCARD · 사용자 사전 | Lucene Nori · DecompoundMode |
| 전문 검색 엔진 | 색인을 만들고 갱신 | 색인어 → 세그먼트 | 새 문서 = 새 세그먼트 · 병합 때 삭제 문서 제거 · 커밋 전 변경도 새로 고침으로 검색 | Lucene 10.4 색인 형식 · DirectoryReader |
| 검색 엔진 구조 | 수집 · 색인 · 응답의 배치와 조각 · 사본 | 질의 → 조각별 결과 → 합친 목록 | 조각 수가 늘면 «가장 느린 조각»이 질의 시간을 정함 | 동작 7단계 직접 계산 |
🔑 검색 엔진은 «무엇이 더 맞나»가 아니라 «그 문서가 제때 후보에 들어오나»를 맡는다 — 수집 · 분석 · 색인 중 한 곳에서 빠진 문서는 점수 식이 아무리 좋아도 결과에 오르지 않는다.
5동작 — 새 공지 한 건이 검색되기까지
가정 사이트 example.org 에 11-13 올라온 공지 「주차장 공사 안내」가 검색되기까지의 사례다. 주소 · 날짜 · 새로 고침 간격 · 조각 수 · 지연 확률은 설명용 가정 값이고 비율은 직접 계산했다.
- 크롤러가
robots.txt를 읽는다 —Disallow: /admin/과Allow: /admin/notice/가 함께 걸리는/admin/notice/0413은 더 긴 Allow 가 이겨 수집한다(RFC 9309 2.2.2절). sitemap.xml의 이 주소lastmod2026-11-13 이 지난 수집일 11-10 보다 늦어 다시 받을 대상이 된다(sitemaps.org · 파일당 50,000 주소 한도).- 페이지를 받아 메뉴 · 꼬리말을 빼고 제목 · 본문만 남긴다.
- 형태소 분석기가 「주차장을 공사합니다」를 주차장 · 공사로 나누고 조사 · 어미를 버린다 — 합성 명사는 기본 모드에서 나눈 낱말만 남는다(Lucene DecompoundMode · DISCARD).
- 색인기가 문서를 새 세그먼트로 쓰고, 1초 간격 새로 고침 뒤 커밋 전에도 검색에 보인다(Lucene DirectoryReader · 근실시간 리더).
- 질의 「주차장 공사」를 같은 분석기로 나눠 조각 10개에 동시에 보내고, 조각마다 받은 상위 10건을 합쳐 상위 10건을 낸다 — 점수 계산은 정보 검색의 순위 식이 다룬다.
- 조각 하나가 느릴 확률을 1% 로 두면 질의가 느려질 확률은 1 − 0.99^10 = 9.6%, 조각 20개면 18.2% 다.
그림 4 · 공지 한 건은 세 토픽의 단계를 차례로 지나야 검색되고, 조각이 10개에서 20개로 늘면 느린 질의 비율이 9.6% 에서 18.2% 로 거의 두 배가 된다.
그림 5 · 색인은 이미 쓴 세그먼트를 고치지 않고 새 세그먼트를 더하며, 지운 문서는 표시만 해 두었다가 병합 때 비로소 빠진다.
🔑 색인 갱신은 «고쳐 쓰기»가 아니라 «더하고 나중에 합치기»다 — 그래서 새 글은 새로 고침만으로 보이지만, 지운 문서의 디스크 용량은 병합이 끝나야 돌아온다.
6비교 — 검색 엔진과 관련 기술의 경계
| 기술 | 맡는 일 | 검색 엔진과의 경계 | 넘기는 곳 |
|---|---|---|---|
| 정보 검색(IR) | 역색인 · 순위 식 · 평가 지표의 원리 | 점수를 «어떻게 매기나»는 그쪽, 문서가 «색인에 들어와 있나»는 검색 엔진 | BM25 인자 · 정밀도 · 재현율 → 정보 검색(IR) |
| 벡터 · 의미 검색 | 임베딩 벡터의 근사 최근접 탐색 · 하이브리드 · 리랭킹 | 낱말 색인 대신 벡터 색인을 쓰는 질의 길이고, 수집 · 갱신 · 조각 배치는 검색 엔진과 같다 | ANN 색인 · 리랭킹 → 벡터 · 의미 검색 |
| 지식 그래프 · 시맨틱 웹 | 개체 사이 관계를 트리플로 적고 따라감 | 문서 낱말이 아니라 개체 관계를 질의하며, 결과가 문서 목록이 아니라 개체 · 관계다 | RDF · SPARQL → 지식 그래프 · 시맨틱 웹 |
| 데이터베이스 | 조건에 맞는 행 전부를 일관되게 돌려줌 | 갱신 즉시 일관된 결과가 필요하면 DB, 1초 안팎 늦게 보여도 되는 낱말 찾기면 검색 엔진 | 트랜잭션 · 질의 처리 → 데이터베이스 |
분석«문서가 결과에 없다»는 질문은 검색 엔진에서 시작하고, «있는데 순서가 이상하다»는 정보 검색(IR) 으로, «낱말이 달라도 뜻으로 찾고 싶다»는 벡터 · 의미 검색으로 넘긴다. 근거는 구조 절 표 — 네 토픽이 바꾸는 것은 수집 범위 · 색인어 · 갱신 시점 · 조각 배치이고 점수 식은 그대로다.
7실무 진단 — 문서가 멈춘 단계 가르기
분석수집 → 분석 → 색인 → 응답 순서로 본다. 앞 단계에서 빠진 문서는 뒤 단계를 고쳐도 나오지 않고(구조 절 핵심), 수집 기록 · 분석 결과는 질의 한 번 없이 바로 확인되기 때문이다.
| # | 증상 | 의심 원인 | 토픽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 새 글이 며칠째 안 나옴 | robots.txt 금지 · 응답 오류 · lastmod 미갱신 | 웹 크롤러 | 수집 로그 · robots.txt 응답 코드 · sitemap | 5xx 면 전체 금지로 봄(RFC 9309 2.3.1.4절) · 4xx 면 수집 가능(2.3.1.3절) |
| 2 | 수집됐는데 낱말로 안 찾힘 | 색인 · 질의 분석기가 다름 · 미등록 고유명사 | 한국어 형태소 분석 | 같은 문장을 두 분석기에 넣은 토큰 목록 | 토큰이 다르면 분석 문제 · 사전에 없는 낱말이면 사용자 사전(Lucene Nori) |
| 3 | 고친 글이 잠깐 옛 내용으로 나옴 | 새로 고침 전 리더 | 전문 검색 엔진 | 새로 고침 간격 · 마지막 갱신 시각 | 리더를 다시 열면 커밋 전 변경도 보임(Lucene DirectoryReader) |
| 4 | 문서를 지웠는데 용량이 그대로 | 삭제 표시만 됨 | 전문 검색 엔진 | 세그먼트별 삭제 문서 수 | 삭제 문서는 병합 때 빠짐(Lucene 10.4 색인 형식) |
| 5 | 가끔만 느린 질의 | 조각 하나의 꼬리 지연 | 검색 엔진 구조 | 조각별 응답 시간 분포 | 질의 시간 = 가장 느린 조각 · 조각 수가 늘수록 비율 상승(동작 7단계) |
1 · 2행은 둘 다 「안 찾힌다」지만 수집 로그에 그 주소가 없으면 1행, 있는데 색인어 목록에 낱말이 없으면 2행이다.
8시험 대비
www.q-net.or.kr시험에서는 검색 엔진의 구성 요소와 처리 흐름을 묻는 구조 · 구성형, 웹 크롤러 · 형태소 분석 · 색인 갱신을 차례로 설명하게 하는 동작 · 절차 설명형이 나올 수 있다. 구조형이면 색인 길 · 질의 길 두 줄 도식에 네 구성 요소를 얹고, 절차형이면 문서 한 건이 수집에서 검색 결과까지 가는 단계에 규칙 값(RFC 9309 · 새로 고침 · 병합)을 붙인다.
- 개요 — 검색 엔진 정의 · 정보 검색 이론과 차이(원리 ↔ 시스템) · 1998 대규모 웹 검색 엔진 구조 → 2022 RFC 9309
- 구성 — 그림 3 색인 길 · 질의 길(크롤러 · 형태소 분석 · 색인 · 조각 검색)
- 수집 — robots.txt 가장 긴 일치 · 24시간 캐시 · 5xx 전체 금지 · sitemap lastmod
- 색인 갱신 — 그림 5 세그먼트 추가 · 병합 · 삭제 표시 · 근실시간 새로 고침
- 처리 흐름 — 그림 4 공지 한 건 일곱 단계 · 조각 수와 꼬리 지연(9.6% → 18.2%)
- 고려 사항 — 한국어 조사 · 합성어 · 사용자 사전 · 색인 · 질의 분석기 일치
꼭 쓸 키워드
웹 크롤러Robots Exclusion Protocolsitemap형태소 분석합성어 분해사용자 사전세그먼트병합근실시간 검색샤딩
다른 답안과 차이를 내는 한 가지는 그림 4 처럼 조각 수가 늘 때 느린 질의 비율을 1 − 0.99^N 으로 계산해, 조각을 무작정 늘리는 설계의 대가를 숫자로 보이는 것이다.
9오해와 사실
- 오해robots.txt 에 Disallow 를 쓰면 그 페이지는 외부에서 볼 수 없다.사실robots.txt 는 크롤러가 따르기로 한 약속이고 접근 통제 수단이 아니어서, 막아야 할 페이지는 인증으로 보호해야 한다(RFC 9309 1절).
- 오해문서를 지우면 색인 용량이 바로 줄어든다.사실삭제는 세그먼트에 표시만 하고, 그 문서가 실제로 빠지는 것은 세그먼트 병합 때다(Lucene 10.4 색인 형식).
- 오해한국어도 띄어쓰기 단위로 색인하면 충분하다.사실조사 · 어미가 붙은 「주차장을」 · 「주차장은」이 서로 다른 색인어가 되므로 형태소 분석으로 낱말을 떼어야 같은 문서로 모인다(Lucene Nori).
10핵심 정리
| 구분 | 맡는 단계 | 입력 → 출력 | 대표 규칙 · 값 | 멈췄을 때 증상 | 근거 |
|---|---|---|---|---|---|
| 웹 크롤러 | 수집 | 주소 → 문서 원본 | 가장 긴 일치 · 캐시 24시간 · 5xx 전체 금지 | 새 글이 아예 없음 | RFC 9309 |
| sitemap | 수집 대상 알림 | 사이트 → 주소 · lastmod | 파일당 50,000 주소 | 바뀐 글을 늦게 받음 | sitemaps.org |
| 형태소 분석 | 분석 | 문장 → 형태소 · 품사 | 합성어 분해 DISCARD 기본 · 사용자 사전 | 낱말로 안 찾힘 | Lucene Nori |
| 세그먼트 색인 | 색인 | 색인어 → 독립 세그먼트 | 새 문서 = 새 세그먼트 · 병합 때 삭제 제거 | 용량이 안 줄어듦 | Lucene 10.4 색인 형식 |
| 근실시간 새로 고침 | 갱신 반영 | 쓰기 → 검색 가능 | 커밋 전 변경도 리더를 다시 열면 보임 | 옛 내용이 잠깐 보임 | Lucene DirectoryReader |
| 조각 · 사본 배치 | 응답 | 질의 → 조각별 상위 k → 합친 목록 | 느린 질의 비율 1 − (1 − p)^N | 가끔만 느림 | 동작 7단계 |
11참고 문헌
- 먼저 볼 문헌
- ★ RFC 9309 Robots Exclusion Protocol — 크롤러가 robots.txt 를 읽는 규칙 — 가장 긴 일치 · 24시간 캐시 · 4xx · 5xx 처리를 원문으로 볼 때
- ★ Sitemaps XML format (protocol 0.9) — 사이트가 수집할 주소 · lastmod 를 알리는 형식과 파일당 50,000 주소 한도를 볼 때
- ★ Apache Lucene 10.4.0 package org.apache.lucene.codecs.lucene104 (Index File Formats) — 색인이 세그먼트로 이뤄지고 새 세그먼트 추가 · 병합으로 자라며 삭제 문서가 병합 때 빠지는 규칙을 볼 때
- ★ Apache Lucene 10.4.0 KoreanTokenizer (Nori) — 한국어 형태소 분석기의 최소 비용 분할 · 사용자 사전 · 합성어 분해 기본값을 볼 때
- 본문 근거
- Apache Lucene 10.4.0 KoreanTokenizer.DecompoundMode — The Apache Software Foundation · 2026-11 ·
lucene.apache.org/core/10_4_0/analysis/nori/org/apache/lucene/analysis/ko/KoreanTokenizer.DecompoundMode.html· 확인 2026-11-14 - Apache Lucene 10.4.0 DirectoryReader — The Apache Software Foundation · 2026-11 ·
lucene.apache.org/core/10_4_0/core/org/apache/lucene/index/DirectoryReader.html· 확인 2026-11-14 - The anatomy of a large-scale hypertextual Web search engine (Computer Networks and ISDN Systems 30(1-7) 107-117) — S. Brin · L. Page · Elsevier · 1998-04 ·
doi.org/10.1016/S0169-7552(98)00110-X· 확인 2026-11-14 - Mercator: A scalable, extensible Web crawler (World Wide Web 2(4) 219-229) — A. Heydon · M. Najork · Springer · 1999-12 ·
doi.org/10.1023/A:1019213109274· 확인 2026-11-14