IT › 데이터 › 검색

검색 엔진Search Engine

웹 · 사내 문서를 모으고(웹 크롤러) 낱말로 나눠(한국어 형태소 분석) 색인을 만든 뒤 질의에 답하는(전문 검색 엔진) 시스템 부품과 그 전체 배치(검색 엔진 구조)를 묶은 것이다. 점수 식 · 평가 이론은 정보 검색, 의미 벡터 비교는 벡터 · 의미 검색이 맡는다.

1요약

  1. 검색 엔진은 검색 가운데 수집 → 분석 → 색인 → 질의 처리를 실제로 돌리는 시스템 부품을 모은 것으로, 수집 예절은 RFC 9309(2022) 가, 색인은 세그먼트를 더하고 합치는 방식(Lucene 10.4 색인 형식)이 받치며 그 위에서 사이트 검색 · 사내 문서 검색 · 로그 검색이 돈다.
  2. 점수 식만 있고 이 부품이 없으면 새 글은 모이지 않고, 조사가 붙은 「주차장을」은 「주차장」으로 찾히지 않으며, 조각 하나만 느려도 질의 전체가 느려진다 — 아래 사례에서 조각 10개 가운데 하나라도 늦을 확률은 9.6% 다.
  3. 「새 글이 검색되지 않는다」는 문서가 어느 단계에서 멈췄나로 가른다 — 수집 기록에 없으면 크롤러, 수집됐는데 낱말이 다르면 분석, 낱말은 맞는데 아직 안 보이면 색인의 새로 고침이다.

2등장 배경

웹 문서가 사람이 만든 분류 목록으로는 따라갈 수 없을 만큼 늘자, 문서를 기계가 모으고 색인해 답하는 시스템이 필요해졌다. 한 프로그램이 모으기 · 색인 · 답하기를 함께 하면 수집이 밀릴 때 질의 응답까지 멈춘다.

1998년 Brin · Page 는 대규모 웹 검색 엔진을 수집 · 색인 · 검색 프로그램으로 나눈 구조를 발표했고(Brin · Page 1998), 1999년 Heydon · Najork 는 부품을 갈아 끼울 수 있는 확장형 크롤러 Mercator 를 냈다(Heydon · Najork 1999). 1994년 관행으로 시작한 robots.txt 는 2022년 RFC 9309 로 표준이 됐다(RFC 9309 초록).

한국어는 낱말에 조사 · 어미가 붙는 교착어라 띄어쓰기 단위로 색인하면 「주차장을」 · 「주차장은」이 다른 색인어가 된다. 지금은 세그먼트 색인 라이브러리와 한국어 형태소 분석기(Lucene Nori)가 오픈소스로 공개돼, 사내 검색도 같은 네 단계로 짓는다.

3쉽게 이해하기 — 시립 도서관 분관의 새 책 찾기

시립 도서관 분관의 정 사서는 출판사 서가를 돌며 «가져가도 됨» 안내판이 붙은 칸의 새 책만 받아 온다. 정리실에서는 책 문장을 낱말로 쪼개 토씨를 떼고 낱말 카드를 새 서랍에 꽂으며, 밤에는 작은 서랍들을 큰 서랍 하나로 합친다. 안내 데스크는 손님이 묻는 「주차장 공사」 책도 같은 장부로 쪼개 서랍마다 묻고 답을 모아 건넨다.

출판사 서가 robots.txt 안내판: 금지 칸 새 책 목록 게시 순회 사서 웹 크롤러 허락된 칸만 돎 새 책만 받아 옴 정리실 형태소 분석 문장을 낱말로 토씨는 떼어 냄 카드 서랍 전문 검색 엔진 낱말 카드 꽂기 작은 서랍 합침 안내 데스크 검색 엔진 구조 손님 말도 쪼갬 서랍마다 묻기 1 2 3 4 1 허락된 책만 받음 · 2 낱말로 쪼갬 · 3 카드를 새 서랍에 · 4 서랍마다 묻고 모음 배지 = 실제 기술 · 배지 바탕 = 맡는 단계(공개 · 수집 · 분석 · 색인 · 응답)

그림 1 · 새 책은 허락받은 서가에서 출발해 낱말로 쪼개지고 서랍에 꽂힌 뒤에야 안내 데스크가 찾아 줄 수 있다.

책 받기허락된 칸의 새 책만
낱말 쪼개기토씨를 떼어 냄
카드 꽂기새 서랍에 넣음
서랍 합치기밤에 작은 서랍을 하나로
손님 응대서랍마다 묻고 모음
비유 정리실 「주차장을 고칩니다」 주차장 낱말 장부 하나 토씨 떼기 · 합성어 쪼개기 두 사람이 같은 장부 안내 데스크 「주차장 공사?」 주차장 카드의 낱말과 손님의 낱말이 같은 장부에서 나와야 맞춰진다 실제 색인 분석기 같은 사전 · 같은 품사 규칙 질의 분석기 「주차장을 공사합니다」 주차장 공사 「주차장 공사」 주차장 공사 같은 낱말 → 일치 질의 쪽만 두 글자씩 자르면 색인어 「주차장」과 맞지 않음 주차 차장 색 = 분석 규칙 · 뽑힌 낱말 · 맞지 않는 낱말 · 굵은 테두리 = 낱말 카드 · 문장 = 설명용 예

그림 2 · 정리실과 안내 데스크가 같은 낱말 장부를 써야 카드의 낱말과 손님의 낱말이 맞는다 — 질의 쪽만 다르게 자르면 있는 책도 못 찾는다.

비유 속 역할실제 이름실제로 하는 일
출판사 서가의 안내판robots.txt · sitemap수집 금지 경로와 새로 바뀐 주소를 알린다(RFC 9309 · sitemaps.org)
순회 사서웹 크롤러허락된 주소만 받아 오고 같은 서버를 몰아 두드리지 않는다
정리실의 낱말 쪼개기한국어 형태소 분석조사 · 어미를 떼고 합성 명사를 나눠 색인어를 만든다
낱말 카드색인어 · 게시 목록낱말마다 그 낱말이 든 문서 번호를 담는다
새 서랍세그먼트새 문서를 담은 작은 독립 색인으로, 따로 검색할 수 있다
밤의 서랍 합치기세그먼트 병합작은 세그먼트를 큰 것으로 합치며 지운 문서를 뺀다
안내 데스크질의 처리 · 조각 모음질의를 같은 규칙으로 쪼개 조각마다 묻고 상위 결과를 합친다
손님사용자 · 질의낱말 몇 개로 원하는 문서를 묻는다

⚠ 비유가 맞지 않는 곳: 사서는 안내판을 어기면 꾸중을 듣지만 robots.txt 는 따를지를 크롤러에 맡기는 약속이라 접근 통제가 아니다(RFC 9309 1절). 또 서랍 합치기는 밤에 한 번이 아니라 색인이 자라는 동안 수시로 일어난다.

4구조 — 색인 길과 질의 길의 네 토픽

네 토픽은 문서가 색인으로 들어가는 «색인 길»과 질의가 결과로 나오는 «질의 길»을 나눠 맡는다. 형태소 분석은 두 길에 함께 들어가며, 색인과 질의가 같은 규칙을 쓰는 것이 검색 엔진의 첫 조건이다.

검색 엔진 구조 — 색인 길과 질의 길 색인 길 웹 · 사내 문서 웹 크롤러 robots.txt · sitemap 한국어 형태소 분석 조사 떼기 · 합성어 나누기 전문 검색 엔진 세그먼트 색인 · 병합 질의 길 사용자 질의 질의 분석 색인과 같은 사전 조각 N개 동시 검색 조각별 상위 k 를 합침 읽기 같은 규칙 결과 목록 틀 밖 — 점수 식(BM25) · 평가 → 정보 검색(IR) · 의미 벡터 비교 → 벡터 · 의미 검색 점선 틀 = 검색 엔진 구조(배치 전체) · 색 = 수집(식별) · 분석(규칙) · 색인(데이터) · 응답(결과) · 점선 = 같은 규칙

그림 3 · 크롤러 · 분석 · 색인이 색인 길을, 같은 분석 규칙과 조각 검색이 질의 길을 맡고, 검색 엔진 구조는 두 길을 감싼 배치 전체다.

토픽맡는 일입력 → 출력핵심 규칙 · 값근거
웹 크롤러허락된 주소를 골라 받아 옴주소 목록 → 문서 원본가장 긴 규칙이 이김 · robots.txt 캐시 24시간 이하 · 5xx 면 전체 금지로 봄RFC 9309 2.2.2 · 2.4 · 2.3.1.4절
한국어 형태소 분석 · 색인문장을 색인어로 나눔문장 → 형태소 · 품사최소 비용 분할 · 합성어 분해 기본 DISCARD · 사용자 사전Lucene Nori · DecompoundMode
전문 검색 엔진색인을 만들고 갱신색인어 → 세그먼트새 문서 = 새 세그먼트 · 병합 때 삭제 문서 제거 · 커밋 전 변경도 새로 고침으로 검색Lucene 10.4 색인 형식 · DirectoryReader
검색 엔진 구조수집 · 색인 · 응답의 배치와 조각 · 사본질의 → 조각별 결과 → 합친 목록조각 수가 늘면 «가장 느린 조각»이 질의 시간을 정함동작 7단계 직접 계산

🔑 검색 엔진은 «무엇이 더 맞나»가 아니라 «그 문서가 제때 후보에 들어오나»를 맡는다 — 수집 · 분석 · 색인 중 한 곳에서 빠진 문서는 점수 식이 아무리 좋아도 결과에 오르지 않는다.

5동작 — 새 공지 한 건이 검색되기까지

가정 사이트 example.org 에 11-13 올라온 공지 「주차장 공사 안내」가 검색되기까지의 사례다. 주소 · 날짜 · 새로 고침 간격 · 조각 수 · 지연 확률은 설명용 가정 값이고 비율은 직접 계산했다.

  1. 크롤러가 robots.txt 를 읽는다 — Disallow: /admin/ 과 Allow: /admin/notice/ 가 함께 걸리는 /admin/notice/0413 은 더 긴 Allow 가 이겨 수집한다(RFC 9309 2.2.2절).
  2. sitemap.xml 의 이 주소 lastmod 2026-11-13 이 지난 수집일 11-10 보다 늦어 다시 받을 대상이 된다(sitemaps.org · 파일당 50,000 주소 한도).
  3. 페이지를 받아 메뉴 · 꼬리말을 빼고 제목 · 본문만 남긴다.
  4. 형태소 분석기가 「주차장을 공사합니다」를 주차장 · 공사로 나누고 조사 · 어미를 버린다 — 합성 명사는 기본 모드에서 나눈 낱말만 남는다(Lucene DecompoundMode · DISCARD).
  5. 색인기가 문서를 새 세그먼트로 쓰고, 1초 간격 새로 고침 뒤 커밋 전에도 검색에 보인다(Lucene DirectoryReader · 근실시간 리더).
  6. 질의 「주차장 공사」를 같은 분석기로 나눠 조각 10개에 동시에 보내고, 조각마다 받은 상위 10건을 합쳐 상위 10건을 낸다 — 점수 계산은 정보 검색의 순위 식이 다룬다.
  7. 조각 하나가 느릴 확률을 1% 로 두면 질의가 느려질 확률은 1 − 0.99^10 = 9.6%, 조각 20개면 18.2% 다.
1 2 3 4 5 6 7 robots.txt Allow 가 더 김 → 허용 sitemap lastmod 11-13 › 11-10 페이지 받기 본문만 남김 형태소 분석 주차장 · 공사 조사 버림 새로 고침 1초 뒤 검색에 보임 조각 10개 동시 질의 상위 10 합침 꼬리 지연 1 − 0.99^10 = 9.6% 웹 크롤러 형태소 분석 전문 검색 엔진 검색 엔진 구조 조각 수와 느린 질의 비율 조각 1개 1% 조각 10개 9.6% 7 조각 20개 18.2% 값 = 설명용 가정 값(조각 하나가 느릴 확률 1%) · 비율 = 1 − 0.99^N 직접 계산 · 색 = 수집 · 분석 · 색인 · 응답 · 느려짐

그림 4 · 공지 한 건은 세 토픽의 단계를 차례로 지나야 검색되고, 조각이 10개에서 20개로 늘면 느린 질의 비율이 9.6% 에서 18.2% 로 거의 두 배가 된다.

처음 S1 · 1,000건 세그먼트 1개 새로 고침 1 S1 · 1,000건 S2 · 20건 2개 삭제 · 새로 고침 2 S1 · 1,000건 삭제 3 S2 · 20건 S3 · 15건 3개 · 삭제 3 병합 병합 S4 · 1,032건 = 997 + 20 + 15 1개 · 삭제 0 굵은 테두리 = 새로 만든 세그먼트 · 삭제 상자 = 표시만 한 문서(병합 때 뺌) · 규칙 = Lucene 10.4 색인 형식 건수 = 설명용 가정 값 · 세그먼트마다 따로 검색할 수 있는 독립 색인이다

그림 5 · 색인은 이미 쓴 세그먼트를 고치지 않고 새 세그먼트를 더하며, 지운 문서는 표시만 해 두었다가 병합 때 비로소 빠진다.

🔑 색인 갱신은 «고쳐 쓰기»가 아니라 «더하고 나중에 합치기»다 — 그래서 새 글은 새로 고침만으로 보이지만, 지운 문서의 디스크 용량은 병합이 끝나야 돌아온다.

6비교 — 검색 엔진과 관련 기술의 경계

기술맡는 일검색 엔진과의 경계넘기는 곳
정보 검색(IR)역색인 · 순위 식 · 평가 지표의 원리점수를 «어떻게 매기나»는 그쪽, 문서가 «색인에 들어와 있나»는 검색 엔진BM25 인자 · 정밀도 · 재현율 → 정보 검색(IR)
벡터 · 의미 검색임베딩 벡터의 근사 최근접 탐색 · 하이브리드 · 리랭킹낱말 색인 대신 벡터 색인을 쓰는 질의 길이고, 수집 · 갱신 · 조각 배치는 검색 엔진과 같다ANN 색인 · 리랭킹 → 벡터 · 의미 검색
지식 그래프 · 시맨틱 웹개체 사이 관계를 트리플로 적고 따라감문서 낱말이 아니라 개체 관계를 질의하며, 결과가 문서 목록이 아니라 개체 · 관계다RDF · SPARQL → 지식 그래프 · 시맨틱 웹
데이터베이스조건에 맞는 행 전부를 일관되게 돌려줌갱신 즉시 일관된 결과가 필요하면 DB, 1초 안팎 늦게 보여도 되는 낱말 찾기면 검색 엔진트랜잭션 · 질의 처리 → 데이터베이스

분석«문서가 결과에 없다»는 질문은 검색 엔진에서 시작하고, «있는데 순서가 이상하다»는 정보 검색(IR) 으로, «낱말이 달라도 뜻으로 찾고 싶다»는 벡터 · 의미 검색으로 넘긴다. 근거는 구조 절 표 — 네 토픽이 바꾸는 것은 수집 범위 · 색인어 · 갱신 시점 · 조각 배치이고 점수 식은 그대로다.

7실무 진단 — 문서가 멈춘 단계 가르기

분석수집 → 분석 → 색인 → 응답 순서로 본다. 앞 단계에서 빠진 문서는 뒤 단계를 고쳐도 나오지 않고(구조 절 핵심), 수집 기록 · 분석 결과는 질의 한 번 없이 바로 확인되기 때문이다.

#증상의심 원인토픽확인 자료판정 기준(근거)
1새 글이 며칠째 안 나옴robots.txt 금지 · 응답 오류 · lastmod 미갱신웹 크롤러수집 로그 · robots.txt 응답 코드 · sitemap5xx 면 전체 금지로 봄(RFC 9309 2.3.1.4절) · 4xx 면 수집 가능(2.3.1.3절)
2수집됐는데 낱말로 안 찾힘색인 · 질의 분석기가 다름 · 미등록 고유명사한국어 형태소 분석같은 문장을 두 분석기에 넣은 토큰 목록토큰이 다르면 분석 문제 · 사전에 없는 낱말이면 사용자 사전(Lucene Nori)
3고친 글이 잠깐 옛 내용으로 나옴새로 고침 전 리더전문 검색 엔진새로 고침 간격 · 마지막 갱신 시각리더를 다시 열면 커밋 전 변경도 보임(Lucene DirectoryReader)
4문서를 지웠는데 용량이 그대로삭제 표시만 됨전문 검색 엔진세그먼트별 삭제 문서 수삭제 문서는 병합 때 빠짐(Lucene 10.4 색인 형식)
5가끔만 느린 질의조각 하나의 꼬리 지연검색 엔진 구조조각별 응답 시간 분포질의 시간 = 가장 느린 조각 · 조각 수가 늘수록 비율 상승(동작 7단계)

1 · 2행은 둘 다 「안 찾힌다」지만 수집 로그에 그 주소가 없으면 1행, 있는데 색인어 목록에 낱말이 없으면 2행이다.

8시험 대비

출제 정보 컴퓨터시스템응용(113회, 98회, 80회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 검색 엔진의 구성 요소와 처리 흐름을 묻는 구조 · 구성형, 웹 크롤러 · 형태소 분석 · 색인 갱신을 차례로 설명하게 하는 동작 · 절차 설명형이 나올 수 있다. 구조형이면 색인 길 · 질의 길 두 줄 도식에 네 구성 요소를 얹고, 절차형이면 문서 한 건이 수집에서 검색 결과까지 가는 단계에 규칙 값(RFC 9309 · 새로 고침 · 병합)을 붙인다.

답안 목차
  1. 개요 — 검색 엔진 정의 · 정보 검색 이론과 차이(원리 ↔ 시스템) · 1998 대규모 웹 검색 엔진 구조 → 2022 RFC 9309
  2. 구성 — 그림 3 색인 길 · 질의 길(크롤러 · 형태소 분석 · 색인 · 조각 검색)
  3. 수집 — robots.txt 가장 긴 일치 · 24시간 캐시 · 5xx 전체 금지 · sitemap lastmod
  4. 색인 갱신 — 그림 5 세그먼트 추가 · 병합 · 삭제 표시 · 근실시간 새로 고침
  5. 처리 흐름 — 그림 4 공지 한 건 일곱 단계 · 조각 수와 꼬리 지연(9.6% → 18.2%)
  6. 고려 사항 — 한국어 조사 · 합성어 · 사용자 사전 · 색인 · 질의 분석기 일치

꼭 쓸 키워드
웹 크롤러Robots Exclusion Protocolsitemap형태소 분석합성어 분해사용자 사전세그먼트병합근실시간 검색샤딩

다른 답안과 차이를 내는 한 가지는 그림 4 처럼 조각 수가 늘 때 느린 질의 비율을 1 − 0.99^N 으로 계산해, 조각을 무작정 늘리는 설계의 대가를 숫자로 보이는 것이다.

9오해와 사실

  • 오해robots.txt 에 Disallow 를 쓰면 그 페이지는 외부에서 볼 수 없다.
    사실robots.txt 는 크롤러가 따르기로 한 약속이고 접근 통제 수단이 아니어서, 막아야 할 페이지는 인증으로 보호해야 한다(RFC 9309 1절).
  • 오해문서를 지우면 색인 용량이 바로 줄어든다.
    사실삭제는 세그먼트에 표시만 하고, 그 문서가 실제로 빠지는 것은 세그먼트 병합 때다(Lucene 10.4 색인 형식).
  • 오해한국어도 띄어쓰기 단위로 색인하면 충분하다.
    사실조사 · 어미가 붙은 「주차장을」 · 「주차장은」이 서로 다른 색인어가 되므로 형태소 분석으로 낱말을 떼어야 같은 문서로 모인다(Lucene Nori).

10핵심 정리

구분맡는 단계입력 → 출력대표 규칙 · 값멈췄을 때 증상근거
웹 크롤러수집주소 → 문서 원본가장 긴 일치 · 캐시 24시간 · 5xx 전체 금지새 글이 아예 없음RFC 9309
sitemap수집 대상 알림사이트 → 주소 · lastmod파일당 50,000 주소바뀐 글을 늦게 받음sitemaps.org
형태소 분석분석문장 → 형태소 · 품사합성어 분해 DISCARD 기본 · 사용자 사전낱말로 안 찾힘Lucene Nori
세그먼트 색인색인색인어 → 독립 세그먼트새 문서 = 새 세그먼트 · 병합 때 삭제 제거용량이 안 줄어듦Lucene 10.4 색인 형식
근실시간 새로 고침갱신 반영쓰기 → 검색 가능커밋 전 변경도 리더를 다시 열면 보임옛 내용이 잠깐 보임Lucene DirectoryReader
조각 · 사본 배치응답질의 → 조각별 상위 k → 합친 목록느린 질의 비율 1 − (1 − p)^N가끔만 느림동작 7단계

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ RFC 9309 Robots Exclusion Protocol — 크롤러가 robots.txt 를 읽는 규칙 — 가장 긴 일치 · 24시간 캐시 · 4xx · 5xx 처리를 원문으로 볼 때
    IETF · 2022-09 · www.rfc-editor.org/rfc/rfc9309 · 확인 2026-11-14
  3. ★ Sitemaps XML format (protocol 0.9) — 사이트가 수집할 주소 · lastmod 를 알리는 형식과 파일당 50,000 주소 한도를 볼 때
    sitemaps.org · 2016-11 · www.sitemaps.org/protocol.html · 확인 2026-11-14
  4. ★ Apache Lucene 10.4.0 package org.apache.lucene.codecs.lucene104 (Index File Formats) — 색인이 세그먼트로 이뤄지고 새 세그먼트 추가 · 병합으로 자라며 삭제 문서가 병합 때 빠지는 규칙을 볼 때
    The Apache Software Foundation · 2026-11 · lucene.apache.org/core/10_4_0/core/org/apache/lucene/codecs/lucene104/package-summary.html · 확인 2026-11-14
  5. ★ Apache Lucene 10.4.0 KoreanTokenizer (Nori) — 한국어 형태소 분석기의 최소 비용 분할 · 사용자 사전 · 합성어 분해 기본값을 볼 때
    The Apache Software Foundation · 2026-11 · lucene.apache.org/core/10_4_0/analysis/nori/org/apache/lucene/analysis/ko/KoreanTokenizer.html · 확인 2026-11-14
  6. 본문 근거
  7. Apache Lucene 10.4.0 KoreanTokenizer.DecompoundMode — The Apache Software Foundation · 2026-11 · lucene.apache.org/core/10_4_0/analysis/nori/org/apache/lucene/analysis/ko/KoreanTokenizer.DecompoundMode.html · 확인 2026-11-14
  8. Apache Lucene 10.4.0 DirectoryReader — The Apache Software Foundation · 2026-11 · lucene.apache.org/core/10_4_0/core/org/apache/lucene/index/DirectoryReader.html · 확인 2026-11-14
  9. The anatomy of a large-scale hypertextual Web search engine (Computer Networks and ISDN Systems 30(1-7) 107-117) — S. Brin · L. Page · Elsevier · 1998-04 · doi.org/10.1016/S0169-7552(98)00110-X · 확인 2026-11-14
  10. Mercator: A scalable, extensible Web crawler (World Wide Web 2(4) 219-229) — A. Heydon · M. Najork · Springer · 1999-12 · doi.org/10.1023/A:1019213109274 · 확인 2026-11-14