웹 마이닝Web Mining
데이터 마이닝 기법을 웹 페이지 본문 · 하이퍼링크 · 접속 로그에 적용해 웹 데이터 속 숨은 패턴과 지식을 찾아내는 일로, 캐는 대상에 따라 내용 · 구조 · 사용 마이닝으로 나뉜다.
1요약
- 웹 마이닝은 데이터 마이닝 기법을 웹 페이지 본문 · 하이퍼링크 · 접속 로그에 적용하는 일로, 무엇을 캐느냐에 따라 내용 · 구조 · 사용 마이닝 셋으로 나뉜다(Kosala 2000 2.2절).
- 웹은 형식이 제각각인 페이지가 링크로 얽힌 데이터라 조회 수 집계만으로는 순위도 이용 경로도 나오지 않았고, 1998년 검색 시제품은 링크 5억 1,800만 개를 모은 표로 페이지 중요도를 계산했다(Brin 1998 2.1절).
- 「분석 결과가 이상하다」는 어느 원천의 문제인가로 가른다 — 순위가 이상하면 링크 수집 · 링크 분석, 방문 수 · 경로가 이상하면 로그 정제 · 세션 나누기, 주제 분류가 틀리면 본문 추출 단계다.
2등장 배경
1990년대 중반 웹 페이지가 빠르게 늘었지만 검색은 낱말이 맞는 페이지를 모두 내놓았고, 웹 서버는 요청마다 remotehost … [date] "request" status bytes 한 줄을 남겨도(W3C httpd 1995) 운영자는 페이지별 조회 수만 셌다. 「어느 페이지가 믿을 만한가」 「손님이 어디서 떠나는가」는 쌓인 기록으로 답하지 못했다.
1996년 Etzioni 가 「웹 마이닝」이라는 말을 쓰며 일을 자원 찾기 · 정보 선택과 전처리 · 일반화 · 분석의 네 과업으로 나눴고(Etzioni 1996 · Kosala 2000 2.1절), 1997년 Cooley · Mobasher · Srivastava 가 내용 · 사용 마이닝 분류를 내놓았다(Cooley 1997). 1998년 PageRank 와 HITS 가 링크 구조로 페이지 중요도를 셌고(Brin 1998 · Kosala 2000 4절), 2000년 Kosala · Blockeel 이 내용 · 구조 · 사용 세 분류로 정리했다.
지금 세 분류는 검색 순위 · 추천 · 사이트 개선 분석의 바탕이고, 수집 쪽은 2022년 표준이 된 로봇 배제 규칙(RFC 9309)을 따른다. 알고리즘은 데이터 마이닝과 같은 것을 쓰고, 웹 마이닝이 맡는 일은 웹 데이터를 그 알고리즘이 읽는 형태로 바꾸는 전처리에 있다(Kosala 2000 5절).
3쉽게 이해하기 — 도서관 사서가 읽는 세 가지 기록
시립 도서관 사서 수진은 새 「추천 서가」를 꾸민다. 먼저 책 본문을 훑어 주제별로 묶고, 책 뒤의 인용 쪽지를 세어 다른 책이 많이 가리키는 책을 찾는다. 마지막으로 대출 장부를 넘겨 독자들이 어떤 책을 어떤 차례로 빌렸는지 보는데, 직원이 정리용으로 빌린 줄은 먼저 지운다. 세 기록은 같은 서가를 두고도 서로 다른 답을 준다.
그림 1 · 사서는 책 본문 · 인용 쪽지 · 대출 장부를 따로 읽어 세 답을 얻고 추천 서가에서 합친다 — 웹 마이닝도 본문 · 링크 · 로그를 각각 캔다.
그림 2 · 인용 쪽지가 많은 책과 많이 빌린 책은 다르다 — 쓰는 사람이 남긴 링크와 읽는 사람이 남긴 로그는 같은 페이지에 다른 점수를 준다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 책 본문 | 웹 페이지 본문(HTML) | 태그를 지운 글에서 낱말 · 주제를 뽑는다(내용 마이닝) |
| 인용 쪽지 | 하이퍼링크 | 한 페이지가 다른 페이지를 가리키는 방향 있는 연결 |
| 인용 세기 | 링크 분석(PageRank · HITS) | 값 높은 페이지가 많이 가리킨 페이지에 높은 점수를 준다 |
| 대출 장부 | 웹 서버 접속 로그 | 요청마다 주소 · 시각 · 경로 · 상태 코드를 한 줄로 남긴다 |
| 직원 대출 지우기 | 정제 | 크롤러 · 이미지 · 오류 요청처럼 사람의 열람이 아닌 줄을 뺀다 |
| 한 독자의 한 번 방문 | 세션 | 같은 사용자의 요청을 시간 간격 기준으로 묶은 단위 |
| 추천 서가 | 검색 순위 · 추천 · 사이트 개선 | 세 분류의 결과를 서비스에 반영한다 |
⚠ 비유가 맞지 않는 곳: 대출 장부에는 독자 이름이 정확히 남지만, 웹 로그의 IP 주소는 프록시 · NAT 뒤 여러 사람이 함께 쓰기도 해 「누가」부터 추정해야 한다(Kosala 2000 5절). 또 브라우저 캐시에서 다시 연 페이지는 서버 로그에 아예 남지 않는다.
4구조 — 세 분류와 데이터 원천
Kosala 2000 은 «웹의 어느 부분을 캐는가»로 분류를 나눈다. 내용 · 구조 마이닝은 웹에 올라온 1차 데이터를, 사용 마이닝은 이용자가 웹과 주고받으며 생긴 2차 데이터를 쓴다(2.2절).
그림 3 · 세 분류는 원천 데이터만 다르고 «원천 → 전처리 → 기법 → 결과» 순서는 같다 — 내용 · 구조는 웹 전체, 사용은 사이트 하나가 범위다.
| 분류 | 원천 데이터 | 데이터 단위 | 대표 기법 | 범위 | 근거 |
|---|---|---|---|---|---|
| 내용 마이닝 | 페이지 본문 · 문서 | 낱말 · 문서 | 분류 · 군집 · 정보 추출 | 웹 전체(검색 관점) | Kosala 2000 3절 |
| 구조 마이닝 | 하이퍼링크 | 페이지(점) · 링크(선) | PageRank · HITS | 웹 전체 | 4절 |
| 사용 마이닝 | 서버 · 프록시 · 브라우저 로그 · 쿠키 | 요청 줄 → 세션 | 연관 · 순차 패턴 · 군집 | 사이트 하나 | 5절 |
| 공통 수집 | 크롤러 · 로그 기록기 | 파일 · 필드 | robots.txt 규칙 확인 · #Fields 필드 정의 | 수집 대상 사이트 | RFC 9309 · W3C 1996 |
PageRank 는 페이지 A 의 값을 PR(A) = (1 − d) + d(PR(T1)/C(T1) + … + PR(Tn)/C(Tn)) 로 정한다 — Ti 는 A 를 가리키는 페이지, C(Ti) 는 그 페이지의 나가는 링크 수, d 는 감쇠 계수로 대개 0.85 다(Brin 1998 2.1.1절). 링크 개수보다 «누가, 몇 개로 나눠» 가리켰는가가 값을 정한다.
🔑 내용 · 구조 마이닝은 쓰는 사람이 남긴 기록을, 사용 마이닝은 읽는 사람이 남긴 기록을 캔다 — 그래서 많이 링크된 페이지와 많이 방문된 페이지는 다를 수 있다.
5동작 — 쇼핑 사이트 접속 로그 14줄의 세션 분석
사례 = 설명용 가정 값(작은 쇼핑 사이트 한 시간 로그 14줄 · 주소는 문서용 대역 RFC 5737) · 세션 기준 = 같은 사용자의 요청 간격 30분 초과(가정 값) · 세션 수 · 지지도는 손계산.
- 수집 — 서버가 W3C 확장 형식
#Fields: time c-ip cs-uri-stem sc-status cs(User-Agent)로 09:00 ~ 09:55 에 14줄을 남겼다(W3C 1996). - 정제 — 이미지 · CSS 요청 2줄, 상태
4041줄,/robots.txt를 먼저 요청한 203.0.113.5 의 2줄을 지워 9줄이 남는다(RFC 9309 2.3절 = 크롤러가 이 경로에서 규칙을 읽음). - 사용자 식별 —
c-ip+cs(User-Agent)짝으로 사용자 둘을 가른다 — A = 192.0.2.10 · Firefox(6줄), B = 198.51.100.7 · Chrome(3줄). - 세션 나누기 — A 는 09:04:30 과 09:52:00 사이가 47분 30초라 세션 둘로 끊고, B 는 가장 긴 간격이 19분 40초라 한 세션으로 둔다 → 세션 3개.
- 경로 만들기 — 세션 1 =
/ → /products → /cart· 세션 2 =/· 세션 3(B) =products → / cart → / checkout / → /products → /cart. - 패턴 찾기 — 최소 지지도 50%(세션 2개)로 연속 두 페이지 패턴을 세면
/products → /cart3/3 ·/ → /products2/3 이 남고/cart → /checkout1/3 은 떨어진다. - 해석 — 장바구니까지 온 세션 3개 가운데 결제는 1개뿐이고 그 1개는 47분 뒤 다시 온 방문이다 → 결제 페이지로 가는 경로를 개선 후보로 올린다.
그림 4 · 14줄 가운데 5줄을 지우고 남은 9줄을 사용자 둘로 가른 뒤, 30분을 넘는 간격 한 곳에서만 끊어 세션 3개를 얻었다.
그림 5 · 같은 로그도 간격 기준을 10분에서 60분으로 늘리면 세션이 4개에서 2개로 준다 — 세션 수 = 사용자 수 2 + 기준보다 긴 간격 수다.
🔑 세션은 로그에 적힌 값이 아니라 분석자가 만든 값이다 — 같은 14줄도 기준을 10분으로 두면 4개, 60분으로 두면 2개가 되므로 기준 값을 결과와 함께 적는다.
6비교 — 정보 검색 · 텍스트 마이닝 · 데이터 마이닝과의 차이
| 기준 | 웹 마이닝 | 정보 검색 | 텍스트 마이닝 | 데이터 마이닝 |
|---|---|---|---|---|
| 목적 | 웹 데이터에서 몰랐던 패턴 발견 | 질의에 맞는 문서 고르기(Kosala 2000 2.1.1절) | 글 모음에서 주제 · 관계 발견 | 정형 데이터에서 패턴 발견 |
| 입력 | 본문 · 링크 · 접속 로그 | 색인된 문서 모음 · 질의 | 문서 · 문장 | DB · DW 의 표 |
| 결과물 | 순위 값 · 경로 패턴 · 주제 | 순위 매긴 문서 목록 | 주제 · 개체 · 감성 | 규칙 · 군집 · 이상치 |
| 고유한 전처리 | 크롤링 · 링크 표 · 세션 나누기 | 색인 만들기 | 형태소 분석 · 불용어 제거 | 정제 · 변환 |
| 평가 | 패턴 지지도 · 순위 안정성 · 업무 효과 | 정확률 · 재현율 | 주제 일관성 · 분류 정확도 | 지지도 · 신뢰도 · 향상도 |
분석질문이 「이 낱말이 든 문서는」이면 정보 검색, 「글 속 주제는」이면 텍스트 마이닝, 링크나 클릭 순서처럼 웹에만 있는 관계가 답의 재료이면 웹 마이닝을 고른다. 근거는 Kosala 2000 이 검색을 «관련 문서를 고르는 일»로, 웹 마이닝을 «웹 데이터에 적용한 KDD 의 확장»으로 가른 것이다(2.1절).
7실무 진단 — 분석 결과가 이상할 때 원천 가르기
분석숫자가 이상하면 알고리즘보다 먼저 정제 → 사용자 식별 → 세션 기준 순으로 거슬러 본다. 세 단계 모두 로그 몇 줄을 다시 세면 확인되고, 뒤 단계는 앞 단계의 잘못을 그대로 물려받기 때문이다(Kosala 2000 5절 = 전처리가 데이터 품질을 정함).
| # | 증상 | 의심 원인 | 분류 · 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 방문 수가 하루 사이 두 배 | 크롤러 요청이 남음 | 사용 · 정제 | /robots.txt 를 요청한 c-ip 목록 · cs(User-Agent) 별 요청 수 | 규칙 파일을 읽은 주소의 요청은 사람 방문에서 뺌(RFC 9309 2.3절) |
| 2 | 한 사용자가 한 시간에 수백 페이지 | 프록시 · NAT 뒤 여러 사람이 한 IP | 사용 · 사용자 식별 | 한 c-ip 의 cs(User-Agent) 종류 수 | 둘 이상이면 IP + User-Agent 짝으로 나눔(Kosala 2000 5절) |
| 3 | 도구마다 세션 수가 다름 | 세션 간격 기준 차이 | 사용 · 세션 나누기 | 같은 로그를 10 · 30 · 60분 기준으로 다시 셈 | 기준 따라 바뀌면 기준을 보고서에 고정(그림 5) |
| 4 | 링크를 많이 받은 페이지가 순위 아래 | 가리키는 페이지의 나가는 링크가 많음 | 구조 · 링크 분석 | 들어오는 링크마다 출발 페이지의 C(T) | 몫 = PR(T)/C(T) 이라 C(T) 가 크면 작아짐(Brin 1998 2.1.1절) |
8시험 대비
www.q-net.or.kr시험에서는 세 분류와 데이터 원천을 묻는 정의 · 특징형, 사용 마이닝의 전처리 · 세션 나누기 순서를 묻는 동작 · 절차 설명형이 나올 수 있다. 정의형은 분류 그림 하나에 원천 · 기법 · 범위를 얹어 쓰고, 절차형은 로그 몇 줄로 정제부터 패턴까지 숫자를 따라가 보인다.
- 개요 — 정의(데이터 마이닝 기법의 웹 데이터 적용) · Etzioni 네 과업 · 정보 검색과의 차이
- 분류 — 그림 3 처리 순서 그림 + 표(내용 · 구조 · 사용 · 1차 / 2차 데이터 · 범위)
- 구조 마이닝 — PageRank 식 · 감쇠 계수 0.85 · HITS 허브 · 권위
- 사용 마이닝 절차 — 그림 4 사례 그림(수집 → 정제 → 사용자 식별 → 세션 → 패턴)
- 세션 기준의 영향 — 그림 5 간격 기준별 세션 수(10 · 30 · 60분 → 4 · 3 · 2)
- 한계와 대응 — 프록시 · 캐시 · 크롤러 · robots.txt(RFC 9309) · 개인정보 가명 처리
꼭 쓸 키워드
웹 내용 마이닝웹 구조 마이닝웹 사용 마이닝PageRankHITS세션접속 로그robots.txt순차 패턴크롤러
다른 답안과 차이를 내는 한 가지는 같은 로그를 세션 기준만 바꿔 다시 센 숫자(4 · 3 · 2)로 «전처리가 결과를 정한다»를 보이는 것이다.
9오해와 사실
- 오해웹 마이닝은 웹 검색과 같은 일이다.사실검색은 질의에 맞는 문서를 고르는 일이고, 웹 마이닝은 문서 분류처럼 검색을 돕는 일부를 빼면 웹 데이터에서 몰랐던 패턴을 찾는 KDD 의 확장이다(Kosala 2000 2.1.1절).
- 오해robots.txt 는 수집을 막는 접근 통제 장치다.사실RFC 9309 는 이 규칙이 크롤러에게 지켜 달라고 요청하는 것이고 접근 권한 부여의 한 형태가 아니라고 적는다(1절) — 막아야 할 내용은 인증으로 지킨다.
- 오해들어오는 링크 수가 많을수록 PageRank 가 높다.사실몫은 출발 페이지의 값을 그 페이지의 나가는 링크 수로 나눈 PR(T)/C(T) 라, 값이 낮거나 링크를 수백 개 뿌리는 페이지의 링크는 거의 보태지 않는다(Brin 1998 2.1.1절).
10핵심 정리
| 항목 | 캐는 대상 | 단위 · 값 | 대표 방법 · 식 | 함정 |
|---|---|---|---|---|
| 웹 내용 마이닝 | 페이지 본문 | 낱말 · 문서 | 분류 · 군집 · 정보 추출 | 동적 페이지 · 숨은 DB 내용은 못 봄 |
| 웹 구조 마이닝 | 하이퍼링크 | 페이지 · 링크 | PageRank(d = 0.85) · HITS | 링크 개수만 세면 순위가 틀어짐 |
| 웹 사용 마이닝 | 접속 로그 · 쿠키 | 요청 줄 → 세션 | 연관 · 순차 패턴 · 군집 | 프록시 · 캐시로 사용자 · 경로가 흐려짐 |
| 정제 | 로그 줄 | 남긴 줄 수 | 이미지 · 오류 · 크롤러 요청 제거 | 크롤러가 남으면 방문 수가 부풂 |
| 세션 나누기 | 같은 사용자의 요청 | 간격 기준(분) | 기준을 넘는 간격에서 끊음 | 기준 따라 세션 수가 바뀜 |
| robots.txt | 수집 규칙 | /robots.txt 파일 | RFC 9309 | 접근 통제가 아님 |
11참고 문헌
- 먼저 볼 문헌
- ★ Web Mining Research: A Survey (ACM SIGKDD Explorations 2(1) 1-15) — 내용 · 구조 · 사용 세 분류와 정보 검색 · 정보 추출과의 경계를 볼 때
- ★ The Anatomy of a Large-Scale Hypertextual Web Search Engine (Computer Networks and ISDN Systems 30 107-117) — PageRank 식과 감쇠 계수 d 의 뜻을 원문으로 볼 때
- ★ RFC 9309 Robots Exclusion Protocol — 크롤러가 지킬 수집 규칙과 그 규칙이 접근 통제가 아니라는 점을 볼 때
- ★ Extended Log File Format (W3C Working Draft WD-logfile-960323) — 접속 로그 필드 이름(c-ip · cs-uri-stem · cs(User-Agent))을 볼 때
- 본문 근거
- Logging Control In W3C httpd (Common Logfile Format) — W3C · 1995-07 ·
www.w3.org/Daemon/User/Config/Logging.html· 확인 2026-11-14 - RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 ·
www.rfc-editor.org/rfc/rfc5737· 확인 2026-11-14 - The World-Wide Web: Quagmire or Gold Mine? (Communications of the ACM 39(11) 65-68) — ACM · 1996-11 ·
doi.org/10.1145/240455.240473· 확인 2026-11-14 - Web Mining: Information and Pattern Discovery on the World Wide Web (Proceedings of the 9th IEEE ICTAI 558-567) — IEEE · 1997-11 ·
doi.org/10.1109/TAI.1997.632303· 확인 2026-11-14 - Web Usage Mining: Discovery and Applications of Usage Patterns from Web Data (ACM SIGKDD Explorations 1(2) 12-23) — ACM SIGKDD · 2000-01 ·
doi.org/10.1145/846183.846188· 확인 2026-11-14