IT › 데이터 › 데이터 분석 › 데이터 마이닝

웹 마이닝Web Mining

데이터 마이닝 기법을 웹 페이지 본문 · 하이퍼링크 · 접속 로그에 적용해 웹 데이터 속 숨은 패턴과 지식을 찾아내는 일로, 캐는 대상에 따라 내용 · 구조 · 사용 마이닝으로 나뉜다.

1요약

  1. 웹 마이닝은 데이터 마이닝 기법을 웹 페이지 본문 · 하이퍼링크 · 접속 로그에 적용하는 일로, 무엇을 캐느냐에 따라 내용 · 구조 · 사용 마이닝 셋으로 나뉜다(Kosala 2000 2.2절).
  2. 웹은 형식이 제각각인 페이지가 링크로 얽힌 데이터라 조회 수 집계만으로는 순위도 이용 경로도 나오지 않았고, 1998년 검색 시제품은 링크 5억 1,800만 개를 모은 표로 페이지 중요도를 계산했다(Brin 1998 2.1절).
  3. 「분석 결과가 이상하다」는 어느 원천의 문제인가로 가른다 — 순위가 이상하면 링크 수집 · 링크 분석, 방문 수 · 경로가 이상하면 로그 정제 · 세션 나누기, 주제 분류가 틀리면 본문 추출 단계다.

2등장 배경

1990년대 중반 웹 페이지가 빠르게 늘었지만 검색은 낱말이 맞는 페이지를 모두 내놓았고, 웹 서버는 요청마다 remotehost … [date] "request" status bytes 한 줄을 남겨도(W3C httpd 1995) 운영자는 페이지별 조회 수만 셌다. 「어느 페이지가 믿을 만한가」 「손님이 어디서 떠나는가」는 쌓인 기록으로 답하지 못했다.

1996년 Etzioni 가 「웹 마이닝」이라는 말을 쓰며 일을 자원 찾기 · 정보 선택과 전처리 · 일반화 · 분석의 네 과업으로 나눴고(Etzioni 1996 · Kosala 2000 2.1절), 1997년 Cooley · Mobasher · Srivastava 가 내용 · 사용 마이닝 분류를 내놓았다(Cooley 1997). 1998년 PageRank 와 HITS 가 링크 구조로 페이지 중요도를 셌고(Brin 1998 · Kosala 2000 4절), 2000년 Kosala · Blockeel 이 내용 · 구조 · 사용 세 분류로 정리했다.

지금 세 분류는 검색 순위 · 추천 · 사이트 개선 분석의 바탕이고, 수집 쪽은 2022년 표준이 된 로봇 배제 규칙(RFC 9309)을 따른다. 알고리즘은 데이터 마이닝과 같은 것을 쓰고, 웹 마이닝이 맡는 일은 웹 데이터를 그 알고리즘이 읽는 형태로 바꾸는 전처리에 있다(Kosala 2000 5절).

3쉽게 이해하기 — 도서관 사서가 읽는 세 가지 기록

시립 도서관 사서 수진은 새 「추천 서가」를 꾸민다. 먼저 책 본문을 훑어 주제별로 묶고, 책 뒤의 인용 쪽지를 세어 다른 책이 많이 가리키는 책을 찾는다. 마지막으로 대출 장부를 넘겨 독자들이 어떤 책을 어떤 차례로 빌렸는지 보는데, 직원이 정리용으로 빌린 줄은 먼저 지운다. 세 기록은 같은 서가를 두고도 서로 다른 답을 준다.

사서 수진이 추천 서가를 꾸미는 세 기록 1 책 본문 웹 페이지 본문(HTML) 책에 쓰인 글 2 인용 쪽지 하이퍼링크 책이 다른 책을 가리킴 3 대출 장부 접속 로그 독자가 남긴 기록 주제 나누기 내용 마이닝 낱말로 주제를 묶음 인용 세기 구조 마이닝 많이 가리켜진 책 장부 넘기기 사용 마이닝 함께 · 차례로 빌린 책 4 추천 서가 주제 분류 검색 순위 추천 · 경로 개선 세 답을 합쳐 서가에 진열 본문 데이터 연결(링크) 이용자 행동 기록 마이닝 작업 결과

그림 1 · 사서는 책 본문 · 인용 쪽지 · 대출 장부를 따로 읽어 세 답을 얻고 추천 서가에서 합친다 — 웹 마이닝도 본문 · 링크 · 로그를 각각 캔다.

본문 훑기낱말로 주제를 나눔
쪽지 세기많이 가리켜진 책을 찾음
장부 정리직원 대출 줄을 지움
장부 넘기기함께 · 차례로 빌린 책
서가 진열세 답을 합쳐 추천
쓰는 사람의 기록과 읽는 사람의 기록 비유 두 값(설명용 가정 값) 실제 책 A 다른 책 다섯 권이 인용 대출은 두 번뿐 인용 쪽지 = 들어오는 링크 5 대출 = 방문 세션 2 페이지 A 링크 5 · 세션 2 구조 마이닝이 위로 많이 인용된 해설 문서 책 B 한 권만 인용 대출은 아홉 번 인용 쪽지 = 들어오는 링크 1 대출 = 방문 세션 9 페이지 B 링크 1 · 세션 9 사용 마이닝이 위로 자주 찾는 할인 안내 쓰는 사람이 남긴 연결(1차 데이터) 읽는 사람이 남긴 행동(2차 데이터) 막대 길이 = 값

그림 2 · 인용 쪽지가 많은 책과 많이 빌린 책은 다르다 — 쓰는 사람이 남긴 링크와 읽는 사람이 남긴 로그는 같은 페이지에 다른 점수를 준다.

비유 속 역할실제 이름실제로 하는 일
책 본문웹 페이지 본문(HTML)태그를 지운 글에서 낱말 · 주제를 뽑는다(내용 마이닝)
인용 쪽지하이퍼링크한 페이지가 다른 페이지를 가리키는 방향 있는 연결
인용 세기링크 분석(PageRank · HITS)값 높은 페이지가 많이 가리킨 페이지에 높은 점수를 준다
대출 장부웹 서버 접속 로그요청마다 주소 · 시각 · 경로 · 상태 코드를 한 줄로 남긴다
직원 대출 지우기정제크롤러 · 이미지 · 오류 요청처럼 사람의 열람이 아닌 줄을 뺀다
한 독자의 한 번 방문세션같은 사용자의 요청을 시간 간격 기준으로 묶은 단위
추천 서가검색 순위 · 추천 · 사이트 개선세 분류의 결과를 서비스에 반영한다

⚠ 비유가 맞지 않는 곳: 대출 장부에는 독자 이름이 정확히 남지만, 웹 로그의 IP 주소는 프록시 · NAT 뒤 여러 사람이 함께 쓰기도 해 「누가」부터 추정해야 한다(Kosala 2000 5절). 또 브라우저 캐시에서 다시 연 페이지는 서버 로그에 아예 남지 않는다.

4구조 — 세 분류와 데이터 원천

Kosala 2000 은 «웹의 어느 부분을 캐는가»로 분류를 나눈다. 내용 · 구조 마이닝은 웹에 올라온 1차 데이터를, 사용 마이닝은 이용자가 웹과 주고받으며 생긴 2차 데이터를 쓴다(2.2절).

웹 마이닝 세 분류의 처리 순서 원천 데이터 전처리 기법 결과 · 범위 페이지 본문 1차 데이터 태그 제거 낱말 추출 분류 · 군집 정보 추출 주제 · 요약 웹 전체 하이퍼링크 1차 데이터 링크 표 만들기 (페이지 → 페이지) PageRank HITS(허브 · 권위) 페이지 순위 웹 전체 접속 로그 2차 데이터 정제 · 사용자 식별 세션 나누기 연관 · 순차 패턴 군집 경로 · 추천 사이트 하나

그림 3 · 세 분류는 원천 데이터만 다르고 «원천 → 전처리 → 기법 → 결과» 순서는 같다 — 내용 · 구조는 웹 전체, 사용은 사이트 하나가 범위다.

분류원천 데이터데이터 단위대표 기법범위근거
내용 마이닝페이지 본문 · 문서낱말 · 문서분류 · 군집 · 정보 추출웹 전체(검색 관점)Kosala 2000 3절
구조 마이닝하이퍼링크페이지(점) · 링크(선)PageRank · HITS웹 전체4절
사용 마이닝서버 · 프록시 · 브라우저 로그 · 쿠키요청 줄 → 세션연관 · 순차 패턴 · 군집사이트 하나5절
공통 수집크롤러 · 로그 기록기파일 · 필드robots.txt 규칙 확인 · #Fields 필드 정의수집 대상 사이트RFC 9309 · W3C 1996

PageRank 는 페이지 A 의 값을 PR(A) = (1 − d) + d(PR(T1)/C(T1) + … + PR(Tn)/C(Tn)) 로 정한다 — Ti 는 A 를 가리키는 페이지, C(Ti) 는 그 페이지의 나가는 링크 수, d 는 감쇠 계수로 대개 0.85 다(Brin 1998 2.1.1절). 링크 개수보다 «누가, 몇 개로 나눠» 가리켰는가가 값을 정한다.

🔑 내용 · 구조 마이닝은 쓰는 사람이 남긴 기록을, 사용 마이닝은 읽는 사람이 남긴 기록을 캔다 — 그래서 많이 링크된 페이지와 많이 방문된 페이지는 다를 수 있다.

5동작 — 쇼핑 사이트 접속 로그 14줄의 세션 분석

사례 = 설명용 가정 값(작은 쇼핑 사이트 한 시간 로그 14줄 · 주소는 문서용 대역 RFC 5737) · 세션 기준 = 같은 사용자의 요청 간격 30분 초과(가정 값) · 세션 수 · 지지도는 손계산.

  1. 수집 — 서버가 W3C 확장 형식 #Fields: time c-ip cs-uri-stem sc-status cs(User-Agent) 로 09:00 ~ 09:55 에 14줄을 남겼다(W3C 1996).
  2. 정제 — 이미지 · CSS 요청 2줄, 상태 404 1줄, /robots.txt 를 먼저 요청한 203.0.113.5 의 2줄을 지워 9줄이 남는다(RFC 9309 2.3절 = 크롤러가 이 경로에서 규칙을 읽음).
  3. 사용자 식별 — c-ip + cs(User-Agent) 짝으로 사용자 둘을 가른다 — A = 192.0.2.10 · Firefox(6줄), B = 198.51.100.7 · Chrome(3줄).
  4. 세션 나누기 — A 는 09:04:30 과 09:52:00 사이가 47분 30초라 세션 둘로 끊고, B 는 가장 긴 간격이 19분 40초라 한 세션으로 둔다 → 세션 3개.
  5. 경로 만들기 — 세션 1 = / → /products → /cart · 세션 2 = /products → /cart → /checkout · 세션 3(B) = / → /products → /cart.
  6. 패턴 찾기 — 최소 지지도 50%(세션 2개)로 연속 두 페이지 패턴을 세면 /products → /cart 3/3 · / → /products 2/3 이 남고 /cart → /checkout 1/3 은 떨어진다.
  7. 해석 — 장바구니까지 온 세션 3개 가운데 결제는 1개뿐이고 그 1개는 47분 뒤 다시 온 방문이다 → 결제 페이지로 가는 경로를 개선 후보로 올린다.
로그 14줄 → 정제 9줄 → 세션 3개(기준 30분) 3 사용자 A · 192.0.2.10 · Firefox 세션 1: / → /products → /cart 세션 2: /products → /cart → /checkout 4 A 간격 47분 30초 > 30분 → 끊음 사용자 B · 198.51.100.7 · Chrome 세션 3: / → /products → /cart · 최대 간격 19분 40초 ≤ 30분 2 크롤러 · 203.0.113.5 /robots.txt 를 먼저 요청 → 2줄 모두 지움 09:00 09:15 09:30 09:45 10:00 남긴 요청 지운 요청(이미지 · CSS · 404 · 크롤러) 세션

그림 4 · 14줄 가운데 5줄을 지우고 남은 9줄을 사용자 둘로 가른 뒤, 30분을 넘는 간격 한 곳에서만 끊어 세션 3개를 얻었다.

세션 기준 = 끊는 간격의 문턱 A 간격 B 간격 1.2 ~ 2.3분 넷 47.5분 1.3분 19.7분 0 10분 30분 60분 기준별 세션 수(사용자 2 + 기준보다 긴 간격) 10분 세션 4 = 2 + 2(19.7 · 47.5) 30분 세션 3 = 2 + 1(47.5) · 사례 기준 60분 세션 2 = 2 + 0 같은 세션 안 간격 기준에 따라 끊길 수 있는 간격 간격 기준 막대 길이 = 세션 수 · 굵은 테두리 = 사례 값

그림 5 · 같은 로그도 간격 기준을 10분에서 60분으로 늘리면 세션이 4개에서 2개로 준다 — 세션 수 = 사용자 수 2 + 기준보다 긴 간격 수다.

🔑 세션은 로그에 적힌 값이 아니라 분석자가 만든 값이다 — 같은 14줄도 기준을 10분으로 두면 4개, 60분으로 두면 2개가 되므로 기준 값을 결과와 함께 적는다.

6비교 — 정보 검색 · 텍스트 마이닝 · 데이터 마이닝과의 차이

기준웹 마이닝정보 검색텍스트 마이닝데이터 마이닝
목적웹 데이터에서 몰랐던 패턴 발견질의에 맞는 문서 고르기(Kosala 2000 2.1.1절)글 모음에서 주제 · 관계 발견정형 데이터에서 패턴 발견
입력본문 · 링크 · 접속 로그색인된 문서 모음 · 질의문서 · 문장DB · DW 의 표
결과물순위 값 · 경로 패턴 · 주제순위 매긴 문서 목록주제 · 개체 · 감성규칙 · 군집 · 이상치
고유한 전처리크롤링 · 링크 표 · 세션 나누기색인 만들기형태소 분석 · 불용어 제거정제 · 변환
평가패턴 지지도 · 순위 안정성 · 업무 효과정확률 · 재현율주제 일관성 · 분류 정확도지지도 · 신뢰도 · 향상도

분석질문이 「이 낱말이 든 문서는」이면 정보 검색, 「글 속 주제는」이면 텍스트 마이닝, 링크나 클릭 순서처럼 웹에만 있는 관계가 답의 재료이면 웹 마이닝을 고른다. 근거는 Kosala 2000 이 검색을 «관련 문서를 고르는 일»로, 웹 마이닝을 «웹 데이터에 적용한 KDD 의 확장»으로 가른 것이다(2.1절).

7실무 진단 — 분석 결과가 이상할 때 원천 가르기

분석숫자가 이상하면 알고리즘보다 먼저 정제 → 사용자 식별 → 세션 기준 순으로 거슬러 본다. 세 단계 모두 로그 몇 줄을 다시 세면 확인되고, 뒤 단계는 앞 단계의 잘못을 그대로 물려받기 때문이다(Kosala 2000 5절 = 전처리가 데이터 품질을 정함).

#증상의심 원인분류 · 단계확인 자료판정 기준(근거)
1방문 수가 하루 사이 두 배크롤러 요청이 남음사용 · 정제/robots.txt 를 요청한 c-ip 목록 · cs(User-Agent) 별 요청 수규칙 파일을 읽은 주소의 요청은 사람 방문에서 뺌(RFC 9309 2.3절)
2한 사용자가 한 시간에 수백 페이지프록시 · NAT 뒤 여러 사람이 한 IP사용 · 사용자 식별한 c-ip 의 cs(User-Agent) 종류 수둘 이상이면 IP + User-Agent 짝으로 나눔(Kosala 2000 5절)
3도구마다 세션 수가 다름세션 간격 기준 차이사용 · 세션 나누기같은 로그를 10 · 30 · 60분 기준으로 다시 셈기준 따라 바뀌면 기준을 보고서에 고정(그림 5)
4링크를 많이 받은 페이지가 순위 아래가리키는 페이지의 나가는 링크가 많음구조 · 링크 분석들어오는 링크마다 출발 페이지의 C(T)몫 = PR(T)/C(T) 이라 C(T) 가 크면 작아짐(Brin 1998 2.1.1절)

8시험 대비

출제 정보 컴퓨터시스템응용(113회, 84회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 세 분류와 데이터 원천을 묻는 정의 · 특징형, 사용 마이닝의 전처리 · 세션 나누기 순서를 묻는 동작 · 절차 설명형이 나올 수 있다. 정의형은 분류 그림 하나에 원천 · 기법 · 범위를 얹어 쓰고, 절차형은 로그 몇 줄로 정제부터 패턴까지 숫자를 따라가 보인다.

답안 목차
  1. 개요 — 정의(데이터 마이닝 기법의 웹 데이터 적용) · Etzioni 네 과업 · 정보 검색과의 차이
  2. 분류 — 그림 3 처리 순서 그림 + 표(내용 · 구조 · 사용 · 1차 / 2차 데이터 · 범위)
  3. 구조 마이닝 — PageRank 식 · 감쇠 계수 0.85 · HITS 허브 · 권위
  4. 사용 마이닝 절차 — 그림 4 사례 그림(수집 → 정제 → 사용자 식별 → 세션 → 패턴)
  5. 세션 기준의 영향 — 그림 5 간격 기준별 세션 수(10 · 30 · 60분 → 4 · 3 · 2)
  6. 한계와 대응 — 프록시 · 캐시 · 크롤러 · robots.txt(RFC 9309) · 개인정보 가명 처리

꼭 쓸 키워드
웹 내용 마이닝웹 구조 마이닝웹 사용 마이닝PageRankHITS세션접속 로그robots.txt순차 패턴크롤러

다른 답안과 차이를 내는 한 가지는 같은 로그를 세션 기준만 바꿔 다시 센 숫자(4 · 3 · 2)로 «전처리가 결과를 정한다»를 보이는 것이다.

9오해와 사실

  • 오해웹 마이닝은 웹 검색과 같은 일이다.
    사실검색은 질의에 맞는 문서를 고르는 일이고, 웹 마이닝은 문서 분류처럼 검색을 돕는 일부를 빼면 웹 데이터에서 몰랐던 패턴을 찾는 KDD 의 확장이다(Kosala 2000 2.1.1절).
  • 오해robots.txt 는 수집을 막는 접근 통제 장치다.
    사실RFC 9309 는 이 규칙이 크롤러에게 지켜 달라고 요청하는 것이고 접근 권한 부여의 한 형태가 아니라고 적는다(1절) — 막아야 할 내용은 인증으로 지킨다.
  • 오해들어오는 링크 수가 많을수록 PageRank 가 높다.
    사실몫은 출발 페이지의 값을 그 페이지의 나가는 링크 수로 나눈 PR(T)/C(T) 라, 값이 낮거나 링크를 수백 개 뿌리는 페이지의 링크는 거의 보태지 않는다(Brin 1998 2.1.1절).

10핵심 정리

항목캐는 대상단위 · 값대표 방법 · 식함정
웹 내용 마이닝페이지 본문낱말 · 문서분류 · 군집 · 정보 추출동적 페이지 · 숨은 DB 내용은 못 봄
웹 구조 마이닝하이퍼링크페이지 · 링크PageRank(d = 0.85) · HITS링크 개수만 세면 순위가 틀어짐
웹 사용 마이닝접속 로그 · 쿠키요청 줄 → 세션연관 · 순차 패턴 · 군집프록시 · 캐시로 사용자 · 경로가 흐려짐
정제로그 줄남긴 줄 수이미지 · 오류 · 크롤러 요청 제거크롤러가 남으면 방문 수가 부풂
세션 나누기같은 사용자의 요청간격 기준(분)기준을 넘는 간격에서 끊음기준 따라 세션 수가 바뀜
robots.txt수집 규칙/robots.txt 파일RFC 9309접근 통제가 아님

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Web Mining Research: A Survey (ACM SIGKDD Explorations 2(1) 1-15) — 내용 · 구조 · 사용 세 분류와 정보 검색 · 정보 추출과의 경계를 볼 때
    ACM SIGKDD · 2000-07 · arxiv.org/abs/cs/0011033 · 확인 2026-11-14
  3. ★ The Anatomy of a Large-Scale Hypertextual Web Search Engine (Computer Networks and ISDN Systems 30 107-117) — PageRank 식과 감쇠 계수 d 의 뜻을 원문으로 볼 때
    Stanford University · 1998-04 · snap.stanford.edu/class/cs224w-readings/Brin98Anatomy.pdf · 확인 2026-11-14
  4. ★ RFC 9309 Robots Exclusion Protocol — 크롤러가 지킬 수집 규칙과 그 규칙이 접근 통제가 아니라는 점을 볼 때
    IETF · 2022-09 · www.rfc-editor.org/rfc/rfc9309 · 확인 2026-11-14
  5. ★ Extended Log File Format (W3C Working Draft WD-logfile-960323) — 접속 로그 필드 이름(c-ip · cs-uri-stem · cs(User-Agent))을 볼 때
    W3C · 1996-03 · www.w3.org/TR/WD-logfile.html · 확인 2026-11-14
  6. 본문 근거
  7. Logging Control In W3C httpd (Common Logfile Format) — W3C · 1995-07 · www.w3.org/Daemon/User/Config/Logging.html · 확인 2026-11-14
  8. RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 · www.rfc-editor.org/rfc/rfc5737 · 확인 2026-11-14
  9. The World-Wide Web: Quagmire or Gold Mine? (Communications of the ACM 39(11) 65-68) — ACM · 1996-11 · doi.org/10.1145/240455.240473 · 확인 2026-11-14
  10. Web Mining: Information and Pattern Discovery on the World Wide Web (Proceedings of the 9th IEEE ICTAI 558-567) — IEEE · 1997-11 · doi.org/10.1109/TAI.1997.632303 · 확인 2026-11-14
  11. Web Usage Mining: Discovery and Applications of Usage Patterns from Web Data (ACM SIGKDD Explorations 1(2) 12-23) — ACM SIGKDD · 2000-01 · doi.org/10.1145/846183.846188 · 확인 2026-11-14