IT › 데이터 › 데이터 분석

데이터 마이닝Data Mining

데이터베이스 · 데이터 웨어하우스에 쌓인 대량 데이터에서 알고리즘으로 연관 규칙 · 분류 규칙 · 군집 · 이상치 같은 숨은 패턴을 찾아내는 일로, 지식 발견(KDD) 과정의 핵심 단계다.

1요약

  1. 데이터 마이닝은 DB · 데이터 웨어하우스의 이력 데이터에서 패턴을 뽑는 KDD 과정의 일곱째 단계(Fayyad 1996 · 아홉 단계 중)로, 그 위에서 연관 규칙 · 분류 · 군집 · 이상치 탐지 같은 기법이 돈다.
  2. 바코드 판매 기록이 쌓여도 SQL 은 묻는 것에만 답해 묻지 않은 관계는 묻혀 있었고, 1996년 SKICAT 은 사람이 다 볼 수 없던 하늘 사진 3 TB 에서 약 10억 개 천체를 분류했다(Fayyad 1996).
  3. 「마이닝 결과가 쓸모없다」는 어느 단계가 원인인가로 가른다 — 규칙이 쏟아지거나 하나도 없으면 임계값 · 변환 단계, 신뢰도는 높은데 효과가 없으면 향상도를 보지 않은 평가 단계, 달마다 결과가 흔들리면 선택 · 전처리 단계다.

2등장 배경

바코드 기술이 퍼지자 소매점은 영수증마다 날짜와 품목을 DB 에 쌓았지만(Agrawal 1994 1절), 관계형 DBMS 는 사람이 적은 질의에만 답했다. 「어떤 품목이 함께 팔리는가」는 질의를 쓸 사람이 이미 답을 짐작하고 있어야 물을 수 있었고, 품목 1,000개의 짝만 해도 약 50만 개라 손으로 질의를 늘어놓을 수 없었다.

1989년 첫 KDD 워크숍에서 「데이터베이스 속 지식 발견」이라는 말이 생겼고(Fayyad 1996), 1993년 IBM 의 Agrawal · Imieliński · Swami 가 장바구니 데이터의 연관 규칙 문제를 정의했다(Agrawal 1993). 1994년 Apriori 가 후보를 줄이는 규칙으로 집합 크기 단계마다 DB 를 한 번씩만 읽게 했고(Agrawal 1994 2절), 1996년 Fayyad 등이 KDD 를 전체 과정, 데이터 마이닝을 그 안의 한 단계로 나눴다.

2000년 업계 공동 절차 CRISP-DM 이 업무 이해부터 배치까지 여섯 단계를 정했고(IBM CRISP-DM), 같은 해 FP-growth 가 후보 생성 없이 빈발 집합을 찾았다(Han 2000). 지금 분류 · 군집 알고리즘은 머신러닝 쪽에서 발전하지만, DB 에서 데이터를 꺼내 고르고 정제하고 결과를 검증하는 과정은 데이터 마이닝이라는 이름으로 남아 있다.

3쉽게 이해하기 — 강가 흙더미에서 사금을 찾는 광부

강가 마을 광부 영호는 상류에서 밀려온 흙더미에서 금을 찾는다. 흙 전부를 볼 수는 없어 한 구역만 트럭에 실어 오고, 체로 돌과 나뭇가지를 버린 뒤 알갱이 크기별로 나눈다. 접시에 물을 붓고 흔들면 무거운 알갱이만 남는데, 반짝인다고 다 금은 아니어서 감정사가 비교 시료와 견줘 황철석을 골라낸다. 진짜 금만 장신구 공방으로 가고, 금이 적으면 영호는 다른 구역을 다시 퍼 온다.

흙더미에서 금을 찾는 여덟 걸음 1 흙더미 DB · DW 상류 흙 전부 2 트럭 선택 한 구역만 실음 3 체 전처리 돌 · 가지 버림 4 크기 나눔 변환 알갱이별 칸 5 접시 흔들기 데이터 마이닝 무거운 것만 남김 6 알갱이 패턴 후보 금 · 황철석 섞임 7 감정사 해석 · 평가 비교 시료와 대조 8 장신구 공방 지식 · 활용 진짜 금만 금이 적으면 다시 퍼 옴(반복) 원래 데이터 처리 단계 결과 사람의 판단 가짜(버릴 패턴)

그림 1 · 흙더미를 퍼 와 거르고 나누고 흔든 뒤 감정사가 가짜를 골라내야 금이 공방에 간다 — 데이터 마이닝은 그중 흔들기 한 단계이고, 앞뒤 단계가 결과를 좌우한다.

한 구역 퍼 옴흙더미 전부가 아니라 한 구역만
체로 거름돌 · 나뭇가지를 버림
크기별 나눔같은 크기 알갱이끼리 칸에
접시 흔들기가벼운 모래는 흘려보냄
감정비교 시료보다 더 반짝이는가
공방으로진짜 금만 장신구로
비교 시료보다 얼마나 더 반짝이나 = 향상도 비유 두 비율 실제 규칙 강 A 의 바위 밑 아무 데서나 퍼도 10 중 8 반짝 바위 밑도 10 중 8 → 황철석 아무 데서나 = 결론 품목의 원래 비율 80% 바위 밑에서 = 신뢰도 80% 우유 → 생수 신뢰도 80% 향상도 0.8 / 0.8 = 1.00 우연과 같음 → 버림 강 B 의 바위 밑 아무 데서나 퍼면 10 중 6 반짝 바위 밑은 10 중 10 → 금맥 아무 데서나 = 결론 품목의 원래 비율 60% 바위 밑에서 = 신뢰도 100% 김밥 → 컵라면 신뢰도 100% 향상도 1.0 / 0.6 = 1.67 함께 사는 경향 → 채택 조건 없이 결론이 나오는 비율 조건이 있을 때 결론이 나오는 비율 막대 끝 = 100%

그림 2 · 바위 밑에서 반짝이는 비율만 보지 않고 아무 데서나 반짝이는 비율과 견주면 강 A 는 우연이고 강 B 만 금맥이다 — 실제로는 신뢰도를 결론 품목의 원래 비율로 나눈 향상도다.

비유 속 역할실제 이름실제로 하는 일
상류 흙더미운영 DB · 데이터 웨어하우스거래 · 이력 데이터가 분석과 상관없이 쌓여 있다
한 구역만 퍼 옴목표 데이터 선택기간 · 대상 · 변수를 정해 분석할 행과 열만 꺼낸다
체로 거름정제 · 전처리잡음 · 중복 행을 지우고 결측 값 처리 방식을 정한다
크기별 나눔축소 · 변환기법이 읽는 형식(거래 × 품목 표 등)으로 바꾸고 변수를 줄인다
접시 흔들기데이터 마이닝알고리즘이 최소 지지도 같은 기준을 넘는 패턴만 남긴다
황철석우연과 다르지 않은 패턴향상도 1 근처 규칙처럼 자주 맞아도 정보가 없는 결과
감정사해석 · 평가지표와 업무 지식으로 패턴이 새롭고 쓸모 있는지 가린다
장신구 공방지식 활용진열 · 추천 · 다른 시스템의 규칙으로 반영한다

⚠ 비유가 맞지 않는 곳: 사금은 흔들면 무게로 저절로 갈리지만, 데이터 마이닝에서 남길 기준(최소 지지도 30% 등)은 사람이 정하고 기준을 바꾸면 남는 패턴도 바뀐다. 또 흙은 한 번 걸러 내면 그만이지만 실제 DB 는 Apriori 가 집합 크기마다 처음부터 다시 읽는다.

4구조 — KDD 과정과 마이닝 기법

Fayyad 1996 은 KDD 를 아홉 단계로 적는다 — 업무 이해 · 목표 데이터 만들기 · 정제 · 축소와 변환 · 목표에 맞는 기법 고르기 · 알고리즘 고르기 · 데이터 마이닝 · 해석 · 지식 활용이고, 해석 단계에서 앞 단계 어디로든 되돌아간다. 마이닝 단계는 이 가운데 하나이며, 결과의 질은 앞의 선택 · 정제 · 변환이 정한다.

패턴이 쓸모없으면 앞 단계로 되돌아감(반복) DB · DW 선택 전처리 변환 데이터 마이닝 해석 · 평가 지식 운영 이력 목표 데이터 정제 데이터 분석 형식 검증된 패턴 업무 결정 연관 규칙 함께 나타나는 항목 레이블 없음 지지도 · 신뢰도 Apriori · FP-growth 분류 정해진 범주 예측 레이블 필요 정확도 · 재현율 결정 트리 군집 비슷한 것끼리 묶음 레이블 없음 군집 안 거리 K-means 이상치 탐지 드문 레코드 찾기 레이블 없음 · 일부 이상 점수 거리 · 밀도 기준 데이터 처리 단계 평가 업무 지식 레이블 필요 레이블 없음 굵은 테두리 = 여기서 다룸

그림 3 · 데이터 마이닝은 DB 에서 지식까지 가는 KDD 과정의 한 단계이고, 그 안의 기법은 레이블이 필요한 분류와 대개 필요 없는 연관 규칙 · 군집 · 이상치 탐지로 나뉜다.

요소입력 → 출력대표 값 · 기법근거
업무 이해업무 질문 → 분석 목표「함께 팔리는 품목」 · 「이탈할 고객」Fayyad 1996 1단계
목표 데이터 선택운영 DB · DW → 분석 대상 행 · 열기간 · 대상 · 변수 지정(SQL WHERE)2단계
정제 · 전처리목표 데이터 → 정제 데이터잡음 · 중복 제거 · 결측 처리3단계
축소 · 변환정제 데이터 → 분석 형식거래 × 품목 표 · 차원 축소4단계
데이터 마이닝분석 형식 → 패턴연관 규칙 · 분류 · 군집 · 이상치 탐지5 ~ 7단계
해석 · 평가패턴 → 검증된 패턴지지도 · 신뢰도 · 향상도 · 시각화8단계 · Brin 1997
지식 활용검증된 패턴 → 업무 결정진열 · 추천 · 다른 시스템에 반영9단계

Fayyad 1996 은 기법을 분류 · 회귀 · 군집 · 요약 · 종속성 모델링 · 변화와 편차 탐지 여섯으로 나누고, 연관 규칙은 종속성 모델링의 한 꼴이다. 분류 · 군집의 학습 원리는 머신러닝 · 지도 학습이, 이상치의 점수와 임계값은 이상 탐지가 맡는다 — 데이터 마이닝은 DB 에서 데이터를 꺼내 기법을 고르고 결과를 검증하는 과정을 다룬다.

🔑 알고리즘은 마이닝 한 단계만 맡고, 쓸모 있는 패턴인지는 그 앞의 선택 · 정제 · 변환과 그 뒤의 평가가 정한다.

5동작 — 편의점 영수증 10건의 연관 규칙 찾기

사례 = 설명용 가정 값(편의점 영수증 10건 · 품목 다섯) · 파이썬으로 Apriori 를 직접 구현해 실행 · 최소 지지도 30%(3건) · 최소 신뢰도 60%.

  1. 선택 — 판매 표 sales(receipt_id, item) 에서 한 점포 하루치 영수증 10건(T1 ~ T10)을 WHERE 로 꺼낸다.
  2. 전처리 — 같은 영수증에 같은 품목이 두 줄이면 SELECT DISTINCT receipt_id, item 으로 한 줄로 합치고, 반품 행은 뺀다.
  3. 변환 — 영수증마다 품목 집합으로 묶는다(김밥 · 생수 · 컵라면 · 우유 · 바나나). 예: T5 = {김밥, 생수, 컵라면, 우유}.
  4. 1회 스캔 — 품목 다섯의 영수증 수 = 김밥 5 · 생수 8 · 컵라면 6 · 우유 5 · 바나나 2 → 3건 미만인 바나나가 빠지고 빈발 1-집합 4개가 남는다.
  5. 2회 스캔 — 남은 넷으로 만든 2-집합 후보 6개를 센다 = 김밥 · 컵라면 5 · 김밥 · 생수 4 · 생수 · 우유 4 · 생수 · 컵라면 4 · 우유 · 컵라면 2 · 김밥 · 우유 1 → 4개가 남는다.
  6. 3회 스캔 — 앞 2-집합이 같은 것끼리 이어 만든 후보는 {김밥, 컵라면, 생수} 하나뿐이고 4건으로 남는다. 더 이을 짝이 없어 스캔은 세 번에서 끝난다(Agrawal 1994 2절).
  7. 규칙 평가 — 김밥 → 컵라면은 지지도 50% · 신뢰도 100% · 향상도 1.67 로 채택, 우유 → 생수는 신뢰도 80% 이지만 생수가 원래 80% 라 향상도 1.00, 컵라면 → 생수는 신뢰도 66.7% 로 기준을 넘어도 향상도 0.83 이라 버린다(Brin 1997 1.1절 식).
  8. 활용 — 김밥 진열대 옆에 컵라면을 두고, 다음 주 영수증으로 같은 규칙이 다시 나오는지 확인한다.
최소 지지도 30% = 영수증 10건 중 3건 3 영수증 10건(가정 값) T1 김밥·생수·컵라면 T2 김밥·컵라면 T3 김밥·생수·컵라면 T4 생수·우유 T5 김밥·생수·컵라면·우유 T6 생수·우유 T7 생수·바나나 T8 김밥·생수·컵라면 T9 생수·우유·바나나 T10 컵라면·우유 스캔마다 10건 전부 읽음 4 1회 스캔 · C1 김밥 5 생수 8 컵라면 6 우유 5 바나나 2 탈락 후보 5 · 통과 4 5 2회 스캔 · C2 김밥·컵라면 5 김밥·생수 4 생수·우유 4 생수·컵라면 4 우유·컵라면 2 탈락 김밥·우유 1 탈락 바나나가 든 2-집합 4개 — 만들지 않음 후보 6 · 통과 4 6 3회 스캔 · C3 김밥·컵라면·생수 4 이을 짝이 더 없어 스캔 종료 후보 1 · 통과 1 최소 지지도 통과(빈발 집합) 탈락 만들지 않은 후보 숫자 = 그 집합을 품은 영수증 수

그림 4 · 영수증 10건을 세 번 읽어 바나나와 2-집합 둘을 떨어뜨렸고, 마지막 후보 {김밥, 컵라면, 생수} 하나만 남았다.

집합 개수 0 5 10 5 5 4 10 6 4 10 1 1 5 0 0 1 0 0 크기 1 크기 2 크기 3 크기 4 크기 5 합계 가능한 집합 31 센 후보 12 통과 9 DB 스캔 3회 = 가장 큰 빈발 집합의 크기 세지 않은 19개 = 바나나가 든 집합 15 + 김밥·우유 또는 우유·컵라면을 품은 집합 4 가능한 집합(품목 다섯의 조합) Apriori 가 센 후보 최소 지지도 통과

그림 5 · 품목 다섯의 집합 31개 가운데 Apriori 는 12개만 셌다 — 한 번 떨어진 집합을 품은 상위 집합은 세기 전에 빠진다.

🔑 드문 집합을 품은 집합은 언제나 드물다 — 그래서 바나나 하나가 떨어지는 순간 바나나가 든 집합 15개는 DB 를 읽기 전에 빠진다(Agrawal 1994 2절).

🔑 신뢰도는 규칙이 얼마나 자주 맞는가를, 향상도는 그 규칙이 우연보다 얼마나 나은가를 말한다 — 결론 품목이 원래 흔하면 신뢰도 80% 규칙도 향상도는 1.00 이다.

6비교 — OLAP · 머신러닝과의 차이

기준데이터 마이닝OLAP머신러닝
묻는 방식가설 없이 패턴을 찾음(발견 · Fayyad 1996)사람이 정한 차원으로 집계를 확인(검증)정한 목표 값을 예측하는 함수를 학습
결과물규칙 · 군집 · 이상 목록다차원 집계표(큐브) · 드릴다운 화면학습된 모델 파라미터
데이터 원천DB · DW 의 대량 이력DW 의 사실 · 차원 표학습 · 검증 · 테스트 데이터 세트
평가 기준지지도 · 신뢰도 · 향상도 · 새로움집계 값의 정확성 · 응답 시간테스트 데이터의 일반화 성능
사람의 몫임계값을 정하고 패턴을 해석슬라이스 · 드릴다운을 직접 고름목표 · 특징 · 평가 지표를 정함

분석「지난달 지점별 김밥 매출」처럼 질문이 먼저 있으면 OLAP, 「무엇과 무엇이 함께 팔리나」처럼 질문 자체를 찾아야 하면 데이터 마이닝, 「이 고객이 다음 달 떠날까」처럼 정해진 값을 맞혀야 하면 머신러닝을 고른다. 근거는 Fayyad 1996 이 마이닝 목표를 검증과 발견으로 나누고 발견을 다시 예측과 기술로 나눈 구분이다.

7실무 진단 — 쓸모없는 마이닝 결과의 단계 가르기

분석결과가 쓸모없으면 알고리즘보다 먼저 평가 지표 → 임계값 · 변환 → 선택 · 전처리 순으로 거슬러 본다. 앞 단계일수록 고칠 비용이 크지만, 뒤 단계의 문제는 SQL 한두 줄로 바로 보이기 때문이다(Fayyad 1996 8단계 = 앞 단계로 되돌아감).

#증상의심 원인단계확인 명령 · 자료판정 기준(근거)
1신뢰도 높은 규칙을 적용해도 효과 없음결론 품목이 원래 흔함해석 · 평가결론 품목 비율 = SELECT COUNT(DISTINCT receipt_id) FROM sales WHERE item = '생수' ÷ 전체 영수증 수향상도 = 신뢰도 ÷ 결론 비율 ≤ 1 이면 버림(Brin 1997 1.1절)
2규칙이 수만 개 쏟아짐최소 지지도가 너무 낮음마이닝크기별 빈발 집합 수크기가 커져도 개수가 줄지 않으면 지지도를 올림(Agrawal 1994 2절)
3규칙이 하나도 없음품목 코드가 맛 · 용량별로 갈라져 각 코드의 빈도가 낮음변환SELECT item, COUNT(DISTINCT receipt_id) FROM sales GROUP BY item ORDER BY 2 DESC최상위 품목의 지지도도 최소 지지도 미만이면 상위 분류로 묶음(PostgreSQL 7.2.3)
4지난달과 규칙이 크게 다름기간 · 점포 표본 차이 · 중복 행선택 · 전처리SELECT COUNT(*), COUNT(DISTINCT (receipt_id, item)) FROM sales두 값이 다르면 중복 행 · 영수증 수가 달마다 크게 다르면 표본부터 맞춤

8시험 대비

출제 정보 정보관리(137회, 130회, 129회, 119회, 118회, 113회, 111회, 105회, 98회, 96회, 74회, 72회, 69회, 66회, 63회) · 컴퓨터시스템응용(111회, 96회, 84회, 75회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 KDD 과정과 기법 분류를 묻는 정의 · 특징형, 연관 규칙을 찾는 순서와 지표 계산을 묻는 동작 · 절차 설명형이 나올 수 있다. 정의형은 KDD 단계 그림 하나와 기법 표로 쓰고, 절차형은 작은 거래 표로 지지도 · 신뢰도 · 향상도를 직접 계산해 보인다.

답안 목차
  1. 개요 — 정의 · KDD 과정 안의 한 단계(Fayyad 1996) · 검증형 OLAP 과 발견형 마이닝의 차이
  2. KDD 과정 — 그림 3 단계 그림(선택 · 전처리 · 변환 · 마이닝 · 해석 · 평가 · 되돌아감) + CRISP-DM 여섯 단계 대응
  3. 마이닝 기법 — 기법 표(연관 규칙 · 분류 · 군집 · 이상치 탐지 · 레이블 유무 · 평가 지표 · 대표 알고리즘)
  4. 연관 규칙 절차 — 그림 4 스캔 단계(C1 → L1 → C2 → L2 → C3) + 그림 5 후보 31 → 12 · 스캔 3회
  5. 규칙 평가 — 지지도 · 신뢰도 · 향상도 식 + 신뢰도 80% · 향상도 1.00 규칙을 버리는 판단
  6. 한계와 대응 — 후보 폭발 · 반복 스캔 → FP-growth(Han 2000) · 개인정보 가명 처리 · 결과 해석은 사람 몫

꼭 쓸 키워드
KDD빈발 항목 집합최소 지지도지지도신뢰도향상도AprioriFP-growthCRISP-DM군집

다른 답안과 차이를 내는 한 가지는 「신뢰도는 기준을 넘었지만 향상도 0.83 이라 버린 규칙」 같은 숫자 판단을 표 하나에 함께 보이는 것이다.

9오해와 사실

  • 오해데이터 마이닝과 KDD 는 같은 범위를 가리킨다.
    사실둘을 섞어 쓰는 경우가 많지만 Fayyad 1996 은 KDD 를 업무 이해부터 지식 활용까지 아홉 단계 전체로, 데이터 마이닝을 그중 패턴을 뽑는 일곱째 단계로 정의한다.
  • 오해신뢰도가 최소 기준을 넘은 규칙은 쓸 만하다.
    사실사례의 컵라면 → 생수는 신뢰도 66.7% 로 기준 60% 를 넘지만, 생수가 원래 영수증 80% 에 들어 있어 향상도 0.83 — 컵라면을 산 손님은 오히려 생수를 덜 산다(Brin 1997 1.1절).
  • 오해연관 규칙은 원인과 결과를 보여 준다.
    사실규칙의 지지도 · 신뢰도는 같은 거래에 함께 나타난 비율일 뿐이고(Agrawal 1994 1절 정의), 김밥이 컵라면 구매를 일으키는지는 실험이나 업무 지식으로 따로 확인해야 한다.

10핵심 정리

기법묻는 질문레이블출력평가 지표대표 알고리즘
연관 규칙무엇이 함께 나타나나없음X → Y 규칙지지도 · 신뢰도 · 향상도Apriori · FP-growth
분류어느 범주에 드나필요분류 규칙 · 트리정확도 · 재현율결정 트리
회귀값이 얼마일까필요예측 함수오차 제곱 평균선형 회귀
군집무엇끼리 비슷한가없음군집 · 중심군집 안 거리K-means
요약이 묶음의 특징은없음평균 · 분포 · 설명간결함 · 정확성속성 요약 · 집계
변화 · 편차 탐지무엇이 평소와 다른가없음 · 일부이상 레코드 목록이상 점수 · 오경보율거리 · 밀도 기준

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ From Data Mining to Knowledge Discovery in Databases (AI Magazine 17(3) 37-54) — KDD 과정 아홉 단계와 데이터 마이닝 단계의 경계를 볼 때
    AAAI · 1996-09 · doi.org/10.1609/aimag.v17i3.1230 · 확인 2026-11-04
  3. ★ Fast Algorithms for Mining Association Rules (Proceedings of the 20th VLDB Conference 487-499) — 지지도 · 신뢰도 정의와 Apriori 후보 생성 규칙을 원문으로 볼 때
    VLDB Endowment · 1994-09 · www.vldb.org/conf/1994/P487.PDF · 확인 2026-11-04
  4. ★ Beyond Market Baskets: Generalizing Association Rules to Correlations (Proceedings of ACM SIGMOD 1997 265-276) — 신뢰도만으로 규칙을 고를 때 생기는 함정과 향상도 식을 볼 때
    ACM · 1997-05 · doi.org/10.1145/253260.253327 · 확인 2026-11-04
  5. ★ IBM SPSS Modeler 18.6 CRISP-DM Help Overview — 업계 표준 절차 CRISP-DM 의 여섯 단계를 볼 때
    IBM · 2026-11 · www.ibm.com/docs/en/spss-modeler/18.6.0?topic=dm-crisp-help-overview · 확인 2026-11-04
  6. 본문 근거
  7. Mining Association Rules between Sets of Items in Large Databases (Proceedings of ACM SIGMOD 1993 207-216) — ACM · 1993-06 · doi.org/10.1145/170035.170072 · 확인 2026-11-04
  8. Mining Frequent Patterns without Candidate Generation (Proceedings of ACM SIGMOD 2000 1-12) — ACM · 2000-05 · doi.org/10.1145/342009.335372 · 확인 2026-11-04
  9. PostgreSQL 18 Documentation 7.2.3 The GROUP BY and HAVING Clauses — PostgreSQL Global Development Group · 2026-11 · www.postgresql.org/docs/current/queries-table-expressions.html · 확인 2026-11-04