데이터 분석Data Analysis
흩어진 운영 데이터를 모아 정리 · 저장하고, 집계 · 패턴 탐색 · 시각화로 의사 결정에 쓰는 정보로 바꾸는 IT 분야다. 데이터를 담는 DBMS 는 데이터베이스, 품질 · 표준은 데이터 관리, 학습 모델은 AI 영역이 맡는다.
1요약
- 데이터 분석은 NIST SP 1500-1r2 5.3절이 정한 수집 · 준비 · 분석 · 시각화 · 활용 다섯 단계를 IT 체계로 나눠 맡는 분야로, 그 위에서 DW · OLAP · 데이터 마이닝 · 하둡 · 스파크 · 대시보드가 각자 한 단계 이상을 맡아 돈다.
- 운영 DB 에 분석 질의를 바로 돌리면 주문 처리가 밀리고 지난 값이 덮어써져, 따로 둔 웨어하우스가 생겼고 그 뒤 비정형 데이터가 늘자 레이크 + 웨어하우스 두 단계 구조가 Fortune 500 기업 거의 전부로 퍼졌다(Armbrust 외 2021 1절).
- 「분석 숫자가 이상하다」는 어느 단계에서 어긋났는가로 가른다 — 원천 건수와 적재 건수가 다르면 수집 · 준비, 같은 질의가 엔진마다 다르면 구조를 읽을 때 정한 저장소, 표는 맞는데 화면만 다르면 시각화의 집계 기준이다.
2등장 배경
1980년대 기업의 주문 · 회계 DB 는 키로 몇 행을 읽고 쓰는 짧은 트랜잭션에 맞춰져 있어, 몇 년 치를 훑는 집계 질의를 섞으면 업무 응답이 느려지고 바뀐 값의 이력도 남지 않았다. 그래서 운영 DB 와 떨어진 분석 전용 저장소에 주제별로 통합해 시점과 함께 쌓는 데이터 웨어하우스와, 그 위에서 차원별로 묶고 펼치는 OLAP 이 생겼다(Chaudhuri · Dayal 1997 1절).
2004년 Google 의 MapReduce 는 값싼 서버 수천 대에 계산을 나눠 수 TB 를 처리했고(Dean · Ghemawat 2004), 그 공개 구현인 하둡의 HDFS 는 파일을 보통 128 MB 블록으로 나눠 세 벌씩 복제한다(HDFS 설계 문서). 2010년 Dixon 은 손질해 담은 마트와 달리 원래 상태로 쌓아 두는 저장소를 데이터 레이크라 불렀고(Dixon 2010), 2012년 스파크의 RDD 는 반복 계산 데이터를 메모리에 두어 열 배 수준까지 빠르게 했다(Zaharia 외 2012 초록).
지금은 끝없이 들어오는 이벤트를 정확성 · 지연 · 비용 사이에서 골라 처리하는 스트림 모델(Akidau 외 2015)과, 레이크의 열린 파일 형식 위에 웨어하우스의 관리 기능을 얹는 레이크하우스(Armbrust 외 2021)가 함께 쓰인다. NIST 는 2019년 빅데이터를 크기 · 속도 · 다양성 · 가변성 네 특성 때문에 확장 가능한 구조가 필요한 데이터로 정의했다(NIST SP 1500-1r2 3.1절).
3쉽게 이해하기 — 마트 체인 본사의 물류 창고
전국 마트 체인 본사에 매장마다 그날 판매 상자가 트럭으로 들어온다. 손질실 직원은 상자를 품목표대로 다듬어 정리 창고 선반에 날짜별로 넣고, 지역 담당에게는 작은 지역 창고를 따로 채워 준다. 손질할 틈이 없는 상자는 큰 야적장에 그대로 쌓아 둔다. 기획팀 박 과장은 「지난달 지역별 판매」를 선반에서 바로 꺼내 보고, 연구원 한 박사는 야적장과 창고를 뒤져 묻지 않은 묶음을 찾으며, 둘의 결과는 본사 로비 현황판에 걸린다.
그림 1 · 상자가 손질실을 거쳐 선반에 오르거나 야적장에 그대로 쌓이고, 정해 둔 질문과 새 묶음 찾기가 모두 현황판으로 모인다.
그림 2 · 박 과장은 질문을 정해 두고 선반 칸에서 답을 꺼내고, 한 박사는 질문 없이 뒤져 몰랐던 묶음을 찾아 온다 — 이 차이가 OLAP 과 데이터 마이닝의 경계다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 매장 계산대 | 운영 DB · 원천 시스템 | 주문 · 결제를 처리하며 분석할 원래 기록을 만든다 |
| 손질실 | ETL/ETT · 데이터 파이프라인 | 추출 → 정제 · 변환 → 적재로 형식과 코드를 맞춘다 |
| 정리 창고 선반 | DW · EDW | 주제별로 통합해 시점과 함께 쌓고 지우지 않는다 |
| 지역 창고 | Data Mart | 한 부서 · 한 주제만 떼어 빠르게 읽게 한다 |
| 큰 야적장 | 데이터 레이크 · HDFS | 원본 파일을 그대로 두고 읽을 때 구조를 정한다 |
| 박 과장의 정한 질문 | OLAP · 다차원모델링 | 차원 · 측정값을 미리 정해 롤업 · 드릴다운으로 집계한다 |
| 한 박사의 묶음 찾기 | 데이터 마이닝 · K-Means알고리즘 | 연관 규칙 · 군집처럼 묻지 않은 패턴을 찾는다 |
| 로비 현황판 | 대시보드 · 데이터 시각화 | 지표를 그림으로 보여 활용 단계로 넘긴다 |
⚠ 비유가 맞지 않는 곳: 창고의 상자는 꺼내면 선반에서 사라지지만, 데이터는 읽어도 줄지 않고 같은 행을 OLAP 과 마이닝이 동시에 읽는다. 또 야적장은 손질을 미룬 곳일 뿐 버린 곳이 아니라서, 레이크의 원본은 나중에 새 질문이 생기면 다시 손질해 쓴다(Dixon 2010).
4구조 — 분석 단계와 네 갈래의 지도
데이터 분석은 NIST SP 1500-1r2 5.3절의 단계를 가로축으로, 기술 갈래 넷을 세로축으로 놓으면 한 장에 들어간다. 웨어하우스는 수집부터 분석까지 정해진 질문 중심으로, 빅데이터 · 레이크는 같은 단계를 분산 저장 · 분산 처리로 맡고, 마이닝은 분석 단계만, BI 는 시각화 단계만 맡는다.
그림 3 · 웨어하우스 · 빅데이터는 수집부터 분석까지 세 단계를 나눠 맡고, 마이닝은 분석, BI 는 시각화 한 단계만 맡는다.
| 갈래 | 푸는 문제 | 맡는 단계 | 하위 토픽 |
|---|---|---|---|
| 데이터 웨어하우스 | 운영 DB 를 건드리지 않고 이력까지 담은 분석용 사본을 만든다 | 수집 · 저장 · 준비 · 분석 | DW · EDW · Data Mart · ETL/ETT · EII · OLAP · ROLAP/MOLAP/HOLAP · 다차원모델링 |
| 빅데이터 · 데이터 레이크 | 한 대에 담기지 않거나 비정형이거나 끝없이 들어오는 데이터를 여러 대로 나눠 담고 계산한다 | 수집 · 저장 · 준비 · 분석 | 하둡 · HDFS · 스파크 · 스트림 처리 · 데이터 파이프라인(ETL · ELT) · 컬럼형 저장 형식 · 레이크하우스 · 데이터 레이크 |
| 데이터 마이닝 | 묻지 않은 관계 · 군집 · 이상치를 데이터에서 찾는다 | 분석 | K-Means알고리즘 · 지지율/신뢰도/향상도 · 웹마이닝 · 현실마이닝 |
| BI · 시각화 | 분석 결과를 사람이 읽고 행동하게 보여 준다 | 시각화 · 활용 | 대시보드 · 데이터 시각화 |
데이터베이스 · 데이터 관리 · 검색과의 경계는 이렇다. DBMS 의 저장 구조 · 트랜잭션은 데이터베이스, 메타데이터 · 데이터 품질 · 표준화는 데이터 관리, 문서를 찾아 순위를 매기는 일은 검색이 맡고, 데이터 분석은 그것들이 만든 데이터를 «모아서 묻는» 쪽이다.
🔑 웨어하우스와 레이크는 같은 단계(수집 · 준비 · 분석)를 맡는 두 체계이고, 둘을 가르는 것은 저장 크기가 아니라 «구조를 언제 정하는가»다.
5동작 — 전기차 충전소 운영사의 하루 데이터
전기차 충전기 1,200기를 운영하는 회사가 2026-11-08 하루 데이터를 처리하는 흐름이다. 대수 · 건수 · 크기 · 비율은 모두 설명용 가정 값이다.
- 수집 — 충전기마다 10초에 한 번 상태 이벤트를 보내 하루 1,200 × 8,640 = 10,368,000건이 들어오고, 충전 세션 기록은 9,600건이다.
- 실시간 판정 — 스트림 처리가 이벤트 시각 기준 5분 창으로 묶어, 충전기 0417 이 14:05 ~ 14:06 에 오류 상태를 세 번 연속 보내자 14:07 대시보드 알림 목록에 올린다(스트림 처리 · Akidau 외 2015).
- 원시 적재 — 같은 이벤트는 레이크 원시 영역에 JSON 약 5.2 GB(건당 0.5 KB)로 그대로 쌓이고, 정리 작업이 열 단위 Parquet 파일 약 0.6 GB 로 다시 쓴다(데이터 레이크 · 컬럼형 저장 형식).
- 배치 준비 — 02:00 스파크 작업이 세션 9,600건을 충전기 · 구 코드와 맞춰, 충전기 번호가 대응표에 없는 14건을 격리하고 9,586건을 넘긴다(스파크 · 데이터 파이프라인).
- 웨어하우스 적재 — DW 의 사실 표는 한 행 = 충전 1회로 9,586행을 더하고, 차원은 날짜 · 시간대 · 충전기 · 구 넷이다(DW · 다차원모델링).
- OLAP — 구 단위로 롤업하면 하루 평균 이용률이 18% 인데, 강서구를 시간대로 드릴다운하면 18 ~ 22시가 71%(80기 × 4시간 = 320 기·시간 중 227 기·시간)로 가장 붐빈다(OLAP).
- 마이닝 — 시작 시각 · 충전량(kWh) · 머문 시간으로 K-Means(k = 3)를 돌려 세션을 「퇴근 뒤 완속 장시간」 4,100건 · 「낮 급속 단시간」 3,700건 · 「밤샘 주차」 1,786건으로 나눈다(K-Means알고리즘).
- 표시 — 06:00 대시보드가 구별 이용률 지도 · 군집별 세션 수 · 전날 알림 수를 새로 고친다(대시보드).
그림 4 · 같은 충전기 이벤트가 위쪽 실시간 길에서는 몇 분 안에 알림이 되고, 아래쪽 배치 길에서는 레이크 · 스파크 · DW 를 거쳐 다음 날 아침 집계와 군집이 된다.
그림 5 · 구조를 쓰기 전에 정하면 잘못된 행이 적재 때 걸러지고, 읽을 때 정하면 질의 엔진마다 다른 답으로 드러나며, 레이크하우스는 파일을 레이크에 두고도 커밋 때 거른다.
🔑 구조를 정하는 시점이 오류가 드러나는 곳을 정한다. 쓰기 때 정하면 적재에서 한 번 걸러지고, 읽을 때 정하면 질의마다 다른 답으로 나타난다(Armbrust 외 2021 1절 · 3.2절).
6비교 — 데이터 분석 · 데이터베이스 · 데이터 관리 · 검색의 경계
| 기준 | 데이터 분석 | 데이터베이스 | 데이터 관리 | 검색 |
|---|---|---|---|---|
| 묻는 질문 | 모은 기록에서 어떤 추세 · 패턴이 보이는가 | 이 행을 지금 맞게 읽고 쓰는가 | 이 값의 뜻 · 기준이 시스템마다 같은가 | 이 요구에 맞는 문서는 무엇이고 어느 순서인가 |
| 질의 모양 | 많은 행을 훑는 집계 · 차원 묶기 | 키 조건으로 몇 행만 읽고 고침(Chaudhuri · Dayal 1997 1절) | 정의 · 규칙 대조와 건수 대사 | 낱말 · 의미로 후보를 고르는 적합도 계산 |
| 답의 모양 | 집계 숫자 · 군집 · 그래프 | 조건에 맞는 정확한 행 | 규칙 위반 목록 · 품질 측정값 | 적합도 순 목록 |
| 주로 다루는 데이터 | 시점이 붙은 이력 · 정형과 비정형 | 현재 상태의 정형 행 | 열 정의 · 기준 레코드 | 비정형 문서 · 영상 |
| 대표 하위 토픽 | DW · OLAP · 스트림 처리 | 트랜잭션 · 옵티마이저 · NoSQL | 메타데이터 · MDM · 데이터표준화 | 역색인 · 랭킹(BM25) · 지식 그래프 |
| 경계 | 운영 데이터 사본을 받아 판단 재료로 바꿈 | 커밋된 운영 행을 분석 저장소로 넘김 | 분석이 쓸 정의 · 품질 규칙을 줌 | 정답 행 대신 관련도로 답함 |
분석정확한 행 하나가 필요하면 데이터베이스, 많은 행을 묶은 숫자가 필요하면 데이터 분석, 맞는 문서를 순서대로 받아야 하면 검색을 고르고, 숫자의 뜻부터 갈리면 데이터 관리로 넘긴다. 근거는 표의 「질의 모양」 · 「답의 모양」 행 — 웨어하우스는 운영 DB 의 갱신 트랜잭션과 성격이 다른 집계 질의를 위해 따로 둔다(Chaudhuri · Dayal 1997 1절).
7실무 진단 — 분석 숫자가 어긋난 단계 가르기
분석수집 → 준비 → 분석 → 시각화 순서로, 앞 단계부터 본다. 뒤 단계의 숫자는 앞 단계 결과를 다시 집계한 것이라(NIST SP 1500-1r2 5.3절), 앞에서 건수가 어긋나면 뒤에서 아무리 고쳐도 맞지 않는다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 대시보드 건수가 원천 시스템보다 적음 | 적재 누락 · 거부 | 준비 | 파이프라인 적재 기록의 읽은 건수 · 넘긴 건수 · 격리 건수 | 읽은 건수 ≠ 넘긴 + 격리이면 파이프라인 결함(사례 4단계 9,600 = 9,586 + 14) |
| 2 | 어제 데이터가 아침에도 없음 | 배치 실패 · 지연 | 준비 | 작업 스케줄러의 마지막 성공 시각 | 마지막 성공이 약속 시각(사례 02:00) 앞이면 배치 재실행 대상 |
| 3 | 실시간 알림이 수십 분 늦음 | 늦게 도착한 이벤트 · 처리 지연 | 수집 | 이벤트 시각과 처리 시각의 차이 | 차이가 창 길이(5분)를 넘으면 늦은 데이터 처리 규칙을 본다(Akidau 외 2015) |
| 4 | 같은 지표가 엔진마다 다름 | 읽을 때 형식 해석이 다름 | 분석 | 두 엔진의 스키마 정의 · NULL 건수 | 한쪽만 NULL 이 늘면 레이크 원본 형식 문제(Armbrust 외 2021 3.2절) |
| 5 | 표는 맞는데 화면 숫자만 다름 | 집계 기준(기간 · 필터) 차이 | 시각화 | 대시보드 지표 정의 · 필터 값 | 같은 기간 · 필터로 다시 질의해 맞으면 시각화 설정 문제 |
1 · 2행이 깨끗해야 3 ~ 5행을 볼 가치가 있다. 4행은 레이크 쪽, 5행은 BI 쪽 문제라서, 같은 「숫자가 틀리다」도 고칠 팀이 다르다.
8시험 대비
www.q-net.or.kr시험에서는 빅데이터 네 특성이나 웨어하우스 성질을 묻는 정의 · 특징형, 수집부터 시각화까지 분석 플랫폼을 그리게 하는 구조 · 구성형, DW · 데이터 레이크 · 레이크하우스를 견주는 비교형이 나올 수 있다. 구조 · 구성형이면 단계 × 갈래 지도를 먼저 그리고 단계마다 대표 기술 한 줄, 비교형이면 «구조를 정하는 시점» 한 축으로 셋을 갈라 쓴다.
- 개요 — 정의 · NIST SP 1500-1r2 다섯 단계 · 빅데이터 네 특성(3.1절)
- 분석 체계 지도 — 그림 3 단계 × 갈래 + 갈래별 푸는 문제 표
- 아키텍처 세대 — 웨어하우스 → 레이크 + 웨어하우스 → 레이크하우스(Armbrust 외 2021) 세 줄 표
- 구조를 정하는 시점 — 그림 5 쓰기 때 · 읽을 때 · 커밋 때 검사 비교
- 구성 사례 — 그림 4 실시간 길 · 배치 길(스트림 처리 · 레이크 · 스파크 · DW · OLAP · 마이닝)
- 고려 사항 — 데이터 품질 · 지연(정확성 · 지연 · 비용 맞바꿈) · 데이터 관리, AI 와의 경계
꼭 쓸 키워드
NIST SP 1500-1r2빅데이터 네 특성데이터 웨어하우스Data MartETLELTOLAP데이터 마이닝데이터 레이크레이크하우스스트림 처리대시보드
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 잘못된 행 하나가 세 체계에서 어디서 드러나는지를 보이는 것이고, 근거로 NIST 2019 판 정의와 2021 레이크하우스 논문을 적는다.
9오해와 사실
- 오해데이터가 크기만 하면 빅데이터다.사실NIST 정의는 크기 · 속도 · 다양성 · 가변성 가운데 어느 특성 때문에 확장 가능한 구조가 필요해질 때를 빅데이터로 본다(NIST SP 1500-1r2 3.1절) — 작아도 초당 이벤트가 몰리면 속도 문제다.
- 오해데이터 레이크가 생기면 웨어하우스는 필요 없다.사실2021년 기준으로는 레이크에 원본을 두고 일부를 다시 웨어하우스로 옮기는 두 단계 구조가 대부분이었고(Armbrust 외 2021 1절), 레이크하우스도 웨어하우스의 트랜잭션 · 스키마 검사를 레이크 위에 다시 얹는 방식이다.
- 오해데이터 마이닝은 기계 학습과 같은 말이다.사실마이닝은 지식 발견 과정의 한 단계이고 CRISP-DM(2000)이 그 절차를 정리했으며(NIST SP 1500-1r2 5.3절), 기계 학습은 그 단계가 쓰는 방법 가운데 하나라서 AI 영역이 따로 맡는다.
10핵심 정리
| 하위 체계 | 구조를 정하는 때 | 처리 시점 | 저장 · 계산 단위 | 결과물 |
|---|---|---|---|---|
| DW · Data Mart | 쓰기 전(ETL) | 배치(보통 하루) | 사실 표 · 차원 표 | 이력까지 담은 통합 표 |
| ETL · ELT | ETL = 적재 전 · ELT = 적재 뒤 | 배치 · 마이크로 배치 | 작업 · 적재 기록 | 맞춘 행 · 격리 행 |
| OLAP | 차원 · 측정값을 미리 정함 | 대화형 질의 | 큐브 · 집계 | 롤업 · 드릴다운 표 |
| 데이터 마이닝 | 분석 시 특성 선택 | 배치 | 데이터 집합 | 규칙 · 군집 · 이상치 |
| 하둡 · HDFS | 읽을 때 | 배치 | 128 MB 블록 · 3벌 복제(보통) | 분산 저장 · MapReduce 작업 |
| 스파크 | 읽을 때(스키마 지정 가능) | 배치 · 스트림 | 메모리 RDD · 데이터프레임 | 반복 계산 결과 |
| 데이터 레이크 · 레이크하우스 | 레이크 = 읽을 때 · 레이크하우스 = 커밋 때 | 배치 · 스트림 | Parquet 같은 열 단위 파일 | 원시 · 정제 영역 표 |
| 대시보드 | 지표 정의로 정함 | 갱신 주기(분 ~ 하루) | 지표 · 필터 | 그림 · 알림 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST SP 1500-1r2 NIST Big Data Interoperability Framework: Volume 1, Definitions (Version 3) — 빅데이터 네 특성(3.1절)과 수집 · 준비 · 분석 · 시각화 · 활용 다섯 단계(5.3절)를 볼 때
- ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — 웨어하우스 → 레이크 + 웨어하우스 → 레이크하우스 세 세대와 스키마 검사(3.2절)를 볼 때
- ★ An Overview of Data Warehousing and OLAP Technology (ACM SIGMOD Record 26(1)) — 운영 DB 와 웨어하우스를 따로 두는 이유와 OLAP 연산을 한 논문으로 볼 때
- ★ The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing (PVLDB 8(12)) — 배치와 스트림을 정확성 · 지연 · 비용의 맞바꿈으로 볼 때
- 본문 근거
- MapReduce: Simplified Data Processing on Large Clusters (OSDI 2004) — Jeffrey Dean · Sanjay Ghemawat · USENIX · 2004-12 ·
www.usenix.org/conference/osdi-04/mapreduce-simplified-data-processing-large-clusters· 확인 2026-11-09 - HDFS Architecture (Apache Hadoop 3.3.5) — Apache Software Foundation · 2026-11 ·
hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html· 확인 2026-11-09 - Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing (NSDI 2012) — Matei Zaharia 외 · USENIX · 2012-04 ·
www.usenix.org/conference/nsdi12/technical-sessions/presentation/zaharia· 확인 2026-11-09 - Pentaho, Hadoop, and Data Lakes — James Dixon · 2010-10 ·
jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/· 확인 2026-11-09 - Apache Parquet File Format — Apache Software Foundation · 2026-11 ·
parquet.apache.org/docs/file-format/· 확인 2026-11-09