데이터 웨어하우스Data Warehouse
여러 운영 시스템의 데이터를 주제별로 통합해 시점과 함께 쌓아 두는 분석 전용 데이터베이스다. 운영 업무와 떨어진 곳에서 의사 결정용 조회 · 집계를 처리한다.
1요약
- 데이터 웨어하우스는 주제 지향 · 통합 · 시계열 · 비휘발 네 성질(Inmon 1992)을 갖춘 분석용 저장소로, 운영 DB 와 따로 두고 ETL 이 주기마다 채우며, 그 위에서 OLAP 집계 · BI 보고서 · 데이터 마트가 돈다.
- 운영 DB 는 키로 수십 행을 읽고 쓰는 짧은 트랜잭션에 맞춰져 있어, 수백만 행을 훑어 조인 · 집계하는 분석 질의를 함께 돌리면 주문 처리가 밀리고 지난 값은 덮어써 남지 않는다 — 1997년 개요 논문은 운영 DB 를 수백 MB ~ 수 GB, 전사 웨어하우스를 수백 GB ~ TB 규모로 적었다(Chaudhuri · Dayal 1997 1절).
- 「보고서 숫자가 틀리다」는 원천 행 수 = 적재 + 거부인가(ETL) · 차원을 덮어썼는가(이력) · 사실 표 한 행의 단위(grain)가 섞였는가(모델)로 가른다.
2등장 배경
1980년대 기업은 주문 · 재고 · 회계 시스템마다 같은 고객을 다른 코드로 적었고, 경영 보고서는 시스템마다 따로 뽑은 추출 파일을 사람이 맞춰 만들었다. 추출 파일이 다시 추출을 낳아 같은 「지난달 매출」이 부서마다 달랐고, 분석 질의를 운영 DB 에 바로 돌리면 주문 응답이 느려졌다.
IBM 의 Devlin · Murphy 는 1988년 흩어진 업무 데이터를 정제해 하나의 정보 저장소로 모으는 구조를 IBM Systems Journal 에 실었고(Devlin · Murphy 1988), Inmon 은 1992년 책 『Building the Data Warehouse』에서 지금의 네 성질 정의를 굳혔다. Codd 등은 다차원 분석 제품의 규칙 12개를 OLAP 이라는 이름으로 정리했고, Kimball 은 1996년 『The Data Warehouse Toolkit』에서 사실 표와 차원 표로 짜는 차원 모델링을 내놓았다(Chaudhuri · Dayal 1997 1 · 5절).
2010년 Dixon 은 가공하지 않은 원본을 그대로 쌓는 저장소를 데이터 레이크라 불렀고(Dixon 2010), 2021년 Armbrust 등은 레이크의 열린 파일 위에 트랜잭션 · 버전 · 색인 계층을 얹는 레이크하우스를 제안했다(Armbrust 외 2021 3절). 레이크하우스가 목표로 삼는 기능이 바로 ACID 트랜잭션 · 스키마 강제 같은 웨어하우스의 관리 기능이어서, 검증된 하나의 숫자를 내는 웨어하우스의 역할은 저장 방식이 바뀌어도 남는다.
3쉽게 이해하기 — 지점 장부를 모으는 본사 기록실
동네 지점 세 곳은 낮 동안 계산대 장부에 판매를 적고, 단골이 이사하면 주소 칸을 지우고 새 주소를 쓴다. 밤마다 수거 기사가 그날 적힌 쪽만 베껴 본사 기록실로 가져오고, 기록실 직원은 지점마다 다르게 적힌 상품 이름을 표준 카드 하나로 맞춘 뒤 고객 · 상품 · 매출 서가에 날짜를 붙여 꽂는다. 한 번 꽂은 기록은 낮의 장부처럼 지우고 다시 쓰지 않고, 영업팀 · 재무팀은 자기 일에 필요한 묶음만 작은 서가로 받아 간다. 분석가가 「지난 분기 지역별 매출」을 물으면 지점 장부를 뒤지지 않고 서가에서 바로 뽑는다.
그림 1 · 지점 장부는 밤마다 수거 기사를 거쳐 본사 기록실에 이름이 맞춰진 채 날짜와 함께 쌓이고, 부서 서가를 거쳐 분석가에게 간다.
그림 2 · 지점마다 다르게 적힌 같은 상품이 표준 카드 한 장으로 모여야 합계 72병이 한 줄로 나온다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 지점 계산대 장부 | 운영 DB(OLTP) | 주문 · 결제를 한 건씩 기록하고 지금 값으로 덮어쓴다 |
| 밤 수거 기사 | 추출(Extract) | 지난 적재 뒤에 바뀐 행만 원천에서 읽어 온다 |
| 표준 카드로 맞추기 | 정제 · 변환(Transform) | 코드 · 단위 · 이름을 하나로 맞추고 틀린 행을 거른다 |
| 주제별 서가 | 사실 표 · 차원 표 | 업무 프로그램이 아니라 고객 · 상품 · 매출 주제로 묶는다 |
| 날짜 붙여 꽂기 | 적재(Load) · 시계열 | 행마다 시점이 붙고 지난 행은 그대로 둔다 |
| 지우지 않는 기록 | 비휘발 | 분석 쪽은 읽기만 하고 갱신은 적재 작업만 한다 |
| 부서별 작은 서가 | 데이터 마트 | 한 부서 · 주제만 떼어 둔 부분 집합 |
| 분석가의 질문 | OLAP · BI | 차원별로 묶고 펼쳐 집계한다(롤업 · 드릴다운) |
⚠ 비유가 맞지 않는 곳: 실제 적재는 밤 한 번에 그치지 않고 몇 분 주기의 작은 적재나 원천의 변경 기록을 따라가는 방식(CDC)으로 거의 실시간에 채우기도 한다. 기록실 직원이 사람 손으로 맞추는 이름도 실제로는 코드 대응표 · 변환 규칙이 자동으로 맞춘다.
4구조 — 원천에서 데이터 마트까지
웨어하우스는 원천 → ETL → 통합 저장소 → 데이터 마트 → OLAP · BI 순서로 이어지고, 운영 DB 와 따로 둔다. 운영 트랜잭션은 기본 키로 수십 행을 읽고 쓰지만 분석 질의는 수백만 행을 훑어 조인 · 집계하기 때문이다(Chaudhuri · Dayal 1997 1절). 전사 통합 저장소를 먼저 세우고 마트를 떼어 내면 Inmon 의 하향식, 열 이름 · 값을 맞춘 공통 차원으로 마트를 이어 붙이면 Kimball 의 상향식이다(Kimball 공통 차원).
그림 3 · 원천 데이터는 ETL 한 곳을 지나야 웨어하우스에 들어가고, 부서 마트와 BI 는 그 통합본만 읽는다.
| 요소 | 단위 | 역할 | 값 | 근거 |
|---|---|---|---|---|
| 원천 | 운영 DB · ERP · 파일 | 업무 데이터를 만든다 | 갱신 = 덮어씀 | Chaudhuri · Dayal 1997 1절 |
| ETL | 추출 · 정제 · 변환 · 적재 · 갱신 | 원천을 통합 형태로 바꿔 싣는다 | 갱신 주기 = 매일 · 매주 등 | Chaudhuri · Dayal 1997 3절 |
| 사실 표 | 한 행 = 선언한 grain 하나 | 측정값과 차원 키를 담는다 | 수량 · 금액 · 행 수가 가장 많음 | Kimball 4단계 설계 |
| 차원 표 | 한 행 = 고객 · 상품 · 날짜 한 판 | 묶고 거르는 속성을 담는다 | 유효 시작 · 끝 · 현재 표시 | Kimball Type 2 |
| 대리 키 | 1부터 차례로 매기는 정수 | 원천 코드와 무관한 행 식별 | 이력 행마다 새 값 | Kimball 대리 키 |
| 데이터 마트 | 부서 · 주제 하나 | 웨어하우스의 부분 집합 | 빨리 세우지만 범위가 좁음 | Chaudhuri · Dayal 1997 1절 |
| OLAP · BI | ROLAP · MOLAP 서버 | 롤업 · 드릴다운 · 슬라이스 · 피벗 | SQL ROLLUP · CUBE | PostgreSQL 18 7.2.4절 |
사실 표 하나를 차원 표가 둘러싼 모양이 스타 스키마이고, 차원 안의 계층(상품 → 범주)을 다시 정규화해 따로 떼어 낸 모양이 눈송이 스키마다(Chaudhuri · Dayal 1997 5절). 눈송이는 차원 관리가 쉬워지는 대신 질의마다 조인이 하나씩 늘어, Kimball 은 펼친 차원을 쓰라고 권한다(Kimball 눈송이 차원).
그림 4 · 사실 표는 키와 측정값만 갖고 설명은 차원 표에 두며, 눈송이는 차원을 한 번 더 쪼개 조인을 늘린다.
5동작 — 하룻밤 적재와 이력 보존
아래 값은 설명용 가정 값이다 — 매장 둘과 웹 몰을 둔 소매점이 2026-11-04 새벽에 전날(11-03) 판매를 싣는다.
- 추출 — 01:00 에 원천 세 곳에서
updated_at이 지난 적재 시각(11-03 01:00) 뒤인 주문 줄 18,240행을 스테이징 표로 읽는다. - 정제 — 상품 코드가 대응표에 없는 37행을 거부 표
etl_reject로 옮기고 사유unknown_product를 적는다. - 변환 — 남은 18,203행의 원천 코드(
COLA-15·C015)를 상품 대리 키 77로, 박스 단위를 병(× 12)으로 바꾼다. - 차원 갱신 — 고객
c-5521의 시가 수원에서 대전으로 바뀌어, 옛 행(키 81130)의 유효 끝을 2026-11-02 · 현재 N 으로 닫고 새 행(키 90412 · 대전 · 현재 Y)을 더한다(Kimball Type 2). - 사실 적재 —
fact_sales에 18,203행을 더하고 기존 사실 행은 하나도 고치지 않는다.c-5521의 11-03 주문 줄은 새 키 90412 를 받는다. - 대조 — 원천 18,240행 = 적재 18,203 + 거부 37, 금액 412,880,000원 = 412,310,500 + 569,500 이 맞는지 적재 기록 표
etl_load_log에 남긴다. - 집계 —
GROUP BY ROLLUP(month, category)한 질의로 (월, 범주) · (월) · 전체 세 수준 합계를 만들어 영업 마트를 새로 고친다(PostgreSQL 18 7.2.4절).
그림 5 · 하룻밤 적재는 행 수를 단계마다 남겨, 마지막에 원천 = 적재 + 거부로 맞춰 본다.
시계열 · 비휘발은 4 · 5단계에서 생긴다. 운영 DB 는 c-5521 의 시를 덮어써 수원을 잃지만, 웨어하우스는 차원 행을 하나 더 만들고 사실 행이 적재될 때 그 시점에 유효한 키를 받게 해 지난 매출을 그때의 지역에 묶어 둔다.
그림 6 · 차원 행을 더하면 10월 매출은 수원, 11월 매출은 대전으로 남고, 덮어쓰면 10월 매출까지 대전으로 옮겨 간다.
🔑 운영 DB 는 고객의 지금 주소만 남기고, 웨어하우스는 차원 행을 하나 더 만들어 지난 매출을 그때의 주소로 남긴다 — 시계열은 사실 표가 아니라 차원 표의 이력 행이 만든다.
6비교 — 운영 DB · 데이터 레이크 · 레이크하우스
| 기준 | 운영 DB(OLTP) | 데이터 웨어하우스 | 데이터 레이크 | 레이크하우스 |
|---|---|---|---|---|
| 주 작업 | 키로 수십 행을 읽고 쓰는 짧은 트랜잭션 | 수백만 행 스캔 · 조인 · 집계 | 원본 보관 · 대량 처리 · 기계 학습 | BI 와 기계 학습을 한 저장소에서 |
| 스키마 시점 | 쓸 때 | 쓸 때(schema-on-write) | 읽을 때(schema-on-read) | 쓸 때 강제 · 원본도 보관 |
| 데이터 형태 | 정형 | 정제 · 통합한 정형 | 정형 · 반정형 · 비정형 원본 | 셋 다 |
| 저장 형식 | DBMS 내부 형식 | 제품 전용 형식 | Parquet · ORC 같은 열린 파일 | 열린 파일 + 트랜잭션 · 버전 계층 |
| 이력 | 지금 값(덮어씀) | 차원 이력 행 · 시점별 사실 | 파일을 쌓아 둠 · 품질 관리는 뒤로 미룸 | 표 버전 기록 |
| 신선도 | 즉시 | 적재 주기만큼 늦음 | 원본은 바로 · 정제본은 늦음 | 레이크 → 웨어하우스 ETL 을 줄여 늦음을 줄임 |
분석매출 · 재무처럼 «검증된 하나의 숫자»를 내야 하면 웨어하우스, 쓸 곳이 아직 정해지지 않은 로그 · 영상 · 문서를 싸게 쌓아 두려면 레이크, 둘을 다 쓰면서 ETL 을 두 번 도는 비용 · 지연이 문제이면 레이크하우스를 검토한다. 근거는 표의 「스키마 시점」 · 「신선도」 행 — Armbrust 등은 레이크 + 웨어하우스 두 단계 구조가 ETL 을 두 번 거쳐 지연과 실패 지점을 늘린다고 적었다(Armbrust 외 2021 1절).
7실무 진단 — 틀린 보고서 숫자의 원인 가르기
분석원천 대조 → 차원 이력 → 사실 표 grain → 질의 순서로 본다. 행 수가 맞지 않으면 뒤 단계 검사가 모두 맞아도 숫자가 틀리므로, 아래 표 1행의 대조식을 가장 먼저 확인한다.
| # | 증상 | 의심 원인 | 단계 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 보고서 합계가 원천 화면보다 적다 | 거부 행 · 추출 조건 누락 | ETL | SELECT count(*) 와 원천 · etl_reject 같은 날 값 | 원천 ≠ 적재 + 거부이면 추출 조건, 같으면 거부 사유를 본다(Chaudhuri · Dayal 1997 3절) |
| 2 | 지난달 지역별 매출이 이번 달에 바뀌었다 | 차원을 덮어씀 | 차원 | SELECT customer_id, count(*) FROM dim_customer GROUP BY customer_id HAVING count(*) > 1; | 주소가 바뀐 고객이 한 행뿐이면 이력이 없다(Kimball Type 2) |
| 3 | 매출이 실제의 두세 배로 나온다 | grain 이 다른 표끼리 조인(주문 줄 × 배송 줄) | 모델 | EXPLAIN ANALYZE 의 조인 노드 actual rows | 조인 뒤 행 수 > 사실 표의 그날 행 수이면 부풀림(Kimball 4단계 설계 2단계 grain) |
| 4 | 월별 집계 질의가 몇 분 걸린다 | 사실 표 전체 스캔 · 집계표 없음 | 질의 | EXPLAIN ANALYZE 의 Seq Scan · Buffers read | 사실 표 Seq Scan 의 읽은 블록이 대부분이면 날짜 분할 · 집계표 검토(PostgreSQL 18 EXPLAIN) |
대조 값은 적재 작업이 etl_load_log 에 매번 남겨야 나중에 다시 셀 수 있다. PostgreSQL 18 은 EXPLAIN ANALYZE 에 버퍼 정보(Buffers: shared hit · read)를 따로 켜지 않아도 붙인다(PostgreSQL 18 EXPLAIN).
8시험 대비
www.q-net.or.kr시험에서는 원천 · ETL · 저장소 · 마트 · OLAP 의 구성과 네 특징을 그리게 하는 구조 · 구성형, 스타 스키마로 분석 모델을 짜게 하는 구현 · 설계형이 나올 수 있고, OLTP · 데이터 레이크 · 레이크하우스와 견주는 비교형으로 이어지기도 한다. 구성형이면 그림 3 과 네 특징을 한 표로, 설계형이면 grain 선언 → 차원 → 사실 순서와 Type 2 이력을 함께 쓴다.
다른 답안과 차이를 내는 한 가지는 그림 6 처럼 «덮어쓰면 10월 매출이 대전으로 옮겨 간다»는 값으로 시계열 · 비휘발의 뜻을 보이는 것이다.
- 개요 — 정의(주제 지향 · 통합 · 시계열 · 비휘발) · OLTP 와 따로 두는 이유(수십 행 ↔ 수백만 행 · Chaudhuri · Dayal 1997)
- 구성 — 그림 3 구조(원천 · ETL · 웨어하우스 · 마트 · OLAP · 메타데이터) + 요소 표 · Inmon 하향식 ↔ Kimball 상향식
- 데이터 모델 — 그림 4 스타 스키마(사실 · 차원 · 대리 키 · grain) · 눈송이와 조인 수 차이
- ETL 과 이력 — 그림 5 적재 순서(원천 = 적재 + 거부 대조) + 그림 6 Type 2 행 추가 결과
- OLAP 연산 — 롤업 · 드릴다운 · 슬라이스 · 다이스 · 피벗 · SQL ROLLUP · CUBE(차원 N개 → 묶음 2^N)
- 동향 — 데이터 레이크(2010) · 레이크하우스(2021) 비교표 6행 · 선택 기준
꼭 쓸 키워드
주제 지향통합시계열비휘발ETL스타 스키마눈송이 스키마사실 표차원 표SCD Type 2
9오해와 사실
- 오해데이터 마트는 늘 완성된 웨어하우스에서 떼어 낸다.사실부서 마트를 먼저 세우고 열 이름 · 값을 맞춘 공통 차원으로 이어 붙이는 상향식도 있고(Kimball 공통 차원), 공통 차원 없이 따로 세운 마트끼리는 같은 「고객 수」가 서로 달라진다(Chaudhuri · Dayal 1997 1절).
- 오해비휘발이면 웨어하우스 데이터는 한 번 넣으면 어떤 값도 바뀌지 않는다.사실비휘발은 운영 갱신이 지난 값을 덮어쓰지 않는다는 뜻이고, 적재 작업은 Type 2 차원 옛 행의 유효 끝 날짜 · 현재 표시처럼 정해진 열을 고친다(Kimball Type 2).
- 오해레이크하우스가 나왔으니 웨어하우스 설계는 쓸모가 없어진다.사실레이크하우스는 ACID 트랜잭션 · 버전 · 색인 같은 웨어하우스 관리 기능을 레이크 위에서 내는 것을 정의로 삼으며(Armbrust 외 2021 3절), 그 위의 표도 사실 · 차원 모델로 짠다.
10핵심 정리
| 구분 | 맡는 일 | 단위 · 키 | 갱신 방식 | 대표 기술 · 명령 |
|---|---|---|---|---|
| 원천 OLTP | 업무 처리 | 원천 코드 | 덮어씀 | 주문 DB · ERP |
| ETL | 추출 · 정제 · 변환 · 적재 | 행 수 · 거부 수 | 주기 적재 · CDC | 거부 표 · 적재 기록 표 |
| 사실 표 | 측정값 보관 | grain 한 행 · 차원 키 | 추가만 | 수량 · 금액 |
| 차원 표 | 묶고 거르는 속성 | 대리 키 | Type 2 행 추가 | 유효 시작 · 끝 · 현재 표시 |
| 데이터 마트 | 부서 · 주제 분석 | 공통 차원 | 웨어하우스에서 새로 고침 | 영업 마트 · 재무 마트 |
| OLAP | 다차원 집계 | 차원 계층 | 읽기만 | ROLLUP · CUBE · ROLAP · MOLAP |
| 데이터 레이크 | 원본 보관 | 파일 · 객체 | 쌓기 · 읽을 때 스키마 | Parquet · ORC |
11참고 문헌
- 먼저 볼 문헌
- ★ An Overview of Data Warehousing and OLAP Technology (ACM SIGMOD Record 26(1)) — Inmon 정의 · OLTP 와 따로 두는 이유 · ETL · 스타와 눈송이 스키마를 한 논문으로 볼 때
- ★ Four-Step Dimensional Design Process (Kimball Dimensional Modeling Techniques) — 업무 과정 → grain → 차원 → 사실 순서로 분석 모델을 설계할 때
- ★ Type 2: Add New Row (Kimball Dimensional Modeling Techniques) — 차원이 바뀔 때 새 행 · 대리 키 · 유효 기간으로 이력을 남기는 법을 볼 때
- ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — 웨어하우스 · 데이터 레이크 · 레이크하우스 세대 구분과 두 단계 구조의 문제를 볼 때
- ★ PostgreSQL 18 Documentation 7.2.4 GROUPING SETS, CUBE, and ROLLUP — ROLLUP · CUBE 가 어떤 묶음 집합으로 펼쳐지는지 SQL 로 볼 때
- 본문 근거
- An architecture for a business and information system (IBM Systems Journal 27(1) 60-80) — Barry A. Devlin · Paul T. Murphy · 1988-01 ·
dblp.org/rec/journals/ibmsj/DevlinM88.html· 확인 2026-11-04 - Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals (Data Mining and Knowledge Discovery 1(1)) — Jim Gray · Surajit Chaudhuri · Adam Bosworth 외 · 1997-03 ·
arxiv.org/abs/cs/0701155· 확인 2026-11-04 - Pentaho, Hadoop, and Data Lakes — James Dixon · 2010-10 ·
jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/· 확인 2026-11-04 - Snowflaked Dimensions (Kimball Dimensional Modeling Techniques) — Kimball Group · 2026-11 ·
www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/dimensional-modeling-techniques/snowflake-dimension/· 확인 2026-11-04 - Conformed Dimensions (Kimball Dimensional Modeling Techniques) — Kimball Group · 2026-11 ·
www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/dimensional-modeling-techniques/conformed-dimension/· 확인 2026-11-04 - Dimension Surrogate Keys (Kimball Dimensional Modeling Techniques) — Kimball Group · 2026-11 ·
www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/dimensional-modeling-techniques/dimension-surrogate-key/· 확인 2026-11-04 - PostgreSQL 18 Documentation EXPLAIN — PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/current/sql-explain.html· 확인 2026-11-04