데이터 레이크Data Lake
여러 원천의 데이터를 가공하지 않은 원래 형태로 값싼 저장소에 모아 두고, 쓰는 쪽이 읽을 때 구조를 정하는 저장소다.
1요약
- 데이터 레이크는 객체 저장소 위에 원본 파일을 그대로 쌓고 읽을 때 스키마를 입히는 구조로(Dixon 2010 · Armbrust 외 2021 1절), 그 위에서 원시 → 정제 → 집계 영역의 파이프라인과 SQL 엔진 · 기계 학습이 같은 파일을 읽는다.
- 마트처럼 속성 일부만 골라 담으면 미리 정한 질문에만 답할 수 있어(Dixon 2010) 원본을 따로 남길 자리가 필요하지만, 레이크에서 웨어하우스로 다시 옮기는 두 단계 구조에서는 분석가 86% 가 오래된 데이터를 쓴다는 조사가 있다(Armbrust 외 2021 1절).
- 「레이크 숫자를 못 믿겠다」는 표를 로그로 읽었는가(테이블 형식) · 원시와 정제 영역이 섞였는가(영역) · 카탈로그에 주인 · 스키마가 있는가(거버넌스)로 가른다.
2등장 배경
2000년대 말 웹 회사의 클릭 로그 · 센서 기록은 웨어하우스에 넣기 전에 남길 열을 정해야 했고, 정하지 않은 속성은 버려졌다. Pentaho 의 James Dixon 은 2010-10 글에서 마트가 «속성 일부만 살펴 미리 정한 질문에만 답한다»고 짚고, 깨끗이 포장한 병물(마트)과 자연 상태의 큰 물을 대비해 데이터 레이크라는 이름을 붙였다(Dixon 2010).
첫 레이크는 Hadoop HDFS 위의 파일 모음이었고, 2015년부터 S3 · ADLS · GCS 같은 클라우드 객체 저장소가 HDFS 를 대신했다(Armbrust 외 2021 1절). 2014-07 Gartner 는 메타데이터 · 거버넌스 없이 쌓는 레이크의 위험을 경고했고(Gartner 2014), 업계는 이 상태를 데이터 늪이라 부른다. 2016년 시작한 Delta Lake 와 Netflix 에서 시작한 Apache Iceberg 는 파일 위에 트랜잭션 로그 · 메타데이터 계층을 얹어 이 문제를 풀었다(Armbrust 외 2021 3.2절).
2021년 Armbrust 등은 이 메타데이터 계층 위에 색인 · 캐시 · 질의 최적화를 더한 구조를 레이크하우스로 정의했다(Armbrust 외 2021 3절). 지금의 레이크는 객체 저장소 + Parquet 같은 열 형식 파일 + 오픈 테이블 형식 + 카탈로그 묶음이고, 원본을 싸게 오래 두었다가 나중에 정한 질문 · 학습 데이터로 다시 꺼내 쓰는 자리로 남아 있다.
3쉽게 이해하기 — 개울물이 모이는 호수와 관리 대장
공장 · 가게 · 웹 사이트에서 나온 개울물이 거르지 않은 채 큰 호수로 흘러든다. 호수 관리소는 들어온 물통마다 «어디서 · 언제 온 물인지» 이름표를 달고 관리 대장에 적는다. 정수장은 필요한 만큼 떠서 거르고, 병입 공장은 마시기 좋게 병에 담아 사람들에게 낸다. 대장에 적지 않고 마구 부은 물은 무엇이 어디 있는지 아무도 몰라 늪이 된다.
그림 1 · 원천의 물은 그대로 호수에 쌓이고, 대장에 적힌 물만 정수 · 병입을 거쳐 쓰이며, 적지 않은 물은 늪이 된다.
그림 2 · 같은 호수의 물이라도 대장에 이름 · 주인 · 보관 기간이 적힌 물만 쓸 수 있다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 흘러드는 개울물 | 원천 데이터 | 운영 DB · 로그 · 파일을 바꾸지 않고 보낸다 |
| 호수 | 객체 저장소 · 원시 영역 | 들어온 형태 그대로 경로(키)로 쌓는다 |
| 물통 이름표 | 분할 경로 · 파일 메타데이터 | 원천 · 날짜를 경로와 속성에 적는다 |
| 관리 대장 | 카탈로그 | 표 이름 · 주인 · 위치 · 권한을 한 곳에 둔다 |
| 정수장 | 정제 영역 | 중복 제거 · 형식 통일 · 스키마 강제 |
| 병입 공장 | 집계 영역 | 업무 질문 단위로 요약한 표 |
| 마시는 사람 | SQL 엔진 · 기계 학습 | 필요한 영역의 표를 골라 읽는다 |
| 대장 없는 웅덩이 | 데이터 늪 | 주인 · 설명 없는 파일이 쌓여 아무도 쓰지 못한다 |
⚠ 비유가 맞지 않는 곳: 호수의 물은 섞이지만 레이크의 파일은 섞이지 않고 경로마다 따로 남는다. 정수장으로 뜬 물은 호수에서 빠지지만, 정제 영역은 원시 파일을 지우지 않고 고친 사본을 새로 쓴다.
4구조 — 저장 · 파일 · 표 · 카탈로그 계층
레이크는 아래에서부터 객체 저장소 → 열 형식 파일 → 테이블 형식 → 카탈로그 순서로 쌓이고, 맨 위의 엔진은 저장소를 직접 읽는다. 객체 저장소는 여러 파일에 걸친 표 갱신조차 원자적으로 하지 못하므로(Armbrust 외 2021 3.2절), 어떤 파일이 표의 현재 판인가를 테이블 형식의 로그 · 메타데이터가 따로 적는다. 데이터는 품질 단계에 따라 원시(bronze) · 정제(silver) · 집계(gold) 영역으로 나눠 둔다(메달리온 설명서).
그림 3 · 엔진은 카탈로그에서 표의 현재 메타데이터를 찾고, 테이블 형식이 가리키는 파일만 객체 저장소에서 읽는다.
| 요소 | 단위 | 역할 | 값 · 근거 |
|---|---|---|---|
| 객체 저장소 | 버킷 · 경로 키 · 객체 | 원본과 모든 영역의 파일을 값싸게 보관 | 여러 파일 갱신이 원자적이지 않음(Armbrust 외 2021 3.2절) |
| 열 형식 파일 | 파일 → 행 그룹 → 열 조각 | 필요한 열만 읽게 열끼리 모아 저장 | 꼬리에 열 조각 위치 · 행 그룹 권장 512MB ~ 1GB(Parquet 파일 형식 · 설정) |
| 테이블 형식 | 판(version) · 스냅숏 | 표에 속한 파일 목록을 원자적으로 바꿈 | Delta = _delta_log/ 판 파일 · Iceberg = 메타데이터 파일 교체(Delta 프로토콜 · Iceberg 명세) |
| 매니페스트 · 통계 | 파일마다 한 행 | 파일별 분할 값 · 열 최소 · 최대값 | lower_bounds · upper_bounds(Iceberg Spark 질의 files 표) |
| 카탈로그 | 표 이름 하나 | 이름 → 현재 메타데이터 위치 · 스키마 · 주인 | Iceberg 커밋 = 카탈로그의 메타데이터 포인터 교체(Iceberg 명세 Optimistic Concurrency) |
| 거버넌스 | 표 · 열 | 접근 권한 · 감사 기록 · 품질 제약 | 메타데이터 계층에서 권한 확인 뒤 파일 읽기 허용(Armbrust 외 2021 3.2절) |
| 엔진 | 질의 · 작업 | SQL · 스트림 · 기계 학습이 같은 파일을 직접 읽음 | 열린 형식이라 엔진을 골라 씀(Armbrust 외 2021 1절) |
5동작 — 하루 치 클릭 로그가 정제 표가 되기까지
아래 값은 설명용 가정 값이다 — 상품 8,200개를 파는 쇼핑몰이 2026-11-03 하루 클릭 로그를 레이크에 싣는다.
- 수집 — 웹 서버가 클릭 이벤트 1억 2천만 건을 JSON 파일 480개(180 GB)로
lake/에 그대로 쓴다.raw/ clickstream/ dt= 2026-11-03/ - 등록 — 카탈로그에
raw.clickstream의 위치 · 주인(웹팀) · 보존 30일 · 민감 열user_id를 적는다. - 정제 —
event_id가 같은 중복 1.1% 를 지우고, 형식이 깨진 0.4% 는 격리 표로 옮기고, 시각을 UTC 로 맞춰 Parquet 40개(22 GB)로 다시 쓴다. - 커밋 —
silver.clicks의 로그에 판 v42(파일 40개 add)를 한 줄로 더해, 읽는 쪽은 40개를 한꺼번에 보거나 하나도 보지 않는다(Delta 프로토콜 Delta Log Entries). - 집계 —
silver.clicks를product_id로 묶어gold.에 상품당 한 행, 8,200행을 더한다.daily_product_views - 질의 — 분석가가 40열 중
ts·product_id·page3열만 고르면 엔진은 그 열 조각만 읽어, 열 크기가 같다고 볼 때 22 GB 가운데 약 1.7 GB 만 읽는다(Parquet 파일 형식). - 실패한 쓰기 — 같은 시각 다른 작업이 파일 5개를 쓰다 멈추면 로그에 줄이 생기지 않아 표는 v42 그대로이고, 남은 5개는 정리 작업이 지운다(Delta 유틸리티).
그림 4 · 하루 치 로그는 원시 → 정제 → 집계 영역으로 옮겨 가고, 정제 파일은 로그에 한 줄이 생긴 뒤에야 표가 된다.
그림 5 · 폴더에는 파일 168개가 있어도 로그가 가리키는 v42 표는 151개다 — 차이 17개는 빠진 작은 파일과 반쯤 쓴 파일이다.
Iceberg 도 같은 원리로, 새 메타데이터 파일을 쓴 뒤 카탈로그의 포인터를 옛 판에서 새 판으로 바꾸는 순간 커밋되고, 그 사이 다른 작업이 먼저 바꿨으면 다시 시도한다(Iceberg 명세 Optimistic Concurrency).
🔑 레이크의 표는 폴더가 아니라 로그가 정한다 — 폴더에 파일이 168개 있어도 로그가 가리키는 151개만 v42 표다.
6비교 — 폴더 방식 표와 오픈 테이블 형식
웨어하우스 · 레이크하우스와의 차이는 둘의 비교표가 맡고, 여기서는 레이크 안에서 표를 정하는 두 방식을 견준다.
| 기준 | 폴더 = 표(디렉터리 방식) | 오픈 테이블 형식(로그 · 메타데이터 방식) |
|---|---|---|
| 표에 속한 파일 | 폴더 아래 모든 파일 | 로그 · 매니페스트가 가리키는 파일만(Iceberg 명세 Overview) |
| 여러 파일 한 번에 바꾸기 | 원자적이지 않아 쓰는 도중 읽으면 일부만 보임 | 로그 한 줄 · 메타데이터 교체로 원자적 |
| 동시 쓰기 | 막는 장치 없음 | 낙관적 동시성 — 커밋 때 충돌 확인 뒤 재시도 |
| 지난 판 조회 | 덮어쓰면 사라짐 | VERSION AS OF · TIMESTAMP AS OF(Iceberg Spark 질의) |
| 행 단위 삭제 | 파일 전체를 다시 씀 | 삭제 파일 · 삭제 벡터(Iceberg 명세 Version 2 · 3) |
| 읽지 않을 파일 고르기 | 분할 폴더 이름으로만 | 파일별 열 최소 · 최대값까지 |
분석하루 한 번 통째로 다시 쓰는 원시 영역은 폴더 방식으로도 되지만, 여러 작업이 쓰고 동시에 읽는 정제 · 집계 영역은 테이블 형식을 쓴다. 근거는 표의 「여러 파일 한 번에 바꾸기」 · 「동시 쓰기」 행 — 객체 저장소는 여러 파일 갱신을 원자적으로 하지 못한다(Armbrust 외 2021 3.2절).
7실무 진단 — 믿지 못할 레이크 숫자의 원인 가르기
분석로그를 거쳐 읽는가 → 파일 크기 → 판 보존 → 카탈로그 순서로 본다. 로그 밖 파일을 읽는 경로가 하나라도 있으면 뒤의 검사가 모두 맞아도 숫자가 틀리므로 표 1행을 가장 먼저 확인한다.
| # | 증상 | 의심 원인 | 계층 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 같은 클릭이 두 번 세어진다 | 로그 대신 폴더를 직접 읽어 압축 전후 파일이 함께 읽힘 | 테이블 형식 | Delta DESCRIBE DETAIL silver. 의 numFiles · Iceberg SELECT count(*) FROM db. 를 폴더 파일 수와 비교 | 폴더 파일 수 > 표 파일 수이면 로그 밖 파일을 읽는 경로가 있다(Delta 유틸리티 · Iceberg Spark 질의) |
| 2 | 질의가 날마다 느려지고 파일이 수만 개 | 스트림 수집이 분마다 작은 파일을 씀 | 파일 형식 | Iceberg files 표 avg(file_size_in_bytes) · Delta numFiles · sizeInBytes | 평균 파일이 행 그룹 권장 512MB ~ 1GB 보다 한참 작으면 압축 작업을 건다(Parquet 설정) |
| 3 | 지난주 판을 조회하면 파일이 없다는 오류 | 정리 작업이 보존 기간 지난 파일을 지움 | 테이블 형식 | DESCRIBE HISTORY silver. · Iceberg snapshots 표 | 찾는 판이 보존 기간(Delta 기본 7일)보다 오래되면 그 판은 되살릴 수 없다(Delta 유틸리티) |
| 4 | 표 수천 개 중 어느 것을 써야 할지 모른다 | 주인 · 설명 없이 쌓임(데이터 늪) | 카탈로그 | 카탈로그의 주인 · 설명 · 마지막 쓰기 시각 목록 | 주인 필드가 빈 표는 쓰지도 지우지도 못하는 대상 — 등록 규칙부터 세운다(Gartner 2014) |
Delta 의 DESCRIBE HISTORY 는 최근 작업부터 거꾸로 보여 주므로 LIMIT 1 로 마지막 커밋만 볼 수 있고, Iceberg 는 history · snapshots · files 메타데이터 표를 SQL 로 읽는다(Delta 유틸리티 · Iceberg Spark 질의).
8시험 대비
www.q-net.or.kr시험에서는 정의와 웨어하우스와의 차이를 묻는 정의 · 특징형, 레이크에서 레이크하우스로 이어진 변화를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 읽을 때 스키마 · 원시 보관을 그림 3 계층과 함께 쓰고, 동향형이면 데이터 늪이라는 문제와 그 해법인 테이블 형식 로그(그림 5)를 잇는다.
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «폴더 168개 ≠ 표 151개»를 값으로 보여, 레이크하우스가 무엇을 고쳤는지 한 장으로 설명하는 것이다.
- 개요 — 정의(원본 그대로 · 읽을 때 스키마 · Dixon 2010) · 웨어하우스와 차이 한 줄(스키마 시점 · 데이터 형태)
- 구성 — 그림 3 계층(객체 저장소 · 열 형식 파일 · 테이블 형식 · 카탈로그 · 엔진) + 원시 · 정제 · 집계 영역
- 처리 흐름 — 그림 4 수집 → 등록 → 정제 → 커밋 → 집계 → 질의 · 3열만 읽는 열 형식 효과
- 핵심 기술 — 그림 5 트랜잭션 로그 · 스냅숏(원자적 커밋 · 지난 판 조회 · 낙관적 동시성)
- 문제와 대응 — 데이터 늪 · 작은 파일 · 판 보존 표 + 카탈로그 · 권한 · 감사
- 동향 — HDFS → 클라우드 객체 저장소(2015) → 오픈 테이블 형식(2016 ~) → 레이크하우스(2021)
꼭 쓸 키워드
읽을 때 스키마원시 영역객체 저장소Parquet오픈 테이블 형식트랜잭션 로그스냅숏메달리온데이터 늪카탈로그
9오해와 사실
- 오해데이터 레이크에는 스키마가 없다.사실스키마를 정하는 시점이 읽을 때로 미뤄질 뿐이고(Armbrust 외 2021 1절), 정제 영역부터는 테이블 형식이 쓸 때 스키마를 강제해 맞지 않는 행을 거부하거나 격리한다(Armbrust 외 2021 3.2절).
- 오해테이블 형식을 쓰면 여러 표를 한 트랜잭션으로 바꿀 수 있다.사실2021 논문은 Delta Lake · Iceberg · Hudi 가 한 번에 표 하나만 트랜잭션으로 다룬다고 적었다(Armbrust 외 2021 3.2절) — 여러 표를 함께 바꾸는 작업은 카탈로그 쪽 기능을 따로 확인한다.
- 오해로그에 판이 남아 있으면 언제든 그 판으로 돌아갈 수 있다.사실정리 작업이 보존 기간(Delta 기본 7일)이 지난 파일을 지우면 로그 줄이 있어도 그 판의 파일이 없어 조회하지 못한다(Delta 유틸리티).
10핵심 정리
| 구분 | 맡는 일 | 단위 | 대표 기술 · 명령 | 없거나 틀리면 |
|---|---|---|---|---|
| 객체 저장소 | 값싼 원본 보관 | 버킷 · 경로 키 | HDFS · 클라우드 객체 저장소 | 여러 파일 갱신이 반만 보임 |
| 열 형식 파일 | 필요한 열만 읽기 | 행 그룹 · 열 조각 | Parquet · ORC | 질의마다 모든 열을 읽음 |
| 테이블 형식 | 표의 현재 판 정하기 | 판 · 스냅숏 | _delta_log/ · 메타데이터 파일 | 폴더 파일이 그대로 섞임 |
| 카탈로그 | 이름 → 위치 · 주인 · 권한 | 표 하나 | 메타데이터 포인터 · 권한 · 감사 | 데이터 늪 |
| 원시 영역 | 들어온 그대로 보관 | 원천 · 날짜 분할 | JSON · CSV · 보존 기간 | 원본을 다시 못 꺼냄 |
| 정제 영역 | 중복 제거 · 형식 통일 | 정제 표 | 스키마 강제 · 격리 표 | 원시를 직접 읽어 숫자가 갈림 |
| 집계 영역 | 업무 질문 단위 요약 | 요약 표 | 일별 · 상품별 집계 | 질의마다 큰 표를 다시 묶음 |
| 엔진 | 같은 파일을 여러 방식으로 읽기 | 질의 · 작업 | SQL 엔진 · 스트림 · 기계 학습 | 엔진마다 사본을 따로 만듦 |
11참고 문헌
- 먼저 볼 문헌
- ★ Pentaho, Hadoop, and Data Lakes — 데이터 레이크라는 이름이 처음 나온 글과 마트의 한계를 볼 때
- ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — 레이크 세대 구분과 파일 위 메타데이터 계층(3.2절)을 볼 때
- ★ Iceberg Table Spec — 메타데이터 파일 · 스냅숏 · 매니페스트 구조와 커밋 방식을 볼 때
- ★ Delta Transaction Log Protocol (PROTOCOL.md) — _delta_log 의 판 파일과 액션으로 표 상태를 만드는 법을 볼 때
- ★ Apache Parquet File Format — 행 그룹 · 열 조각 · 꼬리 메타데이터 배치를 볼 때
- 본문 근거
- Apache Parquet Configurations — Apache Software Foundation · 2026-11 ·
parquet.apache.org/docs/file-format/configurations/· 확인 2026-11-04 - Spark Queries — Inspecting tables · Time travel (Apache Iceberg Docs) — Apache Software Foundation · 2026-11 ·
iceberg.apache.org/docs/latest/spark-queries/· 확인 2026-11-04 - Table utility commands (Delta Lake Documentation) — Delta Lake Project · 2026-11 ·
docs.delta.io/latest/delta-utility.html· 확인 2026-11-04 - What is the medallion lakehouse architecture? — Databricks · 2026-10 ·
docs.databricks.com/aws/en/lakehouse/medallion· 확인 2026-11-04 - Gartner Says Beware of the Data Lake Fallacy (보도 자료) — Gartner · 2014-07 ·
www.gartner.com/en/newsroom/press-releases/2014-07-28-gartner-says-beware-of-the-data-lake-fallacy· 확인 2026-11-04