빅데이터 플랫폼Big Data Platform
한 서버에 담기지 않는 데이터를 여러 서버로 나눠 저장 · 계산하는 분석 플랫폼이다. 저장소 · 파일 형식 · 표 규칙 · 계산 엔진 네 계층을 어떤 부품으로 채우는지로 하둡 · 데이터 레이크 · 레이크하우스 세대가 갈린다.
1요약
- 빅데이터 플랫폼은 데이터 분석에서 저장소 · 파일 형식 · 표 규칙 · 계산 엔진 네 계층을 묶는 길목으로, 2004년 MapReduce 의 공개 구현인 하둡에서 2015년 객체 저장소 기반 레이크, 2021년 정의된 레이크하우스로 계층이 하나씩 바뀌었고 그 위에서 SQL 집계 · 스트림 · 기계 학습 작업이 같은 데이터를 읽는다.
- 한 대에 담기지 않는 데이터는 수천 대에 나눠 읽어야 하는데 서버 사이 대역폭이 귀해서, MapReduce 는 입력 블록 사본이 있는 서버에 작업을 놓아 약 1,800대로 1 TB 를 891초에 정렬했다(Dean · Ghemawat 2004 3.4절 · 5.3절).
- 「큰 작업이 느리고 비싸다」는 어느 계층이 읽는 양을 줄이지 못했는가로 가른다 — 단계 입력이 표 전체 크기면 파일 형식 · 분할, 첫 단계 전 대기가 길면 표 규칙의 파일 목록, 셔플 대기가 길면 계산 엔진 쪽이다.
2등장 배경
2000년대 초 웹 문서 · 접속 기록은 서버 한 대 디스크를 넘었고, 서버 사이 네트워크가 가장 귀한 자원이었다. Dean · Ghemawat(2004)의 MapReduce 는 파일을 64 MB 블록으로 나눠 보통 3벌 둔 분산 파일 시스템 위에서 map 작업을 블록 사본이 있는 서버에 배치했고(3.4절), 이를 공개 구현한 하둡의 HDFS 는 «계산을 데이터 가까이에서 실행한다»를 설계 원칙으로 적었다(HDFS 설계 문서).
MapReduce 는 작업 하나가 끝날 때마다 결과를 파일 시스템에 써서 반복 계산이 느렸다. 2012년 Zaharia 등은 데이터를 메모리에 두는 RDD 로 반복 · 대화형 분석을 자릿수 하나만큼 빠르게 했고(Zaharia 외 2012 초록), 하둡 2 의 YARN 은 자원 관리를 MapReduce 에서 떼어 다른 엔진도 같은 클러스터를 쓰게 했다(YARN 문서).
2015년부터 클라우드 객체 저장소가 HDFS 를 대신하며 저장과 계산이 갈라졌다(Armbrust 외 2021 1절). 객체 저장소에는 여러 파일을 한 번에 바꾸는 트랜잭션이 없어, Delta Lake(2016 개발 시작) · Iceberg · Hudi 가 파일 위에 표 메타데이터를 얹었고 2021년 Armbrust 등은 여기에 관리 · 성능 기능을 더한 체계를 레이크하우스로 정의했다(같은 글 3절). 빅데이터 플랫폼의 여섯 하위 토픽은 세 세대의 계층 부품이다.
3쉽게 이해하기 — 기록 보관 회사의 세 번 바뀐 일터
기록 보관 회사의 오 팀장은 처음에 서류 선반마다 작업대를 붙여 두고, 일감 지시서를 서류가 있는 선반으로 보냈다. 서류가 늘어 외곽 대형 보관소로 옮긴 뒤에는 작업이 있는 날만 작업장을 빌려, 서류철에서 쓰는 항목만 트럭에 실어 오게 했다. 마지막으로 보관소 입구에 «지금 판 서류 목록» 대장을 두자, 회계팀 · 기획팀 · 연구팀이 같은 대장을 보고 같은 서류를 서로 덮어쓰지 않고 쓰게 됐다.
그림 1 · 일감이 서류 선반으로 가던 옛 창고에서, 쓰는 항목만 빌린 작업장으로 싣는 보관소, 대장 하나로 여러 팀이 같은 서류를 쓰는 보관소로 바뀌었다.
그림 2 · 옛 창고에서는 지시서가 서류 선반으로 가고, 보관소 시절에는 서류철 칸 40개 가운데 쓰는 칸 3개만 작업장으로 온다 — 이 차이가 하둡과 레이크를 가르는 경계다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 선반 옆 작업대 | 하둡(HDFS + MapReduce) | 같은 서버의 디스크 블록을 그 서버의 map 작업이 읽는다 |
| 작업 지시서 | map · reduce 작업 | 계산 코드를 데이터가 있는 서버로 보낸다 |
| 외곽 대형 보관소 | 데이터 레이크 · 객체 저장소 | 원본과 정제 파일을 계산 서버와 떨어진 곳에 둔다 |
| 항목별 서류철 | 컬럼형 파일 형식 | 열끼리 모아 저장해 질의가 쓰는 열만 읽게 한다 |
| 운반 트럭 | 네트워크 읽기 | 저장소에서 계산 클러스터로 바이트를 옮긴다 |
| 빌린 작업장 | 스파크 실행기 | 작업 동안 자원을 받아 메모리에서 단계를 잇는다 |
| 입구 목록 대장 | 오픈 테이블 포맷 | 표의 현재 스냅숏에 속한 파일을 적어 둔다 |
| 같은 대장을 보는 여러 팀 | 레이크하우스 | SQL · 스트림 · 기계 학습 엔진이 같은 표를 읽는다 |
⚠ 비유가 맞지 않는 곳: 서류 항목은 사람이 골라 싣지만, 컬럼형 파일은 파일 안의 위치 정보로 엔진이 열 조각을 골라 읽는다. 대장도 한 권을 고쳐 쓰는 것이 아니라 커밋마다 새 메타데이터가 생기고, 지난 판은 보존 기간 동안 남는다.
4구조 — 네 계층과 세 세대의 지도
빅데이터 플랫폼의 하위 토픽은 «어느 계층을 맡는가 · 어느 세대에 들어왔는가» 두 축으로 위치가 정해진다. 세대가 바뀔 때마다 네 계층이 모두 바뀐 것이 아니라 한두 계층만 갈아 끼웠다.
그림 3 · 하둡에서 레이크로 갈 때는 저장소 · 파일 형식 · 계산 엔진이 바뀌었고, 레이크하우스는 표 규칙 한 계층만 바꿨다.
| 하위 토픽 | 맡는 계층 | 푸는 문제 | 대표 기술 · 근거 |
|---|---|---|---|
| 하둡 | 저장소 + 계산 | 수천 대 디스크에 블록을 나눠 두고 그 자리에서 계산 | HDFS 블록 보통 128 MB(HDFS 설계 문서) · MapReduce · YARN |
| 데이터 레이크 | 저장소 | 원본을 싸게 오래 두고 읽을 때 구조를 정함 | 클라우드 객체 저장소 · 원시 · 정제 영역 |
| 컬럼형 파일 형식 | 파일 형식 | 질의가 쓰는 열만 읽고 압축률을 높임 | Parquet(Parquet 개요) · ORC |
| 오픈 테이블 포맷 | 표 규칙 | 여러 파일 갱신을 한 번에 커밋 · 지난 판 조회 | Delta Lake · Iceberg · Hudi(Iceberg 명세) |
| 스파크 | 계산 엔진 | 단계 사이 결과를 메모리에 두고 반복 · 대화형 계산 | RDD · 데이터프레임(Zaharia 외 2012) |
| 레이크하우스 | 네 계층 전체 | 레이크 파일 위에 웨어하우스의 관리 · 성능 기능 | 트랜잭션 메타데이터 계층(Armbrust 외 2021 3.1절) |
5동작 — 30일 주문 기록 집계를 세 세대에서 돌리기
질의는 «지난 30일 상품별 매출 상위 100»이고, 원본은 하루 10 GB 씩 쌓인 40열 CSV 주문 기록 300 GB 다. 크기 · 대수 · 압축률은 설명용 가정 값이다.
- 하둡 · 읽기 — 300 GB ÷ 128 MB = 2,400 블록이라 map 작업도 2,400개이고, 각 작업은 블록 사본이 있는 서버에서 로컬 디스크로 읽는다(HDFS 설계 문서 · Dean · Ghemawat 2004 3.4절).
- 하둡 · 작업 사슬 — 상품별 합계(작업 1)의 결과 약 20 MB 를 HDFS 에 3벌로 쓰고, 상위 100 정렬(작업 2)이 그 파일을 다시 읽는다.
- 레이크 · 형식 바꾸기 — 같은 30일을 Parquet 로 다시 써 객체 저장소에 두니 압축 뒤 60 GB 가 된다.
- 레이크 · 열만 읽기 — 질의가 쓰는 날짜 · 상품 · 금액 3열만 읽어, 열 크기가 같다고 볼 때 60 × 3 ÷ 40 = 4.5 GB 가 네트워크로 온다. 스파크는 실행기 40개로 집계 → 정렬 두 단계를 한 작업으로 잇고 끝나면 자원을 반납한다.
- 레이크하우스 · 계획 — 엔진은 폴더 목록 대신 테이블 메타데이터의 매니페스트에서 30일 분할의 파일 목록을 받는다(Iceberg 명세 Goals «Speed»).
- 레이크하우스 · 커밋 — 결과 100행을
gold.top_products에 새 스냅숏으로 커밋하고, 대시보드의 SQL 엔진은 커밋된 스냅숏만 읽는다(Iceberg 명세 Goals «Serializable isolation»).
그림 4 · 같은 질의가 하둡에서는 300 GB 를 로컬 디스크로 읽고 작업 둘을 파일로 잇고, 레이크에서는 4.5 GB 만 네트워크로 받고, 레이크하우스에서는 메타데이터로 계획해 스냅숏으로 결과를 낸다.
그림 5 · 결합형은 저장 때문에 20대를 하루 종일 켜 두고 2시간만 일하지만, 분리형은 저장을 따로 두고 계산 40대를 1시간만 빌린다.
🔑 하둡은 계산을 데이터 쪽으로 보냈고, 레이크 · 레이크하우스는 데이터를 계산 쪽으로 불러온다 — 그래서 저장과 계산을 따로 늘리는 대신, 네트워크로 읽는 양을 줄이는 컬럼형 파일 형식과 테이블 메타데이터가 필요해졌다.
🔑 레이크하우스는 새 저장 엔진이 아니라 같은 Parquet 파일 위에 «어느 파일이 지금 표인가»를 정하는 트랜잭션 메타데이터 계층을 얹은 것이다(Armbrust 외 2021 3.1절).
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 빅데이터 플랫폼과의 경계 | 넘기는 곳 |
|---|---|---|---|
| 빅데이터 플랫폼 | 분산 저장 · 파일 · 표 규칙 · 계산 엔진의 짜임 | — | 표가 준비되면 질의 · 분석 쪽으로 |
| 데이터 웨어하우스 | 주제별 통합 · 이력 보존 · 차원 모델 | 쓰기 전에 구조를 정하는 분석 DB — 레이크하우스는 그 관리 기능을 레이크 파일 위로 옮긴 것 | 차원 모델 · OLAP 설계는 웨어하우스 쪽 |
| 데이터 엔지니어링 | 수집 · 변환 파이프라인 · 스트림 · 작업 일정 | 플랫폼이 «어디에 어떤 형식으로» 둘지 정하면, 엔지니어링은 «언제 어떤 순서로» 채울지 정함 | 적재 · 오케스트레이션 · CDC |
| 데이터 마이닝 | 연관 규칙 · 군집 같은 패턴 찾기 | 플랫폼 위에서 도는 분석 기법 — 엔진(스파크)은 실행 자리일 뿐 | 알고리즘 선택 · 평가 |
| 셀프서비스 BI | 대시보드 · 시각화 · 지표 의미 계층 | 플랫폼의 표를 읽는 사용자 쪽 끝 | 지표 정의 · 화면 |
분석질문이 «데이터를 어디에 어떤 형식으로 두고 어떤 엔진으로 읽나»면 빅데이터 플랫폼, «언제 무엇을 채우나»면 데이터 엔지니어링, «무엇을 묻고 보여 주나»면 웨어하우스 · 마이닝 · BI 로 넘긴다. 근거는 그림 3 — 세대 변화는 모두 저장 · 파일 · 표 · 계산 네 계층 안에서 일어났다(Armbrust 외 2021 1절 · 3절).
7실무 진단 — 큰 작업이 느리고 비쌀 때 계층 가르기
분석읽은 양 → 계획 → 셔플 → 자원 순으로 본다. 분리형 구조의 비용은 네트워크로 읽는 바이트가 정하므로(그림 5), 읽은 양이 줄지 않았으면 뒤의 튜닝이 효과를 내지 못한다.
| # | 증상 | 의심 원인 | 계층 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 몇 열만 쓰는데 오래 걸림 | 행 단위 파일 · 분할 조건 미적용 | 파일 형식 | Spark Web UI 단계의 Input 바이트 | Input 이 표 전체 크기와 비슷하면 열 · 분할 가지치기가 안 됨(Spark Web UI 문서) |
| 2 | 실행기가 뜨기 전 대기가 김 | 폴더 목록으로 파일 수만 개를 찾음 | 표 규칙 | Iceberg files 표의 record_count · file_size_in_bytes 건수 · 크기 | 파일 수가 많고 평균이 작으면 압축 · 메타데이터 계획 대상(Iceberg Spark 질의) |
| 3 | 정렬 단계에서 오래 멈춤 | 원격 셔플 읽기 대기 · 디스크 넘침 | 계산 엔진 | Shuffle Read Fetch Wait Time · Shuffle spill (disk) | 대기 시간 · spill 이 단계 시간의 큰 몫이면 분할 수 · 실행기 메모리 조정(Spark Web UI 문서) |
| 4 | 작업이 없는 밤에도 비용 그대로 | 저장 · 계산 결합 클러스터 상시 가동 | 저장소 + 계산 | 시간대별 서버 이용률 | 이용률이 낮은 시간이 길면 분리형 · 작업 단위 자원 검토(Armbrust 외 2021 1절) |
1행을 먼저 보는 이유는 2 ~ 4행이 모두 «읽은 바이트»에 비례해 커지기 때문이다. 1행이 정상인데 느리면 2행(계획) → 3행(셔플) 순으로 좁힌다.
8시험 대비
www.q-net.or.kr시험에서는 하둡 · 스파크 · 레이크하우스의 특징을 묻는 정의 · 특징형과, 하둡에서 레이크하우스까지의 변화를 묻는 동향 · 발전형으로 나올 수 있다. 정의 · 특징형이면 네 계층 표로 각 기술의 자리를 먼저 보이고, 동향 · 발전형이면 «세대마다 바뀐 계층»과 «계산과 저장의 분리»를 한 축으로 쓴다.
- 개요 — 정의 · 네 계층(저장소 · 파일 형식 · 표 규칙 · 계산 엔진)
- 세대 지도 — 그림 3 계층 × 세대 표 · 바뀐 계층 표시
- 처리 비교 — 그림 4 같은 질의의 읽는 양(300 GB · 4.5 GB) · 작업 연결 방식
- 핵심 원리 — 그림 5 저장 · 계산 결합과 분리의 서버·시간
- 구성 기술 — 하둡 · 스파크 · 컬럼형 파일 형식 · 오픈 테이블 포맷 한 줄씩
- 고려 사항 — 작은 파일 · 셔플 · 거버넌스 · 데이터 웨어하우스 · 데이터 엔지니어링과의 경계
꼭 쓸 키워드
하둡HDFSMapReduceYARN스파크RDD데이터 레이크컬럼형 파일 형식오픈 테이블 포맷레이크하우스계산저장 분리데이터 지역성
다른 답안과 차이를 내는 한 가지는 그림 3 처럼 세대마다 «바뀐 계층만» 굵게 보이는 표이고, 근거로 MapReduce 2004 논문의 지역성 설계와 2021 레이크하우스 정의를 함께 적는다.
9오해와 사실
- 오해레이크하우스는 하둡 · 레이크를 버린 새 저장 엔진이다.사실데이터 파일은 Parquet 같은 표준 형식 그대로 객체 저장소에 두고, 그 위에 표 판을 정하는 메타데이터 계층만 더한다 — HDFS 위에도 만들 수 있다(Armbrust 외 2021 3절 · 3.1절).
- 오해스파크는 모든 데이터를 메모리에서만 처리한다.사실스파크도 다음 단계로 넘길 셔플 데이터를 디스크에 쓰고, 메모리가 모자라면 디스크로 넘친다(Spark Web UI 문서 Shuffle write · Shuffle spill).
- 오해하둡이 물러났으니 데이터 지역성은 의미가 없다.사실분리형 구조는 지역성을 포기한 대가를 네트워크로 치르므로, 열 선택 · 파일 통계로 읽는 양을 줄이는 일이 같은 원리의 다른 답이다(Dean · Ghemawat 2004 3.4절).
10핵심 정리
| 하위 토픽 | 계층 | 들어온 세대 | 앞 세대에서 바꾼 것 | 먼저 보는 지표 |
|---|---|---|---|---|
| 하둡 | 저장소 + 계산 | 하둡 세대 | 한 대 → 수천 대 · 계산을 블록 옆으로 | 로컬 읽기 비율 · 블록 수 |
| 스파크 | 계산 엔진 | 레이크 세대 | 작업 사이 파일 → 메모리로 단계 연결 | 단계 Input · 셔플 대기 |
| 데이터 레이크 | 저장소 | 레이크 세대 | 계산 서버 디스크 → 객체 저장소 | 저장 용량 · 영역별 표 수 |
| 컬럼형 파일 형식 | 파일 형식 | 레이크 세대 | 행 단위 → 열 단위 · 압축 | 읽은 바이트 ÷ 표 크기 |
| 오픈 테이블 포맷 | 표 규칙 | 레이크하우스 | 폴더 = 표 → 스냅숏 메타데이터 | 파일 수 · 스냅숏 수 |
| 레이크하우스 | 네 계층 전체 | 레이크하우스 | 레이크 + 웨어하우스 두 단계 → 한 표 | 엔진별 같은 답 여부 |
11참고 문헌
- 먼저 볼 문헌
- ★ MapReduce: Simplified Data Processing on Large Clusters (OSDI 2004) — map 작업을 입력 블록 사본 옆에 두는 이유(3.4절)와 1 TB 정렬 결과를 볼 때
- ★ HDFS Architecture (Apache Hadoop 3.3.5) — 블록 · 복제 · «계산을 데이터 쪽으로» 설계 원칙을 볼 때
- ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — 세 세대 구분 · 계산과 저장의 분리 · 트랜잭션 메타데이터 계층(3절)을 볼 때
- ★ Apache Iceberg Table Spec — 스냅숏 격리 · 원격 호출 O(1) 계획 같은 표 규칙의 목표를 볼 때
- 본문 근거
- Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing (NSDI 2012) — Matei Zaharia 외 · USENIX · 2012-04 ·
www.usenix.org/conference/nsdi12/technical-sessions/presentation/zaharia· 확인 2026-11-14 - Apache Hadoop YARN (Apache Hadoop 3.3.5) — Apache Software Foundation · 2023-03 ·
hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html· 확인 2026-11-14 - Apache Parquet Overview — Apache Software Foundation · 2026-11 ·
parquet.apache.org/docs/overview/· 확인 2026-11-14 - Web UI (Spark 4.3.0 Documentation) — Apache Software Foundation · 2026-11 ·
spark.apache.org/docs/latest/web-ui.html· 확인 2026-11-14 - Spark Queries — Inspecting tables (Apache Iceberg Docs) — Apache Software Foundation · 2026-11 ·
iceberg.apache.org/docs/latest/spark-queries/· 확인 2026-11-14