IT › 데이터 › 데이터 분석

빅데이터 플랫폼Big Data Platform

한 서버에 담기지 않는 데이터를 여러 서버로 나눠 저장 · 계산하는 분석 플랫폼이다. 저장소 · 파일 형식 · 표 규칙 · 계산 엔진 네 계층을 어떤 부품으로 채우는지로 하둡 · 데이터 레이크 · 레이크하우스 세대가 갈린다.

1요약

  1. 빅데이터 플랫폼은 데이터 분석에서 저장소 · 파일 형식 · 표 규칙 · 계산 엔진 네 계층을 묶는 길목으로, 2004년 MapReduce 의 공개 구현인 하둡에서 2015년 객체 저장소 기반 레이크, 2021년 정의된 레이크하우스로 계층이 하나씩 바뀌었고 그 위에서 SQL 집계 · 스트림 · 기계 학습 작업이 같은 데이터를 읽는다.
  2. 한 대에 담기지 않는 데이터는 수천 대에 나눠 읽어야 하는데 서버 사이 대역폭이 귀해서, MapReduce 는 입력 블록 사본이 있는 서버에 작업을 놓아 약 1,800대로 1 TB 를 891초에 정렬했다(Dean · Ghemawat 2004 3.4절 · 5.3절).
  3. 「큰 작업이 느리고 비싸다」는 어느 계층이 읽는 양을 줄이지 못했는가로 가른다 — 단계 입력이 표 전체 크기면 파일 형식 · 분할, 첫 단계 전 대기가 길면 표 규칙의 파일 목록, 셔플 대기가 길면 계산 엔진 쪽이다.

2등장 배경

2000년대 초 웹 문서 · 접속 기록은 서버 한 대 디스크를 넘었고, 서버 사이 네트워크가 가장 귀한 자원이었다. Dean · Ghemawat(2004)의 MapReduce 는 파일을 64 MB 블록으로 나눠 보통 3벌 둔 분산 파일 시스템 위에서 map 작업을 블록 사본이 있는 서버에 배치했고(3.4절), 이를 공개 구현한 하둡의 HDFS 는 «계산을 데이터 가까이에서 실행한다»를 설계 원칙으로 적었다(HDFS 설계 문서).

MapReduce 는 작업 하나가 끝날 때마다 결과를 파일 시스템에 써서 반복 계산이 느렸다. 2012년 Zaharia 등은 데이터를 메모리에 두는 RDD 로 반복 · 대화형 분석을 자릿수 하나만큼 빠르게 했고(Zaharia 외 2012 초록), 하둡 2 의 YARN 은 자원 관리를 MapReduce 에서 떼어 다른 엔진도 같은 클러스터를 쓰게 했다(YARN 문서).

2015년부터 클라우드 객체 저장소가 HDFS 를 대신하며 저장과 계산이 갈라졌다(Armbrust 외 2021 1절). 객체 저장소에는 여러 파일을 한 번에 바꾸는 트랜잭션이 없어, Delta Lake(2016 개발 시작) · Iceberg · Hudi 가 파일 위에 표 메타데이터를 얹었고 2021년 Armbrust 등은 여기에 관리 · 성능 기능을 더한 체계를 레이크하우스로 정의했다(같은 글 3절). 빅데이터 플랫폼의 여섯 하위 토픽은 세 세대의 계층 부품이다.

3쉽게 이해하기 — 기록 보관 회사의 세 번 바뀐 일터

기록 보관 회사의 오 팀장은 처음에 서류 선반마다 작업대를 붙여 두고, 일감 지시서를 서류가 있는 선반으로 보냈다. 서류가 늘어 외곽 대형 보관소로 옮긴 뒤에는 작업이 있는 날만 작업장을 빌려, 서류철에서 쓰는 항목만 트럭에 실어 오게 했다. 마지막으로 보관소 입구에 «지금 판 서류 목록» 대장을 두자, 회계팀 · 기획팀 · 연구팀이 같은 대장을 보고 같은 서류를 서로 덮어쓰지 않고 쓰게 됐다.

1 옛 창고 서류 선반 바로 옆 작업대 하둡(HDFS + MapReduce) 일감이 서류 선반으로 간다 늘릴 때는 선반 + 작업대 2 외곽 보관소 대형 보관소 데이터 레이크 쓰는 항목만 싣기 항목별 서류철 컬럼형 파일 형식 작업 날만 빌림 빌린 작업장 스파크 3 입구 목록 대장 지금 판 목록 오픈 테이블 포맷 지금 판만 가리킴 같은 보관소 데이터 레이크 같은 대장을 봄 여러 팀 레이크하우스 1 일감이 서류 선반으로 · 2 쓰는 항목만 빌린 작업장으로 · 3 대장 하나를 여러 팀이 함께 봄 저장 파일 형식 표 목록 계산

그림 1 · 일감이 서류 선반으로 가던 옛 창고에서, 쓰는 항목만 빌린 작업장으로 싣는 보관소, 대장 하나로 여러 팀이 같은 서류를 쓰는 보관소로 바뀌었다.

선반 옆 작업지시서를 서류 선반으로
외곽 보관소서류를 한곳에 모음
항목별 서류철쓰는 항목만 싣기
빌린 작업장다 쓰면 반납
입구 대장지금 판만 적기
여러 팀같은 대장으로 일하기
일감이 서류로 가는가 · 서류가 일감으로 오는가 같은 자리 서류 선반 작업대 작업 지시서 서류는 그대로 · 지시서가 선반으로 보관소 빌린 작업장 칸 3개만 서류철 칸 40개 가운데 쓰는 칸 3개만 싣는다 작업장은 다 쓰면 돌려준다 실제 — 하둡은 map 작업을 입력 블록 사본이 있는 서버에 놓고(Dean · Ghemawat 2004 3.4절), 레이크는 객체 저장소에서 질의가 쓰는 열만 네트워크로 읽어 계산 클러스터로 가져온다. 실어 나르는 칸(열)

그림 2 · 옛 창고에서는 지시서가 서류 선반으로 가고, 보관소 시절에는 서류철 칸 40개 가운데 쓰는 칸 3개만 작업장으로 온다 — 이 차이가 하둡과 레이크를 가르는 경계다.

비유 속 역할실제 이름실제로 하는 일
선반 옆 작업대하둡(HDFS + MapReduce)같은 서버의 디스크 블록을 그 서버의 map 작업이 읽는다
작업 지시서map · reduce 작업계산 코드를 데이터가 있는 서버로 보낸다
외곽 대형 보관소데이터 레이크 · 객체 저장소원본과 정제 파일을 계산 서버와 떨어진 곳에 둔다
항목별 서류철컬럼형 파일 형식열끼리 모아 저장해 질의가 쓰는 열만 읽게 한다
운반 트럭네트워크 읽기저장소에서 계산 클러스터로 바이트를 옮긴다
빌린 작업장스파크 실행기작업 동안 자원을 받아 메모리에서 단계를 잇는다
입구 목록 대장오픈 테이블 포맷표의 현재 스냅숏에 속한 파일을 적어 둔다
같은 대장을 보는 여러 팀레이크하우스SQL · 스트림 · 기계 학습 엔진이 같은 표를 읽는다

⚠ 비유가 맞지 않는 곳: 서류 항목은 사람이 골라 싣지만, 컬럼형 파일은 파일 안의 위치 정보로 엔진이 열 조각을 골라 읽는다. 대장도 한 권을 고쳐 쓰는 것이 아니라 커밋마다 새 메타데이터가 생기고, 지난 판은 보존 기간 동안 남는다.

4구조 — 네 계층과 세 세대의 지도

빅데이터 플랫폼의 하위 토픽은 «어느 계층을 맡는가 · 어느 세대에 들어왔는가» 두 축으로 위치가 정해진다. 세대가 바뀔 때마다 네 계층이 모두 바뀐 것이 아니라 한두 계층만 갈아 끼웠다.

계층 \ 세대 하둡 세대 2004 MapReduce 논문 ~ 데이터 레이크 세대 2015 객체 저장소 ~ 레이크하우스 2021 정의 ~ 계산 엔진 하둡 MapReduce YARN 이 자원 배분 스파크 SQL 엔진 · 작업마다 자원 스파크 SQL · 스트림 · ML 이 한 표 표 규칙 폴더 = 표 (Hive 방식 메타스토어) 폴더 = 표 (여러 파일 갱신 원자성 없음) 오픈 테이블 포맷 Delta Lake · Iceberg · Hudi 파일 형식 텍스트 · CSV (행 단위 · 모든 열을 읽음) 컬럼형 파일 형식 Parquet · ORC 컬럼형 파일 형식 Parquet 그대로 저장소 하둡 HDFS 계산 서버의 디스크 데이터 레이크 클라우드 객체 저장소 데이터 레이크 객체 저장소 · HDFS 도 가능 굵은 테두리 = 앞 세대에서 바뀐 계층 · 굵은 글자 = 하위 토픽 · 근거: Armbrust 외 2021 1절 · 3절

그림 3 · 하둡에서 레이크로 갈 때는 저장소 · 파일 형식 · 계산 엔진이 바뀌었고, 레이크하우스는 표 규칙 한 계층만 바꿨다.

하위 토픽맡는 계층푸는 문제대표 기술 · 근거
하둡저장소 + 계산수천 대 디스크에 블록을 나눠 두고 그 자리에서 계산HDFS 블록 보통 128 MB(HDFS 설계 문서) · MapReduce · YARN
데이터 레이크저장소원본을 싸게 오래 두고 읽을 때 구조를 정함클라우드 객체 저장소 · 원시 · 정제 영역
컬럼형 파일 형식파일 형식질의가 쓰는 열만 읽고 압축률을 높임Parquet(Parquet 개요) · ORC
오픈 테이블 포맷표 규칙여러 파일 갱신을 한 번에 커밋 · 지난 판 조회Delta Lake · Iceberg · Hudi(Iceberg 명세)
스파크계산 엔진단계 사이 결과를 메모리에 두고 반복 · 대화형 계산RDD · 데이터프레임(Zaharia 외 2012)
레이크하우스네 계층 전체레이크 파일 위에 웨어하우스의 관리 · 성능 기능트랜잭션 메타데이터 계층(Armbrust 외 2021 3.1절)

5동작 — 30일 주문 기록 집계를 세 세대에서 돌리기

질의는 «지난 30일 상품별 매출 상위 100»이고, 원본은 하루 10 GB 씩 쌓인 40열 CSV 주문 기록 300 GB 다. 크기 · 대수 · 압축률은 설명용 가정 값이다.

  1. 하둡 · 읽기 — 300 GB ÷ 128 MB = 2,400 블록이라 map 작업도 2,400개이고, 각 작업은 블록 사본이 있는 서버에서 로컬 디스크로 읽는다(HDFS 설계 문서 · Dean · Ghemawat 2004 3.4절).
  2. 하둡 · 작업 사슬 — 상품별 합계(작업 1)의 결과 약 20 MB 를 HDFS 에 3벌로 쓰고, 상위 100 정렬(작업 2)이 그 파일을 다시 읽는다.
  3. 레이크 · 형식 바꾸기 — 같은 30일을 Parquet 로 다시 써 객체 저장소에 두니 압축 뒤 60 GB 가 된다.
  4. 레이크 · 열만 읽기 — 질의가 쓰는 날짜 · 상품 · 금액 3열만 읽어, 열 크기가 같다고 볼 때 60 × 3 ÷ 40 = 4.5 GB 가 네트워크로 온다. 스파크는 실행기 40개로 집계 → 정렬 두 단계를 한 작업으로 잇고 끝나면 자원을 반납한다.
  5. 레이크하우스 · 계획 — 엔진은 폴더 목록 대신 테이블 메타데이터의 매니페스트에서 30일 분할의 파일 목록을 받는다(Iceberg 명세 Goals «Speed»).
  6. 레이크하우스 · 커밋 — 결과 100행을 gold.top_products 에 새 스냅숏으로 커밋하고, 대시보드의 SQL 엔진은 커밋된 스냅숏만 읽는다(Iceberg 명세 Goals «Serializable isolation»).
하둡 레이크 레이크하우스 HDFS CSV 300 GB 2,400 블록 · 40열 작업 1 합계 map 2,400개 · 로컬 읽기 HDFS 중간 결과 20 MB × 3벌 작업 2 상위 100 1 2 객체 저장소 Parquet 60 GB 3열만 읽기 4.5 GB · 네트워크 스파크 실행기 40 집계 → 정렬 한 작업 결과 100행 자원 반납 3 4 테이블 메타데이터 매니페스트 · 30일 분할 스파크 집계 · 정렬 받은 파일만 읽기 새 스냅숏 커밋 gold.top_products SQL 엔진 커밋본만 읽음 5 6 저장 파일 형식 표 메타데이터 계산 값은 설명용 가정 값

그림 4 · 같은 질의가 하둡에서는 300 GB 를 로컬 디스크로 읽고 작업 둘을 파일로 잇고, 레이크에서는 4.5 GB 만 네트워크로 받고, 레이크하우스에서는 메타데이터로 계획해 스냅숏으로 결과를 낸다.

결합형 — 저장 때문에 20대 상시 분리형 — 계산만 빌림 40대 20대 0 켜져만 있는 22시간 저장도 이 20대의 디스크 집계 2시간 0시 24시 40대 20대 0 집계 1시간 · 40대 나머지 23시간 계산 0대 객체 저장소 — 계산 서버 없이 늘 보관 0시 24시 하루 20 × 24 = 480 서버·시간 중 40 이 일함 하루 40 × 1 = 40 서버·시간 일하는 계산 노는 계산 저장 설명용 가정 값 · 일의 양 = 40 서버·시간

그림 5 · 결합형은 저장 때문에 20대를 하루 종일 켜 두고 2시간만 일하지만, 분리형은 저장을 따로 두고 계산 40대를 1시간만 빌린다.

🔑 하둡은 계산을 데이터 쪽으로 보냈고, 레이크 · 레이크하우스는 데이터를 계산 쪽으로 불러온다 — 그래서 저장과 계산을 따로 늘리는 대신, 네트워크로 읽는 양을 줄이는 컬럼형 파일 형식과 테이블 메타데이터가 필요해졌다.

🔑 레이크하우스는 새 저장 엔진이 아니라 같은 Parquet 파일 위에 «어느 파일이 지금 표인가»를 정하는 트랜잭션 메타데이터 계층을 얹은 것이다(Armbrust 외 2021 3.1절).

6비교 — 관련 기술과의 경계

기술맡는 일빅데이터 플랫폼과의 경계넘기는 곳
빅데이터 플랫폼분산 저장 · 파일 · 표 규칙 · 계산 엔진의 짜임—표가 준비되면 질의 · 분석 쪽으로
데이터 웨어하우스주제별 통합 · 이력 보존 · 차원 모델쓰기 전에 구조를 정하는 분석 DB — 레이크하우스는 그 관리 기능을 레이크 파일 위로 옮긴 것차원 모델 · OLAP 설계는 웨어하우스 쪽
데이터 엔지니어링수집 · 변환 파이프라인 · 스트림 · 작업 일정플랫폼이 «어디에 어떤 형식으로» 둘지 정하면, 엔지니어링은 «언제 어떤 순서로» 채울지 정함적재 · 오케스트레이션 · CDC
데이터 마이닝연관 규칙 · 군집 같은 패턴 찾기플랫폼 위에서 도는 분석 기법 — 엔진(스파크)은 실행 자리일 뿐알고리즘 선택 · 평가
셀프서비스 BI대시보드 · 시각화 · 지표 의미 계층플랫폼의 표를 읽는 사용자 쪽 끝지표 정의 · 화면

분석질문이 «데이터를 어디에 어떤 형식으로 두고 어떤 엔진으로 읽나»면 빅데이터 플랫폼, «언제 무엇을 채우나»면 데이터 엔지니어링, «무엇을 묻고 보여 주나»면 웨어하우스 · 마이닝 · BI 로 넘긴다. 근거는 그림 3 — 세대 변화는 모두 저장 · 파일 · 표 · 계산 네 계층 안에서 일어났다(Armbrust 외 2021 1절 · 3절).

7실무 진단 — 큰 작업이 느리고 비쌀 때 계층 가르기

분석읽은 양 → 계획 → 셔플 → 자원 순으로 본다. 분리형 구조의 비용은 네트워크로 읽는 바이트가 정하므로(그림 5), 읽은 양이 줄지 않았으면 뒤의 튜닝이 효과를 내지 못한다.

#증상의심 원인계층확인 자료판정 기준(근거)
1몇 열만 쓰는데 오래 걸림행 단위 파일 · 분할 조건 미적용파일 형식Spark Web UI 단계의 Input 바이트Input 이 표 전체 크기와 비슷하면 열 · 분할 가지치기가 안 됨(Spark Web UI 문서)
2실행기가 뜨기 전 대기가 김폴더 목록으로 파일 수만 개를 찾음표 규칙Iceberg files 표의 record_count · file_size_in_bytes 건수 · 크기파일 수가 많고 평균이 작으면 압축 · 메타데이터 계획 대상(Iceberg Spark 질의)
3정렬 단계에서 오래 멈춤원격 셔플 읽기 대기 · 디스크 넘침계산 엔진Shuffle Read Fetch Wait Time · Shuffle spill (disk)대기 시간 · spill 이 단계 시간의 큰 몫이면 분할 수 · 실행기 메모리 조정(Spark Web UI 문서)
4작업이 없는 밤에도 비용 그대로저장 · 계산 결합 클러스터 상시 가동저장소 + 계산시간대별 서버 이용률이용률이 낮은 시간이 길면 분리형 · 작업 단위 자원 검토(Armbrust 외 2021 1절)

1행을 먼저 보는 이유는 2 ~ 4행이 모두 «읽은 바이트»에 비례해 커지기 때문이다. 1행이 정상인데 느리면 2행(계획) → 3행(셔플) 순으로 좁힌다.

8시험 대비

출제 정보 정보관리(126회, 118회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 하둡 · 스파크 · 레이크하우스의 특징을 묻는 정의 · 특징형과, 하둡에서 레이크하우스까지의 변화를 묻는 동향 · 발전형으로 나올 수 있다. 정의 · 특징형이면 네 계층 표로 각 기술의 자리를 먼저 보이고, 동향 · 발전형이면 «세대마다 바뀐 계층»과 «계산과 저장의 분리»를 한 축으로 쓴다.

답안 목차
  1. 개요 — 정의 · 네 계층(저장소 · 파일 형식 · 표 규칙 · 계산 엔진)
  2. 세대 지도 — 그림 3 계층 × 세대 표 · 바뀐 계층 표시
  3. 처리 비교 — 그림 4 같은 질의의 읽는 양(300 GB · 4.5 GB) · 작업 연결 방식
  4. 핵심 원리 — 그림 5 저장 · 계산 결합과 분리의 서버·시간
  5. 구성 기술 — 하둡 · 스파크 · 컬럼형 파일 형식 · 오픈 테이블 포맷 한 줄씩
  6. 고려 사항 — 작은 파일 · 셔플 · 거버넌스 · 데이터 웨어하우스 · 데이터 엔지니어링과의 경계

꼭 쓸 키워드
하둡HDFSMapReduceYARN스파크RDD데이터 레이크컬럼형 파일 형식오픈 테이블 포맷레이크하우스계산저장 분리데이터 지역성

다른 답안과 차이를 내는 한 가지는 그림 3 처럼 세대마다 «바뀐 계층만» 굵게 보이는 표이고, 근거로 MapReduce 2004 논문의 지역성 설계와 2021 레이크하우스 정의를 함께 적는다.

9오해와 사실

  • 오해레이크하우스는 하둡 · 레이크를 버린 새 저장 엔진이다.
    사실데이터 파일은 Parquet 같은 표준 형식 그대로 객체 저장소에 두고, 그 위에 표 판을 정하는 메타데이터 계층만 더한다 — HDFS 위에도 만들 수 있다(Armbrust 외 2021 3절 · 3.1절).
  • 오해스파크는 모든 데이터를 메모리에서만 처리한다.
    사실스파크도 다음 단계로 넘길 셔플 데이터를 디스크에 쓰고, 메모리가 모자라면 디스크로 넘친다(Spark Web UI 문서 Shuffle write · Shuffle spill).
  • 오해하둡이 물러났으니 데이터 지역성은 의미가 없다.
    사실분리형 구조는 지역성을 포기한 대가를 네트워크로 치르므로, 열 선택 · 파일 통계로 읽는 양을 줄이는 일이 같은 원리의 다른 답이다(Dean · Ghemawat 2004 3.4절).

10핵심 정리

하위 토픽계층들어온 세대앞 세대에서 바꾼 것먼저 보는 지표
하둡저장소 + 계산하둡 세대한 대 → 수천 대 · 계산을 블록 옆으로로컬 읽기 비율 · 블록 수
스파크계산 엔진레이크 세대작업 사이 파일 → 메모리로 단계 연결단계 Input · 셔플 대기
데이터 레이크저장소레이크 세대계산 서버 디스크 → 객체 저장소저장 용량 · 영역별 표 수
컬럼형 파일 형식파일 형식레이크 세대행 단위 → 열 단위 · 압축읽은 바이트 ÷ 표 크기
오픈 테이블 포맷표 규칙레이크하우스폴더 = 표 → 스냅숏 메타데이터파일 수 · 스냅숏 수
레이크하우스네 계층 전체레이크하우스레이크 + 웨어하우스 두 단계 → 한 표엔진별 같은 답 여부

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ MapReduce: Simplified Data Processing on Large Clusters (OSDI 2004) — map 작업을 입력 블록 사본 옆에 두는 이유(3.4절)와 1 TB 정렬 결과를 볼 때
    Jeffrey Dean · Sanjay Ghemawat · USENIX · 2004-12 · www.usenix.org/conference/osdi-04/mapreduce-simplified-data-processing-large-clusters · 확인 2026-11-14
  3. ★ HDFS Architecture (Apache Hadoop 3.3.5) — 블록 · 복제 · «계산을 데이터 쪽으로» 설계 원칙을 볼 때
    Apache Software Foundation · 2023-03 · hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html · 확인 2026-11-14
  4. ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — 세 세대 구분 · 계산과 저장의 분리 · 트랜잭션 메타데이터 계층(3절)을 볼 때
    Michael Armbrust · Ali Ghodsi · Reynold Xin · Matei Zaharia · 2021-01 · www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf · 확인 2026-11-14
  5. ★ Apache Iceberg Table Spec — 스냅숏 격리 · 원격 호출 O(1) 계획 같은 표 규칙의 목표를 볼 때
    Apache Software Foundation · 2026-11 · iceberg.apache.org/spec/ · 확인 2026-11-14
  6. 본문 근거
  7. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing (NSDI 2012) — Matei Zaharia 외 · USENIX · 2012-04 · www.usenix.org/conference/nsdi12/technical-sessions/presentation/zaharia · 확인 2026-11-14
  8. Apache Hadoop YARN (Apache Hadoop 3.3.5) — Apache Software Foundation · 2023-03 · hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html · 확인 2026-11-14
  9. Apache Parquet Overview — Apache Software Foundation · 2026-11 · parquet.apache.org/docs/overview/ · 확인 2026-11-14
  10. Web UI (Spark 4.3.0 Documentation) — Apache Software Foundation · 2026-11 · spark.apache.org/docs/latest/web-ui.html · 확인 2026-11-14
  11. Spark Queries — Inspecting tables (Apache Iceberg Docs) — Apache Software Foundation · 2026-11 · iceberg.apache.org/docs/latest/spark-queries/ · 확인 2026-11-14