IT › 데이터

데이터 분석Data Analysis

흩어진 운영 데이터를 모아 정리 · 저장하고, 집계 · 패턴 탐색 · 시각화로 의사 결정에 쓰는 정보로 바꾸는 IT 분야다. 데이터를 담는 DBMS 는 데이터베이스, 품질 · 표준은 데이터 관리, 학습 모델은 AI 영역이 맡는다.

1요약

  1. 데이터 분석은 NIST SP 1500-1r2 5.3절이 정한 수집 · 준비 · 분석 · 시각화 · 활용 다섯 단계를 IT 체계로 나눠 맡는 분야로, 그 위에서 DW · OLAP · 데이터 마이닝 · 하둡 · 스파크 · 대시보드가 각자 한 단계 이상을 맡아 돈다.
  2. 운영 DB 에 분석 질의를 바로 돌리면 주문 처리가 밀리고 지난 값이 덮어써져, 따로 둔 웨어하우스가 생겼고 그 뒤 비정형 데이터가 늘자 레이크 + 웨어하우스 두 단계 구조가 Fortune 500 기업 거의 전부로 퍼졌다(Armbrust 외 2021 1절).
  3. 「분석 숫자가 이상하다」는 어느 단계에서 어긋났는가로 가른다 — 원천 건수와 적재 건수가 다르면 수집 · 준비, 같은 질의가 엔진마다 다르면 구조를 읽을 때 정한 저장소, 표는 맞는데 화면만 다르면 시각화의 집계 기준이다.

2등장 배경

1980년대 기업의 주문 · 회계 DB 는 키로 몇 행을 읽고 쓰는 짧은 트랜잭션에 맞춰져 있어, 몇 년 치를 훑는 집계 질의를 섞으면 업무 응답이 느려지고 바뀐 값의 이력도 남지 않았다. 그래서 운영 DB 와 떨어진 분석 전용 저장소에 주제별로 통합해 시점과 함께 쌓는 데이터 웨어하우스와, 그 위에서 차원별로 묶고 펼치는 OLAP 이 생겼다(Chaudhuri · Dayal 1997 1절).

2004년 Google 의 MapReduce 는 값싼 서버 수천 대에 계산을 나눠 수 TB 를 처리했고(Dean · Ghemawat 2004), 그 공개 구현인 하둡의 HDFS 는 파일을 보통 128 MB 블록으로 나눠 세 벌씩 복제한다(HDFS 설계 문서). 2010년 Dixon 은 손질해 담은 마트와 달리 원래 상태로 쌓아 두는 저장소를 데이터 레이크라 불렀고(Dixon 2010), 2012년 스파크의 RDD 는 반복 계산 데이터를 메모리에 두어 열 배 수준까지 빠르게 했다(Zaharia 외 2012 초록).

지금은 끝없이 들어오는 이벤트를 정확성 · 지연 · 비용 사이에서 골라 처리하는 스트림 모델(Akidau 외 2015)과, 레이크의 열린 파일 형식 위에 웨어하우스의 관리 기능을 얹는 레이크하우스(Armbrust 외 2021)가 함께 쓰인다. NIST 는 2019년 빅데이터를 크기 · 속도 · 다양성 · 가변성 네 특성 때문에 확장 가능한 구조가 필요한 데이터로 정의했다(NIST SP 1500-1r2 3.1절).

3쉽게 이해하기 — 마트 체인 본사의 물류 창고

전국 마트 체인 본사에 매장마다 그날 판매 상자가 트럭으로 들어온다. 손질실 직원은 상자를 품목표대로 다듬어 정리 창고 선반에 날짜별로 넣고, 지역 담당에게는 작은 지역 창고를 따로 채워 준다. 손질할 틈이 없는 상자는 큰 야적장에 그대로 쌓아 둔다. 기획팀 박 과장은 「지난달 지역별 판매」를 선반에서 바로 꺼내 보고, 연구원 한 박사는 야적장과 창고를 뒤져 묻지 않은 묶음을 찾으며, 둘의 결과는 본사 로비 현황판에 걸린다.

매장 운영 DB 손질실 ETL 정리 창고 DW 지역 창고 Data Mart 큰 야적장 데이터 레이크 상자를 그대로 쌓음 꺼낼 때 손질 기획팀 박 과장 OLAP 질의 로비 현황판 대시보드 연구원 한 박사 데이터 마이닝 1 2 3 4 5 6 1 매장 상자가 손질실로 · 2 다듬어 선반에 · 3 손질 없이 야적장에 4 정해 둔 질문으로 꺼내 봄 · 5 묻지 않은 묶음을 찾음 · 6 현황판에 걸기 저장 변환 분석 표시

그림 1 · 상자가 손질실을 거쳐 선반에 오르거나 야적장에 그대로 쌓이고, 정해 둔 질문과 새 묶음 찾기가 모두 현황판으로 모인다.

상자 들어옴매장마다 그날 판매
손질실품목표대로 다듬기
정리 창고날짜별 선반에 넣기
큰 야적장상자 그대로 쌓기
꺼내 보기 · 뒤지기정한 질문 · 새 묶음
현황판로비에 결과 걸기
질문을 들고 가는가 · 질문을 찾아 오는가 박 과장 질문을 먼저 정함 지난달 지역별 몇 상자? 선반 칸에서 꺼냄 월 × 지역 칸 합계 표 칸마다 한 숫자 OLAP 한 박사 질문 없이 뒤짐 영수증 전부 함께 나온 짝 세기 기저귀 ↔ 물티슈 새 규칙 몰랐던 묶음 데이터 마이닝 실제 — OLAP 은 미리 정한 차원(월 · 지역)과 측정값(판매 수)으로 집계하고, 데이터 마이닝은 데이터에서 연관 규칙 · 군집처럼 아직 묻지 않은 패턴을 찾는다. 분석 기법(사람이 쓰는 질문 · 탐색)

그림 2 · 박 과장은 질문을 정해 두고 선반 칸에서 답을 꺼내고, 한 박사는 질문 없이 뒤져 몰랐던 묶음을 찾아 온다 — 이 차이가 OLAP 과 데이터 마이닝의 경계다.

비유 속 역할실제 이름실제로 하는 일
매장 계산대운영 DB · 원천 시스템주문 · 결제를 처리하며 분석할 원래 기록을 만든다
손질실ETL/ETT · 데이터 파이프라인추출 → 정제 · 변환 → 적재로 형식과 코드를 맞춘다
정리 창고 선반DW · EDW주제별로 통합해 시점과 함께 쌓고 지우지 않는다
지역 창고Data Mart한 부서 · 한 주제만 떼어 빠르게 읽게 한다
큰 야적장데이터 레이크 · HDFS원본 파일을 그대로 두고 읽을 때 구조를 정한다
박 과장의 정한 질문OLAP · 다차원모델링차원 · 측정값을 미리 정해 롤업 · 드릴다운으로 집계한다
한 박사의 묶음 찾기데이터 마이닝 · K-Means알고리즘연관 규칙 · 군집처럼 묻지 않은 패턴을 찾는다
로비 현황판대시보드 · 데이터 시각화지표를 그림으로 보여 활용 단계로 넘긴다

⚠ 비유가 맞지 않는 곳: 창고의 상자는 꺼내면 선반에서 사라지지만, 데이터는 읽어도 줄지 않고 같은 행을 OLAP 과 마이닝이 동시에 읽는다. 또 야적장은 손질을 미룬 곳일 뿐 버린 곳이 아니라서, 레이크의 원본은 나중에 새 질문이 생기면 다시 손질해 쓴다(Dixon 2010).

4구조 — 분석 단계와 네 갈래의 지도

데이터 분석은 NIST SP 1500-1r2 5.3절의 단계를 가로축으로, 기술 갈래 넷을 세로축으로 놓으면 한 장에 들어간다. 웨어하우스는 수집부터 분석까지 정해진 질문 중심으로, 빅데이터 · 레이크는 같은 단계를 분산 저장 · 분산 처리로 맡고, 마이닝은 분석 단계만, BI 는 시각화 단계만 맡는다.

갈래 \ 단계 수집 · 저장 준비 분석 시각화 · 활용 데이터 웨어하우스 DW · EDW Data Mart ETL/ETT · EII OLAP · 다차원모델링 ROLAP/MOLAP/HOLAP — 빅데이터 · 데이터 레이크 HDFS · 데이터 레이크 컬럼형 저장 형식 레이크하우스 데이터 파이프라인 (ETL · ELT) 스트림 처리 하둡(MapReduce) 스파크 — 데이터 마이닝 — — K-Means알고리즘 지지율/신뢰도/향상도 웹마이닝 · 현실마이닝 — BI · 시각화 — — — 대시보드 데이터 시각화 점선 셀 = 그 단계를 맡는 하위 토픽 없음 · 마이닝이 쓰는 학습 방법(머신러닝 · 딥러닝)은 AI 영역 · 근거: NIST SP 1500-1r2 5.3절

그림 3 · 웨어하우스 · 빅데이터는 수집부터 분석까지 세 단계를 나눠 맡고, 마이닝은 분석, BI 는 시각화 한 단계만 맡는다.

갈래푸는 문제맡는 단계하위 토픽
데이터 웨어하우스운영 DB 를 건드리지 않고 이력까지 담은 분석용 사본을 만든다수집 · 저장 · 준비 · 분석DW · EDW · Data Mart · ETL/ETT · EII · OLAP · ROLAP/MOLAP/HOLAP · 다차원모델링
빅데이터 · 데이터 레이크한 대에 담기지 않거나 비정형이거나 끝없이 들어오는 데이터를 여러 대로 나눠 담고 계산한다수집 · 저장 · 준비 · 분석하둡 · HDFS · 스파크 · 스트림 처리 · 데이터 파이프라인(ETL · ELT) · 컬럼형 저장 형식 · 레이크하우스 · 데이터 레이크
데이터 마이닝묻지 않은 관계 · 군집 · 이상치를 데이터에서 찾는다분석K-Means알고리즘 · 지지율/신뢰도/향상도 · 웹마이닝 · 현실마이닝
BI · 시각화분석 결과를 사람이 읽고 행동하게 보여 준다시각화 · 활용대시보드 · 데이터 시각화

데이터베이스 · 데이터 관리 · 검색과의 경계는 이렇다. DBMS 의 저장 구조 · 트랜잭션은 데이터베이스, 메타데이터 · 데이터 품질 · 표준화는 데이터 관리, 문서를 찾아 순위를 매기는 일은 검색이 맡고, 데이터 분석은 그것들이 만든 데이터를 «모아서 묻는» 쪽이다.

🔑 웨어하우스와 레이크는 같은 단계(수집 · 준비 · 분석)를 맡는 두 체계이고, 둘을 가르는 것은 저장 크기가 아니라 «구조를 언제 정하는가»다.

5동작 — 전기차 충전소 운영사의 하루 데이터

전기차 충전기 1,200기를 운영하는 회사가 2026-11-08 하루 데이터를 처리하는 흐름이다. 대수 · 건수 · 크기 · 비율은 모두 설명용 가정 값이다.

  1. 수집 — 충전기마다 10초에 한 번 상태 이벤트를 보내 하루 1,200 × 8,640 = 10,368,000건이 들어오고, 충전 세션 기록은 9,600건이다.
  2. 실시간 판정 — 스트림 처리가 이벤트 시각 기준 5분 창으로 묶어, 충전기 0417 이 14:05 ~ 14:06 에 오류 상태를 세 번 연속 보내자 14:07 대시보드 알림 목록에 올린다(스트림 처리 · Akidau 외 2015).
  3. 원시 적재 — 같은 이벤트는 레이크 원시 영역에 JSON 약 5.2 GB(건당 0.5 KB)로 그대로 쌓이고, 정리 작업이 열 단위 Parquet 파일 약 0.6 GB 로 다시 쓴다(데이터 레이크 · 컬럼형 저장 형식).
  4. 배치 준비 — 02:00 스파크 작업이 세션 9,600건을 충전기 · 구 코드와 맞춰, 충전기 번호가 대응표에 없는 14건을 격리하고 9,586건을 넘긴다(스파크 · 데이터 파이프라인).
  5. 웨어하우스 적재 — DW 의 사실 표는 한 행 = 충전 1회로 9,586행을 더하고, 차원은 날짜 · 시간대 · 충전기 · 구 넷이다(DW · 다차원모델링).
  6. OLAP — 구 단위로 롤업하면 하루 평균 이용률이 18% 인데, 강서구를 시간대로 드릴다운하면 18 ~ 22시가 71%(80기 × 4시간 = 320 기·시간 중 227 기·시간)로 가장 붐빈다(OLAP).
  7. 마이닝 — 시작 시각 · 충전량(kWh) · 머문 시간으로 K-Means(k = 3)를 돌려 세션을 「퇴근 뒤 완속 장시간」 4,100건 · 「낮 급속 단시간」 3,700건 · 「밤샘 주차」 1,786건으로 나눈다(K-Means알고리즘).
  8. 표시 — 06:00 대시보드가 구별 이용률 지도 · 군집별 세션 수 · 전날 알림 수를 새로 고친다(대시보드).
충전기 1,200기 상태 10초마다 세션 9,600건 스트림 처리 5분 창 · 오류 3회 데이터 레이크 원시 JSON 5.2 GB → Parquet 0.6 GB 스파크 02:00 세션 9,586행 격리 14행 DW 사실 표 한 행 = 충전 1회 차원 4개 OLAP 강서 18–22시 71% K-Means k=3 군집 3개 대시 보드 06:00 갱신 1 2 14:07 알림 3 4 5 6 7 8 위 = 실시간 길(분 단위) 아래 = 배치 길(하루 단위) 데이터 · 저장 처리 · 변환 분석 표시 값은 설명용 가정 값

그림 4 · 같은 충전기 이벤트가 위쪽 실시간 길에서는 몇 분 안에 알림이 되고, 아래쪽 배치 길에서는 레이크 · 스파크 · DW 를 거쳐 다음 날 아침 집계와 군집이 된다.

잘못 들어온 행 하나(충전량 kwh = "12,5")가 가는 세 길 ETL → DW 쓰기 전에 구조 정함 적재 전 형식 검사 숫자 아님 → 거부 거부 표 1행 — 적재 때 발견 DW 질의 — 언제나 같은 답 데이터 레이크 읽을 때 구조 정함 검사 없이 저장 파일 그대로 엔진 A — NULL 로 읽고 합계에서 빠짐 엔진 B — 형 변환 오류로 질의가 멈춤 레이크하우스 표 형식이 쓰기 때 검사 커밋 때 스키마 검사 어긋남 → 격리 격리 위치 1행 — 커밋 때 발견 표 질의 — 같은 답 · 파일은 레이크에 구조 검사 잘못된 행이 드러나는 곳 맞는 답 가는 선 = 정상 행 · 굵은 선 = 잘못된 행

그림 5 · 구조를 쓰기 전에 정하면 잘못된 행이 적재 때 걸러지고, 읽을 때 정하면 질의 엔진마다 다른 답으로 드러나며, 레이크하우스는 파일을 레이크에 두고도 커밋 때 거른다.

🔑 구조를 정하는 시점이 오류가 드러나는 곳을 정한다. 쓰기 때 정하면 적재에서 한 번 걸러지고, 읽을 때 정하면 질의마다 다른 답으로 나타난다(Armbrust 외 2021 1절 · 3.2절).

6비교 — 데이터 분석 · 데이터베이스 · 데이터 관리 · 검색의 경계

기준데이터 분석데이터베이스데이터 관리검색
묻는 질문모은 기록에서 어떤 추세 · 패턴이 보이는가이 행을 지금 맞게 읽고 쓰는가이 값의 뜻 · 기준이 시스템마다 같은가이 요구에 맞는 문서는 무엇이고 어느 순서인가
질의 모양많은 행을 훑는 집계 · 차원 묶기키 조건으로 몇 행만 읽고 고침(Chaudhuri · Dayal 1997 1절)정의 · 규칙 대조와 건수 대사낱말 · 의미로 후보를 고르는 적합도 계산
답의 모양집계 숫자 · 군집 · 그래프조건에 맞는 정확한 행규칙 위반 목록 · 품질 측정값적합도 순 목록
주로 다루는 데이터시점이 붙은 이력 · 정형과 비정형현재 상태의 정형 행열 정의 · 기준 레코드비정형 문서 · 영상
대표 하위 토픽DW · OLAP · 스트림 처리트랜잭션 · 옵티마이저 · NoSQL메타데이터 · MDM · 데이터표준화역색인 · 랭킹(BM25) · 지식 그래프
경계운영 데이터 사본을 받아 판단 재료로 바꿈커밋된 운영 행을 분석 저장소로 넘김분석이 쓸 정의 · 품질 규칙을 줌정답 행 대신 관련도로 답함

분석정확한 행 하나가 필요하면 데이터베이스, 많은 행을 묶은 숫자가 필요하면 데이터 분석, 맞는 문서를 순서대로 받아야 하면 검색을 고르고, 숫자의 뜻부터 갈리면 데이터 관리로 넘긴다. 근거는 표의 「질의 모양」 · 「답의 모양」 행 — 웨어하우스는 운영 DB 의 갱신 트랜잭션과 성격이 다른 집계 질의를 위해 따로 둔다(Chaudhuri · Dayal 1997 1절).

7실무 진단 — 분석 숫자가 어긋난 단계 가르기

분석수집 → 준비 → 분석 → 시각화 순서로, 앞 단계부터 본다. 뒤 단계의 숫자는 앞 단계 결과를 다시 집계한 것이라(NIST SP 1500-1r2 5.3절), 앞에서 건수가 어긋나면 뒤에서 아무리 고쳐도 맞지 않는다.

#증상의심 원인단계확인 자료판정 기준(근거)
1대시보드 건수가 원천 시스템보다 적음적재 누락 · 거부준비파이프라인 적재 기록의 읽은 건수 · 넘긴 건수 · 격리 건수읽은 건수 ≠ 넘긴 + 격리이면 파이프라인 결함(사례 4단계 9,600 = 9,586 + 14)
2어제 데이터가 아침에도 없음배치 실패 · 지연준비작업 스케줄러의 마지막 성공 시각마지막 성공이 약속 시각(사례 02:00) 앞이면 배치 재실행 대상
3실시간 알림이 수십 분 늦음늦게 도착한 이벤트 · 처리 지연수집이벤트 시각과 처리 시각의 차이차이가 창 길이(5분)를 넘으면 늦은 데이터 처리 규칙을 본다(Akidau 외 2015)
4같은 지표가 엔진마다 다름읽을 때 형식 해석이 다름분석두 엔진의 스키마 정의 · NULL 건수한쪽만 NULL 이 늘면 레이크 원본 형식 문제(Armbrust 외 2021 3.2절)
5표는 맞는데 화면 숫자만 다름집계 기준(기간 · 필터) 차이시각화대시보드 지표 정의 · 필터 값같은 기간 · 필터로 다시 질의해 맞으면 시각화 설정 문제

1 · 2행이 깨끗해야 3 ~ 5행을 볼 가치가 있다. 4행은 레이크 쪽, 5행은 BI 쪽 문제라서, 같은 「숫자가 틀리다」도 고칠 팀이 다르다.

8시험 대비

출제 정보 정보관리(139회, 136회, 128회, 126회, 119회, 118회, 113회, 111회, 110회, 105회, 104회, 96회) · 컴퓨터시스템응용(126회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 빅데이터 네 특성이나 웨어하우스 성질을 묻는 정의 · 특징형, 수집부터 시각화까지 분석 플랫폼을 그리게 하는 구조 · 구성형, DW · 데이터 레이크 · 레이크하우스를 견주는 비교형이 나올 수 있다. 구조 · 구성형이면 단계 × 갈래 지도를 먼저 그리고 단계마다 대표 기술 한 줄, 비교형이면 «구조를 정하는 시점» 한 축으로 셋을 갈라 쓴다.

답안 목차
  1. 개요 — 정의 · NIST SP 1500-1r2 다섯 단계 · 빅데이터 네 특성(3.1절)
  2. 분석 체계 지도 — 그림 3 단계 × 갈래 + 갈래별 푸는 문제 표
  3. 아키텍처 세대 — 웨어하우스 → 레이크 + 웨어하우스 → 레이크하우스(Armbrust 외 2021) 세 줄 표
  4. 구조를 정하는 시점 — 그림 5 쓰기 때 · 읽을 때 · 커밋 때 검사 비교
  5. 구성 사례 — 그림 4 실시간 길 · 배치 길(스트림 처리 · 레이크 · 스파크 · DW · OLAP · 마이닝)
  6. 고려 사항 — 데이터 품질 · 지연(정확성 · 지연 · 비용 맞바꿈) · 데이터 관리, AI 와의 경계

꼭 쓸 키워드
NIST SP 1500-1r2빅데이터 네 특성데이터 웨어하우스Data MartETLELTOLAP데이터 마이닝데이터 레이크레이크하우스스트림 처리대시보드

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 잘못된 행 하나가 세 체계에서 어디서 드러나는지를 보이는 것이고, 근거로 NIST 2019 판 정의와 2021 레이크하우스 논문을 적는다.

9오해와 사실

  • 오해데이터가 크기만 하면 빅데이터다.
    사실NIST 정의는 크기 · 속도 · 다양성 · 가변성 가운데 어느 특성 때문에 확장 가능한 구조가 필요해질 때를 빅데이터로 본다(NIST SP 1500-1r2 3.1절) — 작아도 초당 이벤트가 몰리면 속도 문제다.
  • 오해데이터 레이크가 생기면 웨어하우스는 필요 없다.
    사실2021년 기준으로는 레이크에 원본을 두고 일부를 다시 웨어하우스로 옮기는 두 단계 구조가 대부분이었고(Armbrust 외 2021 1절), 레이크하우스도 웨어하우스의 트랜잭션 · 스키마 검사를 레이크 위에 다시 얹는 방식이다.
  • 오해데이터 마이닝은 기계 학습과 같은 말이다.
    사실마이닝은 지식 발견 과정의 한 단계이고 CRISP-DM(2000)이 그 절차를 정리했으며(NIST SP 1500-1r2 5.3절), 기계 학습은 그 단계가 쓰는 방법 가운데 하나라서 AI 영역이 따로 맡는다.

10핵심 정리

하위 체계구조를 정하는 때처리 시점저장 · 계산 단위결과물
DW · Data Mart쓰기 전(ETL)배치(보통 하루)사실 표 · 차원 표이력까지 담은 통합 표
ETL · ELTETL = 적재 전 · ELT = 적재 뒤배치 · 마이크로 배치작업 · 적재 기록맞춘 행 · 격리 행
OLAP차원 · 측정값을 미리 정함대화형 질의큐브 · 집계롤업 · 드릴다운 표
데이터 마이닝분석 시 특성 선택배치데이터 집합규칙 · 군집 · 이상치
하둡 · HDFS읽을 때배치128 MB 블록 · 3벌 복제(보통)분산 저장 · MapReduce 작업
스파크읽을 때(스키마 지정 가능)배치 · 스트림메모리 RDD · 데이터프레임반복 계산 결과
데이터 레이크 · 레이크하우스레이크 = 읽을 때 · 레이크하우스 = 커밋 때배치 · 스트림Parquet 같은 열 단위 파일원시 · 정제 영역 표
대시보드지표 정의로 정함갱신 주기(분 ~ 하루)지표 · 필터그림 · 알림

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ NIST SP 1500-1r2 NIST Big Data Interoperability Framework: Volume 1, Definitions (Version 3) — 빅데이터 네 특성(3.1절)과 수집 · 준비 · 분석 · 시각화 · 활용 다섯 단계(5.3절)를 볼 때
    NIST · 2019-10 · doi.org/10.6028/NIST.SP.1500-1r2 · 확인 2026-11-09
  3. ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — 웨어하우스 → 레이크 + 웨어하우스 → 레이크하우스 세 세대와 스키마 검사(3.2절)를 볼 때
    Michael Armbrust · Ali Ghodsi · Reynold Xin · Matei Zaharia · 2021-01 · www.cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf · 확인 2026-11-09
  4. ★ An Overview of Data Warehousing and OLAP Technology (ACM SIGMOD Record 26(1)) — 운영 DB 와 웨어하우스를 따로 두는 이유와 OLAP 연산을 한 논문으로 볼 때
    Surajit Chaudhuri · Umeshwar Dayal · 1997-03 · doi.org/10.1145/248603.248616 · 확인 2026-11-09
  5. ★ The Dataflow Model: A Practical Approach to Balancing Correctness, Latency, and Cost in Massive-Scale, Unbounded, Out-of-Order Data Processing (PVLDB 8(12)) — 배치와 스트림을 정확성 · 지연 · 비용의 맞바꿈으로 볼 때
    Tyler Akidau 외 · Google · 2015-08 · www.vldb.org/pvldb/vol8/p1792-Akidau.pdf · 확인 2026-11-09
  6. 본문 근거
  7. MapReduce: Simplified Data Processing on Large Clusters (OSDI 2004) — Jeffrey Dean · Sanjay Ghemawat · USENIX · 2004-12 · www.usenix.org/conference/osdi-04/mapreduce-simplified-data-processing-large-clusters · 확인 2026-11-09
  8. HDFS Architecture (Apache Hadoop 3.3.5) — Apache Software Foundation · 2026-11 · hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html · 확인 2026-11-09
  9. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing (NSDI 2012) — Matei Zaharia 외 · USENIX · 2012-04 · www.usenix.org/conference/nsdi12/technical-sessions/presentation/zaharia · 확인 2026-11-09
  10. Pentaho, Hadoop, and Data Lakes — James Dixon · 2010-10 · jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/ · 확인 2026-11-09
  11. Apache Parquet File Format — Apache Software Foundation · 2026-11 · parquet.apache.org/docs/file-format/ · 확인 2026-11-09