데이터 엔지니어링Data Engineering
원천 시스템의 데이터를 분석 저장소와 실시간 소비처까지 빠짐없이 · 제때 · 다시 돌릴 수 있게 옮기는 기술을 묶은 것이다. 배치 파이프라인(ETL · ELT) · 변경 포착(CDC) · 이벤트 스트리밍 · 스트림 처리 · 워크플로 오케스트레이션 · DataOps 를 다룬다.
1요약
- 데이터 엔지니어링은 데이터 분석에서 원천 → 저장소 · 소비처의 길을 맡는 기술로, 밤마다 모아 옮기는 배치 파이프라인과 변경 행 하나하나를 몇 초 안에 흘리는 CDC · 이벤트 스트리밍 · 스트림 처리, 그 위에서 순서와 품질을 지키는 오케스트레이션 · DataOps 가 돈다.
- 길이 늦거나 끊기면 분석은 지난 숫자로 돌아간다 — 2021년 조사에서 분석가의 86% 가 오래된 데이터를 쓰고 62% 가 한 달에 여러 번 엔지니어링 작업을 기다린다고 답했다(Armbrust 외 2021 1절).
- 「데이터가 이상하다」는 어느 구간에서 건수 · 시각이 처음 어긋났는가로 가른다 — 원천과 이벤트 건수가 다르면 CDC, 오프셋은 쌓이는데 결과가 늦으면 스트림 처리, 어제 구간이 비어 있으면 오케스트레이션, 적재는 됐는데 값이 틀리면 변환 · 테스트(DataOps)다.
2등장 배경
1990년대 웨어하우스는 운영 DB 를 밤에 통째로 읽어 손질한 뒤 넣는 ETL 작업 하나로 충분했다. 2011년 Kreps 외는 웹 서비스의 클릭 · 지표 로그가 «실제» 데이터보다 몇 자릿수 많고 실시간 기능에도 쓰인다며, 읽어도 지우지 않는 로그(보통 7일 보관)를 소비자가 오프셋으로 되감아 읽는 Kafka 를 내놓았다(Kreps 외 2011 1 · 3.1절).
그 뒤 데이터는 레이크에 ETL 로 한 번, 웨어하우스로 ELT 로 또 한 번 옮겨지며 단계마다 지연과 고장 지점이 늘었다(Armbrust 외 2021 1절). 그래서 DB 트랜잭션 로그를 읽어 변경만 흘리는 로그 기반 CDC(Debezium 3.7 Features), 의존 순서를 DAG 로 적어 돌리는 오케스트레이터(Airflow 3.4 Dags), 파이프라인을 코드처럼 버전 · 테스트 · 감시하자는 DataOps 선언문 18개 원칙이 한 묶음으로 자리 잡았다.
3쉽게 이해하기 — 신문사 편집국의 하루
신문사 기자들은 기사 원장을 고칠 때마다 정정 쪽지를 써 송고실에 넘기고, 송고실은 쪽지에 번호를 매겨 긴 두루마리에 이어 붙인다. 속보 데스크는 두루마리를 들어오는 대로 읽어 5분마다 속보판을 바꾸고, 마감 편집실은 밤에 하루 치를 모아 지면을 짠다. 편집장은 «사진 편집이 끝나야 조판» 같은 순서표를 들고 마감을 챙기고, 교열 데스크는 모든 단계의 기사 수와 표기 규칙을 점검해 기록한다.
그림 1 · 정정 쪽지가 번호 붙은 두루마리에 쌓이면 속보 데스크와 마감 편집실이 각자 읽어 가고, 편집장이 순서를, 교열 데스크가 품질을 지키는 구조가 데이터 엔지니어링의 여섯 토픽이다.
그림 2 · 두루마리는 읽어도 지워지지 않고 부서마다 책갈피만 따로 두며, 책갈피 뒤에서 하는 계산은 두루마리의 일이 아니다 — 이벤트 스트리밍과 스트림 처리의 경계가 여기다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 기자의 기사 원장 | 원천 DB · 앱 로그 | 주문 · 대여 같은 업무 행을 쓰고 고친다 |
| 정정 쪽지 | CDC | 트랜잭션 로그에서 바뀐 행(삽입 · 수정 · 삭제)만 뽑는다 |
| 번호 두루마리 | 이벤트 스트리밍(카프카) | 이벤트를 파티션에 쓴 순서대로 보관하고 오프셋을 붙인다 |
| 부서마다 책갈피 | 소비자 그룹 오프셋 | 소비자마다 읽은 위치를 따로 기억해 되감기도 한다 |
| 속보 데스크 | 스트림 처리 | 이벤트 시각 창으로 집계해 몇 초 · 몇 분 안에 결과를 낸다 |
| 마감 편집실 | 데이터 파이프라인(ETL · ELT) | 정해진 구간의 데이터를 모아 변환 · 적재한다 |
| 편집장 순서표 | 워크플로 오케스트레이션 | 작업 의존 순서 · 일정 · 재시도 · 지난 구간 재실행을 맡는다 |
| 교열 데스크 | DataOps | 파이프라인 코드의 버전 · 테스트 · 감시 · 배포를 자동화한다 |
⚠ 비유가 맞지 않는 곳: 정정 쪽지는 기자가 따로 쓰지만, 로그 기반 CDC 는 응용을 고치지 않고 DB 가 이미 남기는 트랜잭션 로그를 읽는다(Debezium 3.7 Features). 또 두루마리는 길이에 끝이 없어 보이지만 실제 토픽은 보관 기간 설정이 지나면 앞부분이 지워진다(Kafka 소개 문서).
4구조 — 두 길과 두 덮개
아래 토픽 여섯은 원천에서 저장소로 가는 두 길과 그 길을 덮는 두 덮개로 나뉜다. 배치 길은 데이터 파이프라인이, 실시간 길은 CDC → 이벤트 스트리밍 → 스트림 처리가 맡고, 오케스트레이션은 배치 길의 순서 · 일정을, DataOps 는 두 길 전체의 테스트 · 감시를 맡는다.
그림 3 · 배치 길은 파이프라인 하나가, 실시간 길은 CDC · 이벤트 스트리밍 · 스트림 처리가 나눠 맡고, 오케스트레이션과 DataOps 가 그 위를 덮는다.
| 하위 토픽 | 푸는 문제 | 다루는 단위 | 설계 선택 | 근거 |
|---|---|---|---|---|
| 데이터 파이프라인(ETL · ELT) | 구간 데이터를 맞춰 옮김 | 실행 1회 · 데이터 구간 | 변환을 적재 전(ETL) · 적재 뒤(ELT) | Armbrust 외 2021 1절 |
| CDC | 폴링 없이 변경 · 삭제를 놓치지 않음 | 변경 이벤트(전 · 후 값) | 로그 기반 · 첫 스냅숏 | Debezium 3.7 Features |
| 이벤트 스트리밍(카프카) | 여러 소비자에게 보관 · 재생 | 파티션 · 오프셋 | 키 · 파티션 수 · 보관 기간 · 복제 3벌 | Kafka 소개 문서 |
| 스트림 처리 | 끝없는 입력을 시각 창으로 집계 | 창 · 워터마크 | 이벤트 시각 · 늦은 데이터 규칙 | Flink 2.3 Time |
| 워크플로 오케스트레이션 | 작업 순서 · 일정 · 재실행 | DAG · Dag 실행 | 스케줄 · 재시도 · 백필 | Airflow 3.4 Dags |
| DataOps | 파이프라인 변경이 데이터를 깨뜨림 | 코드 · 설정 · 테스트 | 버전 관리 · 자동 테스트 · 감시 | DataOps 선언문 9 · 11 · 16 |
5동작 — 공유 자전거 반납 한 건의 여정
공유 자전거 서비스의 2026-11-13 하루 데이터다. 건수 · 번호 · 기준은 모두 설명용 가정 값이다.
- 원천 — 대여 DB 에 하루 변경 48,000건(대여 시작 INSERT 24,000 · 반납 UPDATE 24,000)이 쌓인다.
- CDC — 08:15:03 반납 커밋이 트랜잭션 로그에서 변경 전 · 후 값을 담은 이벤트가 된다(Debezium 3.7 Features).
- 이벤트 스트리밍 — 키 = 대여소 0412 라 파티션 6개 중 4번에 오프셋 51,207 로 쓰이고, 같은 대여소 이벤트는 쓴 순서대로 읽힌다(Kafka 소개 문서) · 보관 7일.
- 스트림 처리 — 이벤트 시각 1분 창 · 워터마크 2분으로 08:15 창의 대여소 0412 를 반납 3 · 대여 1 = 잔여 +2 로 갱신하고, 워터마크 뒤 도착한 37건은 늦은 데이터로 따로 모은다(Flink 2.3 Time).
- 오케스트레이션 — 11-14 02:00 DAG 가 데이터 구간 11-13 00:00 ~ 24:00 으로 실행된다(Airflow 3.4 Dags).
- 파이프라인(ELT) — 원시 변경 48,000행을 먼저 적재한 뒤 SQL 로 대여 기록 24,000건으로 합친다.
- DataOps 테스트 — 대여 24,000 = 반납 23,888 + 미반납 112 로 건수는 맞지만, 미반납이 기준 100건을 넘어 경고를 띄운다.
그림 4 · 반납 한 건은 몇 초 안에 오프셋 51,207 을 거쳐 08:15 창 잔여 수가 되고, 같은 변경은 다음 날 02:00 DAG 의 데이터 구간 안에서 다시 적재 · 검사된다.
두 길의 공통 원리는 «다시 읽기»다. 소비자가 오프셋 1,250 까지 출력하고 1,200 에서 커밋한 뒤 멈추면, 다시 시작한 소비자는 1,200 부터 읽어 50건을 두 번 내보낸다(Kreps 외 2011 3.3절 최소 한 번 전달).
그림 5 · 다시 시작한 소비자는 마지막 커밋 오프셋 1,200 부터 읽어 1,200 ~ 1,250 의 50건을 두 번 출력하며, 중복을 막는 일은 출력 쪽 키 덮어쓰기 또는 오프셋 동시 저장이 맡는다.
🔑 보관된 로그와 데이터 구간은 고장 복구를 «다시 읽기 · 다시 실행»으로 바꿔 주지만, 다시 읽기가 만드는 중복을 없애는 일은 출력 쪽 설계가 맡는다(Kafka 4.4 Design).
6비교 — 데이터 엔지니어링과 관련 기술의 경계
| 기술 | 맡는 일 | 데이터 엔지니어링과의 경계 | 넘기는 곳 |
|---|---|---|---|
| 데이터 엔지니어링 | 원천에서 저장소 · 소비처까지 옮김 · 순서 · 품질 | — | 저장 구조는 웨어하우스 · 플랫폼으로 |
| 데이터 웨어하우스 | 차원 모델 · 마트 · OLAP 질의 | 적재 대상 표의 모양을 정함 · 채우는 작업은 파이프라인 | 사실 표 · 차원 표 설계 |
| 빅데이터 플랫폼 | 레이크 · 테이블 형식 · 스파크 · 하둡 | 파이프라인이 돌아가는 엔진 · 파일 형식을 줌 | 분산 저장 · 계산 엔진 |
| 데이터 마이닝 | 규칙 · 군집 · 텍스트 패턴 찾기 | 정제된 데이터 집합을 받아 씀 | 분석 방법 · 평가 |
| 셀프서비스 BI | 대시보드 · 시각화 · 시맨틱 레이어 | 갱신 시각 · 지표 원천을 받음 | 지표 정의 · 화면 |
분석「데이터가 언제 · 몇 건 · 어떤 값으로 도착하는가」는 데이터 엔지니어링, 「도착한 데이터를 어떤 표 · 엔진에 두는가」는 웨어하우스 · 빅데이터 플랫폼, 「무엇을 찾고 보여 주는가」는 마이닝 · BI 로 넘긴다. 근거는 ELT 단계가 늘수록 신선도 · 신뢰성 문제가 길 쪽에서 생긴다는 지적이다(Armbrust 외 2021 1절).
7실무 진단 — 처음 어긋난 구간 가르기
분석원천 쪽에서 소비처 쪽으로 건수와 시각을 대조한다. 앞 구간의 건수가 이미 다르면 뒤 구간의 변환 · 지표를 고쳐도 맞지 않고, 보관된 로그 · 데이터 구간 덕에 고친 뒤 그 구간만 다시 돌릴 수 있다(Kreps 외 2011 3.1절 · Airflow 3.4 Dags).
| # | 증상 | 의심 원인 | 구간 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 원천 변경보다 이벤트가 적음 · 삭제가 안 보임 | 폴링 방식 · 로그 보관 만료 | CDC | 원천 커밋 건수 ↔ 토픽 이벤트 건수 | 로그 기반이면 삭제까지 같아야 함 · 로그가 지워졌으면 스냅숏 필요(Debezium 3.7) |
| 2 | 실시간 표가 수십 분 늦음 | 소비 지연 · 늦은 데이터 | 스트림 처리 | 소비자 그룹 오프셋 지연 · 워터마크 | 오프셋 차이가 계속 늘면 처리량 부족 · 늦은 데이터 수가 늘면 워터마크 설정(Flink 2.3) |
| 3 | 같은 이벤트가 두 번 집계됨 | 재시작 뒤 다시 읽기 | 이벤트 스트리밍 | 마지막 커밋 오프셋 · 출력 키 | 커밋 뒤 출력 구간만큼 중복이면 최소 한 번 전달(Kafka 4.4 Design) |
| 4 | 어제 구간 표가 비어 있음 | DAG 실패 · 앞 작업 대기 | 오케스트레이션 | Dag 실행 상태 · 데이터 구간 | 실패한 구간만 재실행 · 백필(Airflow 3.4) |
| 5 | 건수는 맞는데 값이 틀림 | 변환 코드 변경 | 파이프라인 · DataOps | 변환 코드 버전 · 테스트 결과 | 바뀐 버전 뒤 구간만 틀리면 코드 결함(DataOps 선언문 11 · 16) |
8시험 대비
시험에서는 ETL 과 ELT, 배치와 스트림, CDC 방식끼리를 견주는 비교형과, 원천에서 분석 저장소까지 실시간 · 배치 파이프라인을 그리는 구조 · 구성형으로 나올 수 있다. 비교형은 «변환을 언제 하는가 · 지연 · 다시 돌리기» 세 축으로, 구조형은 두 길과 두 덮개 지도에 토픽마다 한 줄을 붙여 쓴다.
- 개요 — 정의 · 원천 → 저장소 · 소비처의 길 · 신선도 문제(Armbrust 외 2021)
- 구성 지도 — 그림 3 두 길(배치 · 실시간)과 두 덮개(오케스트레이션 · DataOps) + 토픽별 단위 표
- ETL · ELT 비교 — 변환 시점 · 적재 대상 · 재처리 표
- 실시간 길 — CDC → 이벤트 스트리밍(파티션 · 오프셋) → 스트림 처리(창 · 워터마크) · 그림 4 사례
- 전달 보장 — 그림 5 최소 한 번 · 중복 구간 · 멱등 출력과 오프셋 동시 저장
- 운영 — DAG · 백필 · DataOps 테스트 · 감시 · 관련 기술과의 경계
꼭 쓸 키워드
ETLELTCDC파티션오프셋소비자 그룹워터마크최소 한 번 전달DAG백필DataOps
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 커밋 오프셋과 출력 사이의 중복 구간을 숫자로 보이고, 정확히 한 번 전달이 외부 저장소까지는 출력 쪽 협조가 있어야 성립한다는 근거(Kafka 4.4 Design)를 붙이는 것이다.
9오해와 사실
- 오해카프카에 넣으면 정확히 한 번 처리가 저절로 된다.사실기본은 최소 한 번 전달이고, 정확히 한 번은 Kafka 안의 읽기 · 처리 · 쓰기 범위이며 외부 시스템은 오프셋을 출력과 함께 저장하는 협조가 필요하다(Kafka 4.4 Design).
- 오해CDC 는 수정 시각 열로 주기적으로 조회하는 것이다.사실그것은 폴링 방식이고, 로그 기반 CDC 는 트랜잭션 로그를 읽어 삭제까지 잡고 지연이 밀리초 수준이다(Debezium 3.7 Features).
- 오해ELT 가 나왔으니 ETL 은 사라졌다.사실레이크에 ETL 로 넣고 웨어하우스로 다시 ELT 하는 두 단계가 흔하며, 레이크하우스도 ETL/ELT 단계를 줄일 뿐 없애지는 않는다(Armbrust 외 2021 1 · 3절).
10핵심 정리
| 토픽 | 처리 단위 | 지연 | 다시 돌리는 법 | 대표 설정 · 값 | 실패 신호 |
|---|---|---|---|---|---|
| 데이터 파이프라인(ETL · ELT) | 데이터 구간 | 시간 ~ 하루 | 그 구간 재실행 | 변환 시점(적재 전 · 뒤) | 적재 건수 불일치 |
| CDC | 변경 이벤트 | 밀리초 ~ 초 | 첫 스냅숏 · 로그 위치 | 로그 기반 · 전 · 후 값 | 삭제 누락 |
| 이벤트 스트리밍(카프카) | 파티션 · 오프셋 | 초 | 오프셋 되감기 | 보관 기간 · 복제 3벌 | 소비 지연 증가 |
| 스트림 처리 | 시각 창 | 초 ~ 분 | 로그 다시 읽기 | 이벤트 시각 · 워터마크 | 늦은 데이터 증가 |
| 워크플로 오케스트레이션 | DAG · Dag 실행 | 일정 주기 | 백필 | 스케줄 · 재시도 | 실패 · 대기 실행 |
| DataOps | 코드 · 테스트 | 변경 때마다 | 버전 되돌리기 | 자동 테스트 · 감시 | 테스트 실패 · 경고 |
11참고 문헌
- 먼저 볼 문헌
- ★ Kafka: a Distributed Messaging System for Log Processing (NetDB 2011) — 로그를 지우지 않고 소비자가 오프셋을 들고 다시 읽는 설계와 최소 한 번 전달의 이유를 볼 때
- ★ Apache Kafka Introduction — 이벤트 · 토픽 · 파티션 · 순서 보장 · 보관 기간 · 복제 계수의 정의를 볼 때
- ★ Apache Kafka 4.4 Documentation — Design (Message Delivery Semantics · Log Compaction) — 최소 한 번 · 정확히 한 번 전달의 범위와 외부 시스템에 오프셋을 함께 저장하는 방식을 볼 때
- ★ Debezium 3.7 Documentation — Features — 로그 기반 CDC 가 폴링 · 이중 쓰기와 다른 점(삭제 포착 · 지연 · 스냅숏)을 볼 때
- ★ Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics (CIDR 2021) — ETL 다음 ELT 로 이어지는 두 단계 적재가 신선도 · 신뢰성 문제를 만드는 이유를 볼 때
- 본문 근거
- Apache Flink 2.3 Documentation — Timely Stream Processing — Apache Software Foundation · 2026-11 ·
nightlies.apache.org/flink/flink-docs-stable/docs/concepts/time/· 확인 2026-11-14 - Apache Airflow 3.4 Documentation — Dags — Apache Software Foundation · 2026-11 ·
airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html· 확인 2026-11-14 - The DataOps Manifesto — DataOps Manifesto · 2026-11 ·
dataopsmanifesto.org/en/· 확인 2026-11-14