데이터 아키텍처Data Architecture
원천에서 소비처까지 데이터가 어디에 머물고, 언제 계산되며, 누가 어떤 규칙으로 잇는지를 정하는 설계다. 데이터 가상화 · 람다 · 카파 아키텍처 · 데이터 패브릭 · 데이터 메시가 그 선택지다.
1요약
- 데이터 아키텍처는 DAMA-DMBOK2(2017)가 4장에 둔 지식 영역으로, 그 안의 흐름 구조 선택지 넷(데이터 가상화 · 람다 · 카파 아키텍처 · 데이터 패브릭 · 데이터 메시)을 다루고, 그 위에서 대시보드 · 보고서 · AI 학습 데이터가 같은 원천을 나눠 쓴다.
- 흐름 설계 없이 경로를 덧붙이면 같은 계산을 두 번 유지하게 된다 — 람다 구성은 같은 집계 로직을 배치와 스트림 두 시스템에 따로 짜야 하고, Kreps(2014)는 이 이중 유지를 피하려고 로그를 보존해 스트림 하나로 다시 계산하는 방식을 냈다.
- 「데이터를 쓰기 어렵다」는 막힌 축이 위치 · 시간 · 책임 중 무엇인가로 가른다 — 원천을 옮길 수 없으면 가상화, 숫자가 늦거나 두 결과가 다르면 람다 · 카파, 팀마다 형식이 달라 잇지 못하면 패브릭 · 메시의 문제다.
2등장 배경
업무 시스템이 늘던 1990년대, 분석용 데이터는 밤마다 원천에서 뽑아 데이터 웨어하우스에 적재하는 복사 통합이 기본이었다. 사본은 원천보다 하루씩 늦었고, 원천마다 형식이 달라 적재 코드가 원천 수만큼 늘었다. Wiederhold(1992)는 응용과 원천 사이에 매개자(mediator)를 두어 질의 때 원천을 읽는 구조를 내놓았는데, 데이터를 옮기지 않는 데이터 가상화가 같은 생각이다.
2010년대에는 시간 축이 문제가 됐다. Marz(2011)는 불변 원본 전체를 배치로 다시 계산하고 최근 몇 시간만 실시간 계층이 메우는 구조(람다)를 냈고, Kreps(2014)는 두 시스템에 같은 로직을 유지하는 부담을 들어 로그 보존 + 스트림 재처리(카파)를 제안했다.
조직 축은 Dehghani(2019)가 중앙 데이터 플랫폼 팀의 요청 적체를 지적하며 시작했고, 2020년 도메인 소유 · 데이터 제품 · 셀프서비스 플랫폼 · 연합 계산 거버넌스 네 원칙의 데이터 메시로 정리됐다. 메타데이터를 모아 연결을 자동화하는 중앙형 설계는 업계에서 데이터 패브릭이라 부르지만 표준 기구의 정의는 없다.
3쉽게 이해하기 — 도서관 연합의 책 찾기
시립 도서관 연합에 어린이 · 과학 · 역사 분관 셋이 있다. 분관마다 자기 장서를 잘 아는 사서가 «추천 묶음»을 엮어 내놓고, 중앙 목록실은 분관 목록 카드를 모아 어느 책이 어디 있는지 안내한다. 이용자는 통합 검색 창 하나로 세 분관 서가를 그 자리에서 찾아보고, 새로 들어온 책은 입고 장부로 만든 주간 목록과 오늘 쪽지로 확인한다. 연합 본부가 정하는 것은 책을 어디에 두고, 언제 목록을 만들고, 누가 엮을지다.
그림 1 · 연합 본부가 정하는 세 가지 — 책을 옮길지(검색 창), 신착 목록을 언제 만들지(입고 장부), 누가 엮을지(목록실 · 분관 사서) — 가 아래 토픽 넷이다.
그림 2 · 책을 옮기면 늦어지고 옮기지 않으면 분관 사정에 기댄다 — 복사 적재와 가상 뷰도 같은 맞바꿈이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 분관 장서 | 원천 시스템 | 주문 · 재고 · 로그 데이터를 각 업무 시스템이 만든다 |
| 상호대차 | 복사 적재(ETL) | 원천에서 뽑아 분석 저장소에 사본을 둔다 |
| 통합 검색 창 | 데이터 가상화 | 사본 없이 질의를 원천으로 나눠 보내고 결과를 합친다 |
| 입고 장부 | 불변 로그 | 들어온 사건을 순서대로 쌓아 다시 계산할 원본이 된다 |
| 주간 목록 + 오늘 쪽지 | 람다 아키텍처 | 배치 결과와 최근 몇 시간의 실시간 결과를 질의 때 합친다 |
| 장부 처음부터 다시 읽기 | 카파 아키텍처 | 스트림 작업 하나가 보존 로그를 처음부터 재처리한다 |
| 중앙 목록실 | 데이터 패브릭 | 메타데이터를 모아 원천 사이 연결을 중앙에서 자동화한다 |
| 분관 사서의 추천 묶음 | 데이터 메시 · 데이터 제품 | 도메인 팀이 자기 데이터를 명세와 함께 내놓는다 |
⚠ 비유가 맞지 않는 곳: 책은 한 권이라 옮기면 분관에서 사라지지만 데이터 사본은 원천을 그대로 둔다. 도서관 연합은 셋 가운데 하나를 고르지만 실제 회사는 위치 · 시간 · 책임을 따로 골라 함께 쓴다.
4구조 — 위치 · 처리 시점 · 책임 구분
네 토픽은 같은 문제를 두고 겨루는 방식이 아니라 흐름 설계의 서로 다른 질문에 답한다. 데이터 가상화는 데이터의 위치를, 람다 · 카파는 계산 시점을, 패브릭 · 메시는 연결의 책임을 고른다.
그림 3 · 네 토픽은 세 축에 나뉘어 놓이고, 축마다 고른 답이 모여 한 장의 목표 데이터 흐름도가 된다.
| 아래 토픽 | 푸는 질문 | 고르는 축 | 데이터 이동 | 대표 구성 | 근거 |
|---|---|---|---|---|---|
| 데이터 가상화 | 원천을 옮기지 않고 함께 질의할 수 있나 | 위치 | 없음 · 질의 때 원천 접근 | 가상 뷰 · 질의 분해 · 결과 결합 | Wiederhold 1992 · DAMA-DMBOK2 8장 |
| 람다 · 카파 아키텍처 | 과거 전체와 지금을 어떻게 함께 계산하나 | 처리 시점 | 로그 → 배치 · 스트림 | 배치 뷰 · 실시간 뷰 · 보존 로그 | Marz 2011 · Kreps 2014 |
| 데이터 패브릭 | 흩어진 원천을 중앙에서 어떻게 자동 연결하나 | 책임(중앙) | 복사 · 가상화 혼합 | 메타데이터 카탈로그 · 통합 파이프라인 | 업계 용어 · 표준 정의 없음 |
| 데이터 메시 | 누가 분석 데이터를 만들어 내놓나 | 책임(분산) | 도메인마다 | 데이터 제품 · 셀프서비스 플랫폼 · 전역 규칙 | Dehghani 2020 |
🔑 넷 가운데 하나를 고르는 것이 아니다 — 한 회사가 위치는 가상화, 처리 시점은 카파, 책임은 메시처럼 축마다 따로 정해 함께 쓴다.
5동작 — 쇼핑몰 매출 흐름 다시 짜기
온라인 쇼핑몰이 매출 대시보드와 주간 보고서의 데이터 흐름을 다시 짠다. 건수 · 기간 · 팀 수는 모두 설명용 가정 값이다.
- 목표 데이터 흐름도에 원천 셋(주문 DB · 재고 DB · 클릭 로그)과 소비처 둘을 그리고 신선도 요구를 적는다 — 대시보드 1분 · 주간 보고서 하루.
- 하루 3,000만 건인 클릭 로그를 로그 저장소에 14일 보존으로 쌓고, 스트림 작업 하나가 분 단위 집계 표를 만든다 — 배치 경로를 따로 두지 않는 카파 구성이다.
- 재고 DB(120만 행)는 물류 팀 업무 DB라 복사하지 않고 가상 뷰로 연결해, 주간 보고서가 질의 때 읽게 한다.
- 집계 규칙이 「취소 주문 제외」로 바뀌자 새 작업을 보존 로그 처음(14일 전)부터 돌려 새 표를 채우고, 따라잡은 뒤 대시보드를 새 표로 돌리고 옛 작업 · 옛 표를 지운다(Kreps 2014).
- 주문 · 상품 · 마케팅 세 팀이 각자 데이터를 데이터 제품 5개로 내놓고, 제품마다 소유 팀 · 명세 · 품질 지표를 단다(Dehghani 2020).
- 플랫폼이 카탈로그에 등록된 제품마다 전역 규칙(고객 ID 형식 · 개인정보 열 표시)을 자동 검사하고, 위반한 제품은 공개 목록에 올리지 않는다.
그림 4 · 위치(3)와 처리 시점(2 · 4)은 처리 줄에서, 책임(5 · 6)은 원천 줄과 공유 줄에서 정해지고 1단계 흐름도가 그 모두의 기준이 된다.
4단계의 규칙 변경이 람다 구성에서 일어났다면 배치 코드 · 스트림 코드 · 질의 때 합치는 코드 세 곳을 함께 고치고 두 결과가 같은지 대조해야 했다(Marz 2011 · Kreps 2014).
그림 5 · 같은 규칙 변경에서 람다는 세 곳을 함께 고치고, 카파는 작업 하나를 고쳐 보존 로그를 처음부터 재처리한다.
🔑 처리 경로의 수가 곧 규칙을 고칠 곳의 수다 — 카파는 그 수를 하나로 줄이는 대신, 다시 계산할 기간만큼 로그를 보존하는 비용을 진다.
6비교 — 데이터 아키텍처와 관련 기술의 경계
| 기술 | 맡는 일 | 경계 질문 | 넘기는 곳 |
|---|---|---|---|
| 데이터 아키텍처 | 원천 → 처리 → 소비의 흐름 구조 · 통합 방식 | 데이터가 어디에 머물고 언제 도착하나 | 흐르는 값의 뜻은 메타데이터 · MDM 으로 |
| 데이터 거버넌스 | 소유 · 승인 · 정책 | 흐름을 바꿀 권한이 누구에게 있나 | 승인된 구조의 구현은 데이터 아키텍처로 |
| 메타데이터 · MDM | 열의 뜻 · 기준 레코드 | 흐르는 값이 같은 뜻 · 같은 대상인가 | 카탈로그를 잇는 구조는 패브릭 · 메시로 |
| 데이터 품질 | 규칙 위반 측정 · 정제 | 흐름 끝에 도착한 값이 맞나 | 검사 위치(적재 전 · 뒤) 설계는 데이터 아키텍처로 |
| 데이터 유통 | 조직 밖 제공 · 거래 | 밖으로 내보낼 조건은 무엇인가 | 내보내는 경로 · 사본 관리는 데이터 아키텍처로 |
분석쟁점이 «데이터가 어디를 거쳐 언제 도착하나»면 데이터 아키텍처, «값이 맞는 뜻인가»면 메타데이터 · MDM, «누가 바꿀 수 있나»면 데이터 거버넌스로 넘긴다. 근거는 표의 「경계 질문」 열이며, DAMA-DMBOK2 도 데이터 아키텍처(4장)를 데이터 거버넌스(3장) · 메타데이터 관리(12장)와 다른 지식 영역으로 둔다.
7실무 진단 — 막힌 축 가르기
분석같은 지표가 소비처마다 다른지(처리 시점)를 먼저 보고, 다음에 원천 부하(위치), 마지막에 팀 사이 형식(책임)을 본다. 처리 경로가 둘이면 다른 축을 고쳐도 숫자 어긋남이 남기 때문이다(표 1행 · Kreps 2014).
| # | 증상 | 의심 원인 | 축 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 대시보드와 다음 날 보고서의 매출이 다름 | 람다의 배치 · 스트림 로직이 어긋남 | 처리 시점 | 두 경로 집계 코드 버전 · 같은 구간 결과 대조 | 같은 입력에 두 결과가 다르면 이중 유지 문제(Kreps 2014) |
| 2 | 규칙을 바꾼 뒤 지난달 값을 다시 계산하지 못함 | 입력 로그 보존 기간이 짧음 | 처리 시점 | 로그 보존 설정 ↔ 재처리 필요 기간 | 보존 기간 ≥ 다시 계산할 기간(Kreps 2014) |
| 3 | 보고서 질의가 도는 시간에 업무 DB 가 느려짐 | 가상 뷰가 질의를 원천으로 보냄 | 위치 | 원천 DB 질의 기록 · 실행 계획 | 원천이 견딜 부하를 넘으면 그 표만 복사 적재로(DAMA-DMBOK2 8장) |
| 4 | 팀마다 고객 ID 형식이 달라 데이터 제품끼리 조인이 안 됨 | 전역 규칙이 없거나 자동 적용 안 됨 | 책임 | 데이터 제품 명세 · 전역 규칙 목록 | 상호 운용 표준은 플랫폼이 자동 적용(Dehghani 2020) |
확인 자료가 없으면 목표 데이터 흐름도부터 그린다 — 원천 · 처리 경로 · 소비처가 한 장에 없으면 어느 축에서 막혔는지도 가를 수 없다.
8시험 대비
www.q-net.or.kr시험에서는 데이터 아키텍처의 구성과 통합 방식을 묻는 구조 · 구성형과, 신선도 요구 · 조직 구조에 맞는 흐름을 고르는 구현 · 설계형으로 나올 수 있다. 구조형은 그림 3 의 세 축에 네 토픽을 놓고, 설계형은 그림 4 처럼 신선도 요구 → 처리 시점 → 위치 → 책임 순서로 근거를 단다.
- 개요 — 정의(원천 → 소비의 흐름 구조 설계) · 필요성(복사 사본 지연 · 처리 경로 이중 유지)
- 구성 — 그림 3 세 축 지도 + 네 토픽의 질문 · 데이터 이동 · 대표 구성 표
- 처리 시점 — 그림 5 람다 고칠 곳 3 ↔ 카파 1 + 로그 보존 비용 · 재처리 저장 2배
- 적용 절차 — 그림 4 쇼핑몰 흐름 6단계(대시보드 1분 · 로그 14일 · 데이터 제품 5)
- 선택 기준 — 신선도 · 원천 부하 · 조직 규모 표 + 거버넌스 · 메타데이터 · MDM 과의 경계
- 고려 사항 — 가상화의 원천 부하 · 메시 전역 규칙의 자동 적용 · 보존 기간 ≥ 재처리 기간
꼭 쓸 키워드
목표 데이터 흐름도데이터 가상화람다 아키텍처카파 아키텍처배치 계층속도 계층데이터 패브릭데이터 메시데이터 제품연합 계산 거버넌스
다른 답안과 차이를 내는 한 가지는 네 토픽을 장단점으로 늘어놓지 않고 세 축에 놓은 뒤, 규칙 변경 때 고칠 곳의 수(3 ↔ 1)로 처리 경로 선택을 숫자로 보이는 것이다.
9오해와 사실
- 오해데이터 패브릭과 데이터 메시는 같은 문제를 두고 겨루는 방식이다.사실패브릭은 중앙에서 메타데이터로 연결을 자동화하는 설계이고 메시는 도메인 팀이 데이터 제품을 소유하는 조직 원칙이며, 메시의 네 원칙에도 셀프서비스 플랫폼이 들어 있어(Dehghani 2020) 둘을 함께 쓸 수 있다.
- 오해카파 아키텍처는 과거 데이터를 다시 계산하지 않는다.사실카파도 다시 계산한다 — 별도 배치 시스템 대신 같은 스트림 작업을 보존 로그 처음부터 다시 돌리고, 그동안 출력 표가 둘이라 저장 공간이 잠깐 두 배 든다(Kreps 2014).
- 오해데이터 가상화를 쓰면 원천 시스템에 부담이 없다.사실가상 뷰에는 사본이 없어 질의마다 원천을 읽으므로, 분석 질의가 업무 시간에 몰리면 그 부하가 원천 업무 DB 로 그대로 간다(사례 3단계 · 진단 표 3행).
10핵심 정리
| 구분 | 고르는 축 | 데이터 사본 | 맡는 주체 | 신선도 | 대표 위험 |
|---|---|---|---|---|---|
| 데이터 가상화 | 위치 | 없음 | 통합 플랫폼 | 원천 그대로 | 원천 부하 · 원천 장애 전파 |
| 복사 적재(ETL) | 위치 | 분석 저장소에 하나 | 데이터 엔지니어 | 적재 주기 | 사본 지연 |
| 람다 아키텍처 | 처리 시점 | 배치 뷰 + 실시간 뷰 | 배치 · 스트림 두 시스템 | 최근 몇 시간은 실시간 계층 | 두 경로 로직 어긋남 |
| 카파 아키텍처 | 처리 시점 | 보존 로그 + 출력 표 | 스트림 작업 하나 | 스트림 지연 | 보존 기간 부족 · 재처리 저장 2배 |
| 데이터 패브릭 | 책임(중앙) | 복사 · 가상화 혼합 | 중앙 데이터 팀 | 연결 방식에 따름 | 중앙 팀 요청 적체 |
| 데이터 메시 | 책임(분산) | 도메인 데이터 제품 | 도메인 팀 | 제품마다 약속 | 팀마다 다른 형식 |
| 목표 데이터 흐름도 | 세 축 전체 | — | 데이터 아키텍트 | 소비처별 요구 | 흐름도 없이 경로 덧붙이기 |
11참고 문헌
- 먼저 볼 문헌
- ★ DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition) — Chapter 4 Data Architecture · Chapter 8 Data Integration and Interoperability — 데이터 아키텍처가 데이터 통합 · 메타데이터 관리와 다른 지식 영역으로 놓인 구성을 볼 때
- ★ How to beat the CAP theorem (http 전용 nathanmarz.com/blog/how-to-beat-the-cap-theorem.html) — 배치 계층이 전체를 다시 계산하고 실시간 계층이 최근 몇 시간을 메우는 람다 구조의 원 설명을 볼 때
- ★ Questioning the Lambda Architecture — 같은 로직을 두 시스템에 유지하는 부담과 보존 로그 재처리 방식을 볼 때
- ★ Data Mesh Principles and Logical Architecture — 데이터 메시 네 원칙과 셀프서비스 플랫폼 · 연합 계산 거버넌스를 볼 때
- 본문 근거
- How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh — Z. Dehghani · martinfowler.com · 2019-05 ·
martinfowler.com/articles/data-monolith-to-mesh.html· 확인 2026-11-14 - Mediators in the Architecture of Future Information Systems — G. Wiederhold · IEEE Computer 25(3) · 1992-03 ·
doi.org/10.1109/2.121508· 확인 2026-11-14