데이터 패브릭Data Fabric
흩어진 원천 데이터를 한곳으로 옮기지 않고 메타데이터(카탈로그 · 용어 연결 · 사용 기록)로 엮어, 질의마다 가상 조회 · 사본 · 스트리밍 중 알맞은 통합 방식을 고르는 데이터 아키텍처다.
1요약
- 데이터 패브릭은 운영 DB · 객체 저장소 · SaaS API 같은 원천 위에 메타데이터 중심의 통합 계층을 얹는 설계 개념으로(Priebe 외 2021 4절 · 2019 정의), 그 위에서 데이터 검색 · 가상 조회 · 사본 적재 · 접근 정책이 한 목록을 보고 돈다.
- 원천마다 따로 파이프라인을 두면 같은 뜻의 열이 이름만 달라 잘못 조인되고, 자주 쓰는 조회가 원천을 계속 두드린다 — 데이터 패브릭의 가정 사례에서 하루 400번이던 원천 질의가 사본 갱신 1번으로 줄어든다.
- 「패브릭이 느리다 · 숫자가 틀리다」는 용어 연결 · 통합 방식 · 사본 갱신 중 무엇이 어긋났는가로 가른다 — 행 수가 틀리면 연결, 원천 부하가 오르면 방식, 하루 늦으면 갱신이다.
2등장 배경
2010년대 중반 기업 데이터는 운영 DB · 하둡 · 클라우드 객체 저장소 · SaaS 로 흩어졌고, 분석하려면 원천마다 웨어하우스로 복사하는 파이프라인을 따로 짰다. 원천이 늘수록 파이프라인이 늘고, 같은 「거점」을 한 시스템은 hub_code, 다른 시스템은 depot_id 라 불러 담당자만 짝을 알았다.
데이터 패브릭이라는 이름은 2015 ~ 2016년 저장 장비 업계에서 여러 클라우드를 잇는 데이터 관리 구상으로 처음 쓰였다(Priebe 외 2021 4절 · Hoseini 외 2026 3.5절). 2019년 한 IT 리서치 기관 보고서(Zaidi 외 2019)가 이를 «재사용 · 증강 가능한 데이터 통합 서비스 · 파이프라인 · 의미를 얻는 설계 개념»으로 다시 정의했고, 핵심을 카탈로그 · 지식 그래프 · 능동 메타데이터로 짚었다(Priebe 외 2021 4절). 같은 시기 조직 쪽 해법으로 데이터 메시가 나왔다(Priebe 외 2021 5절).
지금 패브릭 자체를 정한 표준은 없다. 대신 카탈로그 어휘(W3C DCAT 3 · 2024) · 용어 연결(W3C SKOS · 2009) · 실행 기록(OpenLineage) 같은 공용 형식이 부품을 맡고, Hoseini 외 2026 은 요건을 다중 저장 · 가상화 · AI 기반 메타데이터 관리 · 셀프서비스 넷(DF1 ~ DF4)으로 정리했다(3.5.2절).
3쉽게 이해하기 — 시장 장보기 대행 데스크
손님은 큰 시장 입구의 장보기 대행 데스크에 「찌개 재료」라고만 말한다. 데스크 직원은 어느 가게에 무엇이 있는지 적은 시장 지도와, 「대파」와 「파」가 같은 물건이라는 이름 연결표를 보고 가게로 심부름을 보낸다. 주문 장부를 보니 대파가 하루 수백 번 팔리자, 직원은 대파만 데스크 옆 진열대에 미리 들여놓는다.
그림 1 · 손님은 데스크에 한마디만 하고, 데스크가 지도 · 이름 연결 · 주문 장부를 보고 심부름을 보낼지 진열대에서 줄지 정한다.
그림 2 · 「같은 물건」으로 묶은 이름만 바꿔 담고, 「비슷한 물건」은 사람에게 물은 뒤 담는다 — 실제로는 exactMatch 만 자동 조인에 쓴다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님 | 데이터 사용자 · 응용 | 업무 용어로 찾고 SQL · API 로 질의한다 |
| 시장 지도 | 데이터 카탈로그 | 원천별 데이터셋 · 배포본 · 접속 서비스를 목록으로 둔다(DCAT 3 6.6 · 6.8 · 6.9절) |
| 대파 = 파 | 지식 그래프의 용어 연결 | 이름이 다른 열을 같은 업무 용어에 잇는다(SKOS 10절) |
| 심부름 | 가상 조회 | 데이터를 옮기지 않고 원천에 질의를 보낸다 |
| 주문 장부 | 능동 메타데이터 | 조회 횟수 · 응답 시간 · 실행 기록을 계속 분석한다 |
| 진열대 | 사본(구체화 뷰 · 적재) | 자주 쓰는 결과만 미리 만들어 둔다 |
| 출입 규칙 | 접근 정책 | 어느 경로로 읽든 같은 열 권한 · 마스킹을 건다 |
| 가게들 | 원천 시스템 | 데이터는 원래 시스템에 그대로 남는다(DF1) |
⚠ 비유가 맞지 않는 곳: 데스크 직원은 손님 얼굴만 보고도 쪽파를 대신 담을지 정하지만, 패브릭의 용어 연결은 값 일치율 같은 근거와 데이터 관리자의 승인이 있어야 자동 조인에 쓰인다. exactMatch 는 전이되므로 잘못 묶은 하나가 다른 연결까지 번진다(SKOS 10절).
4구조 — 원천 · 메타데이터 중심 · 통합 방식 · 정책
패브릭은 저장소가 아니라 원천과 소비자 사이의 통합 계층이다. 핵심은 메타데이터이고, 보고서 · 분석 도구는 소비자 몫이라 범위 밖이다(Priebe 외 2021 4절).
그림 3 · 원천은 그대로 두고, 메타데이터 중심이 질의마다 통합 방식 넷 중 하나를 고르며, 접근 정책은 모든 경로에 같이 걸린다.
| 요소 | 맡는 일 | 대표 표준 · 도구 | 근거 |
|---|---|---|---|
| 원천 | 데이터를 원래 시스템에 둔다 | 관계형 DB · 객체 저장소 · API | DF1(Hoseini 외 2026 3.5.2절) |
| 데이터 카탈로그 | 데이터셋 · 배포본 · 접속 서비스 목록 | dcat:Dataset · dcat:Distribution · dcat:DataService | DCAT 3 6.6 · 6.8 · 6.9절 |
| 지식 그래프 | 열 · 표를 업무 용어에 잇는다 | skos:exactMatch · skos:closeMatch | SKOS 10절 |
| 능동 메타데이터 | 사용 · 실행 기록을 분석해 권고 · 자동화 | 질의 통계 · Run · Job · Dataset 이벤트 | Priebe 외 2021 4절 · OpenLineage 객체 모델 |
| 통합 방식 | 가상 조회 · 일괄 적재 · 스트리밍 · 사본 중 선택 | 외부 테이블(FDW) · 구체화 뷰 | DF2 · PostgreSQL 18 postgres_ |
| 접근 정책 | 경로와 무관하게 같은 권한 · 마스킹 | 열 권한 · 마스킹 규칙 | DF3 거버넌스 |
5동작 — 거점 코드 연결부터 사본 전환까지 일곱 단계
사례는 택배 회사 한 곳을 가정한 설명용 가정 값이다. 분석가의 질의는 끝까지 SELECT hub_code, ship_cnt FROM hub_daily WHERE day = '2026-11-13' 하나다.
- 커넥터가 원천 셋 — 배송 DB
delivery.shipment, 객체 저장소의 일 단위 Parquetgps_log, 협력사 APIpartner/branches— 의 스키마를 읽어 카탈로그에 dcat:Dataset 3건 · dcat:Distribution 3건으로 올린다(DCAT 3 6.6 · 6.8절). - 열 값 표본 1만 개를 견주어
hub_code↔depot_id일치 99.2% 는 exactMatch 후보,branch_no61% 는 closeMatch 후보로 「거점 코드」 용어에 단다(SKOS 10절). - 데이터 관리자가 exactMatch 1건만 승인하고, closeMatch 는 「자동 조인 금지」로 둔다.
- 분석가가 「거점 코드」로 검색해 두 데이터셋을 찾고,
IMPORT FOREIGN SCHEMA로 만든 외부 테이블 조인 뷰hub_daily로 조회한다 — WHERE 조건은 원천으로 내려가고(postgres_fdw F.38.5절), 정책이 기사 전화번호 열을 가린다. - 실행마다 START · COMPLETE 이벤트가 입력 2 · 출력 1 데이터셋으로 기록되고(OpenLineage 실행 주기), 2주 사이
pg_stat_statements의calls가 하루 40 → 400,mean_exec_time이 1,200 → 3,500 ms 로 오른다(F.32.1절). - 권고 규칙(가정 값: 하루 200회 이상 또는 평균 3,000 ms 이상)을 두 기준 모두 넘자, 패브릭이 구체화 뷰 + 새벽 갱신을 권고한다.
- 관리자 승인 뒤
hub_daily_mv를 만들고 UNIQUE 색인을 붙여 매일 03:00REFRESH MATERIALIZED VIEW CONCURRENTLY로 갱신하며(갱신 중에도 읽기 허용), 뷰hub_daily의 정의만 사본을 가리키게 바꾼다 — 분석가 질의는 그대로이고 원천 질의는 하루 400 → 1회가 된다.
그림 4 · 질의 문장은 일곱 단계 내내 같고, 바뀌는 것은 메타데이터 — 연결 승인(3) · 사용 기록(5) · 권고(6) — 와 그에 따른 통합 방식(7)이다.
권고는 데이터셋마다 사용 기록을 두 축에 놓고 기준선으로 가른다. 조회가 잦으면 원천 부하 때문에, 응답이 느리면 사용자 대기 때문에 사본을 만든다 — 둘 다 아니면 가상 조회로 남겨 사본 갱신 비용과 신선도 손실을 피한다.
그림 5 · hub_daily 는 조회 수 기준을, 월 정산 보고는 응답 기준을 넘어 사본 권고 구역에 들고, 나머지 둘은 가상 조회로 남는다.
🔑 패브릭은 데이터를 한곳에 모으는 구조가 아니라 «어디서 어떻게 가져올지»를 메타데이터로 정하는 구조이고, 옮길지 말지는 사용 기록이 정한다.
6비교 — 데이터 메시 · 데이터 가상화 · 데이터 레이크와의 경계
| 기준 | 데이터 패브릭 | 데이터 메시 | 데이터 가상화 | 데이터 레이크 |
|---|---|---|---|---|
| 바꾸는 것 | 기술 — 메타데이터 중심 통합 계층 | 조직 — 도메인 소유 · 데이터 제품 | 질의 경로 — 옮기지 않고 조회 | 저장 — 원본을 한곳에 쌓음 |
| 데이터 위치 | 원천 그대로 · 필요할 때만 사본 | 도메인마다 | 원천 그대로 | 객체 저장소 한곳 |
| 메타데이터 역할 | 통합 방식을 고르는 중심(능동) | 도메인 사이 데이터 제품 목록 | 외부 테이블 정의 | 테이블 형식 · 카탈로그 |
| 책임 주체 | 중앙 플랫폼 팀 | 도메인 팀 | 플랫폼 · DBA | 데이터 엔지니어링 팀 |
| 함께 쓰는 방식 | 메시 아래 기반(Hoseini 외 2026 3.6절) | 패브릭 위의 운영 원칙 | 패브릭 요건 DF2 의 한 방식 | 패브릭이 잇는 원천 하나 |
분석원천이 많고 같은 뜻의 열이 흩어진 것이 문제면 패브릭, 중앙 팀이 병목이고 도메인마다 책임을 나눠야 하면 메시를 먼저 본다. 근거는 표의 「바꾸는 것」 행이며, 메시는 분산된 도메인 설계이고 패브릭은 그 밑의 기반이라 둘을 겹쳐 쓸 수 있다(Hoseini 외 2026 3.6절).
7실무 진단 — 숫자 · 속도 · 신선도 문제 가르기
분석결과 행 수가 틀린지, 결과는 맞는데 느린지, 결과가 늦은지를 먼저 가른다. 틀리면 용어 연결, 느리면 통합 방식, 늦으면 사본 갱신 쪽이며, exactMatch 는 전이되므로 연결 오류가 가장 넓게 번진다(SKOS 10절).
| # | 증상 | 의심 원인 | 구성 | 확인 자료 | 판정 기준 |
|---|---|---|---|---|---|
| 1 | 조인 결과 행 수가 원천보다 많음 | closeMatch 를 exactMatch 로 승인 · 전이 연결 | 지식 그래프 | 용어별 연결 목록 · 값 일치율 | 자동 조인 연결이 모두 일치율 기준 이상인가(SKOS 10절) |
| 2 | 화면이 느려지고 원천 DB 부하 증가 | 가상 조회가 권고 기준을 넘음 | 통합 방식 | pg_stat_statements 의 calls · mean_exec_time | 권고 규칙 두 기준(F.32.1절) |
| 3 | 숫자가 하루 늦음 | 사본 갱신 실패 | 사본 · 기록 | 실행 이벤트 FAIL · 마지막 COMPLETE 시각 | COMPLETE · ABORT · FAIL 이 종료 이벤트(OpenLineage 실행 주기) |
| 4 | 카탈로그에 있는데 질의 오류 | 원천 스키마 변경 뒤 외부 테이블 낡음 | 연결 | IMPORT FOREIGN SCHEMA 재실행 · EXPLAIN VERBOSE | 원격으로 보낸 질의의 열이 원천에 있는가(F.38.5절) |
| 5 | 가린 열이 일부 경로에서 보임 | 사본 경로에 정책 누락 | 정책 | 경로별 열 권한 목록 | 가상 · 사본 경로의 권한이 같은가 |
가려내는 순서는 연결 → 기록 → 방식 → 정책이다. 연결 오류는 숫자를 조용히 틀리게 하고 하류 사본까지 번지므로 가장 먼저 막고, 속도는 결과가 맞은 뒤에 다룬다.
8시험 대비
시험에서는 개념 · 구성 요소 · 능동 메타데이터를 묻는 정의 · 특징형, 데이터 메시 · 데이터 가상화와의 차이를 묻는 비교형으로 나올 수 있다. 비교형이면 «기술 계층 대 조직 원칙»이라는 축을 첫 줄에 세우고, 둘을 함께 쓰는 구조까지 적어야 점수가 갈린다.
- 개요 — 정의(메타데이터 중심 통합 계층) · 등장 배경(2015 ~ 2016 이름 · 2019 정의 · 2021 재정의)
- 구성 — 그림 3 원천 · 카탈로그(DCAT 3) · 지식 그래프(SKOS) · 능동 메타데이터 · 통합 방식 넷 · 정책
- 동작 — 그림 4 일곱 단계(수집 → 연결 → 승인 → 가상 조회 → 사용 기록 → 권고 → 사본)
- 핵심 원리 — 그림 5 조회 수 · 응답 시간 기준선으로 가상 조회와 사본을 가르는 권고
- 비교 — 데이터 메시 · 데이터 가상화 · 데이터 레이크 비교표(바꾸는 것 · 위치 · 책임)
- 도입 고려 사항 — exactMatch 승인 기준 · 경로별 정책 일치 · 갱신 실패 감시
꼭 쓸 키워드
능동 메타데이터데이터 카탈로그지식 그래프데이터 가상화구체화 뷰리니지DCATexactMatch데이터 메시셀프서비스
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «가상 조회냐 사본이냐»를 사용 기록 두 축의 기준선으로 보여, 능동 메타데이터가 실제로 무엇을 결정하는지 수치로 드러내는 것이다.
9오해와 사실
- 오해데이터 패브릭은 모든 데이터를 한 저장소로 옮기는 플랫폼이다.사실요건은 다중 저장(DF1)과 중앙 저장소 없는 가상화(DF2)이고, 사본은 사용 기록이 기준을 넘는 데이터셋에만 만든다(Hoseini 외 2026 3.5.2절).
- 오해데이터 패브릭과 데이터 메시는 둘 중 하나를 골라야 한다.사실메시는 도메인 소유를 정하는 분산 설계이고 패브릭은 그 밑의 기반이라 함께 쓸 수 있다(Hoseini 외 2026 3.6절).
- 오해데이터 카탈로그를 들이면 곧 데이터 패브릭이다.사실카탈로그는 구성 하나이고, 패브릭은 지식 그래프로 의미를 잇고 능동 메타데이터로 통합을 일부 자동화해야 성립한다(Priebe 외 2021 4절).
10핵심 정리
| 구분 | 맡는 일 | 근거 메타데이터 | 대표 표준 · 명령 | 어긋나면 |
|---|---|---|---|---|
| 원천 | 데이터를 원래 시스템에 둠 | 스키마 | 외부 테이블 | 질의 오류 |
| 데이터 카탈로그 | 데이터셋 · 배포본 목록 | 수집 메타데이터 | DCAT 3 | 찾지 못함 |
| 지식 그래프 | 열을 업무 용어에 연결 | 값 일치율 · 승인 | SKOS exactMatch · closeMatch | 행 수가 틀림 |
| 능동 메타데이터 | 사용 기록 분석 · 권고 | 조회 수 · 응답 시간 · 실행 이벤트 | pg_ | 원천 부하 |
| 가상 조회 | 옮기지 않고 원천에 질의 | 외부 테이블 정의 | postgres_ | 느려짐 |
| 사본 | 자주 쓰는 결과를 미리 만듦 | 갱신 이벤트 | REFRESH MATERIALIZED VIEW CONCURRENTLY | 숫자가 늦음 |
| 접근 정책 | 모든 경로에 같은 권한 · 마스킹 | 열 권한 | 정책 규칙 | 가린 열 노출 |
11참고 문헌
- 먼저 볼 문헌
- ★ Finding Your Way Through the Jungle of Big Data Architectures (IEEE BigData 2021 · arXiv 2201.04233) — 데이터 패브릭의 정의 · 이름의 유래 · 논리적 데이터 웨어하우스와 데이터 메시와의 관계를 볼 때
- ★ Data Architectures and their Technical Requirements (DATER) (arXiv 2606.08811) — 데이터 패브릭 요건 DF1 ~ DF4 와 데이터 메시와의 경계를 볼 때
- ★ Data Catalog Vocabulary (DCAT) - Version 3 — 카탈로그에 데이터셋 · 배포본 · 데이터 서비스를 적는 공용 어휘를 볼 때
- ★ SKOS Simple Knowledge Organization System Reference — 용어 연결의 exactMatch(전이) · closeMatch(비전이) 차이를 볼 때
- 본문 근거
- PostgreSQL 18 Documentation F.38 postgres_fdw — The PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/18/postgres-fdw.html· 확인 2026-11-14 - PostgreSQL 18 Documentation F.32 pg_stat_statements — The PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/18/pgstatstatements.html· 확인 2026-11-14 - PostgreSQL 18 Documentation REFRESH MATERIALIZED VIEW — The PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/18/sql-refreshmaterializedview.html· 확인 2026-11-14 - OpenLineage Object Model — OpenLineage Project · 2026-11 ·
openlineage.io/docs/spec/object-model· 확인 2026-11-14 - OpenLineage Run Cycle — OpenLineage Project · 2026-11 ·
openlineage.io/docs/spec/run-cycle· 확인 2026-11-14