IT › 데이터 › 데이터 관리 · 거버넌스 › 데이터 아키텍처

데이터 패브릭Data Fabric

흩어진 원천 데이터를 한곳으로 옮기지 않고 메타데이터(카탈로그 · 용어 연결 · 사용 기록)로 엮어, 질의마다 가상 조회 · 사본 · 스트리밍 중 알맞은 통합 방식을 고르는 데이터 아키텍처다.

1요약

  1. 데이터 패브릭은 운영 DB · 객체 저장소 · SaaS API 같은 원천 위에 메타데이터 중심의 통합 계층을 얹는 설계 개념으로(Priebe 외 2021 4절 · 2019 정의), 그 위에서 데이터 검색 · 가상 조회 · 사본 적재 · 접근 정책이 한 목록을 보고 돈다.
  2. 원천마다 따로 파이프라인을 두면 같은 뜻의 열이 이름만 달라 잘못 조인되고, 자주 쓰는 조회가 원천을 계속 두드린다 — 데이터 패브릭의 가정 사례에서 하루 400번이던 원천 질의가 사본 갱신 1번으로 줄어든다.
  3. 「패브릭이 느리다 · 숫자가 틀리다」는 용어 연결 · 통합 방식 · 사본 갱신 중 무엇이 어긋났는가로 가른다 — 행 수가 틀리면 연결, 원천 부하가 오르면 방식, 하루 늦으면 갱신이다.

2등장 배경

2010년대 중반 기업 데이터는 운영 DB · 하둡 · 클라우드 객체 저장소 · SaaS 로 흩어졌고, 분석하려면 원천마다 웨어하우스로 복사하는 파이프라인을 따로 짰다. 원천이 늘수록 파이프라인이 늘고, 같은 「거점」을 한 시스템은 hub_code, 다른 시스템은 depot_id 라 불러 담당자만 짝을 알았다.

데이터 패브릭이라는 이름은 2015 ~ 2016년 저장 장비 업계에서 여러 클라우드를 잇는 데이터 관리 구상으로 처음 쓰였다(Priebe 외 2021 4절 · Hoseini 외 2026 3.5절). 2019년 한 IT 리서치 기관 보고서(Zaidi 외 2019)가 이를 «재사용 · 증강 가능한 데이터 통합 서비스 · 파이프라인 · 의미를 얻는 설계 개념»으로 다시 정의했고, 핵심을 카탈로그 · 지식 그래프 · 능동 메타데이터로 짚었다(Priebe 외 2021 4절). 같은 시기 조직 쪽 해법으로 데이터 메시가 나왔다(Priebe 외 2021 5절).

지금 패브릭 자체를 정한 표준은 없다. 대신 카탈로그 어휘(W3C DCAT 3 · 2024) · 용어 연결(W3C SKOS · 2009) · 실행 기록(OpenLineage) 같은 공용 형식이 부품을 맡고, Hoseini 외 2026 은 요건을 다중 저장 · 가상화 · AI 기반 메타데이터 관리 · 셀프서비스 넷(DF1 ~ DF4)으로 정리했다(3.5.2절).

3쉽게 이해하기 — 시장 장보기 대행 데스크

손님은 큰 시장 입구의 장보기 대행 데스크에 「찌개 재료」라고만 말한다. 데스크 직원은 어느 가게에 무엇이 있는지 적은 시장 지도와, 「대파」와 「파」가 같은 물건이라는 이름 연결표를 보고 가게로 심부름을 보낸다. 주문 장부를 보니 대파가 하루 수백 번 팔리자, 직원은 대파만 데스크 옆 진열대에 미리 들여놓는다.

시장 장보기 대행 — 손님은 데스크에만 말한다 손님 데이터 사용자 「찌개 재료」 한마디만 한다 대행 데스크 = 데이터 패브릭 시장 지도 데이터 카탈로그 대파 = 파 지식 그래프 주문 장부 사용 메타데이터 출입 규칙 접근 정책 채소 가게 운영 DB 정육점 객체 저장소 반찬 가게 SaaS API 1 2 진열대 사본 · 구체화 뷰 3 4 2 가끔 = 심부름 3 자주 = 미리 진열 사람 찾기 · 연결 사용 기록 · 사본 규칙 원천 데이터

그림 1 · 손님은 데스크에 한마디만 하고, 데스크가 지도 · 이름 연결 · 주문 장부를 보고 심부름을 보낼지 진열대에서 줄지 정한다.

주문손님이 「찌개 재료」라고만 말함
지도 보기재료가 어느 가게에 있는지 찾음
이름 맞추기대파와 파를 같은 물건으로 묶음
심부름가끔 찾는 재료는 그때 가게에서
장부 보기자주 팔리는 재료를 셈
미리 진열진열대에서 바로 건넴
비유 — 같은 물건 · 비슷한 물건 실제 — 용어 연결(SKOS) 지도 카드 「파」 같은 물건 비슷한 물건 「대파」 「쪽파」 바꿔 담음 물어보고 담음 용어 「거점 코드」 exactMatch closeMatch shipment hub_code gps_log depot_id partner branch_no 자동 조인 허용 · 일치 99.2% 일치 61% 사람 확인 뒤 조인 용어 · 지도 카드 자동으로 씀 사람이 판정 굵은 화살 = 같은 것(전이) · 점선 = 비슷한 것(전이 안 됨) · 일치율 = 설명용 가정 값

그림 2 · 「같은 물건」으로 묶은 이름만 바꿔 담고, 「비슷한 물건」은 사람에게 물은 뒤 담는다 — 실제로는 exactMatch 만 자동 조인에 쓴다.

비유 속 역할실제 이름실제로 하는 일
손님데이터 사용자 · 응용업무 용어로 찾고 SQL · API 로 질의한다
시장 지도데이터 카탈로그원천별 데이터셋 · 배포본 · 접속 서비스를 목록으로 둔다(DCAT 3 6.6 · 6.8 · 6.9절)
대파 = 파지식 그래프의 용어 연결이름이 다른 열을 같은 업무 용어에 잇는다(SKOS 10절)
심부름가상 조회데이터를 옮기지 않고 원천에 질의를 보낸다
주문 장부능동 메타데이터조회 횟수 · 응답 시간 · 실행 기록을 계속 분석한다
진열대사본(구체화 뷰 · 적재)자주 쓰는 결과만 미리 만들어 둔다
출입 규칙접근 정책어느 경로로 읽든 같은 열 권한 · 마스킹을 건다
가게들원천 시스템데이터는 원래 시스템에 그대로 남는다(DF1)

⚠ 비유가 맞지 않는 곳: 데스크 직원은 손님 얼굴만 보고도 쪽파를 대신 담을지 정하지만, 패브릭의 용어 연결은 값 일치율 같은 근거와 데이터 관리자의 승인이 있어야 자동 조인에 쓰인다. exactMatch 는 전이되므로 잘못 묶은 하나가 다른 연결까지 번진다(SKOS 10절).

4구조 — 원천 · 메타데이터 중심 · 통합 방식 · 정책

패브릭은 저장소가 아니라 원천과 소비자 사이의 통합 계층이다. 핵심은 메타데이터이고, 보고서 · 분석 도구는 소비자 몫이라 범위 밖이다(Priebe 외 2021 4절).

데이터 패브릭의 구성 원천 — 그대로 둔다 운영 DB 객체 저장소 파일 SaaS API 이벤트 스트림 메타데이터 중심 데이터 카탈로그 · DCAT 3 지식 그래프 · SKOS 용어 연결 능동 메타데이터 · 사용 · 리니지 고른다 통합 방식 가상 조회 일괄 적재 스트리밍 사본 모든 경로에 접근 정책 · 마스킹 · 실행 기록 소비자 분석가 · SQL 응용 · API 모델 학습 · 파일 사용 기록 되먹임 원천 데이터 찾기 · 연결 사용 · 기록 정책 소비자 고를 수 있는 통합 방식

그림 3 · 원천은 그대로 두고, 메타데이터 중심이 질의마다 통합 방식 넷 중 하나를 고르며, 접근 정책은 모든 경로에 같이 걸린다.

요소맡는 일대표 표준 · 도구근거
원천데이터를 원래 시스템에 둔다관계형 DB · 객체 저장소 · APIDF1(Hoseini 외 2026 3.5.2절)
데이터 카탈로그데이터셋 · 배포본 · 접속 서비스 목록dcat:Dataset · dcat:Distribution · dcat:DataServiceDCAT 3 6.6 · 6.8 · 6.9절
지식 그래프열 · 표를 업무 용어에 잇는다skos:exactMatch · skos:closeMatchSKOS 10절
능동 메타데이터사용 · 실행 기록을 분석해 권고 · 자동화질의 통계 · Run · Job · Dataset 이벤트Priebe 외 2021 4절 · OpenLineage 객체 모델
통합 방식가상 조회 · 일괄 적재 · 스트리밍 · 사본 중 선택외부 테이블(FDW) · 구체화 뷰DF2 · PostgreSQL 18 postgres_fdw
접근 정책경로와 무관하게 같은 권한 · 마스킹열 권한 · 마스킹 규칙DF3 거버넌스

5동작 — 거점 코드 연결부터 사본 전환까지 일곱 단계

사례는 택배 회사 한 곳을 가정한 설명용 가정 값이다. 분석가의 질의는 끝까지 SELECT hub_code, ship_cnt FROM hub_daily WHERE day = '2026-11-13' 하나다.

  1. 커넥터가 원천 셋 — 배송 DB delivery.shipment, 객체 저장소의 일 단위 Parquet gps_log, 협력사 API partner/branches — 의 스키마를 읽어 카탈로그에 dcat:Dataset 3건 · dcat:Distribution 3건으로 올린다(DCAT 3 6.6 · 6.8절).
  2. 열 값 표본 1만 개를 견주어 hub_code ↔ depot_id 일치 99.2% 는 exactMatch 후보, branch_no 61% 는 closeMatch 후보로 「거점 코드」 용어에 단다(SKOS 10절).
  3. 데이터 관리자가 exactMatch 1건만 승인하고, closeMatch 는 「자동 조인 금지」로 둔다.
  4. 분석가가 「거점 코드」로 검색해 두 데이터셋을 찾고, IMPORT FOREIGN SCHEMA 로 만든 외부 테이블 조인 뷰 hub_daily 로 조회한다 — WHERE 조건은 원천으로 내려가고(postgres_fdw F.38.5절), 정책이 기사 전화번호 열을 가린다.
  5. 실행마다 START · COMPLETE 이벤트가 입력 2 · 출력 1 데이터셋으로 기록되고(OpenLineage 실행 주기), 2주 사이 pg_stat_statements 의 calls 가 하루 40 → 400, mean_exec_time 이 1,200 → 3,500 ms 로 오른다(F.32.1절).
  6. 권고 규칙(가정 값: 하루 200회 이상 또는 평균 3,000 ms 이상)을 두 기준 모두 넘자, 패브릭이 구체화 뷰 + 새벽 갱신을 권고한다.
  7. 관리자 승인 뒤 hub_daily_mv 를 만들고 UNIQUE 색인을 붙여 매일 03:00 REFRESH MATERIALIZED VIEW CONCURRENTLY 로 갱신하며(갱신 중에도 읽기 허용), 뷰 hub_daily 의 정의만 사본을 가리키게 바꾼다 — 분석가 질의는 그대로이고 원천 질의는 하루 400 → 1회가 된다.
같은 질의 hub_daily — 단계마다 바뀐 메타데이터와 방식 맡는 구성 한 일 결과 1 카탈로그 원천 셋 스키마 수집 · DCAT 등록 데이터셋 3 · 배포본 3 2 지식 그래프 값 표본 1만 개 비교 exact 99.2% · close 61% 3 관리자 exactMatch 1건만 승인 자동 조인 1건 4 가상 조회 외부 테이블 조인 뷰 · 전화번호 가림 원천 질의 하루 40회 5 능동 메타 실행 이벤트 · 질의 통계 2주 하루 400회 · 3,500 ms 6 능동 메타 권고 규칙 대조(가정 값) 두 기준 넘음 · 사본 권고 7 사본 구체화 뷰 · 03:00 동시 갱신 원천 질의 400 → 1회 굵은 테두리 = 바뀐 값 · 둥근 꼬리표 색 = 맡는 구성(찾기 · 연결 · 사람 · 사용 기록) · 흰 꼬리표 = 고른 통합 방식 · 값 = 설명용 가정 값

그림 4 · 질의 문장은 일곱 단계 내내 같고, 바뀌는 것은 메타데이터 — 연결 승인(3) · 사용 기록(5) · 권고(6) — 와 그에 따른 통합 방식(7)이다.

권고는 데이터셋마다 사용 기록을 두 축에 놓고 기준선으로 가른다. 조회가 잦으면 원천 부하 때문에, 응답이 느리면 사용자 대기 때문에 사본을 만든다 — 둘 다 아니면 가상 조회로 남겨 사본 갱신 비용과 신선도 손실을 피한다.

사본 권고 — 조회 수 또는 응답 시간 중 하나만 넘어도 평균 응답 시간(초) 0100200300400500 012345 하루 조회 수(calls) 기준 200회 기준 3초 사본 권고 구역 가상 조회 유지 hub_daily · 2주 전 hub_daily · 지금 월 정산 보고 GPS 일별 집계 협력사 지점 목록 빈 원 = 가상 조회 유지 찬 원 = 사본 권고 권고 구역 · 점선 = 기준선 · 값 = 설명용 가정 값

그림 5 · hub_daily 는 조회 수 기준을, 월 정산 보고는 응답 기준을 넘어 사본 권고 구역에 들고, 나머지 둘은 가상 조회로 남는다.

🔑 패브릭은 데이터를 한곳에 모으는 구조가 아니라 «어디서 어떻게 가져올지»를 메타데이터로 정하는 구조이고, 옮길지 말지는 사용 기록이 정한다.

6비교 — 데이터 메시 · 데이터 가상화 · 데이터 레이크와의 경계

기준데이터 패브릭데이터 메시데이터 가상화데이터 레이크
바꾸는 것기술 — 메타데이터 중심 통합 계층조직 — 도메인 소유 · 데이터 제품질의 경로 — 옮기지 않고 조회저장 — 원본을 한곳에 쌓음
데이터 위치원천 그대로 · 필요할 때만 사본도메인마다원천 그대로객체 저장소 한곳
메타데이터 역할통합 방식을 고르는 중심(능동)도메인 사이 데이터 제품 목록외부 테이블 정의테이블 형식 · 카탈로그
책임 주체중앙 플랫폼 팀도메인 팀플랫폼 · DBA데이터 엔지니어링 팀
함께 쓰는 방식메시 아래 기반(Hoseini 외 2026 3.6절)패브릭 위의 운영 원칙패브릭 요건 DF2 의 한 방식패브릭이 잇는 원천 하나

분석원천이 많고 같은 뜻의 열이 흩어진 것이 문제면 패브릭, 중앙 팀이 병목이고 도메인마다 책임을 나눠야 하면 메시를 먼저 본다. 근거는 표의 「바꾸는 것」 행이며, 메시는 분산된 도메인 설계이고 패브릭은 그 밑의 기반이라 둘을 겹쳐 쓸 수 있다(Hoseini 외 2026 3.6절).

7실무 진단 — 숫자 · 속도 · 신선도 문제 가르기

분석결과 행 수가 틀린지, 결과는 맞는데 느린지, 결과가 늦은지를 먼저 가른다. 틀리면 용어 연결, 느리면 통합 방식, 늦으면 사본 갱신 쪽이며, exactMatch 는 전이되므로 연결 오류가 가장 넓게 번진다(SKOS 10절).

#증상의심 원인구성확인 자료판정 기준
1조인 결과 행 수가 원천보다 많음closeMatch 를 exactMatch 로 승인 · 전이 연결지식 그래프용어별 연결 목록 · 값 일치율자동 조인 연결이 모두 일치율 기준 이상인가(SKOS 10절)
2화면이 느려지고 원천 DB 부하 증가가상 조회가 권고 기준을 넘음통합 방식pg_stat_statements 의 calls · mean_exec_time권고 규칙 두 기준(F.32.1절)
3숫자가 하루 늦음사본 갱신 실패사본 · 기록실행 이벤트 FAIL · 마지막 COMPLETE 시각COMPLETE · ABORT · FAIL 이 종료 이벤트(OpenLineage 실행 주기)
4카탈로그에 있는데 질의 오류원천 스키마 변경 뒤 외부 테이블 낡음연결IMPORT FOREIGN SCHEMA 재실행 · EXPLAIN VERBOSE원격으로 보낸 질의의 열이 원천에 있는가(F.38.5절)
5가린 열이 일부 경로에서 보임사본 경로에 정책 누락정책경로별 열 권한 목록가상 · 사본 경로의 권한이 같은가

가려내는 순서는 연결 → 기록 → 방식 → 정책이다. 연결 오류는 숫자를 조용히 틀리게 하고 하류 사본까지 번지므로 가장 먼저 막고, 속도는 결과가 맞은 뒤에 다룬다.

8시험 대비

시험에서는 개념 · 구성 요소 · 능동 메타데이터를 묻는 정의 · 특징형, 데이터 메시 · 데이터 가상화와의 차이를 묻는 비교형으로 나올 수 있다. 비교형이면 «기술 계층 대 조직 원칙»이라는 축을 첫 줄에 세우고, 둘을 함께 쓰는 구조까지 적어야 점수가 갈린다.

답안 목차
  1. 개요 — 정의(메타데이터 중심 통합 계층) · 등장 배경(2015 ~ 2016 이름 · 2019 정의 · 2021 재정의)
  2. 구성 — 그림 3 원천 · 카탈로그(DCAT 3) · 지식 그래프(SKOS) · 능동 메타데이터 · 통합 방식 넷 · 정책
  3. 동작 — 그림 4 일곱 단계(수집 → 연결 → 승인 → 가상 조회 → 사용 기록 → 권고 → 사본)
  4. 핵심 원리 — 그림 5 조회 수 · 응답 시간 기준선으로 가상 조회와 사본을 가르는 권고
  5. 비교 — 데이터 메시 · 데이터 가상화 · 데이터 레이크 비교표(바꾸는 것 · 위치 · 책임)
  6. 도입 고려 사항 — exactMatch 승인 기준 · 경로별 정책 일치 · 갱신 실패 감시

꼭 쓸 키워드
능동 메타데이터데이터 카탈로그지식 그래프데이터 가상화구체화 뷰리니지DCATexactMatch데이터 메시셀프서비스

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «가상 조회냐 사본이냐»를 사용 기록 두 축의 기준선으로 보여, 능동 메타데이터가 실제로 무엇을 결정하는지 수치로 드러내는 것이다.

9오해와 사실

  • 오해데이터 패브릭은 모든 데이터를 한 저장소로 옮기는 플랫폼이다.
    사실요건은 다중 저장(DF1)과 중앙 저장소 없는 가상화(DF2)이고, 사본은 사용 기록이 기준을 넘는 데이터셋에만 만든다(Hoseini 외 2026 3.5.2절).
  • 오해데이터 패브릭과 데이터 메시는 둘 중 하나를 골라야 한다.
    사실메시는 도메인 소유를 정하는 분산 설계이고 패브릭은 그 밑의 기반이라 함께 쓸 수 있다(Hoseini 외 2026 3.6절).
  • 오해데이터 카탈로그를 들이면 곧 데이터 패브릭이다.
    사실카탈로그는 구성 하나이고, 패브릭은 지식 그래프로 의미를 잇고 능동 메타데이터로 통합을 일부 자동화해야 성립한다(Priebe 외 2021 4절).

10핵심 정리

구분맡는 일근거 메타데이터대표 표준 · 명령어긋나면
원천데이터를 원래 시스템에 둠스키마외부 테이블질의 오류
데이터 카탈로그데이터셋 · 배포본 목록수집 메타데이터DCAT 3찾지 못함
지식 그래프열을 업무 용어에 연결값 일치율 · 승인SKOS exactMatch · closeMatch행 수가 틀림
능동 메타데이터사용 기록 분석 · 권고조회 수 · 응답 시간 · 실행 이벤트pg_stat_statements · OpenLineage원천 부하
가상 조회옮기지 않고 원천에 질의외부 테이블 정의postgres_fdw느려짐
사본자주 쓰는 결과를 미리 만듦갱신 이벤트REFRESH MATERIALIZED VIEW CONCURRENTLY숫자가 늦음
접근 정책모든 경로에 같은 권한 · 마스킹열 권한정책 규칙가린 열 노출

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Finding Your Way Through the Jungle of Big Data Architectures (IEEE BigData 2021 · arXiv 2201.04233) — 데이터 패브릭의 정의 · 이름의 유래 · 논리적 데이터 웨어하우스와 데이터 메시와의 관계를 볼 때
    T. Priebe · S. Neumaier · S. Markus · 2021-12 · arxiv.org/abs/2201.04233 · 확인 2026-11-14
  3. ★ Data Architectures and their Technical Requirements (DATER) (arXiv 2606.08811) — 데이터 패브릭 요건 DF1 ~ DF4 와 데이터 메시와의 경계를 볼 때
    S. Hoseini · C. Quix · S. Decker · 2026-06 · arxiv.org/abs/2606.08811 · 확인 2026-11-14
  4. ★ Data Catalog Vocabulary (DCAT) - Version 3 — 카탈로그에 데이터셋 · 배포본 · 데이터 서비스를 적는 공용 어휘를 볼 때
    W3C · 2024-08 · www.w3.org/TR/vocab-dcat-3/ · 확인 2026-11-14
  5. ★ SKOS Simple Knowledge Organization System Reference — 용어 연결의 exactMatch(전이) · closeMatch(비전이) 차이를 볼 때
    W3C · 2009-08 · www.w3.org/TR/skos-reference/ · 확인 2026-11-14
  6. 본문 근거
  7. PostgreSQL 18 Documentation F.38 postgres_fdw — The PostgreSQL Global Development Group · 2026-11 · www.postgresql.org/docs/18/postgres-fdw.html · 확인 2026-11-14
  8. PostgreSQL 18 Documentation F.32 pg_stat_statements — The PostgreSQL Global Development Group · 2026-11 · www.postgresql.org/docs/18/pgstatstatements.html · 확인 2026-11-14
  9. PostgreSQL 18 Documentation REFRESH MATERIALIZED VIEW — The PostgreSQL Global Development Group · 2026-11 · www.postgresql.org/docs/18/sql-refreshmaterializedview.html · 확인 2026-11-14
  10. OpenLineage Object Model — OpenLineage Project · 2026-11 · openlineage.io/docs/spec/object-model · 확인 2026-11-14
  11. OpenLineage Run Cycle — OpenLineage Project · 2026-11 · openlineage.io/docs/spec/run-cycle · 확인 2026-11-14