데이터 관리Data Management
여러 시스템에 흩어진 데이터를 조직의 자산으로 다루기 위해, 그 구조 · 정의 · 품질 · 이동을 정책과 책임 아래 계획하고 통제하는 활동 전체다. 표를 설계하는 데이터 모델링이나 값을 읽는 데이터 분석과 달리, 같은 데이터가 어디서나 같은 뜻 · 같은 값 · 같은 개수로 남게 하는 일을 맡는다.
1요약
- 데이터 관리는 DAMA-DMBOK2(2017)가 거버넌스를 가운데 두고 지식 영역 11개로 정리한 관리 체계이며, 그중 데이터 아키텍처 · 메타데이터 · MDM · 데이터 품질 · 데이터 전환 네 갈래가 중심이고, 그 위에서 데이터베이스 운영 · 분석 · AI 학습 데이터가 같은 정의를 나눠 쓴다.
- 옮긴 데이터의 개수를 원천과 맞춰 보지 않으면 오류 없이 끝난 작업도 행을 잃는다 — 2020년 10월 영국 공중보건청은 적재 과정에서 파일 크기 한도를 넘은 양성 결과 15,841건이 9월 25일 ~ 10월 2일 일일 집계에서 빠졌다고 밝혔다(PHE 2020).
- 「이 데이터를 믿을 수 없다」는 어긋난 것이 정의인가 · 값인가 · 개수인가로 가른다 — 같은 이름에 정의가 둘이면 메타데이터, 정의는 하나인데 값이 규칙을 어기면 데이터 품질, 값은 맞는데 개수가 다르면 전환 · MDM 의 문제다.
2등장 배경
1960 ~ 70년대 업무별 파일 시스템에서는 급여 · 주문 · 고객 파일이 같은 고객을 저마다 적었고, 주소 하나를 바꾸려면 파일마다 프로그램을 고쳐야 했다. Codd 1970 의 관계 모델과 DBMS 는 «한 곳에 저장하고 함께 쓰는» 문제를 풀었지만, 시스템이 다시 늘면서 «무엇이 같은 데이터인가 · 누가 고치는가»는 저장 기술 밖의 문제로 남았다.
DAMA International 은 이 일을 지식 체계로 묶어 2009년 첫 DMBOK 를, 2017년 2nd Edition(DAMA-DMBOK2)을 냈고 2024년 2.0 Revision 을 내놓았다. 국제 표준으로는 ISO/IEC 38505-1:2017 이 데이터 거버넌스를 이사회 · 경영진의 책임으로 정했다. 2019년 Dehghani 는 중앙 데이터 팀 하나가 모든 데이터를 맡는 구조의 병목을 지적하며 데이터 메시를 제안했고, 2020년 12월 네 원칙(도메인 소유 · 제품으로서의 데이터 · 셀프 서비스 플랫폼 · 연합 계산 거버넌스)으로 정리했다(Dehghani 2020).
지금 데이터 관리는 AI 학습 데이터 · 데이터 레이크 · 공공데이터 개방처럼 한 데이터를 여러 곳이 다시 쓰는 환경에서 «같은 정의를 끝까지 지키는» 바탕이다. 그래서 아키텍처 · 메타데이터 · 품질 · 전환이 따로 굴러가지 않고, 시스템을 바꿀 때 넷이 한꺼번에 시험된다.
3쉽게 이해하기 — 시립 박물관의 소장품 관리
시립 박물관은 소장품 3만 점을 수장고 두 곳에 나눠 둔다. 학예사는 들어오는 물건마다 소장품 카드에 이름 · 재질 · 크기를 적고, 기증 장부와 구입 장부에 같은 도자기가 두 번 올라 있으면 등록번호 하나로 합친다. 해마다 카드와 실물을 맞춰 보고, 새 수장고로 옮기는 날에는 트럭에서 내린 상자 수가 목록 카드 수와 맞아야 이사가 끝난다. 이 모든 일을 누가 맡는지는 관장이 정한 관리 규정에 적혀 있다.
그림 1 · 관장 규정 아래에서 배치 · 카드와 번호 · 실물 점검 · 이사 검수가 차례로 소장품을 다루듯, 데이터 관리는 거버넌스 아래 네 가지 일이 같은 데이터를 나눠 맡는다.
그림 2 · 이사 검수대에서 «카드 수 = 내린 상자 + 보류 상자»를 맞추듯, 이관은 «원천 행 = 적재 행 + 거부 행»이 맞아야 끝난다 — 이 등식이 데이터 품질과 데이터 전환의 경계다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 관장 규정 | 데이터 거버넌스 | 데이터 집합마다 소유자 · 관리자를 정하고 정의 · 규칙 변경을 승인한다 |
| 수장고 배치 | 데이터 아키텍처 | 어느 시스템이 어떤 데이터를 만들고 어디로 흘려 보내는지 목표 구조를 정한다 |
| 소장품 카드 | 메타데이터 · 데이터 사전 | 열마다 이름 · 뜻 · 형식 · 출처를 한 곳에 적는다 |
| 등록번호 하나로 | MDM | 시스템마다 따로 적힌 같은 고객 · 품목을 기준 레코드 하나로 맞춘다 |
| 해마다 실물 점검 | 데이터 품질 · 프로파일링 | 값의 분포를 재고 규칙 위반을 세어 원인을 고친다 |
| 새 수장고 이사 | 데이터 전환 | 옛 시스템 데이터를 추출 · 변환 · 적재하고 개수 · 합계를 대사한다 |
| 상자 수 맞추기 | 전환 판정 | 원천 = 적재 + 거부가 맞고 거부 원인이 설명될 때 운영을 넘긴다 |
⚠ 비유가 맞지 않는 곳: 소장품은 한 점이 한 곳에만 있지만 데이터는 복사본이 여러 시스템에 동시에 있고 매초 바뀐다. 그래서 MDM 과 품질 점검은 해마다 한 번이 아니라 데이터가 바뀌는 동안 계속 돈다.
4구조 — 하위 토픽 지도
DAMA-DMBOK2 는 데이터 거버넌스를 가운데 두고 아키텍처 · 모델링 · 저장 · 보안 · 통합 · 문서 · 마스터 데이터 · DW · 메타데이터 · 품질의 열 영역을 둘러 배치한다. 데이터 관리는 그중 «여러 시스템에 걸친 정의와 값»을 다루는 영역을 네 갈래로 모으고, 모델링 · 저장 · 분석은 데이터 모델링 · 데이터베이스 · 데이터 분석에 넘긴다.
그림 3 · 아키텍처가 구조를 정하면 메타데이터 · MDM 이 정의와 기준 레코드를 주고, 품질은 그 정의로 규칙을 세우며, 전환은 그 규칙으로 옮긴 결과를 검증한다 — 거버넌스는 넷 모두를 감독한다.
| 갈래 | 푸는 질문 | 다루는 대상 | 대표 산출물 | 아래 토픽 | 대표 표준 · 근거 |
|---|---|---|---|---|---|
| 데이터 아키텍처 | 어느 시스템이 만들고 어디로 흐르나 | 시스템 · 데이터 흐름 · 수명 주기 | 목표 데이터 흐름도 · 프로파일링 보고 | 데이터베이스생명주기 · 데이터프로파일링 · 데이터관리 · 데이터 거버넌스 · 데이터 메시 | DAMA-DMBOK2 · ISO/IEC 38505-1 · Dehghani 2020 |
| 메타데이터 · MDM | 무슨 뜻이고 어느 레코드가 기준인가 | 열 정의 · 기준 레코드 | 데이터 사전 · 기준 레코드 · 교차 참조표 | MDM · 데이터사전 · 메타데이터 · 레파지토리 · MDR | ISO/IEC 11179(MDR) · ISO 8000-110 |
| 데이터 품질 | 값이 규칙을 지키는가 | 값 · 규칙 · 품질 지표 | 품질 규칙 · 측정 결과 · 개선 계획 | 데이터품질모델 · 데이터표준화 · 데이터품질거버넌스 · 데이터품질응용 | ISO/IEC 25012 · ISO 8000 |
| 데이터 전환 | 빠짐없이 같은 값으로 옮겨졌는가 | 원천 · 대상 행 · 매핑 | 매핑 정의서 · 대사 결과 · 전환 판정 | 데이터이관절차 · 물리데이터모델전환 | PHE 2020 · FCA 2022(사례) |
🔑 넷은 «구조 → 정의 → 규칙 → 검증» 순서로 앞 단계의 산출물을 뒤 단계가 기준으로 쓴다 — 앞이 비어 있으면 뒤는 잴 기준 없이 일한다.
데이터 관리는 «데이터를 어떻게 저장 · 설계하는가»가 아니라 «여러 곳의 같은 데이터를 어떻게 같게 유지하는가»를 묻는다. 표 하나의 엔터티 · 키 설계는 데이터 모델링, 저장 · 회복 · 튜닝은 데이터베이스, 값을 읽어 판단하는 일은 데이터 분석이 다룬다. 데이터 메시는 같은 네 가지 일을 중앙 팀 하나가 아니라 도메인 팀이 나눠 맡고 공통 규칙만 플랫폼이 자동으로 거는 조직 방식이다(Dehghani 2020). AI 학습용 데이터의 품질 점검은 AI 쪽 「데이터 품질」이 따로 다룬다.
5동작 — 회원 시스템 둘을 한 DB 로 합치는 전환 한 건
쇼핑몰이 옛 주문 시스템과 멤버십 시스템의 고객 표를 새 통합 DB 하나로 옮긴다. 행 수 · 비율 · 시각은 설명용 가정 값이다.
- 거버넌스 위원회가 고객 데이터 소유자를 영업 본부 한 곳으로 정하고, 전환 판정 기준을 «원천 = 적재 + 거부 · 거부 0건 · 포인트 잔액 합계 차이 0»으로 승인한다.
- 데이터 아키텍트가 범위를 정한다 — 주문 시스템 고객 418,300행 + 멤버십 96,700행 = 515,000행을 새 DB 의
customer표 하나로 모으고, 옛 두 시스템은 전환 뒤 읽기 전용으로 둔다. - 프로파일링으로 원천을 잰다 —
pg_stats의null_frac에서 주문 시스템 휴대폰 열의 빈 값 비율이 0.031 로 나오고, 생년월일 열에서는 형식이 세 가지(YYYYMMDD · YYYY-MM-DD · YY.MM.DD)로 갈린다(PostgreSQL 18 53.29). - 데이터 사전에 「고객 휴대폰 번호」 · 「고객 생년월일」 정의와 표준 형식을 올리고, 두 원천 열을 그 정의에 잇는 매핑 정의서를 쓴다.
- MDM 이 두 원천의 같은 고객을 맞춘다 — 휴대폰 번호 · 이름 · 생년월일이 모두 같은 21,600쌍을 기준 레코드로 합쳐 493,400행이 되고, 교차 참조표에 원천 키 515,000개를 남긴다.
- 1차 시험 이관 — 적재 493,212행 · 거부 188행(생년월일 규칙 위반, 예: 19870230)으로 원천 = 적재 + 거부는 맞지만 판정 기준 «거부 0건»을 넘지 못한다. 품질 관리자가 원천 입력 화면의 날짜 검사를 고치고 188행을 원천에서 바로잡는다.
- 본 이관 — 토요일 22:00 에 시작해 일요일 04:10 에 적재 493,400행 · 거부 0행 · 포인트 잔액 합계 차이 0원을 확인하고, 운영 전환을 승인한다.
그림 4 · 515,000행이 MDM 에서 493,400행으로 줄고, 1차 이관의 거부 188행을 원천에서 고친 뒤에야 본 이관이 차이 0으로 끝난다.
그림 5 · 평소에는 거버넌스 · 아키텍처 · 메타데이터 · 품질 · 전환마다 손이 가는 수명 주기 구간이 다르지만, 이동 · 전환 구간에서는 다섯이 모두 걸린다.
🔑 데이터 관리 체계가 없는 조직도 평소에는 굴러가지만, 전환 때는 정의 · 기준 레코드 · 품질 규칙 · 판정 기준이 한꺼번에 필요해져 비어 있던 곳이 일정 지연으로 드러난다.
6비교 — 데이터 관리 · 데이터베이스 · 데이터 모델링 · 데이터 분석의 경계
| 기준 | 데이터 관리 | 데이터베이스 | 데이터 모델링 | 데이터 분석 |
|---|---|---|---|---|
| 묻는 질문 | 같은 데이터가 시스템마다 같은 뜻 · 값 · 건수인가 | 한 DBMS 안에서 값을 빠르고 안전하게 읽고 쓰는가 | 한 업무의 대상을 어떤 테이블 · 키로 나누는가 | 모은 데이터로 무엇을 결정하는가 |
| 범위 | 조직 전체 · 여러 시스템 | DBMS 한 벌 | 한 업무 영역의 모델 | 분석용 저장소와 그 위 화면 |
| DAMA-DMBOK2 지식 영역 | 거버넌스 · 아키텍처 · 메타데이터 · 참조와 마스터 · 품질 · 통합 | 데이터 저장과 운영 | 데이터 모델링과 설계 | 데이터 웨어하우징과 BI |
| 맡는 역할 | 데이터 소유자 · 데이터 스튜어드 | DBA | 데이터 모델러 | 분석가 · BI 개발자 |
| 대표 하위 토픽 | MDM · 메타데이터 · 데이터품질모델 | 트랜잭션 · 회복기법 · 옵티마이저 | ERD · 엔터티 · CRUD | DW · OLAP · 스파크 |
| 대표 산출물 | 데이터 사전 · 품질 측정 결과 · 대사 결과 | 스키마가 걸린 DB · 백업 · 실행 계획 | 개념 · 논리 · 물리 모델 | 마트 · 큐브 · 대시보드 |
분석문제가 한 시스템 안에서 끝나면 데이터베이스 · 데이터 모델링을, 두 시스템 이상이 같은 데이터를 다르게 들고 있으면 데이터 관리를, 모은 뒤 집계만 다르면 데이터 분석을 먼저 본다. 근거는 표의 「범위」 · 「DAMA-DMBOK2 지식 영역」 행 — DMBOK2 는 저장 · 모델링 · 웨어하우징을 거버넌스 아래 따로 된 영역으로 두고, 메타데이터 · 마스터 · 품질을 시스템을 가로지르는 영역으로 둔다(DAMA-DMBOK2).
7실무 진단 — 믿을 수 없는 데이터의 원인 가르기
분석먼저 정의를 보고, 다음에 값, 마지막에 개수를 본다. 정의가 둘이면 값 · 개수 점검이 서로 다른 기준을 재게 되므로, 데이터 사전 대조가 앞서고 pg_stats · 행 수 대사가 뒤따른다(표 1 ~ 4행 순서).
| # | 증상 | 의심 원인 | 맡는 쪽 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 같은 「활성 고객 수」가 보고서마다 다름 | 정의 둘 · 계산식 차이 | 메타데이터 | 데이터 사전의 용어 정의 · 보고서 계산식 대조 | 같은 이름에 정의가 둘이면 사전 문제(ISO/IEC 11179 데이터 요소 등록) |
| 2 | 고객 수가 시스템마다 다름 | 같은 고객 중복 · 매칭 누락 | MDM | 교차 참조표에서 기준 키가 없는 원천 키 수 | 원천 키는 모두 기준 키 하나에 이어져야 함 |
| 3 | 한 열의 빈 값이 갑자기 늘어남 | 원천 입력 화면 · 연계 변경 | 데이터 품질 | ANALYZE customer; 뒤 SELECT attname, null_frac FROM pg_stats WHERE tablename = 'customer'; | 직전 측정보다 null_frac 이 크면 원천 변경부터(PostgreSQL 18 53.29) |
| 4 | 이관 뒤 행이 모자람 | 적재 한도 · 거부 기록 없음 | 데이터 전환 | 원천 · 대상 SELECT count(*) 와 거부 기록 건수 | 원천 = 적재 + 거부가 아니면 조용한 손실(PHE 2020) |
| 5 | 오류를 누가 고칠지 정해지지 않음 | 소유자 · 관리자 미지정 | 거버넌스 | 데이터 집합별 소유자 · 관리자 명단 | 데이터 집합마다 책임자가 있어야 함(ISO/IEC 38505-1) |
pg_stats 는 ANALYZE 가 채운 통계라 그 뒤 들어온 행은 반영되지 않는다 — 측정 전에 ANALYZE 를 먼저 돌리고 같은 시각 기준으로 비교한다. 제품마다 품질 · 카탈로그 도구 이름은 다르므로 여기서는 표준 SQL 과 PostgreSQL 시스템 뷰를 기준 자료로 쓴다.
8시험 대비
www.q-net.or.kr시험에서는 데이터 관리 · 거버넌스의 개념과 구성 요소를 쓰게 하는 정의 · 특징형, 데이터 관리 체계 수립이나 이관 절차를 설계하게 하는 구현 · 설계형으로 나올 수 있다. 정의 · 특징형이면 «흩어진 데이터의 문제 → DMBOK2 영역 → 아키텍처 · 메타데이터 · 품질 · 전환 → 거버넌스»로, 구현 · 설계형이면 그림 4 처럼 한 사례를 구조 → 정의 → 규칙 → 검증 순서로 따라가며 단계마다 산출물과 판정 기준을 붙인다.
- 개요 — 정의(DAMA-DMBOK2 · ISO/IEC 38505-1) · 필요성(정의 · 값 · 개수의 어긋남 · PHE 2020 15,841건)
- 구성 — 그림 3 지도(아키텍처 · 메타데이터 · MDM · 품질 · 전환) + 질문 · 산출물 표
- 넷 사이 관계 — 구조 → 정의 → 규칙 → 검증 순서와 거버넌스의 감독
- 적용 절차 — 그림 4 회원 시스템 통합 전환(515,000 → 493,400 · 거부 188 → 0)
- 수명 주기 관점 — 그림 5 구간별로 걸리는 일 · 전환 구간에서 다섯이 겹침
- 발전 방향 — 데이터 메시(연합 계산 거버넌스) · AI 학습 데이터 관리 · 자동 계보 수집
꼭 쓸 키워드
DAMA-DMBOK2데이터 거버넌스데이터 아키텍처메타데이터데이터 사전MDM데이터 프로파일링데이터 품질데이터 이관대사데이터 메시
다른 답안과 차이를 내는 한 가지는 네 이름을 나열하지 않고 «정의 · 값 · 개수» 세 어긋남에 각각을 대응시키고, 전환 판정 기준을 «원천 = 적재 + 거부» 등식으로 적는 것이다.
9오해와 사실
- 오해데이터를 빠짐없이 옮기면 전환은 끝난다.사실2018년 4월 영국 TSB 은행의 이관은 FCA 처분 통지가 «데이터 이관 자체는 성공»이라고 적었지만, 설정 · 용량 문제로 서비스가 마비돼 225,492건의 민원이 들어왔고 평상 운영 복귀는 같은 해 12월 10일이었다(FCA 2022 2.7 · 2.8 · 4.4절).
- 오해데이터 관리는 데이터베이스 관리자(DBA)의 일이다.사실DBA 는 저장 · 백업 · 성능을 맡고, 정의 승인 · 품질 책임은 데이터 소유자와 관리자가 진다 — ISO/IEC 38505-1 은 데이터 거버넌스를 이사회 · 경영진의 책임으로 둔다.
- 오해데이터 메시는 데이터 관리를 없애는 방식이다.사실데이터 메시는 같은 일을 도메인 팀이 나눠 맡게 할 뿐이고, 네 원칙 가운데 하나가 «연합 계산 거버넌스»다(Dehghani 2020).
10핵심 정리
| 구분 | 수명 주기 시점 | 책임 역할 | 재는 값 | 실패 신호 |
|---|---|---|---|---|
| 데이터 거버넌스 | 전 구간 | 데이터 소유자 · 위원회 | 책임자 지정 비율 · 승인 건수 | 오류마다 고칠 사람을 찾음 |
| 데이터 아키텍처 | 계획 · 전환 | 데이터 아키텍트 | 데이터 흐름 수 · 중복 저장 수 | 같은 데이터를 여러 시스템이 따로 만듦 |
| 데이터 프로파일링 | 생성 뒤 · 전환 전 | 데이터 분석 담당 | 빈 값 비율 · 고유 값 수 · 형식 종류 | 형식이 여러 가지로 갈림 |
| 메타데이터 · 데이터 사전 | 생성 ~ 폐기 | 데이터 관리자 | 정의 등록 열 비율 | 같은 이름에 정의가 둘 |
| MDM | 생성 · 이동 | 마스터 데이터 관리자 | 중복 쌍 수 · 기준 키 없는 원천 키 | 고객 수가 시스템마다 다름 |
| 데이터 품질 | 저장 · 사용 · 전환 | 품질 관리자 | 규칙 위반 건수 · 품질 지표 | 같은 규칙이 매번 실패 |
| 데이터 전환 | 이동 · 전환 | 전환 팀 | 원천 · 적재 · 거부 행 수 · 합계 차이 | 원천 ≠ 적재 + 거부 |
11참고 문헌
- 먼저 볼 문헌
- ★ DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition) — 거버넌스를 가운데 둔 지식 영역 11개와 데이터 수명 주기를 볼 때
- ★ Data Mesh Principles and Logical Architecture — 중앙 관리 대신 도메인 소유 · 연합 거버넌스로 나누는 네 원칙을 볼 때
- ★ PHE statement on delayed reporting of COVID-19 cases — 적재 과정의 파일 크기 한도로 행이 집계에서 빠진 사례를 볼 때
- ★ Final Notice: TSB Bank plc — 데이터 이관은 성공했는데 전환이 실패한 사례의 경과를 볼 때
- 본문 근거
- ISO/IEC 38505-1:2017 Information technology — Governance of IT — Governance of data — Part 1: Application of ISO/IEC 38500 to the governance of data — ISO · IEC · 2017-04 ·
www.iso.org/standard/56639.html· 확인 2026-11-09 - ISO/IEC 11179-1:2023 Information technology — Metadata registries (MDR) — Part 1: Framework — ISO · IEC · 2023-01 ·
www.iso.org/standard/78914.html· 확인 2026-11-09 - ISO 8000-110:2021 Data quality — Part 110: Master data: Exchange of characteristic data: Syntax, semantic encoding, and conformance to data specification — ISO · 2021-11 ·
www.iso.org/standard/78501.html· 확인 2026-11-09 - ISO/IEC 25012:2008 Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model — ISO · IEC · 2008-12 ·
www.iso.org/standard/35736.html· 확인 2026-11-09 - How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh — Z. Dehghani · martinfowler.com · 2019-05 ·
martinfowler.com/articles/data-monolith-to-mesh.html· 확인 2026-11-09 - A Relational Model of Data for Large Shared Data Banks (Communications of the ACM 13(6) 377-387) — E. F. Codd · ACM · 1970-06 ·
doi.org/10.1145/362384.362685· 확인 2026-11-09 - PostgreSQL 18 Documentation 53.29 pg_stats — The PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/18/view-pg-stats.html· 확인 2026-11-09