데이터 품질Data Quality
데이터가 쓰려는 목적에 맞는 정도를 정확성 · 완전성 · 일관성 · 현재성 같은 특성으로 정의하고, 규칙으로 재서 원인을 고치는 관리 대상이다.
1요약
- 데이터 품질은 ISO/IEC 25012:2008 이 데이터 값 자체에 달린 고유 특성과 그 값을 담는 시스템에 달린 특성까지 15개로 나눈 기준이며, 그 기준 위에서 프로파일링 · 품질 규칙 · 측정 · 개선 순환(ISO 8000-61)이 돈다.
- 1999년 화성 기후 궤도선은 지상 소프트웨어가 만든 AMD 파일이 인터페이스 문서가 정한 미터 단위 대신 영국 단위로 추력 값을 담아 궤도 계산이 어긋나며 상실됐다 — 파일 하나의 형식 규칙 위반이 임무 전체를 잃게 했다(NASA MIB 1999 요약).
- 「데이터가 틀렸다」는 같은 규칙이 어디서 · 얼마나 반복해 실패하는가로 가른다 — 한 수집 경로에 몰리면 원천 입력, 이관한 행에 몰리면 변환, 형식은 맞는데 실제와 다르면 정확성 문제라 표본 대조가 답이다.
2등장 배경
1990년대 기업이 여러 운영 시스템의 데이터를 데이터 웨어하우스로 모으자, 같은 고객이 시스템마다 다른 주소로 두세 행씩 나오고 보고서마다 고객 수가 달랐다. Wang 과 Strong 은 데이터 사용자 설문으로 품질을 «사용자가 쓰기에 맞는 정도»로 정의하고 차원 15개를 내재 · 맥락 · 표현 · 접근 범주 넷으로 묶었다(Wang · Strong 1996). 정확성만 보던 시각을 넘어선 것이 논문 제목의 뜻이다.
Wang 은 1998년 데이터를 공장 제품처럼 보고 정의 · 측정 · 분석 · 개선을 되풀이하는 TDQM 순환을 냈다(Wang 1998). 이 흐름이 표준이 되어 ISO/IEC 25012:2008 은 품질 특성 15개를, ISO/IEC 25024:2015 는 그 측정 방법을, ISO 8000-61:2016 은 품질 관리 프로세스 참조 모델을 정했고, ISO 8000-1:2022 가 ISO 8000 계열 전체의 구성을 정리했다.
지금은 법과 정부 지침에도 들어 있다. 국내 공공데이터법 제22조는 공공기관의 장에게 공공데이터의 품질관리 조치를 의무로 두고 품질 진단 · 평가 시책의 근거를 두며, 영국 정부 지침은 완전성 · 유일성 · 일관성 · 적시성 · 유효성 · 정확성 여섯 차원을 실무 기준으로 쓴다(UK DQF 2020).
3쉽게 이해하기 — 식당 주방의 아침 검수
동네 식당 주방장은 아침마다 들어오는 식재료 상자를 검수대에서 확인한다. 주문서의 품목이 다 왔는지, 레이블 무게가 저울 값과 맞는지, 유통기한이 남았는지, 같은 송장이 두 번 오지 않았는지를 검수표 순서대로 본다. 걸린 상자는 반품하지만, 같은 납품처에서 같은 문제가 한 주 내내 되풀이되자 주방장은 반품만 할 것이 아니라 그 납품처의 포장 공정을 고쳐 달라고 요청했다. 다음 주부터 그 문제는 검수대에 거의 오지 않았다.
그림 1 · 상자를 검수표로 골라내는 일과, 반복되는 문제를 납품처 공정까지 거슬러 고치는 일이 한 바퀴를 이룬다.
그림 2 · 검수표의 항목 하나가 품질 특성 하나이고, 그 특성은 데이터에서 검사식 하나로 바뀐다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 납품 트럭 | 원천 시스템 · 수집 | 입력 화면 · 연계 인터페이스로 데이터가 처음 들어온다 |
| 검수표 | 품질 기준 · 품질 규칙 | 무엇을 볼지(특성)와 어떻게 볼지(검사식)를 정한다 |
| 저울 | 측정 · 프로파일링 | 규칙을 실행해 통과 비율 · 위반 행 수를 센다 |
| 반품 상자 | 규칙 위반 행 · 정제 | 걸린 행을 고치거나 격리한다 |
| 같은 납품처 반복 확인 | 근본 원인 분석 | 위반이 몰린 경로 · 시점 · 프로그램을 찾는다 |
| 포장 공정 고치기 | 원천 개선 | 입력 검증 · 제약 · 변환 규칙을 바꿔 다음 오류를 막는다 |
| 주방장 | 데이터 사용자 · 책임자 | 용도를 정하고 그 용도에 맞는 목표 값을 정한다 |
| 매일 아침 검수 | 상시 감시 | 같은 규칙을 주기적으로 다시 재서 추이를 본다 |
⚠ 비유가 맞지 않는 곳: 저울은 실물을 바로 재지만 데이터의 정확성은 비교할 실물 원본이 따로 없을 때가 많아 표본을 사람이 대조해야 하고, 데이터는 상자와 달리 복사되어 여러 시스템에 퍼지므로 한 곳만 고치면 사본끼리 값이 갈린다.
4구조 — 품질 특성 15개와 관리 체계
ISO/IEC 25012 는 특성마다 «값 자체로 정해지는가(고유)», «담는 시스템이 정하는가(시스템 종속)»를 나눈다. 같은 값이라도 권한 설정 · 백업 · 형식 변환 능력에 따라 시스템 종속 특성은 달라진다.
그림 3 · 고유 특성 5개는 값을 고쳐야 나아지고, 시스템 종속 특성 3개는 값이 아니라 저장 · 운영 환경을 고쳐야 나아진다.
품질 특성은 기준일 뿐이고, 재고 고치는 일은 아래 요소가 모인 관리 체계가 맡는다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 품질 기준 | 무엇을 잴지 고른다 | 완전성 · 유효성 · 유일성 · 일관성 · 현재성 · 정확성 | ISO/IEC 25012 · UK DQF 2020 |
| 품질 규칙 | 업무 규칙을 검사식으로 바꾼다 | zip ~ '^[0-9]{5}$' | PostgreSQL 18 9.7.3 |
| 측정 지표 · 목표 | 통과 비율과 목표를 정한다 | 규칙마다 목표 99.0% | ISO/IEC 25024 |
| 데이터 프로파일링 | 실제 값의 분포를 먼저 본다 | NULL 수 · 고유 값 수 · 패턴 빈도 | → 데이터프로파일링 |
| 메타데이터 · 표준 | 열 정의 · 형식 · 코드 값을 정한다 | 우편번호 = 숫자 5자리 | → 데이터표준화 |
| 관리 프로세스 | 계획 · 통제 · 보증 · 개선을 돌린다 | 월 1회 측정 · 미달 규칙 원인 분석 | ISO 8000-61 |
| 조직 · 책임 | 규칙 · 목표를 정하고 미달을 책임진다 | 회원 데이터 책임 부서 | → 데이터품질거버넌스 |
🔑 고유 특성은 값을 고쳐야, 시스템 종속 특성은 저장 · 운영 환경을 고쳐야 나아진다 — 백업이 없어 되살리지 못하는 행은 값이 틀린 것이 아니다.
5동작 — 회원 테이블 20,000행 진단
온라인 쇼핑몰 회원 테이블 member 20,000행을 진단하는 사례다. 행 수 · 위반 수 · 목표 99.0% 는 모두 설명용 가정 값이고, 검사식은 PostgreSQL 18 문법이다.
- 범위를 정한다 — 배송 · 안내 메일에 쓰는 핵심 열 다섯(이메일 · 우편번호 · 이름 + 휴대폰 · 가입일 · 주소 확인일)과 규칙마다 목표 99.0% 를 정한다.
- 프로파일링한다 — 우편번호 패턴 빈도가 숫자 5자리 19,740행 · 하이픈이 든 6자리 260행으로 나오고, 이메일 NULL 이 640행으로 나온다.
- 품질 규칙을 쓴다 — R1
email IS NOT NULL· R2zip ~ '^[0-9]{5}$'(9.7.3절) · R3 이름 + 휴대폰 중복 0 · R4joined_at <= last_login· R5checked_at >= now() - interval '2 years'. - 규칙을 실행해 통과 비율을 잰다 — R1 96.8%(640행) · R2 98.7%(260행) · R3 99.1%(180행) · R4 99.8%(40행) · R5 91.5%(1,700행).
- 정확성을 표본으로 잰다 — 무작위 200행을 회원 본인 확인 결과와 대조해 194행이 일치해 97.0% 다.
- 미달 규칙의 원인을 찾는다 — R1 위반 640행 중 610행이 매장 태블릿 가입 경로에서 나왔고(이 화면만 이메일이 선택 항목), R2 260행은 모두 옛 시스템에서 이관한 행이다.
- 원천을 고친다 — 태블릿 화면의 이메일을 필수로 바꾸고
ALTER TABLE member ADD CHECK (zip ~ '^[0-9]{5}$')로 새 오류를 막은 뒤(5.5.1절), 이관 행 260개는 주소로 우편번호를 다시 붙인다. - 다시 재고 감시로 넘긴다 — 다음 달 R1 위반이 80행(99.6%) · R2 위반이 0행으로 줄고, R5 는 주소 확인 안내 메일을 보내 다음 측정에서 본다.
그림 4 · 다섯 규칙과 표본 하나 가운데 목표선 99.0% 왼쪽에 남는 네 개만 원인 분석으로 넘어가며, 가장 크게 모자란 것은 현재성(R5)이다.
그림 5 · 하류에서 정제만 하면 위반이 매달 다시 들어오고, 원인을 원천 입력까지 거슬러 고쳐야 위반 수가 줄어든다.
🔑 정제는 이미 들어온 오류를 지우고 원천 개선은 다음 오류를 막는다 — 같은 규칙이 매달 비슷한 수로 실패하면 정제가 아니라 원천을 고칠 때다.
6비교 — 품질 기준 체계
| 기준 | Wang · Strong 1996 | ISO/IEC 25012:2008 | ISO 8000-8:2015 | UK DQF 2020 |
|---|---|---|---|---|
| 출발점 | 데이터 사용자 설문 | 소프트웨어 제품 품질(SQuaRE) | 정보 · 데이터 품질 개념 | 공공 부문 실무 지침 |
| 분류 축 | 내재 · 맥락 · 표현 · 접근 범주 4 | 고유 · 시스템 종속 두 관점 | 문법 · 의미 · 화용 품질 | 축 없이 차원 나열 |
| 특성 수 | 15 | 15 | 3 수준 | 6 |
| 측정 방법 | 설문 중요도 | ISO/IEC 25024 가 측정 항목을 정함 | 측정 개념을 같은 부에서 정함 | 규칙 기반 측정 · 생애 주기 단계별 점검 |
| 맞는 쓰임 | 사용자 관점 요구 정리 | 시스템 품질 요구 · 평가 계획 | 데이터 교환 · 마스터 데이터 | 진단 첫 점검표 |
분석진단을 처음 시작할 때는 UK DQF 2020 의 여섯 차원으로 규칙을 빨리 세우고, 품질 요구를 계약 · 평가 문서에 적을 때는 ISO/IEC 25012 특성 이름과 ISO/IEC 25024 측정 항목으로 옮긴다. 근거는 표의 「측정 방법」 행이며, 여섯 차원 가운데 유효성은 25012 정확성의 문법 측면에, 유일성은 일관성 · 정확성 판정에 들어간다.
7실무 진단 — 품질 문제가 생긴 단계 가르기
분석위반이 보이면 먼저 규칙 위반 행을 수집 경로 · 적재 일자로 묶어, 오류가 들어온 생애 주기 단계를 가른다. 원인 단계가 정해져야 정제(하류)로 끝낼지 원천을 고칠지 정할 수 있기 때문이다(UK DQF 2020 생애 주기 · ISO 8000-61 개선 프로세스).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 한 열의 빈 값이 어느 날부터 늘어남 | 입력 화면 · 연계 인터페이스 변경 | 수집 | SELECT channel, joined_at: | 한 경로 · 한 날짜에 몰림 = 원천 변경(UK DQF 2020 completeness) |
| 2 | 이관 뒤 형식 오류가 생김 | 옛 형식 · 코드 매핑 누락 | 준비 · 저장 | 패턴 빈도 프로파일 · WHERE zip !~ '^[0-9]{5}$' | 이관 행에만 있음 = 변환 규칙 누락(PostgreSQL 18 9.7.3) |
| 3 | 보고서마다 고객 수가 다름 | 같은 대상 중복 행 · 통합 기준 차이 | 준비 · 저장 | GROUP BY name, phone HAVING COUNT(*) > 1 | 1행 이상 = 유일성 위반(UK DQF 2020 uniqueness) |
| 4 | 형식은 맞는데 반송 · 민원이 늘어남 | 갱신 누락 · 잘못 입력 | 사용 · 유지 | 확인일 분포 · 무작위 표본 실제 대조 | 기준 기간 밖 비율 · 표본 일치율이 목표보다 낮음(ISO/IEC 25012 현재성 · 정확성) |
| 5 | 값은 맞는데 장애 뒤 되살리지 못함 | 백업 · 복구 절차 없음 | 저장 · 운영 | 복구 시험 기록 | 시스템 종속 특성 미달(ISO/IEC 25012 회복성) |
순서는 비용이 싼 것부터다. 형식 · 빈 값 규칙(1 · 2행)은 쿼리 한 줄로 전체 행을 재므로 먼저 돌리고, 중복(3행)은 통합 기준을 정한 뒤 보며, 사람이 대조해야 하는 정확성 표본(4행)은 앞 규칙을 통과한 행에서 뽑는다.
8시험 대비
www.q-net.or.kr시험에서는 품질 관리 체계나 진단 절차를 세우라는 구현 · 설계형, 품질 특성의 정의와 분류를 묻는 정의 · 특징형이 나올 수 있다. 특성 이름을 나열하는 답안이 많으므로, 특성을 고유 · 시스템 종속으로 가르고 사례 값으로 측정 · 원인 · 개선까지 한 바퀴 돌려 보이면 차이가 난다.
- 개요 — 정의(용도 적합성) · 필요성(단위 규칙 위반 사고 · 보고서 불일치) · ISO/IEC 25012 · ISO 8000 계열
- 품질 기준 — 그림 3 고유 · 시스템 종속 15특성 + 실무 여섯 차원 대응
- 관리 체계 — 기준 · 규칙 · 지표 · 프로파일링 · 표준 · 프로세스 · 조직 구성 표
- 진단 절차 — 범위 → 프로파일링 → 규칙 → 측정 → 원인 → 개선 8단계 + 그림 4 규칙별 통과 비율과 목표선
- 개선 — 그림 5 하류 정제와 원천 개선의 월별 위반 수 비교 · 계획 · 통제 · 보증 · 개선 순환
- 결론 — 상시 감시 · 책임 조직 · 공공데이터법 제22조 품질 진단 · 평가
꼭 쓸 키워드
ISO/IEC 25012고유 품질시스템 종속 품질완전성유효성유일성품질 규칙근본 원인 분석TDQMISO 8000-61
9오해와 사실
- 오해데이터 품질은 값이 맞는가, 곧 정확성의 문제다.사실ISO/IEC 25012 는 특성을 15개로 두고, 정확한 주소라도 확인한 지 오래면 현재성이, 권한이 없어 못 꺼내면 접근성이 미달이다(ISO/IEC 25012 · Wang · Strong 1996).
- 오해품질 점수는 100% 가 목표다.사실품질은 쓰려는 용도에 맞는 정도이므로 목표 값은 용도마다 사용자가 정하며, 모든 열을 100% 로 맞추는 비용이 용도에서 얻는 값보다 클 수 있다(UK DQF 2020 · Wang · Strong 1996).
- 오해정제 도구로 한 번 깨끗이 고치면 끝난다.사실원인이 원천에 남으면 같은 위반이 다음 적재에 다시 들어오므로, 측정 · 분석 · 개선을 되풀이하는 순환으로 관리한다(Wang 1998 · ISO 8000-61).
10핵심 정리
| 특성 | 묻는 것 | 측정 예 | ISO/IEC 25012 구분 | 주로 깨지는 단계 |
|---|---|---|---|---|
| 정확성 | 값이 실제와 같은가 | 무작위 표본 대조 일치율 | 고유 | 수집 |
| 완전성 | 필수 값이 있는가 | NULL · 빈 문자열 비율 | 고유 | 수집 |
| 일관성 | 서로 모순이 없는가 | joined_at <= last_login 통과율 | 고유 | 통합 · 이관 |
| 현재성 | 지금 쓰기에 새것인가 | 확인일이 기준 기간 안인 비율 | 고유 | 유지 |
| 유효성 | 형식 · 범위가 맞는가 | 패턴 ^[0-9]{5}$ 통과율 | 정확성의 문법 측면 | 수집 · 이관 |
| 유일성 | 한 대상이 한 행인가 | 후보 키 중복 행 수 | 별도 이름 없음(실무 차원) | 통합 |
| 가용성 · 회복성 | 필요할 때 꺼내지는가 | 복구 시험 성공 · 복구 시간 | 시스템 종속 | 저장 · 운영 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISO/IEC 25012:2008 Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model — 품질 특성 15개와 고유 · 시스템 종속 두 관점을 볼 때
- ★ ISO 8000-61:2016 Data quality — Part 61: Data quality management: Process reference model — 품질 관리 프로세스(계획 · 통제 · 보증 · 개선)의 목적과 결과를 볼 때
- ★ The Government Data Quality Framework — 품질 차원 여섯과 데이터 생애 주기 단계를 실무 기준으로 볼 때
- ★ Beyond Accuracy: What Data Quality Means to Data Consumers (Journal of Management Information Systems 12(4) 5-33) — 품질을 사용자 관점의 차원 15개 · 범주 4개로 처음 정리한 근거를 볼 때
- 본문 근거
- Mars Climate Orbiter Mishap Investigation Board Phase I Report — NASA · 1999-11 ·
llis.nasa.gov/llis_lib/pdf/1009464main1_0641-mr.pdf· 확인 2026-11-04 - A Product Perspective on Total Data Quality Management (Communications of the ACM 41(2) 58-65) — R. Y. Wang · ACM · 1998-02 ·
doi.org/10.1145/269012.269022· 확인 2026-11-04 - ISO 8000-1:2022 Data quality — Part 1: Overview — ISO · 2022-04 ·
www.iso.org/standard/81745.html· 확인 2026-11-04 - ISO 8000-8:2015 Data quality — Part 8: Information and data quality: Concepts and measuring — ISO · 2015-11 ·
www.iso.org/standard/60805.html· 확인 2026-11-04 - ISO/IEC 25024:2015 Systems and software engineering — SQuaRE — Measurement of data quality — ISO · IEC · 2015-10 ·
www.iso.org/standard/35749.html· 확인 2026-11-04 - 공공데이터의 제공 및 이용 활성화에 관한 법률 제22조(공공데이터의 품질관리) — 국가법령정보센터 · 2026-11 ·
www.law.go.kr/법령/공공데이터의제공및이용활성화에관한법률· 확인 2026-11-04 - PostgreSQL 18 Documentation 5.5 Constraints — The PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/18/ddl-constraints.html· 확인 2026-11-04 - PostgreSQL 18 Documentation 9.7 Pattern Matching — The PostgreSQL Global Development Group · 2026-11 ·
www.postgresql.org/docs/18/functions-matching.html· 확인 2026-11-04