데이터 레이블링Data Labeling
학습 · 평가에 쓸 원자료(영상 · 문장 · 신호)에 정답 레이블을 붙이는 데이터 준비 작업이다. 레이블 체계 · 작업 방식 · 검수로 그 레이블의 품질까지 관리한다.
1요약
- 데이터 레이블링은 지도 학습이 배울 정답 y 를 만드는 데이터 준비 단계로, 클래스 정의 · 작업 지침으로 된 레이블 체계 위에서 전문가 · 크라우드 · 약한 지도 · 능동 학습 · 모델 보조 방식이 레이블을 만들고 일치도 · 골드 문항 · 검수가 그 품질을 잰다.
- 사람 손이 가장 많이 드는 단계라 방식 선택이 비용을 정한다 — 비전문가 레이블 평균 4개를 모으면 전문가 한 명의 일치도에 이르고 1달러로 3,500개를 모았으며(Snow 2008 4.1절), 레이블 함수로 만든 약한 지도는 손 레이블 7시간보다 2.8배 빨리 모델을 만들었다(Ratner 2017 초록).
- 「작업자끼리 자주 다르다」는 모든 쌍이 낮은가, 한 사람만 낮은가로 가른다 — 모든 작업자 쌍의 κ 가 낮으면 레이블 체계(클래스 경계)를 고치고, 골드 문항 정확도가 한 사람만 낮으면 그 작업자를 빼거나 가중치를 낮춘다.
2등장 배경
정답을 붙이는 일은 전문가 몫이었고, 전문가 둘이 같은 표본을 다르게 판정하면 누가 맞는지 가릴 기준이 없었다. Cohen 은 1960년 두 판정자의 일치율에서 우연히 맞을 비율을 뺀 계수 κ 를 내놓았고(Cohen 1960), Dawid · Skene 은 1979년 판정자마다 오류율을 EM 알고리즘으로 추정해 참 레이블을 함께 맞추는 방법을 냈다(Dawid · Skene 1979).
2008년 Snow 등은 웹 크라우드 작업자에게 언어 과제 다섯 개를 맡겨 값싼 중복 레이블이 전문가 레이블을 대신할 수 있음을 보였다(Snow 2008). 사람 수를 줄이는 쪽으로는 모델이 헷갈리는 표본만 사람에게 묻는 능동 학습(Settles 2010 3.1절)과, 규칙 · 기존 자료로 짠 레이블 함수의 출력을 합치는 약한 지도 Snorkel(Ratner 2017)이 나왔다.
지금은 모델이 먼저 레이블을 달고 사람이 고치는 모델 보조 방식이 흔하다. 남은 문제는 레이블 오류다 — 신뢰 학습(confident learning)은 ImageNet 에서 「projectile」로 잘못 붙은 「missile」 영상 약 645장을 찾아냈다(Northcutt 2021 CL 초록).
3쉽게 이해하기 — 사과 선별장의 스티커
과수원 선별장에서 원장은 「흠 · 정상」 기준표를 만들고, 선별원 셋이 같은 사과에 각자 스티커를 붙인다. 원장은 등급을 미리 아는 사과 몇 개를 몰래 섞어 두어, 그 사과에서 자꾸 틀리는 선별원 한 명이 대충 찍는다는 것을 알아챈다. 스티커를 모을 때는 그 사람 표를 가볍게 세고, 기계 저울이 스티커와 무게가 안 맞는 사과를 골라 원장에게 넘긴다. 원장이 다시 본 결과로 기준표도 고친다.
그림 1 · 기준표로 시작한 스티커는 셋이 붙이고, 몰래 섞은 사과로 선별원 실력을 재며, 기계가 골라 준 의심 사과만 원장이 다시 본다.
그림 2 · 표를 똑같이 세면 대충 찍는 사람이 결과를 뒤집고, 사람마다 실력을 재어 무게를 주면 애매한 사과는 애매하다고 드러난다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 원장의 기준표 | 레이블 체계 · 지침 | 클래스 이름 · 정의 · 경계 사례 예시를 판 번호와 함께 정한다 |
| 선별원 셋 | 작업자 · 중복 레이블 | 한 표본에 레이블 여러 개를 따로 받는다 |
| 몰래 섞은 사과 | 골드 문항 | 정답을 아는 표본을 섞어 작업자 정확도를 잰다 |
| 대충 찍는 한 명 | 잡음 작업자 | 골드 정확도가 우연 수준인 작업자 |
| 스티커 모아 합침 | 집계 | 다수결 · 작업자 신뢰도 가중으로 표본마다 레이블 하나를 낸다 |
| 기계 저울 | 모델 보조 검수 | 모델 확률과 레이블이 크게 어긋나는 표본을 고른다 |
| 원장이 다시 봄 | 전문가 검수 | 고른 표본만 다시 판정하고 지침을 고친다 |
| 선별 끝난 상자 | 레이블 데이터 세트 | 학습 · 평가로 넘기는 판 관리된 레이블 묶음 |
⚠ 비유가 맞지 않는 곳: 사과의 흠은 잘라 보면 답이 나오지만, 문장 감정 · 영상 속 애매한 결함처럼 전문가끼리도 갈리는 과제는 «참 레이블»이 하나로 정해지지 않을 수 있다. 또 기계 저울은 따로 만든 장치지만, 모델 보조 검수의 모델은 바로 그 레이블로 학습한 모델이라 레이블과 같은 쪽으로 틀릴 수 있다.
4구조 — 레이블 체계 · 생산 방식 · 집계 · 품질 관리
그림 3 · 레이블은 체계에서 시작해 네 가지 생산 방식 중 하나로 만들어지고, 집계 · 품질 관리를 지나야 데이터 세트가 되며, 불일치는 다시 체계를 고친다.
| 요소 | 역할 | 사례 값(그림 4) | 근거 |
|---|---|---|---|
| 레이블 체계 | 클래스 정의 · 지침 · 경계 사례 | 불량 · 정상 두 클래스 · 지침 v1 → v2 | 사례 1 · 2단계 |
| 일치도 κ | 우연 일치를 뺀 작업자 간 일치 | 파일럿 κ 0.43 → 0.79 | Cohen 1960 |
| 중복 레이블 | 표본 하나를 작업자 여럿이 따로 | 1,000장 × 3명 = 3,000 레이블 | Snow 2008 4.1절 |
| 골드 문항 | 정답을 아는 표본으로 작업자 정확도 측정 | 50장 · 작업자 정확도 0.52 ~ 0.96 | Snow 2008 |
| 집계 | 레이블 여럿 → 하나 | 다수결 오류 34 · Dawid-Skene 오류 16 | Dawid · Skene 1979 |
| 노이즈 레이블 탐지 | 모델 확률과 어긋나는 레이블 찾기 | 의심 9장 중 실제 오류 5 | Northcutt 2021 CL |
| 능동 학습 | 레이블할 표본 고르기(불확실성 표본 추출) | 이 사례에는 쓰지 않음 | Settles 2010 3.1절 |
| 약한 지도 | 레이블 함수 출력을 모델로 합침 | 이 사례에는 쓰지 않음 | Ratner 2017 |
생산 방식 넷은 «누가 레이블을 붙이는가»가 다르고, 능동 학습은 «무엇을 붙이는가»를 정한다. 그래서 능동 학습은 전문가 · 크라우드 어느 쪽과도 함께 쓴다(Settles 2010 2.3절 풀 기반 시나리오).
🔑 레이블 품질은 작업자 수가 아니라 레이블 체계가 정한다 — 지침이 경계를 정하지 못하면 작업자를 늘려도 같은 곳에서 갈린다.
5동작 — 부품 영상 1,000장의 불량 레이블링
Python 3.14.0 · NumPy 2.4.3 으로 합성 데이터를 만들어 실행한 사례다(default_rng(0) · 직접 실행(합성 데이터)). 부품 영상 1,000장 가운데 참 불량은 131장(13.1%)이고, 작업자 다섯의 실력은 설명용 가정 값이다.
- 지침 v1(클래스 「불량 · 정상」 정의 한 쪽)로 파일럿 100장을 작업자 둘이 따로 레이블한다 — 일치율 0.85 인데 우연 일치 기대값이 0.738 이라 κ 는 0.43 이다(불일치 15장 · Cohen 1960).
- 불일치 15장을 모아 얕은 긁힘 · 먼지 같은 경계 사례 예시를 넣은 지침 v2 로 다시 하면 일치율 0.94 · κ 0.79(불일치 6장)가 된다.
- 본 레이블 — 1,000장마다 작업자 다섯 중 셋을 무작위로 배정해 3,000 레이블을 받고, 정답을 아는 골드 50장을 섞는다. 골드 정확도는 0.96 · 0.92 · 0.95 · 0.88 · 0.52 로 다섯째가 우연 수준이다.
- 다수결로 합치면 오류 34장(놓친 불량 11 · 헛 불량 23)이다. Dawid-Skene EM 50회로 작업자마다 민감도 · 특이도를 추정해 가중하면 오류 16장(놓친 불량 12 · 헛 불량 4)으로 준다(Dawid · Skene 1979).
- 모델 보조 검수 — 집계 레이블로 5겹 교차 로지스틱 회귀를 돌려, 레이블과 반대 클래스 확률이 0.9 를 넘는 9장만 전문가가 다시 본다. 9장 중 5장이 실제 레이블 오류였고 4장은 레이블이 맞았다(Northcutt 2021 CL).
- 결과 — 남은 오류 11장 · 레이블 정확도 0.989 이다. 사람 손은 작업 레이블 3,000 + 골드 50 + 검수 9장이 들었다.
그림 4 · 지침을 먼저 고쳐 κ 를 올리고, 골드 문항으로 작업자 실력을 재어 집계하며, 모델이 고른 9장만 전문가가 다시 본다.
그림 5 · 두 작업자의 일치율이 0.82 로 같아도 불량률이 낮아질수록 우연 일치가 커져 κ 는 0.64 에서 0.12 까지 떨어진다.
🔑 일치율은 작업자끼리 얼마나 같은가를, κ 는 우연을 넘어 얼마나 같은가를 잰다 — 불량이 드문 과제에서는 「모두 정상」만 찍어도 일치율이 높아지므로 κ 로 본다.
6비교 — 레이블 생산 방식 다섯
| 기준 | 전문가 직접 | 크라우드 | 약한 지도 | 능동 학습 | 모델 보조 |
|---|---|---|---|---|---|
| 사람 손이 드는 곳 | 표본 전부 | 표본 × 중복 수 | 레이블 함수 작성 · 소수 검증 | 모델이 고른 표본만 | 사전 레이블 수정 |
| 품질 장치 | 전문가 사이 κ | 골드 문항 · 집계(Snow 2008) | 함수 간 일치 · 충돌로 정확도 추정(Ratner 2017) | 검증 세트 성능 곡선 | 수정률 · 검수 표본 |
| 규모를 늘리는 비용 | 사람 수에 비례 | 싸고 빠름(1달러 3,500 레이블) | 함수 추가 · 원자료만 | 학습 · 선택을 반복하는 시간 | 모델 학습 뒤 낮아짐 |
| 대표 실패 | 비용 · 일정 | 잡음 작업자 · 지침 오해 | 함수가 같은 쪽으로 틀림 | 고른 표본 분포가 치우침 | 모델의 틀린 레이블을 그대로 승인 |
| 맞는 과제 | 의료 · 결함처럼 전문 판정 | 상식 판정 · 대량 | 규칙 · 기존 자료가 있는 과제 | 레이블 비용이 큰 과제 | 비슷한 자료가 이미 있는 과제 |
분석전문 판정이 필요하면 전문가 직접에 능동 학습을 더해 볼 표본을 줄이고, 상식 판정이면 크라우드 중복 레이블 + 골드 문항을, 규칙 · 기존 자료가 있으면 약한 지도로 먼저 대량 레이블을 만든 뒤 일부를 사람이 고친다. 근거는 표의 「사람 손이 드는 곳」 · 「대표 실패」 행이며, 모델 보조는 어느 방식 뒤에도 붙지만 사람 수정 없이 승인하면 모델 오류가 레이블로 굳는다.
7실무 진단 — 레이블 품질 문제 가르기
분석작업자 간 κ → 골드 정확도 → 집계 방식 → 노이즈 레이블 순으로 본다. 지침이 경계를 못 정하면 그 뒤 단계를 아무리 고쳐도 같은 표본에서 갈리고(사례 1 · 2단계), 작업자 문제는 지침이 고쳐진 뒤에야 골드 문항으로 따로 보인다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 작업자 모든 쌍에서 자주 갈림 | 클래스 경계 · 지침 모호 | 레이블 체계 | 쌍별 κ · 불일치 표본 모음 | 모든 쌍 κ 가 0.6 미만이면 지침 수정 · 0.61 ~ 0.80 = 상당한 일치(Landis · Koch 1977) |
| 2 | 일치율은 높은데 κ 가 낮음 | 클래스 불균형 · 「모두 정상」 찍기 | 레이블 체계 · 평가 | 클래스 비율 · 우연 일치 p_ | p_ |
| 3 | 한 작업자 레이블이 다수와 자주 다름 | 잡음 작업자 · 지침 오해 | 작업자 | 골드 문항 정확도 | 골드 정확도가 우연 수준(이진 0.5 근처)이면 제외 · 가중 낮춤(Snow 2008 · 사례 3단계) |
| 4 | 검증 성능이 오르다 멈추고 손실 큰 표본에 오류가 보임 | 노이즈 레이블 | 집계 · 검수 | 교차 검증 확률과 레이블이 반대인 표본 목록 | 다시 판정해 오류가 나오면 레이블 문제 · 사례 의심 9장 중 5장(Northcutt 2021 CL) |
운영 중에 지침에 없는 새 결함이 나오는 경우는 레이블 체계에 클래스를 더하는 일이고, 입력 분포가 바뀐 것인지는 드리프트의 진단으로 넘긴다. 일부러 레이블을 뒤집어 넣은 오염은 데이터 오염이 맡는다.
8시험 대비
www.q-net.or.kr시험에서는 데이터 레이블링의 정의 · 방식 · 품질 관리를 쓰는 정의 · 특징형, 그리고 약한 지도 · 능동 학습 · 모델 보조처럼 사람 손을 줄이는 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 일치도를 κ 식과 그래프로 보이고 집계 방식을 숫자로 견주면 답안이 방식 나열을 넘는다.
- 개요 — 정의(학습 · 평가용 정답 레이블 생산) · 지도 학습과의 관계 · 레이블 비용(비전문가 4개 = 전문가 1명 · Snow 2008)
- 구성 요소 — 그림 3 레이블 체계 · 생산 방식 넷 · 능동 학습 · 집계 · 품질 관리 · 되먹임
- 생산 방식 비교 — 전문가 · 크라우드 · 약한 지도 · 능동 학습 · 모델 보조 표(사람 손 · 품질 장치 · 실패)
- 품질 관리 — κ 식 + 그림 5(일치율 0.82 · κ 0.64 → 0.12) · 골드 문항 · Dawid-Skene 집계
- 수행 절차 — 그림 4 사례(지침 v1 → v2 · κ 0.43 → 0.79 · 오류 34 → 16 → 11)
- 동향 · 과제 — 약한 지도(2.8배 · Ratner 2017) · 신뢰 학습 노이즈 탐지 · 모델 보조 검수의 승인 편향
꼭 쓸 키워드
레이블 체계작업 지침중복 레이블골드 문항코헨 카파Dawid-Skene약한 지도능동 학습노이즈 레이블전문가 검수
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «일치율은 같은데 κ 가 다른» 그래프다 — 「κ 는 우연 일치를 보정한다」 한 줄 대신 불량률 0.5 → 0.02 에서 κ 0.64 → 0.12 를 숫자로 보인다.
9오해와 사실
- 오해작업자 일치율이 80% 를 넘으면 레이블 품질은 충분하다.사실불량률 2% 과제에서 일치율 0.82 는 κ 0.12 에 그치고, 사례 파일럿도 일치율 0.85 에 κ 는 0.43 이었다(Cohen 1960 식).
- 오해작업자를 셋 붙이고 다수결이면 잡음은 사라진다.사실사례에서 우연 수준 작업자 한 명이 섞이자 다수결 오류가 34장이었고, 작업자별 오류율을 추정해 가중하자 16장으로 줄었다(Dawid · Skene 1979).
- 오해모델이 의심 표본을 골라 주면 그대로 고치면 된다.사실사례의 의심 9장 중 4장은 레이블이 맞았고, 의심 목록에 들지 않은 오류도 11장 남았다 — 고른 표본은 사람이 다시 판정해야 한다.
10핵심 정리
| 구분 | 맡는 일 | 사례 값 | 확인 지표 · 식 | 흔한 실패 |
|---|---|---|---|---|
| 레이블 체계 | 클래스 · 지침 · 경계 사례 | v1 → v2 | 쌍별 κ | 경계 사례 없는 지침 |
| 일치도 κ | 우연을 뺀 일치 | 0.43 → 0.79 | (p_ | 일치율만 봄 |
| 크라우드 중복 레이블 | 표본당 여러 레이블 | 1,000 × 3 | 골드 정확도 | 잡음 작업자 |
| 골드 문항 | 작업자 실력 측정 | 50장 · 0.52 ~ 0.96 | 작업자별 정확도 | 골드가 너무 쉬움 |
| 집계 | 레이블 여럿 → 하나 | 오류 34 → 16 | 작업자 민감도 · 특이도 | 머릿수 다수결 |
| 약한 지도 · 능동 학습 | 사람 손 줄이기 | 2.8배 빠름(Ratner 2017) | 검증 성능 곡선 | 치우친 표본 · 함수 |
| 모델 보조 검수 | 노이즈 레이블 후보 | 9장 중 오류 5 | 교차 검증 확률 | 검수 없이 승인 |
11참고 문헌
- 먼저 볼 문헌
- ★ Cheap and Fast — But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks (EMNLP 2008 254-263) — 크라우드 레이블 여러 개를 모아 전문가 한 명의 일치도에 이르는 정도와 비용을 볼 때
- ★ Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm (Journal of the Royal Statistical Society Series C 28(1) 20-28) — 작업자마다 오류율을 추정해 참 레이블과 함께 맞추는 집계 방법의 원전을 볼 때
- ★ A Coefficient of Agreement for Nominal Scales (Educational and Psychological Measurement 20(1) 37-46) — 우연 일치를 뺀 일치도 κ 의 정의를 볼 때
- ★ Snorkel: Rapid Training Data Creation with Weak Supervision (Proceedings of the VLDB Endowment 11(3) 269-282 · arXiv 1711.10160) — 레이블 함수로 약한 지도 레이블을 만들고 합치는 방식을 볼 때
- ★ Confident Learning: Estimating Uncertainty in Dataset Labels (Journal of Artificial Intelligence Research 70 · arXiv 1911.00068) — 모델 확률로 노이즈 레이블 후보를 찾는 방법을 볼 때
- 본문 근거
- Active Learning Literature Survey (Computer Sciences Technical Report 1648 · University of Wisconsin-Madison · updated 2010-01-26) — University of Wisconsin-Madison · 2010-01 ·
burrsettles.com/pub/settles.activelearning.pdf· 확인 2026-11-12 - The Measurement of Observer Agreement for Categorical Data (Biometrics 33(1) 159-174) — International Biometric Society · JSTOR · 1977-03 ·
doi.org/10.2307/2529310· 확인 2026-11-12 - NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12