AI › AI 엔지니어링(AI 시스템 운영) › 데이터 준비

데이터 레이블링Data Labeling

학습 · 평가에 쓸 원자료(영상 · 문장 · 신호)에 정답 레이블을 붙이는 데이터 준비 작업이다. 레이블 체계 · 작업 방식 · 검수로 그 레이블의 품질까지 관리한다.

1요약

  1. 데이터 레이블링은 지도 학습이 배울 정답 y 를 만드는 데이터 준비 단계로, 클래스 정의 · 작업 지침으로 된 레이블 체계 위에서 전문가 · 크라우드 · 약한 지도 · 능동 학습 · 모델 보조 방식이 레이블을 만들고 일치도 · 골드 문항 · 검수가 그 품질을 잰다.
  2. 사람 손이 가장 많이 드는 단계라 방식 선택이 비용을 정한다 — 비전문가 레이블 평균 4개를 모으면 전문가 한 명의 일치도에 이르고 1달러로 3,500개를 모았으며(Snow 2008 4.1절), 레이블 함수로 만든 약한 지도는 손 레이블 7시간보다 2.8배 빨리 모델을 만들었다(Ratner 2017 초록).
  3. 「작업자끼리 자주 다르다」는 모든 쌍이 낮은가, 한 사람만 낮은가로 가른다 — 모든 작업자 쌍의 κ 가 낮으면 레이블 체계(클래스 경계)를 고치고, 골드 문항 정확도가 한 사람만 낮으면 그 작업자를 빼거나 가중치를 낮춘다.

2등장 배경

정답을 붙이는 일은 전문가 몫이었고, 전문가 둘이 같은 표본을 다르게 판정하면 누가 맞는지 가릴 기준이 없었다. Cohen 은 1960년 두 판정자의 일치율에서 우연히 맞을 비율을 뺀 계수 κ 를 내놓았고(Cohen 1960), Dawid · Skene 은 1979년 판정자마다 오류율을 EM 알고리즘으로 추정해 참 레이블을 함께 맞추는 방법을 냈다(Dawid · Skene 1979).

2008년 Snow 등은 웹 크라우드 작업자에게 언어 과제 다섯 개를 맡겨 값싼 중복 레이블이 전문가 레이블을 대신할 수 있음을 보였다(Snow 2008). 사람 수를 줄이는 쪽으로는 모델이 헷갈리는 표본만 사람에게 묻는 능동 학습(Settles 2010 3.1절)과, 규칙 · 기존 자료로 짠 레이블 함수의 출력을 합치는 약한 지도 Snorkel(Ratner 2017)이 나왔다.

지금은 모델이 먼저 레이블을 달고 사람이 고치는 모델 보조 방식이 흔하다. 남은 문제는 레이블 오류다 — 신뢰 학습(confident learning)은 ImageNet 에서 「projectile」로 잘못 붙은 「missile」 영상 약 645장을 찾아냈다(Northcutt 2021 CL 초록).

3쉽게 이해하기 — 사과 선별장의 스티커

과수원 선별장에서 원장은 「흠 · 정상」 기준표를 만들고, 선별원 셋이 같은 사과에 각자 스티커를 붙인다. 원장은 등급을 미리 아는 사과 몇 개를 몰래 섞어 두어, 그 사과에서 자꾸 틀리는 선별원 한 명이 대충 찍는다는 것을 알아챈다. 스티커를 모을 때는 그 사람 표를 가볍게 세고, 기계 저울이 스티커와 무게가 안 맞는 사과를 골라 원장에게 넘긴다. 원장이 다시 본 결과로 기준표도 고친다.

원장의 기준표 흠 · 정상 · 애매한 예 1 레이블 체계 · 지침 선별원 셋 같은 사과에 각자 스티커 2 작업자 · 중복 레이블 스티커 모아 합침 못 믿을 표는 가볍게 3 집계 몰래 섞은 사과 등급을 미리 앎 4 골드 문항 대충 찍는 한 명 섞은 사과에서 자꾸 틀림 5 잡음 작업자 셋 중 하나 기계 저울 무게와 안 맞는 사과 6 모델 보조 · 의심 표본 원장이 다시 봄 골라 준 것만 7 전문가 검수 선별 끝난 상자 스티커가 붙은 사과 레이블 데이터 세트 기준표 고침 틀린 이유를 예로 더함 → 1 로 돌아감 규칙 · 집계 · 모델 사람 작업자 검증 · 검수 레이블 실패 · 잡음

그림 1 · 기준표로 시작한 스티커는 셋이 붙이고, 몰래 섞은 사과로 선별원 실력을 재며, 기계가 골라 준 의심 사과만 원장이 다시 본다.

기준표흠 · 정상과 애매한 예
셋이 붙임같은 사과에 각자
몰래 섞기등급 아는 사과로 실력 재기
모아 합침못 믿을 표는 가볍게
저울 확인안 맞는 사과만 골라
원장 검수다시 보고 기준표 고침
비유 — 사과 하나에 스티커 셋 실제 — 작업자 신뢰도로 가중 단골 A — 「흠」 섞은 사과 성적 0.96 보통 D — 「정상」 섞은 사과 성적 0.88 대충 E — 「정상」 섞은 사과 성적 0.52 · 거의 동전 머릿수로 세면 정상 2 : 흠 1 E 의 찍은 표가 결과를 정함 작업자 레이블 민감도 · 특이도 A 불량 0.99 · 0.98 D 정상 0.79 · 0.90 E 정상 0.51 · 0.64 막대 = 표의 무게(로그 우도비 크기) 불량 확률 0.54 — 불량 쪽으로 조금 0.5 근처 = 검수로 넘길 표본 집계 규칙 · 표의 무게 잡음 작업자(굵은 테두리) 집계 결과 · 검수 판단

그림 2 · 표를 똑같이 세면 대충 찍는 사람이 결과를 뒤집고, 사람마다 실력을 재어 무게를 주면 애매한 사과는 애매하다고 드러난다.

비유 속 역할실제 이름실제로 하는 일
원장의 기준표레이블 체계 · 지침클래스 이름 · 정의 · 경계 사례 예시를 판 번호와 함께 정한다
선별원 셋작업자 · 중복 레이블한 표본에 레이블 여러 개를 따로 받는다
몰래 섞은 사과골드 문항정답을 아는 표본을 섞어 작업자 정확도를 잰다
대충 찍는 한 명잡음 작업자골드 정확도가 우연 수준인 작업자
스티커 모아 합침집계다수결 · 작업자 신뢰도 가중으로 표본마다 레이블 하나를 낸다
기계 저울모델 보조 검수모델 확률과 레이블이 크게 어긋나는 표본을 고른다
원장이 다시 봄전문가 검수고른 표본만 다시 판정하고 지침을 고친다
선별 끝난 상자레이블 데이터 세트학습 · 평가로 넘기는 판 관리된 레이블 묶음

⚠ 비유가 맞지 않는 곳: 사과의 흠은 잘라 보면 답이 나오지만, 문장 감정 · 영상 속 애매한 결함처럼 전문가끼리도 갈리는 과제는 «참 레이블»이 하나로 정해지지 않을 수 있다. 또 기계 저울은 따로 만든 장치지만, 모델 보조 검수의 모델은 바로 그 레이블로 학습한 모델이라 레이블과 같은 쪽으로 틀릴 수 있다.

4구조 — 레이블 체계 · 생산 방식 · 집계 · 품질 관리

레이블 체계 클래스 정의 · 작업 지침 · 경계 사례 예시 · 판 번호(v1 → v2) 원자료 풀 레이블 없는 영상 · 문장 · 신호 능동 학습 모델이 헷갈리는 표본을 먼저 레이블하게 고름 전문가 직접 크라우드 · 중복 레이블 약한 지도 · 레이블 함수 모델 보조 · 사전 레이블 생산 방식 — 하나 또는 섞어 씀 집계 다수결 · Dawid-Skene 품질 관리 일치도 κ · 파일럿 골드 문항 정확도 노이즈 레이블 탐지 전문가 검수 레이블 데이터 세트 불일치 → 지침 규칙 · 집계 원자료 사람이 붙임 함수 · 모델이 붙임 검증 레이블 되먹임

그림 3 · 레이블은 체계에서 시작해 네 가지 생산 방식 중 하나로 만들어지고, 집계 · 품질 관리를 지나야 데이터 세트가 되며, 불일치는 다시 체계를 고친다.

요소역할사례 값(그림 4)근거
레이블 체계클래스 정의 · 지침 · 경계 사례불량 · 정상 두 클래스 · 지침 v1 → v2사례 1 · 2단계
일치도 κ우연 일치를 뺀 작업자 간 일치파일럿 κ 0.43 → 0.79Cohen 1960
중복 레이블표본 하나를 작업자 여럿이 따로1,000장 × 3명 = 3,000 레이블Snow 2008 4.1절
골드 문항정답을 아는 표본으로 작업자 정확도 측정50장 · 작업자 정확도 0.52 ~ 0.96Snow 2008
집계레이블 여럿 → 하나다수결 오류 34 · Dawid-Skene 오류 16Dawid · Skene 1979
노이즈 레이블 탐지모델 확률과 어긋나는 레이블 찾기의심 9장 중 실제 오류 5Northcutt 2021 CL
능동 학습레이블할 표본 고르기(불확실성 표본 추출)이 사례에는 쓰지 않음Settles 2010 3.1절
약한 지도레이블 함수 출력을 모델로 합침이 사례에는 쓰지 않음Ratner 2017

생산 방식 넷은 «누가 레이블을 붙이는가»가 다르고, 능동 학습은 «무엇을 붙이는가»를 정한다. 그래서 능동 학습은 전문가 · 크라우드 어느 쪽과도 함께 쓴다(Settles 2010 2.3절 풀 기반 시나리오).

🔑 레이블 품질은 작업자 수가 아니라 레이블 체계가 정한다 — 지침이 경계를 정하지 못하면 작업자를 늘려도 같은 곳에서 갈린다.

5동작 — 부품 영상 1,000장의 불량 레이블링

Python 3.14.0 · NumPy 2.4.3 으로 합성 데이터를 만들어 실행한 사례다(default_rng(0) · 직접 실행(합성 데이터)). 부품 영상 1,000장 가운데 참 불량은 131장(13.1%)이고, 작업자 다섯의 실력은 설명용 가정 값이다.

  1. 지침 v1(클래스 「불량 · 정상」 정의 한 쪽)로 파일럿 100장을 작업자 둘이 따로 레이블한다 — 일치율 0.85 인데 우연 일치 기대값이 0.738 이라 κ 는 0.43 이다(불일치 15장 · Cohen 1960).
  2. 불일치 15장을 모아 얕은 긁힘 · 먼지 같은 경계 사례 예시를 넣은 지침 v2 로 다시 하면 일치율 0.94 · κ 0.79(불일치 6장)가 된다.
  3. 본 레이블 — 1,000장마다 작업자 다섯 중 셋을 무작위로 배정해 3,000 레이블을 받고, 정답을 아는 골드 50장을 섞는다. 골드 정확도는 0.96 · 0.92 · 0.95 · 0.88 · 0.52 로 다섯째가 우연 수준이다.
  4. 다수결로 합치면 오류 34장(놓친 불량 11 · 헛 불량 23)이다. Dawid-Skene EM 50회로 작업자마다 민감도 · 특이도를 추정해 가중하면 오류 16장(놓친 불량 12 · 헛 불량 4)으로 준다(Dawid · Skene 1979).
  5. 모델 보조 검수 — 집계 레이블로 5겹 교차 로지스틱 회귀를 돌려, 레이블과 반대 클래스 확률이 0.9 를 넘는 9장만 전문가가 다시 본다. 9장 중 5장이 실제 레이블 오류였고 4장은 레이블이 맞았다(Northcutt 2021 CL).
  6. 결과 — 남은 오류 11장 · 레이블 정확도 0.989 이다. 사람 손은 작업 레이블 3,000 + 골드 50 + 검수 9장이 들었다.
1 파일럿 · 지침 v1 100장 · 작업자 2명 일치율 0.85 · κ 0.43 불일치 15장 2 지침 v2 경계 사례 예시 추가 일치율 0.94 · κ 0.79 불일치 6장 3 본 레이블 1,000장 × 3명 = 3,000 골드 50장 섞음 골드 정확도 0.52 인 한 명 4 집계 다수결 오류 34 Dawid-Skene 오류 16 헛 불량 23 → 4 5 모델 보조 검수 반대 확률 0.9 초과 의심 9장 → 오류 5 4장은 레이블이 맞음 6 레이블 데이터 세트 남은 오류 11 · 0.989 사람 손 3,000 + 50 + 9 참 불량 131장(13.1%) 오류 수(1,000장 중) — 다수결 34 → 신뢰도 가중 16 → 검수 뒤 11 검수는 전체의 0.9%(9장)만 다시 봄 체계 · 집계 사람 작업 검수 레이블 결과(굵은 테두리 = 최종)

그림 4 · 지침을 먼저 고쳐 κ 를 올리고, 골드 문항으로 작업자 실력을 재어 집계하며, 모델이 고른 9장만 전문가가 다시 본다.

일치율은 그대로 · κ 는 불량률 따라 변함 1.0 0.75 0.5 0.25 0 0 0.1 0.2 0.3 0.4 0.5 불량률 — 전체 표본 중 찾을 클래스 비율 불량률 0.15 · 사례(0.131) 근처 κ 0.476 우연 일치 0.657 κ 0.640 κ 0.122 (불량률 0.02) 일치율 0.82 일치율 p_o 우연 일치 p_e κ = (p_o − p_e) / (1 − p_e)

그림 5 · 두 작업자의 일치율이 0.82 로 같아도 불량률이 낮아질수록 우연 일치가 커져 κ 는 0.64 에서 0.12 까지 떨어진다.

🔑 일치율은 작업자끼리 얼마나 같은가를, κ 는 우연을 넘어 얼마나 같은가를 잰다 — 불량이 드문 과제에서는 「모두 정상」만 찍어도 일치율이 높아지므로 κ 로 본다.

6비교 — 레이블 생산 방식 다섯

기준전문가 직접크라우드약한 지도능동 학습모델 보조
사람 손이 드는 곳표본 전부표본 × 중복 수레이블 함수 작성 · 소수 검증모델이 고른 표본만사전 레이블 수정
품질 장치전문가 사이 κ골드 문항 · 집계(Snow 2008)함수 간 일치 · 충돌로 정확도 추정(Ratner 2017)검증 세트 성능 곡선수정률 · 검수 표본
규모를 늘리는 비용사람 수에 비례싸고 빠름(1달러 3,500 레이블)함수 추가 · 원자료만학습 · 선택을 반복하는 시간모델 학습 뒤 낮아짐
대표 실패비용 · 일정잡음 작업자 · 지침 오해함수가 같은 쪽으로 틀림고른 표본 분포가 치우침모델의 틀린 레이블을 그대로 승인
맞는 과제의료 · 결함처럼 전문 판정상식 판정 · 대량규칙 · 기존 자료가 있는 과제레이블 비용이 큰 과제비슷한 자료가 이미 있는 과제

분석전문 판정이 필요하면 전문가 직접에 능동 학습을 더해 볼 표본을 줄이고, 상식 판정이면 크라우드 중복 레이블 + 골드 문항을, 규칙 · 기존 자료가 있으면 약한 지도로 먼저 대량 레이블을 만든 뒤 일부를 사람이 고친다. 근거는 표의 「사람 손이 드는 곳」 · 「대표 실패」 행이며, 모델 보조는 어느 방식 뒤에도 붙지만 사람 수정 없이 승인하면 모델 오류가 레이블로 굳는다.

7실무 진단 — 레이블 품질 문제 가르기

분석작업자 간 κ → 골드 정확도 → 집계 방식 → 노이즈 레이블 순으로 본다. 지침이 경계를 못 정하면 그 뒤 단계를 아무리 고쳐도 같은 표본에서 갈리고(사례 1 · 2단계), 작업자 문제는 지침이 고쳐진 뒤에야 골드 문항으로 따로 보인다.

#증상의심 원인단계확인 자료판정 기준(근거)
1작업자 모든 쌍에서 자주 갈림클래스 경계 · 지침 모호레이블 체계쌍별 κ · 불일치 표본 모음모든 쌍 κ 가 0.6 미만이면 지침 수정 · 0.61 ~ 0.80 = 상당한 일치(Landis · Koch 1977)
2일치율은 높은데 κ 가 낮음클래스 불균형 · 「모두 정상」 찍기레이블 체계 · 평가클래스 비율 · 우연 일치 p_ep_e 가 일치율에 가까우면 일치율 대신 κ · 소수 클래스 재현율로 봄(Cohen 1960 · 그림 5)
3한 작업자 레이블이 다수와 자주 다름잡음 작업자 · 지침 오해작업자골드 문항 정확도골드 정확도가 우연 수준(이진 0.5 근처)이면 제외 · 가중 낮춤(Snow 2008 · 사례 3단계)
4검증 성능이 오르다 멈추고 손실 큰 표본에 오류가 보임노이즈 레이블집계 · 검수교차 검증 확률과 레이블이 반대인 표본 목록다시 판정해 오류가 나오면 레이블 문제 · 사례 의심 9장 중 5장(Northcutt 2021 CL)

운영 중에 지침에 없는 새 결함이 나오는 경우는 레이블 체계에 클래스를 더하는 일이고, 입력 분포가 바뀐 것인지는 드리프트의 진단으로 넘긴다. 일부러 레이블을 뒤집어 넣은 오염은 데이터 오염이 맡는다.

8시험 대비

출제 정보 정보관리(134회, 126회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 데이터 레이블링의 정의 · 방식 · 품질 관리를 쓰는 정의 · 특징형, 그리고 약한 지도 · 능동 학습 · 모델 보조처럼 사람 손을 줄이는 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 일치도를 κ 식과 그래프로 보이고 집계 방식을 숫자로 견주면 답안이 방식 나열을 넘는다.

답안 목차
  1. 개요 — 정의(학습 · 평가용 정답 레이블 생산) · 지도 학습과의 관계 · 레이블 비용(비전문가 4개 = 전문가 1명 · Snow 2008)
  2. 구성 요소 — 그림 3 레이블 체계 · 생산 방식 넷 · 능동 학습 · 집계 · 품질 관리 · 되먹임
  3. 생산 방식 비교 — 전문가 · 크라우드 · 약한 지도 · 능동 학습 · 모델 보조 표(사람 손 · 품질 장치 · 실패)
  4. 품질 관리 — κ 식 + 그림 5(일치율 0.82 · κ 0.64 → 0.12) · 골드 문항 · Dawid-Skene 집계
  5. 수행 절차 — 그림 4 사례(지침 v1 → v2 · κ 0.43 → 0.79 · 오류 34 → 16 → 11)
  6. 동향 · 과제 — 약한 지도(2.8배 · Ratner 2017) · 신뢰 학습 노이즈 탐지 · 모델 보조 검수의 승인 편향

꼭 쓸 키워드
레이블 체계작업 지침중복 레이블골드 문항코헨 카파Dawid-Skene약한 지도능동 학습노이즈 레이블전문가 검수

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «일치율은 같은데 κ 가 다른» 그래프다 — 「κ 는 우연 일치를 보정한다」 한 줄 대신 불량률 0.5 → 0.02 에서 κ 0.64 → 0.12 를 숫자로 보인다.

9오해와 사실

  • 오해작업자 일치율이 80% 를 넘으면 레이블 품질은 충분하다.
    사실불량률 2% 과제에서 일치율 0.82 는 κ 0.12 에 그치고, 사례 파일럿도 일치율 0.85 에 κ 는 0.43 이었다(Cohen 1960 식).
  • 오해작업자를 셋 붙이고 다수결이면 잡음은 사라진다.
    사실사례에서 우연 수준 작업자 한 명이 섞이자 다수결 오류가 34장이었고, 작업자별 오류율을 추정해 가중하자 16장으로 줄었다(Dawid · Skene 1979).
  • 오해모델이 의심 표본을 골라 주면 그대로 고치면 된다.
    사실사례의 의심 9장 중 4장은 레이블이 맞았고, 의심 목록에 들지 않은 오류도 11장 남았다 — 고른 표본은 사람이 다시 판정해야 한다.

10핵심 정리

구분맡는 일사례 값확인 지표 · 식흔한 실패
레이블 체계클래스 · 지침 · 경계 사례v1 → v2쌍별 κ경계 사례 없는 지침
일치도 κ우연을 뺀 일치0.43 → 0.79(p_o − p_e) / (1 − p_e)일치율만 봄
크라우드 중복 레이블표본당 여러 레이블1,000 × 3골드 정확도잡음 작업자
골드 문항작업자 실력 측정50장 · 0.52 ~ 0.96작업자별 정확도골드가 너무 쉬움
집계레이블 여럿 → 하나오류 34 → 16작업자 민감도 · 특이도머릿수 다수결
약한 지도 · 능동 학습사람 손 줄이기2.8배 빠름(Ratner 2017)검증 성능 곡선치우친 표본 · 함수
모델 보조 검수노이즈 레이블 후보9장 중 오류 5교차 검증 확률검수 없이 승인

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Cheap and Fast — But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks (EMNLP 2008 254-263) — 크라우드 레이블 여러 개를 모아 전문가 한 명의 일치도에 이르는 정도와 비용을 볼 때
    R. Snow · B. O'Connor · D. Jurafsky · A. Y. Ng · ACL · 2008-10 · aclanthology.org/D08-1027/ · 확인 2026-11-12
  3. ★ Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm (Journal of the Royal Statistical Society Series C 28(1) 20-28) — 작업자마다 오류율을 추정해 참 레이블과 함께 맞추는 집계 방법의 원전을 볼 때
    Royal Statistical Society · Wiley · 1979 · doi.org/10.2307/2346806 · 확인 2026-11-12
  4. ★ A Coefficient of Agreement for Nominal Scales (Educational and Psychological Measurement 20(1) 37-46) — 우연 일치를 뺀 일치도 κ 의 정의를 볼 때
    SAGE · 1960-04 · doi.org/10.1177/001316446002000104 · 확인 2026-11-12
  5. ★ Snorkel: Rapid Training Data Creation with Weak Supervision (Proceedings of the VLDB Endowment 11(3) 269-282 · arXiv 1711.10160) — 레이블 함수로 약한 지도 레이블을 만들고 합치는 방식을 볼 때
    arXiv · VLDB Endowment · 2017-11 · arxiv.org/abs/1711.10160 · 확인 2026-11-12
  6. ★ Confident Learning: Estimating Uncertainty in Dataset Labels (Journal of Artificial Intelligence Research 70 · arXiv 1911.00068) — 모델 확률로 노이즈 레이블 후보를 찾는 방법을 볼 때
    arXiv · JAIR · 2021-04 · arxiv.org/abs/1911.00068 · 확인 2026-11-12
  7. 본문 근거
  8. Active Learning Literature Survey (Computer Sciences Technical Report 1648 · University of Wisconsin-Madison · updated 2010-01-26) — University of Wisconsin-Madison · 2010-01 · burrsettles.com/pub/settles.activelearning.pdf · 확인 2026-11-12
  9. The Measurement of Observer Agreement for Categorical Data (Biometrics 33(1) 159-174) — International Biometric Society · JSTOR · 1977-03 · doi.org/10.2307/2529310 · 확인 2026-11-12
  10. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12