준지도 학습Semi-supervised Learning
레이블이 붙은 소수의 표본과 레이블이 없는 다수의 표본을 함께 써서, 레이블만 쓸 때보다 나은 분류기 · 예측기를 만드는 머신러닝 방식이다.
1요약
- 준지도 학습은 지도 학습과 비지도 학습 사이에서 소수의 레이블 데이터 L 과 다수의 비레이블 데이터 U 를 함께 학습하는 방식으로(Zhu 2008 1절), 그 위에서 자기 훈련 · 그래프 기반 레이블 전파 · 일관성 정규화(FixMatch) 같은 방법이 돈다.
- 레이블은 사람이 붙여야 해서 비싸고 비레이블 데이터는 쌓여 있다 — 사례에서 손글씨 숫자 7,494장 가운데 100장(1.3%)에만 레이블을 두면 1-NN 시험 정확도가 0.875 이지만, 나머지 7,394장으로 레이블을 퍼뜨리면 0.932 가 된다.
- 「준지도가 효과가 없다」는 같은 레이블만 쓴 지도 기준선과 나란히 놓고 가른다 — 기준선보다 낮으면 방법보다 먼저 가정(군집 · 클래스 일치)이 깨진 것이다.
2등장 배경
분류기를 만들 때 측정값은 기계가 쌓지만 정답은 사람이 하나씩 붙인다. Scudder 는 1965년 분류기가 자기 판정을 정답 삼아 다시 배우는 적응형 패턴 인식 기계의 오류 확률을 분석했고(Scudder 1965), Yarowsky 는 1995년 씨앗 연어 몇 개에서 시작해 반복 부트스트래핑으로 레이블 없는 영어 말뭉치의 단어 뜻을 가려 정확도 96% 이상을 냈다(Yarowsky 1995).
1998년 Blum · Mitchell 은 웹 문서의 본문과 링크 글처럼 특징을 두 관점으로 나눠 두 분류기가 서로 가르치는 공동 훈련을 내놓았고(Blum 1998), 2004년 Zhou 등은 「가까운 점 · 같은 군집의 점은 같은 레이블」이라는 일관성 가정을 그래프 위 반복식으로 옮긴 레이블 확산을 발표했다(Zhou 2004 1 · 2절). 딥러닝 쪽에서는 2020년 FixMatch 가 CIFAR-10 레이블 250개로 정확도 94.93%, 40개로 88.61% 를 보였다(Sohn 2020).
지금은 의료 영상 · 제조 검사 · 음성처럼 판정에 전문가가 필요한 곳에서 쓰인다. 다만 Oliver 2018 은 단순 지도 기준선이 덜 보고되고, 비레이블 데이터에 다른 클래스가 섞이면 성능이 크게 떨어진다는 평가 함정을 짚었다 — 레이블 없이 표현을 먼저 배우는 자기 지도 학습, 레이블할 표본을 고르는 능동 학습과는 구분해 쓴다.
3쉽게 이해하기 — 할머니 사진첩에 이름 적기
지우의 할머니는 가족 사진 7,500장 가운데 100장에만 뒷면에 이름을 적어 주셨다. 지우는 이름 없는 사진마다 가장 닮은 사진 열 장과 실로 잇고, 할머니가 적은 이름을 실을 따라 이웃 사진으로 옮겨 적는다. 이름은 실을 몇 번 건너며 사진첩 전체로 퍼지지만, 쌍둥이처럼 닮은 두 사촌의 사진 무리가 붙은 곳에서는 이름이 섞인다. 마지막으로 다른 집안 잔치에서 찍은 새 사진 3,500장을 가장 닮은 사진의 이름으로 맞혀 실력을 잰다.
그림 1 · 이름 적힌 사진 100장에서 시작한 이름이 닮은 사진끼리 이은 실을 따라 퍼지고, 무리가 붙은 곳에서만 섞인다.
그림 2 · 이름은 한 번에 실 한 칸씩 건너가므로, 반복 다섯 번 만에 사진첩의 99% 에 닿는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 할머니가 적은 이름 100장 | 레이블 데이터 L | 클래스마다 10개 · 사람이 붙인 정답 |
| 이름 없는 사진 7,394장 | 비레이블 데이터 U | 입력 x 만 있고 y 가 없는 표본 |
| 닮은 열 장과 잇는 실 | k-NN 유사도 그래프 | 거리가 가까운 표본끼리 가중치 간선 |
| 실을 따라 이름 옮기기 | 레이블 전파 반복 | 이웃의 레이블 점수를 받아 더한다 |
| 할머니 이름은 다시 덧씀 | (1 − α)Y 항 | 처음 레이블이 반복 중에 지워지지 않게 한다 |
| 닮은 사촌 무리에서 섞임 | 군집 가정이 깨지는 곳 | 두 클래스가 붙어 있는 영역의 오류 |
| 다른 잔치의 새 사진 | 시험 세트 | 학습에 쓰지 않은 필자의 표본으로 잰다 |
⚠ 비유가 맞지 않는 곳: 지우는 사진을 보고 닮음을 판단하지만, 알고리즘의 「닮음」은 사람이 정한 특징 공간의 거리일 뿐이다. 특징이 클래스 차이를 담지 못하면 실 자체가 엉뚱하게 이어지고, 이름은 그 잘못된 실을 따라 정확하게 퍼진다.
4구조 — 두 데이터 · 가정 · 방법 계열 · 출력
그림 3 · 비레이블 데이터는 가정을 거쳐서만 학습에 들어가고, 가정이 데이터와 맞지 않으면 출력이 지도 기준선보다 나빠진다.
| 요소 | 역할 | 사례 값(그림 4) | 근거 |
|---|---|---|---|
| 레이블 데이터 L | 정답을 주는 소수 표본 | 클래스당 10 = 100 | UCI pendigits |
| 비레이블 데이터 U | 입력 분포 p(x) 의 모양을 주는 다수 표본 | 7,394(98.7%) | UCI pendigits |
| 가정 | U 로 경계를 옮겨도 되는 조건 | 이웃 10점 중 같은 클래스 98.4% | Zhou 2004 1절 |
| 유사도 그래프 | 표본 사이 닮음을 간선 가중치로 | 10-NN · 간선 50,602 · σ² 0.0637 | Zhu 2008 6.2절 |
| 전파 · 학습 규칙 | L 의 정보를 U 로 옮김 | α 0.99 · 50회 | Zhou 2004 2절 |
| 출력 | 귀납(새 입력) 또는 전이(U 만) | 시험 3,498 에 1-NN 으로 귀납 | Zhu 2008 1절 |
넷째 열의 방법 계열은 U 를 쓰는 길이 다르다. 자기 훈련은 모델 자신의 예측을, 그래프 기반은 이웃 관계를, 생성 모델은 p(x, y) 의 공통 파라미터를 통해 U 를 쓰며, 원래의 판별 학습은 p(x) 를 보지 않으므로 U 를 쓰려면 p(x) 에 걸린 항을 목적 함수에 넣어야 한다(Zhu 2008 1절).
🔑 비레이블 데이터는 정답을 주지 않고 경계를 둘 곳만 알려 준다 — 그래서 이득은 «데이터가 많은가»가 아니라 «클래스가 밀도 낮은 곳에서 갈라지는가»가 정한다.
5동작 — 펜 손글씨 숫자 100장으로 레이블 확산 한 번
Python 3.14.0 · NumPy 2.4.3 으로 1-NN 과 레이블 확산(Zhou 2004 2절 식)을 직접 구현해 실행한 사례다(default_rng(0)).
- UCI 펜 손글씨 숫자를 읽는다 — 학습 7,494장(필자 30명) · 시험 3,498장(다른 필자 14명) · 특징 16개(펜 궤적 8점의 x · y, 0 ~ 100 을 100 으로 나눔) · 숫자 10종(UCI pendigits).
- 학습 세트에서 숫자마다 10장, 모두 100장만 레이블을 남기고 7,394장의 레이블은 숨긴다(1.3% · NumPy Random Generator).
- 기준선 — 레이블 100장만으로 1-NN 을 만들면 시험 정확도 0.875 · 오류 436장이다.
- 학습 7,494점마다 가장 가까운 10점과 가우스 가중치 exp(−d²/σ²)(σ² = 이웃 거리 제곱의 중앙값 0.0637)로 잇고 대칭화해 간선 50,602 · 차수 10 ~ 31 의 그래프를 만든다.
- S = D^−1/2 W D^−1/2 로 정규화하고 F ← αSF + (1 − α)Y 를 α = 0.99 로 50회 반복한다(Zhou 2004 2 · 4절) — 레이블 정보가 닿은 U 는 1회 17.0% · 5회 99.2% 이고 24장은 끝까지 닿지 않으며, 가장 큰 점수의 클래스로 단 U 의 레이블 정확도는 0.935 다.
- 시험 표본마다 가장 가까운 학습 표본의 전파 레이블을 붙이면 정확도 0.932 · 오류 237장(−46%)이다. 학습 7,494장 전부에 레이블을 쓴 1-NN 상한은 0.977 이다.
U 에서 가장 많이 틀린 쌍은 실제 1 을 2 로 단 183장이다 — 아래 획을 길게 끄는 1 이 2 의 궤적과 이웃이 되어 두 무리 사이에 실이 놓였다.
그림 4 · 레이블 100장의 1-NN 기준선(0.875)과 같은 100장에 비레이블 7,394장을 더한 전파(0.932)를 같은 시험 세트에서 나란히 잰다.
그림 5 · 레이블이 적을수록 준지도의 이득이 크다 — 숫자마다 1장이면 +13.4%p, 10장이면 +5.7%p, 30장이면 +0.5%p 로 시드에 따라 손해도 난다.
🔑 준지도의 이득은 레이블이 늘수록 줄어든다 — 비레이블 데이터가 대신해 주는 것은 «경계 위치 정보»뿐이므로, 레이블이 그 정보를 이미 충분히 주면 남는 몫이 없다.
6비교 — 준지도 학습 안의 방법 계열
| 방법 | 비레이블을 쓰는 법 | 기대는 가정 | 대표 실패 | 맞는 경우 |
|---|---|---|---|---|
| 자기 훈련 · 의사 레이블 | 확신 높은 예측을 정답으로 더해 다시 학습 | 확신이 높으면 맞다 | 틀린 예측이 스스로 굳는 확증 편향(Arazo 2020) | 기존 분류기를 고치기 어려울 때(Zhu 2008 3절) |
| 공동 훈련 | 두 관점의 분류기가 서로 가르침 | 특징이 조건부 독립인 두 묶음으로 나뉨(Blum 1998) | 관점이 겹치면 같은 오류를 주고받음 | 본문 · 링크 글처럼 관점이 둘인 데이터 |
| 그래프 기반 · 레이블 확산 | 이웃 간선을 따라 레이블 점수 전파 | 가까운 표본은 같은 레이블(Zhou 2004 1절) | 무리가 붙은 쌍 · 끊긴 성분 · 표본 수의 제곱 메모리 | 거리 의미가 분명한 수만 개 표본 |
| 일관성 정규화(FixMatch) | 약한 · 강한 변형에 같은 예측을 강요 | 변형해도 클래스는 그대로 | 변형이 클래스를 바꾸는 도메인 | 영상 · 음성 딥러닝(Sohn 2020) |
| 생성 모델(EM) | p(x, y) 혼합 모델을 U 까지 맞춤 | 혼합 모델 모양이 맞음 | 모델이 틀리면 U 가 정확도를 깎음(Zhu 2008 2.2절) | 클래스마다 분포 모양을 아는 데이터 |
분석거리 의미가 분명한 표 · 신호 데이터가 수만 개 이하이면 그래프 기반을, 영상 · 음성처럼 클래스를 지키는 변형을 만들 수 있으면 일관성 정규화를, 모델을 바꾸기 어려우면 자기 훈련을 먼저 고른다. 근거는 표의 「기대는 가정」 열과 Zhu 2008 1절 방법 선택 점검 목록이다.
형제 학습 방식끼리의 비교(지도 · 비지도 · 강화)는 지도 학습의 비교 절이 맡는다.
7실무 진단 — 준지도 결과가 기대보다 나쁠 때
분석먼저 같은 레이블만 쓴 지도 기준선과 비교하고, 다음에 의사 레이블의 클래스 분포, 혼동 쌍, 그래프 연결 순으로 본다. 기준선과 비교하지 않으면 «준지도가 도왔는가» 자체를 알 수 없다(Oliver 2018).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 준지도 정확도가 지도 기준선보다 낮음 | 가정 불일치 · U 에 다른 클래스 섞임 | 방법 선택 | 같은 L 로 만든 지도 기준선 · U 의 출처 | 기준선 아래면 방법보다 가정 · 데이터부터(Zhu 2008 1절 · Oliver 2018) |
| 2 | 반복할수록 시험 정확도가 내려감 | 확증 편향 · 의사 레이블 쏠림 | 자기 훈련 | 반복별 의사 레이블 클래스 분포 | L 의 클래스 비율(각 10%)에서 벌어지면 쏠림 — 예 9 는 221 → 130장(Arazo 2020) |
| 3 | 특정 두 클래스 사이에 오류가 몰림 | 두 무리가 맞닿음 | 그래프 · 특징 | 혼동 행렬 비대각 상위 셀 | 한 셀에 몰리면(사례 1 → 2 183장) 그 쌍에 레이블 추가 · 특징 보강(Zhou 2004 1절) |
| 4 | 일부 표본이 레이블을 받지 못함 | 그래프 연결 끊김 | 그래프 구성 | 연결 성분 · 레이블 정보 도달 비율 | 끝까지 0 인 표본(사례 24장)은 k 를 늘리거나 지도 모델로 판정(Zhu 2008 6.2절) |
확신도로 의사 레이블을 거르면 양과 품질이 바뀐다 — 사례 전파 점수를 정규화한 확신도 0.9 이상만 쓰면 U 의 83.3% 가 남고 정확도는 0.935 → 0.975 로 오른다.
8시험 대비
시험에서는 준지도 학습의 정의 · 가정 · 방법 계열을 쓰는 정의 · 특징형, 그리고 자기 훈련에서 FixMatch 까지 레이블을 덜 쓰는 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 「레이블 수에 따른 이득」을 실제 값 그래프로 보이면 «레이블이 적을 때 쓴다»는 한 줄보다 설득력이 크다.
- 개요 — 정의(L + U 함께 학습 · Zhu 2008 1절) · 지도 · 비지도와의 위치 · 귀납 ↔ 전이 한 줄
- 가정 — 매끄러움 · 군집 · 저밀도 경계 · 다양체 + 그림 3 구조(가정을 거쳐서만 U 가 들어감)
- 방법 계열 — 자기 훈련 · 공동 훈련 · 이웃 전파 · 일관성 정규화 · 생성 모델 비교표(가정 · 실패)
- 동작 사례 — 그림 4 레이블 확산(100장 · F ← αSF + (1 − α)Y · 0.875 → 0.932)
- 이득과 한계 — 그림 5 레이블 수별 이득(+13.4 → +0.5%p) · 확증 편향 · 클래스 불일치
- 동향 — FixMatch(레이블 40개 88.61%) · 자기 지도 사전 학습 · 능동 학습과의 결합
꼭 쓸 키워드
레이블 데이터비레이블 데이터군집 가정저밀도 경계자기 훈련의사 레이블공동 훈련레이블 전파일관성 정규화확증 편향
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 지도 기준선과 나란히 그린 이득 곡선이다 — 레이블 30장에서 이득이 시드에 따라 음수까지 내려가는 것을 보이면 «언제 쓰지 않는가»까지 답이 된다.
9오해와 사실
- 오해비레이블 데이터를 더하면 성능은 적어도 떨어지지 않는다.사실가정이 데이터와 맞지 않으면 오히려 나빠지고(Zhu 2008 1절), 사례와 같은 레이블 100장으로 돌린 자기 훈련(소프트맥스 · 임계값 0.9)은 3회 반복에서 시험 정확도가 0.838 → 0.740 으로 내려갔다.
- 오해확신도 높은 의사 레이블만 쓰면 안전하다.사실위 자기 훈련의 1회 의사 레이블 정확도는 0.97 이었지만 숫자 9 는 221 → 130장으로 줄고 3 은 385 → 648장으로 늘어, 클래스 쏠림이 반복마다 커졌다(Arazo 2020).
- 오해이상 탐지에서 말하는 준지도와 같은 뜻이다.사실이상 탐지의 준지도는 «정상 클래스 레이블만 있는» 경우를 가리키고(Chandola 2009 2.3절), 준지도 학습은 모든 클래스에 일부 레이블이 있는 경우다(사례 숫자마다 10장).
10핵심 정리
| 구분 | 맡는 일 | 사례 값 | 확인 지표 · 식 | 흔한 실패 |
|---|---|---|---|---|
| 레이블 데이터 L | 정답 제공 | 숫자마다 10 = 100장 | 지도 기준선 0.875 | 클래스 빠짐 |
| 비레이블 데이터 U | p(x) 의 모양 제공 | 7,394장 | 출처 · 클래스 일치 | 다른 클래스 섞임 |
| 가정 | U 를 써도 되는 조건 | 이웃 같은 클래스 98.4% | 혼동 쌍 | 붙은 무리(1 → 2) |
| 레이블 확산 | 그래프로 L → U 전파 | α 0.99 · 50회 | F ← αSF + (1 − α)Y | 끊긴 성분 24장 |
| 자기 훈련 | 확신 예측을 레이블로 | 임계값 0.9 | 반복별 클래스 분포 | 확증 편향(0.838 → 0.740) |
| 평가 | 이득 확인 | 0.875 → 0.932 · 상한 0.977 | 같은 L 의 지도 기준선 | 기준선 없이 보고 |
| 레이블 수 | 이득 크기를 정함 | 1장 +13.4 · 30장 +0.5%p | 시드 범위 | 레이블 많을 때 손해 |
11참고 문헌
- 먼저 볼 문헌
- ★ Semi-Supervised Learning Literature Survey (Computer Sciences TR 1530 · University of Wisconsin-Madison · last modified 2008-07-19) — 방법 계열(자기 훈련 · 공동 훈련 · 저밀도 경계 · 그래프)과 「비레이블 데이터가 늘 돕는가」 FAQ(1절)를 볼 때
- ★ Learning with Local and Global Consistency (Advances in Neural Information Processing Systems 16 321-328) — 레이블 확산 반복식(2절)과 군집 가정 · α = 0.99(4절)를 볼 때
- ★ Pen-Based Recognition of Handwritten Digits (UCI Machine Learning Repository · DOI 10.24432/C5MG6K · CC BY 4.0) — 사례 데이터(학습 7,494 · 시험 3,498 · 특징 16)를 내려받아 따라 해 볼 때
- ★ FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence (NeurIPS 2020 · arXiv 2001.07685) — 의사 레이블과 일관성 정규화를 합친 딥러닝 방법과 레이블 40 · 250개 결과를 볼 때
- ★ Realistic Evaluation of Deep Semi-Supervised Learning Algorithms (NeurIPS 2018 · arXiv 1804.09170) — 지도 기준선 비교 · 클래스 불일치에서 성능이 떨어지는 평가 함정을 볼 때
- 본문 근거
- Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning (arXiv 1908.02983) — arXiv · 2020-06 ·
arxiv.org/abs/1908.02983· 확인 2026-11-12 - Unsupervised Word Sense Disambiguation Rivaling Supervised Methods (Proc. 33rd Annual Meeting of the ACL 189-196) — ACL · 1995-06 ·
aclanthology.org/P95-1026/· 확인 2026-11-12 - Combining Labeled and Unlabeled Data with Co-Training (Proc. 11th Annual Conference on Computational Learning Theory 92-100) — ACM · 1998-07 ·
doi.org/10.1145/279943.279962· 확인 2026-11-12 - Probability of Error of Some Adaptive Pattern-Recognition Machines (IEEE Transactions on Information Theory 11(3) 363-371) — IEEE · 1965-07 ·
doi.org/10.1109/TIT.1965.1053799· 확인 2026-11-12 - Anomaly Detection: A Survey (ACM Computing Surveys 41(3) Article 15) — ACM · 2009-07 ·
doi.org/10.1145/1541880.1541882· 확인 2026-11-12 - NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12