AI › 인공지능 개요 › 머신러닝 › 학습 방식

준지도 학습Semi-supervised Learning

레이블이 붙은 소수의 표본과 레이블이 없는 다수의 표본을 함께 써서, 레이블만 쓸 때보다 나은 분류기 · 예측기를 만드는 머신러닝 방식이다.

1요약

  1. 준지도 학습은 지도 학습과 비지도 학습 사이에서 소수의 레이블 데이터 L 과 다수의 비레이블 데이터 U 를 함께 학습하는 방식으로(Zhu 2008 1절), 그 위에서 자기 훈련 · 그래프 기반 레이블 전파 · 일관성 정규화(FixMatch) 같은 방법이 돈다.
  2. 레이블은 사람이 붙여야 해서 비싸고 비레이블 데이터는 쌓여 있다 — 사례에서 손글씨 숫자 7,494장 가운데 100장(1.3%)에만 레이블을 두면 1-NN 시험 정확도가 0.875 이지만, 나머지 7,394장으로 레이블을 퍼뜨리면 0.932 가 된다.
  3. 「준지도가 효과가 없다」는 같은 레이블만 쓴 지도 기준선과 나란히 놓고 가른다 — 기준선보다 낮으면 방법보다 먼저 가정(군집 · 클래스 일치)이 깨진 것이다.

2등장 배경

분류기를 만들 때 측정값은 기계가 쌓지만 정답은 사람이 하나씩 붙인다. Scudder 는 1965년 분류기가 자기 판정을 정답 삼아 다시 배우는 적응형 패턴 인식 기계의 오류 확률을 분석했고(Scudder 1965), Yarowsky 는 1995년 씨앗 연어 몇 개에서 시작해 반복 부트스트래핑으로 레이블 없는 영어 말뭉치의 단어 뜻을 가려 정확도 96% 이상을 냈다(Yarowsky 1995).

1998년 Blum · Mitchell 은 웹 문서의 본문과 링크 글처럼 특징을 두 관점으로 나눠 두 분류기가 서로 가르치는 공동 훈련을 내놓았고(Blum 1998), 2004년 Zhou 등은 「가까운 점 · 같은 군집의 점은 같은 레이블」이라는 일관성 가정을 그래프 위 반복식으로 옮긴 레이블 확산을 발표했다(Zhou 2004 1 · 2절). 딥러닝 쪽에서는 2020년 FixMatch 가 CIFAR-10 레이블 250개로 정확도 94.93%, 40개로 88.61% 를 보였다(Sohn 2020).

지금은 의료 영상 · 제조 검사 · 음성처럼 판정에 전문가가 필요한 곳에서 쓰인다. 다만 Oliver 2018 은 단순 지도 기준선이 덜 보고되고, 비레이블 데이터에 다른 클래스가 섞이면 성능이 크게 떨어진다는 평가 함정을 짚었다 — 레이블 없이 표현을 먼저 배우는 자기 지도 학습, 레이블할 표본을 고르는 능동 학습과는 구분해 쓴다.

3쉽게 이해하기 — 할머니 사진첩에 이름 적기

지우의 할머니는 가족 사진 7,500장 가운데 100장에만 뒷면에 이름을 적어 주셨다. 지우는 이름 없는 사진마다 가장 닮은 사진 열 장과 실로 잇고, 할머니가 적은 이름을 실을 따라 이웃 사진으로 옮겨 적는다. 이름은 실을 몇 번 건너며 사진첩 전체로 퍼지지만, 쌍둥이처럼 닮은 두 사촌의 사진 무리가 붙은 곳에서는 이름이 섞인다. 마지막으로 다른 집안 잔치에서 찍은 새 사진 3,500장을 가장 닮은 사진의 이름으로 맞혀 실력을 잰다.

할머니 100장에 이름 1 클래스마다 10장 전체의 1.3% 레이블 데이터 L 이름 없는 사진 7,394장 얼굴은 보이지만 누구인지는 모름 비레이블 데이터 U 닮은 사진끼리 실로 가장 닮은 열 장 2 3 이름이 실을 따라 퍼짐 할머니 이름은 그대로 k-NN 그래프 · 레이블 전파 닮은 사촌 무리 붙은 곳 4 실이 두 무리를 건너가 이름이 섞임 군집 가정이 깨짐 새 사진 3,500장 다른 집안 잔치 5 가장 닮은 사진의 이름으로 맞혀 봄 시험 세트 레이블 데이터 사람 학습 규칙 평가 실패 이름 없는 사진 · 선 = 닮음의 실

그림 1 · 이름 적힌 사진 100장에서 시작한 이름이 닮은 사진끼리 이은 실을 따라 퍼지고, 무리가 붙은 곳에서만 섞인다.

이름 적기할머니가 100장에
실로 잇기닮은 열 장끼리
이름 옮기기실을 따라 여러 번
이름 섞임닮은 무리 사이
새 사진 맞히기다른 잔치 3,500장
비유 — 실 한 칸씩 건너는 이름 실제 — 반복마다 닿은 비율 민 민 민 1회 2회 3회 할머니 이름 옮겨 적은 이름 매번 이웃 이름을 받아 적되 할머니가 적은 이름은 다시 덧씀 실이 끊긴 사진은 끝내 이름 없음 닮은 사진이 다른 섬에만 있을 때 F ← αSF + (1 − α)Y α = 0.99 · 이웃 몫 + 처음 레이블 몫 1회 17.0% 2회 59.4% 5회 99.2% 10회 99.7% 100% 끝까지 닿지 않음 24장(0.3%) 레이블 없는 연결 성분 처음 레이블 한 번의 반복 레이블 정보가 닿은 비레이블 표본 비율(사례 7,394장)

그림 2 · 이름은 한 번에 실 한 칸씩 건너가므로, 반복 다섯 번 만에 사진첩의 99% 에 닿는다.

비유 속 역할실제 이름실제로 하는 일
할머니가 적은 이름 100장레이블 데이터 L클래스마다 10개 · 사람이 붙인 정답
이름 없는 사진 7,394장비레이블 데이터 U입력 x 만 있고 y 가 없는 표본
닮은 열 장과 잇는 실k-NN 유사도 그래프거리가 가까운 표본끼리 가중치 간선
실을 따라 이름 옮기기레이블 전파 반복이웃의 레이블 점수를 받아 더한다
할머니 이름은 다시 덧씀(1 − α)Y 항처음 레이블이 반복 중에 지워지지 않게 한다
닮은 사촌 무리에서 섞임군집 가정이 깨지는 곳두 클래스가 붙어 있는 영역의 오류
다른 잔치의 새 사진시험 세트학습에 쓰지 않은 필자의 표본으로 잰다

⚠ 비유가 맞지 않는 곳: 지우는 사진을 보고 닮음을 판단하지만, 알고리즘의 「닮음」은 사람이 정한 특징 공간의 거리일 뿐이다. 특징이 클래스 차이를 담지 못하면 실 자체가 엉뚱하게 이어지고, 이름은 그 잘못된 실을 따라 정확하게 퍼진다.

4구조 — 두 데이터 · 가정 · 방법 계열 · 출력

레이블 데이터 L (x, y) · 사례 100 비레이블 데이터 U x 만 · 사례 7,394 U 는 정답을 주지 않고 p(x) 의 모양만 알려 준다 가정 — U 가 경계를 옮겨도 되는 조건 매끄러움 · 군집 · 저밀도 경계 · 다양체 Zhou 2004 1절 · Zhu 2008 5 · 6절 자기 훈련 확신 높은 예측을 레이블로 공동 훈련 · 일관성 관점 · 변형이 달라도 같은 답 그래프 기반 이웃 따라 전파 · 사례 생성 모델 EM 으로 p(x, y) 맞춤 귀납 출력 새 입력도 분류하는 모델 전이 출력 주어진 U 의 레이블만 가정 불일치 — 실패 확증 편향 · 클래스 불일치 레이블 데이터 학습 규칙 출력 · 평가 실패 굵은 테두리 = 사례에서 쓴 것 · 점선 화살 = 가정이 틀릴 때

그림 3 · 비레이블 데이터는 가정을 거쳐서만 학습에 들어가고, 가정이 데이터와 맞지 않으면 출력이 지도 기준선보다 나빠진다.

요소역할사례 값(그림 4)근거
레이블 데이터 L정답을 주는 소수 표본클래스당 10 = 100UCI pendigits
비레이블 데이터 U입력 분포 p(x) 의 모양을 주는 다수 표본7,394(98.7%)UCI pendigits
가정U 로 경계를 옮겨도 되는 조건이웃 10점 중 같은 클래스 98.4%Zhou 2004 1절
유사도 그래프표본 사이 닮음을 간선 가중치로10-NN · 간선 50,602 · σ² 0.0637Zhu 2008 6.2절
전파 · 학습 규칙L 의 정보를 U 로 옮김α 0.99 · 50회Zhou 2004 2절
출력귀납(새 입력) 또는 전이(U 만)시험 3,498 에 1-NN 으로 귀납Zhu 2008 1절

넷째 열의 방법 계열은 U 를 쓰는 길이 다르다. 자기 훈련은 모델 자신의 예측을, 그래프 기반은 이웃 관계를, 생성 모델은 p(x, y) 의 공통 파라미터를 통해 U 를 쓰며, 원래의 판별 학습은 p(x) 를 보지 않으므로 U 를 쓰려면 p(x) 에 걸린 항을 목적 함수에 넣어야 한다(Zhu 2008 1절).

🔑 비레이블 데이터는 정답을 주지 않고 경계를 둘 곳만 알려 준다 — 그래서 이득은 «데이터가 많은가»가 아니라 «클래스가 밀도 낮은 곳에서 갈라지는가»가 정한다.

5동작 — 펜 손글씨 숫자 100장으로 레이블 확산 한 번

Python 3.14.0 · NumPy 2.4.3 으로 1-NN 과 레이블 확산(Zhou 2004 2절 식)을 직접 구현해 실행한 사례다(default_rng(0)).

  1. UCI 펜 손글씨 숫자를 읽는다 — 학습 7,494장(필자 30명) · 시험 3,498장(다른 필자 14명) · 특징 16개(펜 궤적 8점의 x · y, 0 ~ 100 을 100 으로 나눔) · 숫자 10종(UCI pendigits).
  2. 학습 세트에서 숫자마다 10장, 모두 100장만 레이블을 남기고 7,394장의 레이블은 숨긴다(1.3% · NumPy Random Generator).
  3. 기준선 — 레이블 100장만으로 1-NN 을 만들면 시험 정확도 0.875 · 오류 436장이다.
  4. 학습 7,494점마다 가장 가까운 10점과 가우스 가중치 exp(−d²/σ²)(σ² = 이웃 거리 제곱의 중앙값 0.0637)로 잇고 대칭화해 간선 50,602 · 차수 10 ~ 31 의 그래프를 만든다.
  5. S = D^−1/2 W D^−1/2 로 정규화하고 F ← αSF + (1 − α)Y 를 α = 0.99 로 50회 반복한다(Zhou 2004 2 · 4절) — 레이블 정보가 닿은 U 는 1회 17.0% · 5회 99.2% 이고 24장은 끝까지 닿지 않으며, 가장 큰 점수의 클래스로 단 U 의 레이블 정확도는 0.935 다.
  6. 시험 표본마다 가장 가까운 학습 표본의 전파 레이블을 붙이면 정확도 0.932 · 오류 237장(−46%)이다. 학습 7,494장 전부에 레이블을 쓴 1-NN 상한은 0.977 이다.

U 에서 가장 많이 틀린 쌍은 실제 1 을 2 로 단 183장이다 — 아래 획을 길게 끄는 1 이 2 의 궤적과 이웃이 되어 두 무리 사이에 실이 놓였다.

1 데이터 학습 7,494 · 필자 30명 시험 3,498 · 다른 14명 특징 16 · 숫자 10종 2 레이블 남기기 숫자마다 10 = 100장 7,394장 레이블 숨김 레이블 1.3% 3 지도 기준선 100장으로 1-NN 시험 0.875 · 오류 436 U 는 쓰지 않음 4 유사도 그래프 10-NN · 간선 50,602 σ² 0.0637 · 차수 10 ~ 31 L · U 를 한 그래프에 5 레이블 확산 α 0.99 · 50회 반복 U 레이블 정확도 0.935 닿지 않음 24장 6 시험 3,498 · 정확도 지도 100 0.875 준지도 0.932 전부 레이블 0.977 · 상한 오류 436 → 237 가장 많이 틀린 쌍 — 실제 1 을 2 로 183장 아래 획을 끄는 1 이 2 의 궤적과 이웃이 됨 레이블 · 지도 기준선 학습 규칙 · 준지도 평가 상한 · 참고 막대 가로축 = 정확도 0.8 ~ 1.0

그림 4 · 레이블 100장의 1-NN 기준선(0.875)과 같은 100장에 비레이블 7,394장을 더한 전파(0.932)를 같은 시험 세트에서 나란히 잰다.

레이블 수에 따른 시험 정확도 — 지도 1-NN ↔ 레이블 확산 1.0 0.9 0.8 0.7 0.6 0.5 1 3 10 · 사례 30 숫자마다 남긴 레이블 수(전체 학습 7,494장) 전부 레이블 상한 0.977 +13.4%p +9.5%p +5.7%p +0.5%p 시드별 −0.5 ~ +4.6 0.605 0.739 0.932 0.875 지도(레이블만 · 1-NN) 준지도(레이블 확산 + 1-NN) 세로 막대 = 시드 0 ~ 9 범위 · 굵은 수 = 시드 0 이득

그림 5 · 레이블이 적을수록 준지도의 이득이 크다 — 숫자마다 1장이면 +13.4%p, 10장이면 +5.7%p, 30장이면 +0.5%p 로 시드에 따라 손해도 난다.

🔑 준지도의 이득은 레이블이 늘수록 줄어든다 — 비레이블 데이터가 대신해 주는 것은 «경계 위치 정보»뿐이므로, 레이블이 그 정보를 이미 충분히 주면 남는 몫이 없다.

6비교 — 준지도 학습 안의 방법 계열

방법비레이블을 쓰는 법기대는 가정대표 실패맞는 경우
자기 훈련 · 의사 레이블확신 높은 예측을 정답으로 더해 다시 학습확신이 높으면 맞다틀린 예측이 스스로 굳는 확증 편향(Arazo 2020)기존 분류기를 고치기 어려울 때(Zhu 2008 3절)
공동 훈련두 관점의 분류기가 서로 가르침특징이 조건부 독립인 두 묶음으로 나뉨(Blum 1998)관점이 겹치면 같은 오류를 주고받음본문 · 링크 글처럼 관점이 둘인 데이터
그래프 기반 · 레이블 확산이웃 간선을 따라 레이블 점수 전파가까운 표본은 같은 레이블(Zhou 2004 1절)무리가 붙은 쌍 · 끊긴 성분 · 표본 수의 제곱 메모리거리 의미가 분명한 수만 개 표본
일관성 정규화(FixMatch)약한 · 강한 변형에 같은 예측을 강요변형해도 클래스는 그대로변형이 클래스를 바꾸는 도메인영상 · 음성 딥러닝(Sohn 2020)
생성 모델(EM)p(x, y) 혼합 모델을 U 까지 맞춤혼합 모델 모양이 맞음모델이 틀리면 U 가 정확도를 깎음(Zhu 2008 2.2절)클래스마다 분포 모양을 아는 데이터

분석거리 의미가 분명한 표 · 신호 데이터가 수만 개 이하이면 그래프 기반을, 영상 · 음성처럼 클래스를 지키는 변형을 만들 수 있으면 일관성 정규화를, 모델을 바꾸기 어려우면 자기 훈련을 먼저 고른다. 근거는 표의 「기대는 가정」 열과 Zhu 2008 1절 방법 선택 점검 목록이다.

형제 학습 방식끼리의 비교(지도 · 비지도 · 강화)는 지도 학습의 비교 절이 맡는다.

7실무 진단 — 준지도 결과가 기대보다 나쁠 때

분석먼저 같은 레이블만 쓴 지도 기준선과 비교하고, 다음에 의사 레이블의 클래스 분포, 혼동 쌍, 그래프 연결 순으로 본다. 기준선과 비교하지 않으면 «준지도가 도왔는가» 자체를 알 수 없다(Oliver 2018).

#증상의심 원인단계확인 자료판정 기준(근거)
1준지도 정확도가 지도 기준선보다 낮음가정 불일치 · U 에 다른 클래스 섞임방법 선택같은 L 로 만든 지도 기준선 · U 의 출처기준선 아래면 방법보다 가정 · 데이터부터(Zhu 2008 1절 · Oliver 2018)
2반복할수록 시험 정확도가 내려감확증 편향 · 의사 레이블 쏠림자기 훈련반복별 의사 레이블 클래스 분포L 의 클래스 비율(각 10%)에서 벌어지면 쏠림 — 예 9 는 221 → 130장(Arazo 2020)
3특정 두 클래스 사이에 오류가 몰림두 무리가 맞닿음그래프 · 특징혼동 행렬 비대각 상위 셀한 셀에 몰리면(사례 1 → 2 183장) 그 쌍에 레이블 추가 · 특징 보강(Zhou 2004 1절)
4일부 표본이 레이블을 받지 못함그래프 연결 끊김그래프 구성연결 성분 · 레이블 정보 도달 비율끝까지 0 인 표본(사례 24장)은 k 를 늘리거나 지도 모델로 판정(Zhu 2008 6.2절)

확신도로 의사 레이블을 거르면 양과 품질이 바뀐다 — 사례 전파 점수를 정규화한 확신도 0.9 이상만 쓰면 U 의 83.3% 가 남고 정확도는 0.935 → 0.975 로 오른다.

8시험 대비

시험에서는 준지도 학습의 정의 · 가정 · 방법 계열을 쓰는 정의 · 특징형, 그리고 자기 훈련에서 FixMatch 까지 레이블을 덜 쓰는 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 「레이블 수에 따른 이득」을 실제 값 그래프로 보이면 «레이블이 적을 때 쓴다»는 한 줄보다 설득력이 크다.

답안 목차
  1. 개요 — 정의(L + U 함께 학습 · Zhu 2008 1절) · 지도 · 비지도와의 위치 · 귀납 ↔ 전이 한 줄
  2. 가정 — 매끄러움 · 군집 · 저밀도 경계 · 다양체 + 그림 3 구조(가정을 거쳐서만 U 가 들어감)
  3. 방법 계열 — 자기 훈련 · 공동 훈련 · 이웃 전파 · 일관성 정규화 · 생성 모델 비교표(가정 · 실패)
  4. 동작 사례 — 그림 4 레이블 확산(100장 · F ← αSF + (1 − α)Y · 0.875 → 0.932)
  5. 이득과 한계 — 그림 5 레이블 수별 이득(+13.4 → +0.5%p) · 확증 편향 · 클래스 불일치
  6. 동향 — FixMatch(레이블 40개 88.61%) · 자기 지도 사전 학습 · 능동 학습과의 결합

꼭 쓸 키워드
레이블 데이터비레이블 데이터군집 가정저밀도 경계자기 훈련의사 레이블공동 훈련레이블 전파일관성 정규화확증 편향

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 지도 기준선과 나란히 그린 이득 곡선이다 — 레이블 30장에서 이득이 시드에 따라 음수까지 내려가는 것을 보이면 «언제 쓰지 않는가»까지 답이 된다.

9오해와 사실

  • 오해비레이블 데이터를 더하면 성능은 적어도 떨어지지 않는다.
    사실가정이 데이터와 맞지 않으면 오히려 나빠지고(Zhu 2008 1절), 사례와 같은 레이블 100장으로 돌린 자기 훈련(소프트맥스 · 임계값 0.9)은 3회 반복에서 시험 정확도가 0.838 → 0.740 으로 내려갔다.
  • 오해확신도 높은 의사 레이블만 쓰면 안전하다.
    사실위 자기 훈련의 1회 의사 레이블 정확도는 0.97 이었지만 숫자 9 는 221 → 130장으로 줄고 3 은 385 → 648장으로 늘어, 클래스 쏠림이 반복마다 커졌다(Arazo 2020).
  • 오해이상 탐지에서 말하는 준지도와 같은 뜻이다.
    사실이상 탐지의 준지도는 «정상 클래스 레이블만 있는» 경우를 가리키고(Chandola 2009 2.3절), 준지도 학습은 모든 클래스에 일부 레이블이 있는 경우다(사례 숫자마다 10장).

10핵심 정리

구분맡는 일사례 값확인 지표 · 식흔한 실패
레이블 데이터 L정답 제공숫자마다 10 = 100장지도 기준선 0.875클래스 빠짐
비레이블 데이터 Up(x) 의 모양 제공7,394장출처 · 클래스 일치다른 클래스 섞임
가정U 를 써도 되는 조건이웃 같은 클래스 98.4%혼동 쌍붙은 무리(1 → 2)
레이블 확산그래프로 L → U 전파α 0.99 · 50회F ← αSF + (1 − α)Y끊긴 성분 24장
자기 훈련확신 예측을 레이블로임계값 0.9반복별 클래스 분포확증 편향(0.838 → 0.740)
평가이득 확인0.875 → 0.932 · 상한 0.977같은 L 의 지도 기준선기준선 없이 보고
레이블 수이득 크기를 정함1장 +13.4 · 30장 +0.5%p시드 범위레이블 많을 때 손해

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Semi-Supervised Learning Literature Survey (Computer Sciences TR 1530 · University of Wisconsin-Madison · last modified 2008-07-19) — 방법 계열(자기 훈련 · 공동 훈련 · 저밀도 경계 · 그래프)과 「비레이블 데이터가 늘 돕는가」 FAQ(1절)를 볼 때
    University of Wisconsin-Madison · 2008-07 · pages.cs.wisc.edu/~jerryzhu/pub/ssl_survey.pdf · 확인 2026-11-12
  3. ★ Learning with Local and Global Consistency (Advances in Neural Information Processing Systems 16 321-328) — 레이블 확산 반복식(2절)과 군집 가정 · α = 0.99(4절)를 볼 때
    NeurIPS · 2004 · proceedings.neurips.cc/paper/2003/hash/87682805257e619d49b8e0dfdc14affa-Abstract.html · 확인 2026-11-12
  4. ★ Pen-Based Recognition of Handwritten Digits (UCI Machine Learning Repository · DOI 10.24432/C5MG6K · CC BY 4.0) — 사례 데이터(학습 7,494 · 시험 3,498 · 특징 16)를 내려받아 따라 해 볼 때
    UCI Machine Learning Repository · 1998-06 · archive.ics.uci.edu/dataset/81/pen+based+recognition+of+handwritten+digits · 확인 2026-11-12
  5. ★ FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence (NeurIPS 2020 · arXiv 2001.07685) — 의사 레이블과 일관성 정규화를 합친 딥러닝 방법과 레이블 40 · 250개 결과를 볼 때
    arXiv · 2020-01 · arxiv.org/abs/2001.07685 · 확인 2026-11-12
  6. ★ Realistic Evaluation of Deep Semi-Supervised Learning Algorithms (NeurIPS 2018 · arXiv 1804.09170) — 지도 기준선 비교 · 클래스 불일치에서 성능이 떨어지는 평가 함정을 볼 때
    arXiv · 2018-04 · arxiv.org/abs/1804.09170 · 확인 2026-11-12
  7. 본문 근거
  8. Pseudo-Labeling and Confirmation Bias in Deep Semi-Supervised Learning (arXiv 1908.02983) — arXiv · 2020-06 · arxiv.org/abs/1908.02983 · 확인 2026-11-12
  9. Unsupervised Word Sense Disambiguation Rivaling Supervised Methods (Proc. 33rd Annual Meeting of the ACL 189-196) — ACL · 1995-06 · aclanthology.org/P95-1026/ · 확인 2026-11-12
  10. Combining Labeled and Unlabeled Data with Co-Training (Proc. 11th Annual Conference on Computational Learning Theory 92-100) — ACM · 1998-07 · doi.org/10.1145/279943.279962 · 확인 2026-11-12
  11. Probability of Error of Some Adaptive Pattern-Recognition Machines (IEEE Transactions on Information Theory 11(3) 363-371) — IEEE · 1965-07 · doi.org/10.1109/TIT.1965.1053799 · 확인 2026-11-12
  12. Anomaly Detection: A Survey (ACM Computing Surveys 41(3) Article 15) — ACM · 2009-07 · doi.org/10.1145/1541880.1541882 · 확인 2026-11-12
  13. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12