자기 지도 학습Self-supervised Learning
레이블 없는 데이터에서 입력의 변형 관계나 가린 부분으로 정답을 스스로 만들어 표현을 학습하고, 그 표현을 적은 레이블의 하위 과제에 쓰는 머신러닝 방식이다.
1요약
- 자기 지도 학습은 레이블 대신 데이터 자신에서 만든 정답(회전 각도 · 같은 이미지의 두 변형 · 가린 조각)을 맞히는 사전 과제로 인코더를 먼저 학습하는 방식이고(Balestriero 2023 1절), 그 표현 위에서 적은 레이블의 선형 분류 · 미세 조정 · 유사 검색이 돈다.
- 사람이 붙이는 레이블은 수가 늘수록 비용이 커지는데, 레이블 없이 배운 SimCLR 표현은 선형 분류기 하나로 ImageNet top-1 76.5% 를 내 지도 학습 ResNet-50 과 같아졌다(Chen 2020 초록) — 사례에서도 손글씨 숫자 레이블 50장의 시험 정확도가 원 화소 0.730 에서 0.7675 로 올랐다.
- 「표현이 쓸모없다」는 먼저 정규화 출력의 차원별 표준편차로 가른다 — 0 에 가까우면 손실이 «모두 같은 출력»을 허락한 붕괴이고, 1/√d 근처인데 성능이 낮으면 증강 · 지름길 · 평가 설정을 본다.
2등장 배경
영상 분류기는 사람이 붙인 레이블 수백만 장으로 표현을 배워 왔고, Doersch 등은 2015년 이 주석 비용이 인터넷 규모의 영상으로 넓히는 일을 막는다고 짚었다(Doersch 2015 1절). 같은 입력의 두 사본을 같은 신경망 둘에 넣어 거리를 재는 샴 구조는 1993년 서명 확인에 처음 쓰였고, 2006년 대조 손실로 정식화됐다(Balestriero 2023 2.2절).
2015년 Doersch 등은 영상 조각 둘의 상대 위치 8가지를 맞히는 과제를, 2018년 Gidaris 등은 0 · 90 · 180 · 270도 회전 4가지를 맞히는 과제를 내놓았다 — 회전 과제로 사전 학습한 AlexNet 은 PASCAL VOC 2007 검출 mAP 54.4% 로 지도 사전 학습과 2.4점 차이였다(Gidaris 2018 초록). 2018년 Oord 등이 양성 하나와 음성 N − 1 개를 가르는 InfoNCE 손실을 정리했고(Oord 2018 2.3절), 2019년 MoCo 는 키 65,536개 대기열과 이동 평균 계수 0.999 로 음성을 늘렸다(He 2019 3 · 4절).
2020년 SimCLR 은 대기열 없이 배치 4,096 안의 다른 이미지를 음성으로 써서 76.5% 를 냈고(Chen 2020 초록), 같은 해 BYOL 은 음성 쌍 없이 74.3% 를(Grill 2020 초록), SimSiam 은 기울기 멈춤 하나로 붕괴를 막았다(Chen · He 2020 초록). 언어 쪽의 다음 토큰 · 가린 토큰 맞히기는 사전 학습이, 영상 조각을 가리고 되살리는 방식은 오토인코더가 다룬다 — 레이블을 학습 중에 함께 쓰는 준지도 학습과도 다르다.
3쉽게 이해하기 — 견습 사서의 쌍둥이 엽서 찾기
견습 사서 서윤 앞에 제목 없는 엽서 1,193장이 있다. 선배는 엽서마다 복사본을 두 장 만들되, 한 장은 조금 밀어 찍고 다른 장은 포스트잇으로 한 귀퉁이를 가리고 먼지 얼룩을 뿌린 뒤, 128쌍을 탁자에 섞어 놓는다. 서윤은 256장 가운데 각 장의 쌍둥이를 찾는 연습만 300번 넘게 하다가, 밀림 · 가림 · 얼룩에 흔들리지 않는 눈을 얻는다. 그 눈으로 제목이 붙은 엽서 50장만 보고, 처음 보는 엽서 400장을 분류한다.
그림 1 · 사서는 복사본 두 장 가운데 쌍둥이를 찾는 연습만으로 눈을 기르고, 제목 붙은 엽서 50장으로 그 눈에 분류 기준만 얹는다.
그림 2 · 쌍둥이가 닮았는지만 채점하면 «모든 엽서를 똑같이 본다»가 만점이 되고, 다른 엽서를 밀어내야 같은 숫자끼리만 모인다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 제목 없는 엽서 1,193장 | 비레이블 데이터 | 사전 과제 학습에 쓰는 입력 x · 레이블 없음 |
| 선배가 만든 복사본 두 장 | 데이터 증강 t · t′ | 이동 ±2화소 · 5×5 가림 · 화소 5% 뒤집기 |
| 서윤의 눈 | 인코더 f 와 표현 h | 256 → 128 차원 · 학습 뒤 그대로 둠 |
| 쌍둥이 찾기 연습 | 사전 과제 · NT-Xent | 배치 256 뷰에서 양성 1 · 음성 254 를 가름 |
| 쌍둥이만 놓인 탁자 | 표현 붕괴 | 모든 출력이 같아져도 손실이 최소 |
| 제목 붙은 엽서 50장 | 선형 프로브 | 얼린 h 위에 소프트맥스 분류기만 학습 |
| 새 엽서 400장 | 시험 세트 | 사전 과제에 쓰지 않은 표본으로 평가 |
⚠ 비유가 맞지 않는 곳: 서윤은 쌍둥이를 찾다가 «숫자 모양이 중요하다»는 것을 스스로 알아차리는 것처럼 보이지만, 모델이 익히는 것은 사람이 고른 증강에 흔들리지 않는 특징뿐이다. 증강이 바꾸지 않는 단서(예: 엽서 색)가 있으면 모델은 그 단서로 쌍둥이를 찾고 숫자 모양은 배우지 않는다.
4구조 — 두 뷰 · 인코더 · 투영 헤드 · 대조 손실 · 하위 평가
그림 3 · 학습은 레이블 없이 위 두 줄에서만 일어나고, 레이블은 얼린 표현 h 위의 선형 분류기 하나에만 들어간다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 비레이블 데이터 | 사전 과제의 입력 | 1,193장 · 16×16 흑백 | UCI Semeion |
| 증강 t · t′ | 같은 입력의 두 뷰 = 양성 쌍 | 이동 ±2화소 · 5×5 가림 · 화소 5% 뒤집기 | Chen 2020 3절 |
| 인코더 f | 하위 과제에 넘길 표현 h 를 만듦 | 256 → 128 · ReLU | Chen 2020 2.1절 |
| 투영 헤드 g | 손실을 계산할 공간으로 옮김 | 128 → 64 → 32 | Chen 2020 4.2절 |
| NT-Xent 손실 | 양성은 당기고 배치 안 나머지는 밀어냄 | τ 0.5 · 배치 128(뷰 256) | Chen 2020 2.1 · B.9절 |
| 선형 프로브 | 얼린 h 의 품질을 잼 | 레이블 50장 · 소프트맥스 회귀 | Chen 2020 2.3절 |
NT-Xent 는 앵커 i 의 양성 j 를 배치 안 2N − 1 개 가운데 고르는 교차 엔트로피 ℓ(i, j) = −log[exp(sim(z_i, z_j)/τ) ÷ Σ_{k≠i} exp(sim(z_i, z_k)/τ)] 이다(Chen 2020 2.1절 식 1). SimCLR 에서는 비선형 헤드가 헤드 없음보다 선형 평가를 10% 넘게 올렸고, 헤드 앞 h 가 헤드 뒤 z 보다 10% 넘게 나았다(Chen 2020 4.2절).
🔑 손실은 z 에서 계산하고 하위 과제에 쓰는 것은 h 다 — 헤드 g 가 증강에 대한 불변성을 떠맡아, 회전 · 위치처럼 버려진 정보가 h 에는 남는다(Chen 2020 4.2절 표 3).
5동작 — Semeion 손글씨 숫자로 대조 사전 학습 한 번
NumPy 로 인코더 · NT-Xent 기울기 · Adam 을 직접 구현해 실행한 사례다(default_rng(0) · 공개 데이터).
- UCI Semeion 손글씨 숫자를 읽는다 — 1,593장 · 16×16 흑백 화소 256개 · 약 80명 · 숫자 10종(UCI Semeion) · 시드 0 으로 섞어 시험 400장을 떼고 나머지 1,193장은 레이블을 가린 채 비레이블로 쓴다.
- 매 단계 1,193장에서 128장을 뽑아 장마다 두 뷰를 만든다 — 상하좌우 ±2화소 이동 · 5×5 가림 한 곳 · 화소 5% 뒤집기.
- 두 뷰를 인코더 f(256 → 128)와 헤드 g(128 → 64 → 32)에 넣고 L2 정규화한 뒤, 뷰 256개의 코사인 유사도 행렬로 NT-Xent(τ 0.5)를 계산한다 — 앵커마다 양성 1 · 음성 254 다.
- Adam(학습률 0.001)으로 3,000단계(약 322 epoch) 학습한다 — 손실은 무작위로 고를 때의 log 255 = 5.54 아래인 4.18, 정렬(양성 쌍 거리 제곱 평균)은 0.747 → 0.294, 균일성은 −1.466 → −2.797 로 내려간다(Wang 2020 4절 식).
- 헤드 g 를 버리고 f 를 얼린 뒤, 숫자마다 5장(50장 · 비레이블의 4.2%)으로 128차원 h 위에 소프트맥스 선형 분류기(L2 0.01 · 경사 하강 800회)를 학습한다.
- 시험 400장 정확도는 무작위 초기화 인코더 0.6375 · 원 화소 256개 0.730 · 자기 지도 h 0.7675(+3.75%p)다. 시험과 레이블 표본을 시드 0 ~ 4 로 바꿔 돌리면 원 화소 0.6425 ~ 0.7725 · 자기 지도 0.71 ~ 0.80 · 이득 +2.75 ~ +10.75%p 였다.
- 레이블 수를 바꾸면(시드 0) 숫자마다 1장 −1.5%p · 5장 +3.75%p · 20장 +5.25%p(0.8575 → 0.91)이고, 1,193장 전부에 레이블을 쓰면 0.935 ↔ 0.9425 로 차이가 거의 사라진다.
그림 4 · 같은 레이블 50장으로 원 화소는 0.730, 레이블 없이 배운 h 는 0.7675 — 이득은 숫자마다 1장에서 음수, 20장에서 가장 크다.
그림 5 · 음성 쌍을 빼고 양성 쌍만 당기면 250단계 만에 출력 표준편차가 0 가까이 무너지고, 프로브 정확도는 원 화소 아래로 내려간다.
양성 쌍만 당기는 손실(−cos(z, z′))은 같은 설정에서 250단계에 −0.999, 500단계에 최솟값 −1.000 에 이르렀고, 1,000단계부터 정렬 · 균일성이 둘 다 소수 셋째 자리까지 0 이 되었다 — 모든 출력이 한 점에 모였다는 뜻이다. 정규화 출력이 등방 가우스처럼 퍼지면 차원별 표준편차가 1/√d 이고 상수로 붕괴하면 0 이다(Chen · He 2020 4.1절).
🔑 음성 쌍이나 그것을 대신할 장치가 빠지면 «모든 입력에 같은 출력»이 손실의 최솟값이 된다 — 붕괴는 학습이 실패한 것이 아니라 손실이 허락한 답을 찾은 것이다.
6비교 — 자기 지도 학습 안의 방법 계열
| 계열 | 학습 신호 | 붕괴를 막는 장치 | 대표 방법 · 공개 값 | 약점 · 비용 |
|---|---|---|---|---|
| 예측 과제 | 회전 4종 · 조각 위치 8종을 분류 | 정답이 데이터 변환에서 정해짐 | 회전 예측 VOC 2007 mAP 54.4%(Gidaris 2018) | 과제를 푸는 지름길 특징에 머묾(Doersch 2015 3.1절) |
| 대조 | 같은 입력의 두 뷰 = 양성 · 나머지 = 음성 | 음성 쌍의 밀어냄 | SimCLR 76.5%(Chen 2020) · MoCo 대기열 65,536(He 2019) | 큰 배치(4,096) 또는 대기열 메모리 |
| 자기 증류 | 한 뷰의 출력으로 다른 뷰의 목표 표현을 예측 | 예측기 + 기울기 멈춤 · 이동 평균 목표 | BYOL 74.3%(Grill 2020) · SimSiam 기울기 멈춤 67.7% ↔ 없음 0.1%(Chen · He 2020) | 장치 하나만 빠져도 붕괴 |
| 상관 정규화 | 두 뷰 출력의 차원별 분산 · 공분산을 맞춤 | 분산 · 공분산 항 | Barlow Twins · VICReg(Balestriero 2023 2.4절) | 투영 차원을 크게 잡아야 함 |
| 가림 복원 | 입력 일부를 가리고 되살림 | 복원 목표 자체 | 영상 = 오토인코더 · 텍스트 = 사전 학습에서 다룸 | 화소 · 토큰 복원에 용량을 씀 |
분석배치를 수천으로 키울 수 없고 GPU 메모리가 작으면 음성 쌍이 필요 없는 자기 증류를, 증강으로 같은 대상을 확실히 만들 수 있는 영상 · 신호면 대조를, 변환 정답이 분명한 작은 과제면 예측 과제를 먼저 고른다. 근거는 표의 「붕괴를 막는 장치」 열과 SimSiam 이 배치 256 에서 68.1%, 4,096 에서 64.0% 였던 결과다(Chen · He 2020 4.3절).
형제 학습 방식끼리의 비교(지도 · 비지도 · 강화)는 지도 학습이, 레이블과 비레이블을 함께 쓰는 방식은 준지도 학습이 맡는다.
7실무 진단 — 자기 지도 표현이 쓸모없을 때
분석출력 표준편차로 붕괴부터 거르고, 다음에 증강을 하나씩 뺀 비교로 지름길을, 마지막에 레이블 수별 프로브로 평가 설정을 본다. 붕괴는 하위 정확도를 재기 전에 학습 로그만으로 보이므로 가장 먼저 본다(Chen · He 2020 4.1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 손실이 곧바로 최솟값에 붙고 프로브가 원 화소보다 낮음 | 표현 붕괴 | 손실 설계 | 정규화 출력 z 의 차원별 표준편차 | 1/√d 근처면 정상 · 0 쪽이면 붕괴(사례 0.174 ↔ 0.0006 · Chen · He 2020 4.1절) |
| 2 | 대조 과제 정확도는 높은데 프로브가 오르지 않음 | 증강이 남긴 지름길 | 증강 설계 | 증강을 하나씩 뺀 프로브 비교 | 자르기만 쓰면 색 분포로 쌍을 찾음 → 색 왜곡을 더함(Chen 2020 3절 그림 6) |
| 3 | 레이블이 아주 적을 때 원 화소보다 낮음 | 128차원 분류기가 레이블 10장에 과적합 | 하위 평가 | 레이블 수별 프로브 · k-NN 평가 | 숫자마다 1장 −1.5%p · 20장 +5.25%p(사례) → 정규화를 키우거나 k-NN 으로 잼(Balestriero 2023 3.7절) |
| 4 | 헤드 뒤 z 로 하위 과제를 했더니 낮음 | 평가에 쓸 표현을 잘못 고름 | 구조 | h · z 각각의 프로브 | h 가 z 보다 10% 넘게 높음(Chen 2020 4.2절) |
8시험 대비
시험에서는 사전 과제 · 대조 손실 · 붕괴를 쓰는 정의 · 특징형, 그리고 대조 · 자기 증류 · 가림 복원을 견주는 비교형이 나올 수 있다. 「음성 쌍이 왜 필요한가」를 사례의 표준편차 곡선으로 보이면 붕괴를 말로만 쓴 답안보다 판단이 분명해진다.
- 개요 — 정의(데이터에서 만든 정답 · 사전 과제) · 지도 · 비지도 · 준지도와의 위치 한 줄
- 구조 — 그림 3 증강 두 뷰 · 인코더 f · 투영 헤드 g · NT-Xent 식 · h 를 쓰고 g 를 버리는 이유
- 방법 계열 — 예측 과제 · 대조 · 자기 증류 · 상관 정규화 · 가림 복원 표(붕괴를 막는 장치 열)
- 적용 사례 — 그림 4 Semeion 레이블 50장 선형 프로브 0.730 → 0.7675 · 레이블 수별 이득
- 붕괴와 평가 — 그림 5 출력 표준편차 0.174 ↔ 0.0006 · 정렬 · 균일성 · 선형 평가 규약
- 활용과 한계 — 레이블 적은 검사 영상 · 증강 지름길 · 큰 배치 비용 · 미세 조정 연결
꼭 쓸 키워드
사전 과제양성 쌍음성 쌍NT-XentInfoNCE투영 헤드표현 붕괴기울기 멈춤선형 프로브정렬균일성
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 음성 쌍이 있을 때와 없을 때의 출력 표준편차를 나란히 두는 것이다 — 1/√d 기준선을 함께 그리면 «붕괴를 어떻게 알아내는가»까지 답이 된다.
9오해와 사실
- 오해자기 지도 표현은 레이블이 적을수록 이득이 크다.사실사례에서 숫자마다 1장일 때는 원 화소보다 1.5%p 낮았고 20장에서 +5.25%p 로 가장 컸다 — 레이블 10장으로 128차원 분류기를 맞추면 표현보다 분류기 과적합이 결과를 정한다.
- 오해같은 입력의 두 뷰를 가깝게 만들기만 하면 표현이 배워진다.사실사례 설정에서 음성 쌍을 빼자 250단계 만에 출력 표준편차가 0.0045 로 무너졌고, SimSiam 도 기울기 멈춤을 빼면 ImageNet 선형 평가가 0.1% 였다(Chen · He 2020 4.1절).
- 오해대조 과제를 잘 풀수록 좋은 표현이다.사실SimCLR 에서 L2 정규화를 빼면 대조 과제 정확도는 올랐지만 선형 평가는 나빠졌다(Chen 2020 5.1절 표 5) — 사례에서도 시험 이미지 128장의 양성 찾기 top-1 은 27% 뿐이었지만, 시험 400장에서 같은 숫자끼리의 평균 코사인 유사도는 0.594 · 다른 숫자끼리는 −0.059 로 갈렸다.
10핵심 정리
| 구분 | 맡는 일 | 사례 값 | 확인 지표 · 식 | 흔한 실패 |
|---|---|---|---|---|
| 비레이블 데이터 | 사전 과제의 입력 | 1,193장 · 16×16 | 출처 · 하위 과제와 같은 분포 | 다른 분포에서 사전 학습 |
| 증강 두 뷰 | 양성 쌍을 정의 | ±2화소 · 5×5 가림 · 5% 뒤집기 | 증강 하나씩 뺀 비교 | 지름길(색 · 위치) |
| NT-Xent | 양성 당김 · 음성 밀어냄 | τ 0.5 · 음성 254 · 손실 4.18 | 정렬 0.294 · 균일성 −2.797 | 작은 배치 · 음성 부족 |
| 투영 헤드 g | 손실 공간 분리 | 128 → 64 → 32 · 학습 뒤 버림 | h ↔ z 프로브 | z 로 평가 |
| 표현 붕괴 | 실패 상태 | 표준편차 0.0006 · 프로브 0.5225 | 차원별 표준편차 ↔ 1/√d | 음성 · 기울기 멈춤 누락 |
| 선형 프로브 | 표현 품질 평가 | 0.730 → 0.7675(+3.75%p) | 같은 레이블의 원 화소 기준선 | 레이블 1장에서 −1.5%p |
| 하위 레이블 | 분류 기준만 학습 | 숫자마다 5장 = 50장 | 레이블 수별 이득 | 레이블 너무 적음 |
11참고 문헌
- 먼저 볼 문헌
- ★ A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020 · arXiv 2002.05709) — 증강 두 뷰 · 투영 헤드 · NT-Xent 손실과 선형 평가 규약을 볼 때
- ★ Exploring Simple Siamese Representation Learning (arXiv 2011.10566) — 음성 쌍 없이 붕괴를 막는 기울기 멈춤과 출력 표준편차 점검을 볼 때
- ★ Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere (ICML 2020 · arXiv 2005.10242) — 대조 손실을 정렬 · 균일성 두 지표로 나눠 잴 때
- ★ A Cookbook of Self-Supervised Learning (arXiv 2304.12210) — 방법 계열(대조 · 자기 증류 · 상관 정규화 · 가림 복원)과 평가 방법을 한 번에 볼 때
- ★ Semeion Handwritten Digit (UCI Machine Learning Repository · DOI 10.24432/C5SC8V · CC BY 4.0) — 사례 데이터(1,593장 · 16×16 · 약 80명)를 내려받아 따라 해 볼 때
- 본문 근거
- Momentum Contrast for Unsupervised Visual Representation Learning (CVPR 2020 · arXiv 1911.05722) — arXiv · 2019-11 ·
arxiv.org/abs/1911.05722· 확인 2026-11-12 - Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning (NeurIPS 2020 · arXiv 2006.07733) — arXiv · 2020-06 ·
arxiv.org/abs/2006.07733· 확인 2026-11-12 - Unsupervised Visual Representation Learning by Context Prediction (ICCV 2015 · arXiv 1505.05192) — arXiv · 2015-05 ·
arxiv.org/abs/1505.05192· 확인 2026-11-12 - Unsupervised Representation Learning by Predicting Image Rotations (ICLR 2018 · arXiv 1803.07728) — arXiv · 2018-03 ·
arxiv.org/abs/1803.07728· 확인 2026-11-12 - Representation Learning with Contrastive Predictive Coding (arXiv 1807.03748) — arXiv · 2018-07 ·
arxiv.org/abs/1807.03748· 확인 2026-11-12 - NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12