AI › 인공지능 개요 › 머신러닝 › 학습 방식

자기 지도 학습Self-supervised Learning

레이블 없는 데이터에서 입력의 변형 관계나 가린 부분으로 정답을 스스로 만들어 표현을 학습하고, 그 표현을 적은 레이블의 하위 과제에 쓰는 머신러닝 방식이다.

1요약

  1. 자기 지도 학습은 레이블 대신 데이터 자신에서 만든 정답(회전 각도 · 같은 이미지의 두 변형 · 가린 조각)을 맞히는 사전 과제로 인코더를 먼저 학습하는 방식이고(Balestriero 2023 1절), 그 표현 위에서 적은 레이블의 선형 분류 · 미세 조정 · 유사 검색이 돈다.
  2. 사람이 붙이는 레이블은 수가 늘수록 비용이 커지는데, 레이블 없이 배운 SimCLR 표현은 선형 분류기 하나로 ImageNet top-1 76.5% 를 내 지도 학습 ResNet-50 과 같아졌다(Chen 2020 초록) — 사례에서도 손글씨 숫자 레이블 50장의 시험 정확도가 원 화소 0.730 에서 0.7675 로 올랐다.
  3. 「표현이 쓸모없다」는 먼저 정규화 출력의 차원별 표준편차로 가른다 — 0 에 가까우면 손실이 «모두 같은 출력»을 허락한 붕괴이고, 1/√d 근처인데 성능이 낮으면 증강 · 지름길 · 평가 설정을 본다.

2등장 배경

영상 분류기는 사람이 붙인 레이블 수백만 장으로 표현을 배워 왔고, Doersch 등은 2015년 이 주석 비용이 인터넷 규모의 영상으로 넓히는 일을 막는다고 짚었다(Doersch 2015 1절). 같은 입력의 두 사본을 같은 신경망 둘에 넣어 거리를 재는 샴 구조는 1993년 서명 확인에 처음 쓰였고, 2006년 대조 손실로 정식화됐다(Balestriero 2023 2.2절).

2015년 Doersch 등은 영상 조각 둘의 상대 위치 8가지를 맞히는 과제를, 2018년 Gidaris 등은 0 · 90 · 180 · 270도 회전 4가지를 맞히는 과제를 내놓았다 — 회전 과제로 사전 학습한 AlexNet 은 PASCAL VOC 2007 검출 mAP 54.4% 로 지도 사전 학습과 2.4점 차이였다(Gidaris 2018 초록). 2018년 Oord 등이 양성 하나와 음성 N − 1 개를 가르는 InfoNCE 손실을 정리했고(Oord 2018 2.3절), 2019년 MoCo 는 키 65,536개 대기열과 이동 평균 계수 0.999 로 음성을 늘렸다(He 2019 3 · 4절).

2020년 SimCLR 은 대기열 없이 배치 4,096 안의 다른 이미지를 음성으로 써서 76.5% 를 냈고(Chen 2020 초록), 같은 해 BYOL 은 음성 쌍 없이 74.3% 를(Grill 2020 초록), SimSiam 은 기울기 멈춤 하나로 붕괴를 막았다(Chen · He 2020 초록). 언어 쪽의 다음 토큰 · 가린 토큰 맞히기는 사전 학습이, 영상 조각을 가리고 되살리는 방식은 오토인코더가 다룬다 — 레이블을 학습 중에 함께 쓰는 준지도 학습과도 다르다.

3쉽게 이해하기 — 견습 사서의 쌍둥이 엽서 찾기

견습 사서 서윤 앞에 제목 없는 엽서 1,193장이 있다. 선배는 엽서마다 복사본을 두 장 만들되, 한 장은 조금 밀어 찍고 다른 장은 포스트잇으로 한 귀퉁이를 가리고 먼지 얼룩을 뿌린 뒤, 128쌍을 탁자에 섞어 놓는다. 서윤은 256장 가운데 각 장의 쌍둥이를 찾는 연습만 300번 넘게 하다가, 밀림 · 가림 · 얼룩에 흔들리지 않는 눈을 얻는다. 그 눈으로 제목이 붙은 엽서 50장만 보고, 처음 보는 엽서 400장을 분류한다.

제목 없는 엽서 1,193장 1 무엇이 적혔는지는 아무도 알려 주지 않음 비레이블 데이터 선배의 복사본 엽서마다 두 장 2 밀어 찍기 · 귀퉁이 가림 · 먼지 얼룩 데이터 증강 두 뷰 탁자 위 쌍둥이 찾기 256장 가운데 짝 하나 3 A A′ 쌍둥이 — 당김 B C … 다른 엽서 254장 — 밀어냄 NT-Xent 손실 · 음성 254 제목 붙은 50장 숫자마다 5장 4 익힌 눈 위에 분류 기준만 긋기 선형 프로브 · 레이블 새 엽서 400장 처음 보는 엽서 5 맞힌 비율 0.7675 원 화소로 보면 0.730 시험 세트 데이터 학습 규칙 레이블 평가 사람 당김(양성 쌍) 밀어냄(음성)

그림 1 · 사서는 복사본 두 장 가운데 쌍둥이를 찾는 연습만으로 눈을 기르고, 제목 붙은 엽서 50장으로 그 눈에 분류 기준만 얹는다.

엽서 더미제목 없는 1,193장
복사본 두 장밀기 · 가림 · 얼룩
쌍둥이 찾기탁자 위 256장
제목 50장기준 긋기
새 엽서 분류400장 맞힌 비율
비유 — 탁자에 무엇을 놓나 실제 — 코사인 유사도(시험 엽서) 쌍둥이만 놓인 탁자 A A′ 「다 같다」고 답해도 만점 닮음만 채점 → 붕괴 다른 엽서도 놓인 탁자 A A′ B 구별 A 와 B 를 갈라야 점수 → 숫자 모양을 익힘 밀어낸 학습(NT-Xent) 쌍둥이 0.832 같은 숫자 0.594 다른 숫자 −0.059 쌍둥이만 당긴 학습 쌍둥이 1.000 같은 숫자 1.000 다른 숫자 1.000 쓸 만한 표현 붕괴(실패) 막대 길이 = 유사도 0 ~ 1 · 다른 숫자는 0 아래라 거의 없음

그림 2 · 쌍둥이가 닮았는지만 채점하면 «모든 엽서를 똑같이 본다»가 만점이 되고, 다른 엽서를 밀어내야 같은 숫자끼리만 모인다.

비유 속 역할실제 이름실제로 하는 일
제목 없는 엽서 1,193장비레이블 데이터사전 과제 학습에 쓰는 입력 x · 레이블 없음
선배가 만든 복사본 두 장데이터 증강 t · t′이동 ±2화소 · 5×5 가림 · 화소 5% 뒤집기
서윤의 눈인코더 f 와 표현 h256 → 128 차원 · 학습 뒤 그대로 둠
쌍둥이 찾기 연습사전 과제 · NT-Xent배치 256 뷰에서 양성 1 · 음성 254 를 가름
쌍둥이만 놓인 탁자표현 붕괴모든 출력이 같아져도 손실이 최소
제목 붙은 엽서 50장선형 프로브얼린 h 위에 소프트맥스 분류기만 학습
새 엽서 400장시험 세트사전 과제에 쓰지 않은 표본으로 평가

⚠ 비유가 맞지 않는 곳: 서윤은 쌍둥이를 찾다가 «숫자 모양이 중요하다»는 것을 스스로 알아차리는 것처럼 보이지만, 모델이 익히는 것은 사람이 고른 증강에 흔들리지 않는 특징뿐이다. 증강이 바꾸지 않는 단서(예: 엽서 색)가 있으면 모델은 그 단서로 쌍둥이를 찾고 숫자 모양은 배우지 않는다.

4구조 — 두 뷰 · 인코더 · 투영 헤드 · 대조 손실 · 하위 평가

사전 과제 학습 — 레이블 없음 입력 x 16×16 증강 t 이동 · 가림 · 뒤집기 증강 t′ 다른 난수 인코더 f 256 → 128 · ReLU 인코더 f 같은 가중치 공유 h 128 h′ 128 헤드 g 64 → 32 헤드 g 64 → 32 NT-Xent z 정규화 τ 0.5 음성 254 학습 뒤 g 는 버림 하위 평가 — 레이블 50장 h 얼림 f 갱신 없음 선형 분류기 128 → 10 예측 비레이블 1,193장은 위 두 줄, 레이블은 아래 줄에만 쓴다 데이터 모델 · 학습 규칙 표현 벡터 출력 선택(증강 · 손실 설정) 점선 = 같은 가중치 · 단계 경계

그림 3 · 학습은 레이블 없이 위 두 줄에서만 일어나고, 레이블은 얼린 표현 h 위의 선형 분류기 하나에만 들어간다.

요소역할사례 값근거
비레이블 데이터사전 과제의 입력1,193장 · 16×16 흑백UCI Semeion
증강 t · t′같은 입력의 두 뷰 = 양성 쌍이동 ±2화소 · 5×5 가림 · 화소 5% 뒤집기Chen 2020 3절
인코더 f하위 과제에 넘길 표현 h 를 만듦256 → 128 · ReLUChen 2020 2.1절
투영 헤드 g손실을 계산할 공간으로 옮김128 → 64 → 32Chen 2020 4.2절
NT-Xent 손실양성은 당기고 배치 안 나머지는 밀어냄τ 0.5 · 배치 128(뷰 256)Chen 2020 2.1 · B.9절
선형 프로브얼린 h 의 품질을 잼레이블 50장 · 소프트맥스 회귀Chen 2020 2.3절

NT-Xent 는 앵커 i 의 양성 j 를 배치 안 2N − 1 개 가운데 고르는 교차 엔트로피 ℓ(i, j) = −log[exp(sim(z_i, z_j)/τ) ÷ Σ_{k≠i} exp(sim(z_i, z_k)/τ)] 이다(Chen 2020 2.1절 식 1). SimCLR 에서는 비선형 헤드가 헤드 없음보다 선형 평가를 10% 넘게 올렸고, 헤드 앞 h 가 헤드 뒤 z 보다 10% 넘게 나았다(Chen 2020 4.2절).

🔑 손실은 z 에서 계산하고 하위 과제에 쓰는 것은 h 다 — 헤드 g 가 증강에 대한 불변성을 떠맡아, 회전 · 위치처럼 버려진 정보가 h 에는 남는다(Chen 2020 4.2절 표 3).

5동작 — Semeion 손글씨 숫자로 대조 사전 학습 한 번

NumPy 로 인코더 · NT-Xent 기울기 · Adam 을 직접 구현해 실행한 사례다(default_rng(0) · 공개 데이터).

  1. UCI Semeion 손글씨 숫자를 읽는다 — 1,593장 · 16×16 흑백 화소 256개 · 약 80명 · 숫자 10종(UCI Semeion) · 시드 0 으로 섞어 시험 400장을 떼고 나머지 1,193장은 레이블을 가린 채 비레이블로 쓴다.
  2. 매 단계 1,193장에서 128장을 뽑아 장마다 두 뷰를 만든다 — 상하좌우 ±2화소 이동 · 5×5 가림 한 곳 · 화소 5% 뒤집기.
  3. 두 뷰를 인코더 f(256 → 128)와 헤드 g(128 → 64 → 32)에 넣고 L2 정규화한 뒤, 뷰 256개의 코사인 유사도 행렬로 NT-Xent(τ 0.5)를 계산한다 — 앵커마다 양성 1 · 음성 254 다.
  4. Adam(학습률 0.001)으로 3,000단계(약 322 epoch) 학습한다 — 손실은 무작위로 고를 때의 log 255 = 5.54 아래인 4.18, 정렬(양성 쌍 거리 제곱 평균)은 0.747 → 0.294, 균일성은 −1.466 → −2.797 로 내려간다(Wang 2020 4절 식).
  5. 헤드 g 를 버리고 f 를 얼린 뒤, 숫자마다 5장(50장 · 비레이블의 4.2%)으로 128차원 h 위에 소프트맥스 선형 분류기(L2 0.01 · 경사 하강 800회)를 학습한다.
  6. 시험 400장 정확도는 무작위 초기화 인코더 0.6375 · 원 화소 256개 0.730 · 자기 지도 h 0.7675(+3.75%p)다. 시험과 레이블 표본을 시드 0 ~ 4 로 바꿔 돌리면 원 화소 0.6425 ~ 0.7725 · 자기 지도 0.71 ~ 0.80 · 이득 +2.75 ~ +10.75%p 였다.
  7. 레이블 수를 바꾸면(시드 0) 숫자마다 1장 −1.5%p · 5장 +3.75%p · 20장 +5.25%p(0.8575 → 0.91)이고, 1,193장 전부에 레이블을 쓰면 0.935 ↔ 0.9425 로 차이가 거의 사라진다.
1 데이터 1,593장 16×16 시험 400 비레이블 1,193 2 두 뷰 ±2화소 이동 5×5 가림 화소 5% 뒤집기 3 손실 f · g · 정규화 NT-Xent τ 0.5 음성 254 4 학습 3,000단계 손실 4.18 정렬 0.747 → 0.294 5 프로브 g 버림 h 얼림 레이블 50장 6 시험 400장 정확도 · 레이블 50 무작위 인코더 0.6375 원 화소 0.730 자기 지도 h 0.7675 전부 레이블 0.935 막대 = 0.5 ~ 1.0 · 전부 레이블 = 원 화소 1,193장 상한 7 레이블 수별 · 시드 0 숫자마다 원 화소 자기 지도 이득 1장 0.4700 0.4550 −1.5 5장 · 사례 0.7300 0.7675 +3.75 20장 0.8575 0.9100 +5.25 전부 0.9350 0.9425 +0.75 데이터 · 원 화소 학습 규칙 · 자기 지도 레이블 기준선보다 낮음 이득 = %p · 굵은 글자 = 가장 큰 값

그림 4 · 같은 레이블 50장으로 원 화소는 0.730, 레이블 없이 배운 h 는 0.7675 — 이득은 숫자마다 1장에서 음수, 20장에서 가장 크다.

출력 표준편차 — 붕괴 점검 선형 프로브 정확도 0 0.1 0.2 1/√32 = 0.177 NT-Xent 0.174 양성만 0.0006 0 1,500 3,000 학습 단계 0.5 0.6 0.7 0.8 원 화소 0.730 0.7675 0.5225 0 1,500 3,000 학습 단계 NT-Xent(음성 254) 양성 쌍만 당김(붕괴) 기준(균일 분포 · 원 화소) 250단계마다 · 시드 0

그림 5 · 음성 쌍을 빼고 양성 쌍만 당기면 250단계 만에 출력 표준편차가 0 가까이 무너지고, 프로브 정확도는 원 화소 아래로 내려간다.

양성 쌍만 당기는 손실(−cos(z, z′))은 같은 설정에서 250단계에 −0.999, 500단계에 최솟값 −1.000 에 이르렀고, 1,000단계부터 정렬 · 균일성이 둘 다 소수 셋째 자리까지 0 이 되었다 — 모든 출력이 한 점에 모였다는 뜻이다. 정규화 출력이 등방 가우스처럼 퍼지면 차원별 표준편차가 1/√d 이고 상수로 붕괴하면 0 이다(Chen · He 2020 4.1절).

🔑 음성 쌍이나 그것을 대신할 장치가 빠지면 «모든 입력에 같은 출력»이 손실의 최솟값이 된다 — 붕괴는 학습이 실패한 것이 아니라 손실이 허락한 답을 찾은 것이다.

6비교 — 자기 지도 학습 안의 방법 계열

계열학습 신호붕괴를 막는 장치대표 방법 · 공개 값약점 · 비용
예측 과제회전 4종 · 조각 위치 8종을 분류정답이 데이터 변환에서 정해짐회전 예측 VOC 2007 mAP 54.4%(Gidaris 2018)과제를 푸는 지름길 특징에 머묾(Doersch 2015 3.1절)
대조같은 입력의 두 뷰 = 양성 · 나머지 = 음성음성 쌍의 밀어냄SimCLR 76.5%(Chen 2020) · MoCo 대기열 65,536(He 2019)큰 배치(4,096) 또는 대기열 메모리
자기 증류한 뷰의 출력으로 다른 뷰의 목표 표현을 예측예측기 + 기울기 멈춤 · 이동 평균 목표BYOL 74.3%(Grill 2020) · SimSiam 기울기 멈춤 67.7% ↔ 없음 0.1%(Chen · He 2020)장치 하나만 빠져도 붕괴
상관 정규화두 뷰 출력의 차원별 분산 · 공분산을 맞춤분산 · 공분산 항Barlow Twins · VICReg(Balestriero 2023 2.4절)투영 차원을 크게 잡아야 함
가림 복원입력 일부를 가리고 되살림복원 목표 자체영상 = 오토인코더 · 텍스트 = 사전 학습에서 다룸화소 · 토큰 복원에 용량을 씀

분석배치를 수천으로 키울 수 없고 GPU 메모리가 작으면 음성 쌍이 필요 없는 자기 증류를, 증강으로 같은 대상을 확실히 만들 수 있는 영상 · 신호면 대조를, 변환 정답이 분명한 작은 과제면 예측 과제를 먼저 고른다. 근거는 표의 「붕괴를 막는 장치」 열과 SimSiam 이 배치 256 에서 68.1%, 4,096 에서 64.0% 였던 결과다(Chen · He 2020 4.3절).

형제 학습 방식끼리의 비교(지도 · 비지도 · 강화)는 지도 학습이, 레이블과 비레이블을 함께 쓰는 방식은 준지도 학습이 맡는다.

7실무 진단 — 자기 지도 표현이 쓸모없을 때

분석출력 표준편차로 붕괴부터 거르고, 다음에 증강을 하나씩 뺀 비교로 지름길을, 마지막에 레이블 수별 프로브로 평가 설정을 본다. 붕괴는 하위 정확도를 재기 전에 학습 로그만으로 보이므로 가장 먼저 본다(Chen · He 2020 4.1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1손실이 곧바로 최솟값에 붙고 프로브가 원 화소보다 낮음표현 붕괴손실 설계정규화 출력 z 의 차원별 표준편차1/√d 근처면 정상 · 0 쪽이면 붕괴(사례 0.174 ↔ 0.0006 · Chen · He 2020 4.1절)
2대조 과제 정확도는 높은데 프로브가 오르지 않음증강이 남긴 지름길증강 설계증강을 하나씩 뺀 프로브 비교자르기만 쓰면 색 분포로 쌍을 찾음 → 색 왜곡을 더함(Chen 2020 3절 그림 6)
3레이블이 아주 적을 때 원 화소보다 낮음128차원 분류기가 레이블 10장에 과적합하위 평가레이블 수별 프로브 · k-NN 평가숫자마다 1장 −1.5%p · 20장 +5.25%p(사례) → 정규화를 키우거나 k-NN 으로 잼(Balestriero 2023 3.7절)
4헤드 뒤 z 로 하위 과제를 했더니 낮음평가에 쓸 표현을 잘못 고름구조h · z 각각의 프로브h 가 z 보다 10% 넘게 높음(Chen 2020 4.2절)

8시험 대비

시험에서는 사전 과제 · 대조 손실 · 붕괴를 쓰는 정의 · 특징형, 그리고 대조 · 자기 증류 · 가림 복원을 견주는 비교형이 나올 수 있다. 「음성 쌍이 왜 필요한가」를 사례의 표준편차 곡선으로 보이면 붕괴를 말로만 쓴 답안보다 판단이 분명해진다.

답안 목차
  1. 개요 — 정의(데이터에서 만든 정답 · 사전 과제) · 지도 · 비지도 · 준지도와의 위치 한 줄
  2. 구조 — 그림 3 증강 두 뷰 · 인코더 f · 투영 헤드 g · NT-Xent 식 · h 를 쓰고 g 를 버리는 이유
  3. 방법 계열 — 예측 과제 · 대조 · 자기 증류 · 상관 정규화 · 가림 복원 표(붕괴를 막는 장치 열)
  4. 적용 사례 — 그림 4 Semeion 레이블 50장 선형 프로브 0.730 → 0.7675 · 레이블 수별 이득
  5. 붕괴와 평가 — 그림 5 출력 표준편차 0.174 ↔ 0.0006 · 정렬 · 균일성 · 선형 평가 규약
  6. 활용과 한계 — 레이블 적은 검사 영상 · 증강 지름길 · 큰 배치 비용 · 미세 조정 연결

꼭 쓸 키워드
사전 과제양성 쌍음성 쌍NT-XentInfoNCE투영 헤드표현 붕괴기울기 멈춤선형 프로브정렬균일성

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 음성 쌍이 있을 때와 없을 때의 출력 표준편차를 나란히 두는 것이다 — 1/√d 기준선을 함께 그리면 «붕괴를 어떻게 알아내는가»까지 답이 된다.

9오해와 사실

  • 오해자기 지도 표현은 레이블이 적을수록 이득이 크다.
    사실사례에서 숫자마다 1장일 때는 원 화소보다 1.5%p 낮았고 20장에서 +5.25%p 로 가장 컸다 — 레이블 10장으로 128차원 분류기를 맞추면 표현보다 분류기 과적합이 결과를 정한다.
  • 오해같은 입력의 두 뷰를 가깝게 만들기만 하면 표현이 배워진다.
    사실사례 설정에서 음성 쌍을 빼자 250단계 만에 출력 표준편차가 0.0045 로 무너졌고, SimSiam 도 기울기 멈춤을 빼면 ImageNet 선형 평가가 0.1% 였다(Chen · He 2020 4.1절).
  • 오해대조 과제를 잘 풀수록 좋은 표현이다.
    사실SimCLR 에서 L2 정규화를 빼면 대조 과제 정확도는 올랐지만 선형 평가는 나빠졌다(Chen 2020 5.1절 표 5) — 사례에서도 시험 이미지 128장의 양성 찾기 top-1 은 27% 뿐이었지만, 시험 400장에서 같은 숫자끼리의 평균 코사인 유사도는 0.594 · 다른 숫자끼리는 −0.059 로 갈렸다.

10핵심 정리

구분맡는 일사례 값확인 지표 · 식흔한 실패
비레이블 데이터사전 과제의 입력1,193장 · 16×16출처 · 하위 과제와 같은 분포다른 분포에서 사전 학습
증강 두 뷰양성 쌍을 정의±2화소 · 5×5 가림 · 5% 뒤집기증강 하나씩 뺀 비교지름길(색 · 위치)
NT-Xent양성 당김 · 음성 밀어냄τ 0.5 · 음성 254 · 손실 4.18정렬 0.294 · 균일성 −2.797작은 배치 · 음성 부족
투영 헤드 g손실 공간 분리128 → 64 → 32 · 학습 뒤 버림h ↔ z 프로브z 로 평가
표현 붕괴실패 상태표준편차 0.0006 · 프로브 0.5225차원별 표준편차 ↔ 1/√d음성 · 기울기 멈춤 누락
선형 프로브표현 품질 평가0.730 → 0.7675(+3.75%p)같은 레이블의 원 화소 기준선레이블 1장에서 −1.5%p
하위 레이블분류 기준만 학습숫자마다 5장 = 50장레이블 수별 이득레이블 너무 적음

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020 · arXiv 2002.05709) — 증강 두 뷰 · 투영 헤드 · NT-Xent 손실과 선형 평가 규약을 볼 때
    arXiv · 2020-02 · arxiv.org/abs/2002.05709 · 확인 2026-11-12
  3. ★ Exploring Simple Siamese Representation Learning (arXiv 2011.10566) — 음성 쌍 없이 붕괴를 막는 기울기 멈춤과 출력 표준편차 점검을 볼 때
    arXiv · 2020-11 · arxiv.org/abs/2011.10566 · 확인 2026-11-12
  4. ★ Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere (ICML 2020 · arXiv 2005.10242) — 대조 손실을 정렬 · 균일성 두 지표로 나눠 잴 때
    arXiv · 2020-05 · arxiv.org/abs/2005.10242 · 확인 2026-11-12
  5. ★ A Cookbook of Self-Supervised Learning (arXiv 2304.12210) — 방법 계열(대조 · 자기 증류 · 상관 정규화 · 가림 복원)과 평가 방법을 한 번에 볼 때
    arXiv · 2023-04 · arxiv.org/abs/2304.12210 · 확인 2026-11-12
  6. ★ Semeion Handwritten Digit (UCI Machine Learning Repository · DOI 10.24432/C5SC8V · CC BY 4.0) — 사례 데이터(1,593장 · 16×16 · 약 80명)를 내려받아 따라 해 볼 때
    UCI Machine Learning Repository · 2008-11 · archive.ics.uci.edu/dataset/178/semeion+handwritten+digit · 확인 2026-11-12
  7. 본문 근거
  8. Momentum Contrast for Unsupervised Visual Representation Learning (CVPR 2020 · arXiv 1911.05722) — arXiv · 2019-11 · arxiv.org/abs/1911.05722 · 확인 2026-11-12
  9. Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning (NeurIPS 2020 · arXiv 2006.07733) — arXiv · 2020-06 · arxiv.org/abs/2006.07733 · 확인 2026-11-12
  10. Unsupervised Visual Representation Learning by Context Prediction (ICCV 2015 · arXiv 1505.05192) — arXiv · 2015-05 · arxiv.org/abs/1505.05192 · 확인 2026-11-12
  11. Unsupervised Representation Learning by Predicting Image Rotations (ICLR 2018 · arXiv 1803.07728) — arXiv · 2018-03 · arxiv.org/abs/1803.07728 · 확인 2026-11-12
  12. Representation Learning with Contrastive Predictive Coding (arXiv 1807.03748) — arXiv · 2018-07 · arxiv.org/abs/1807.03748 · 확인 2026-11-12
  13. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12