AI › 인공지능 개요 › 머신러닝 › 학습 방식

전이 학습Transfer Learning

원천 도메인 · 과제에서 배운 지식(표본 가중치 · 특징 표현 · 매개변수)을 옮겨, 레이블이 적거나 입력 분포가 다른 대상 도메인 · 과제의 학습을 돕는 머신러닝 방식이다. 옮긴 지식이 대상만 학습한 결과보다 성능을 낮추면 부정 전이라 한다.

1요약

  1. 전이 학습은 머신러닝 학습 방식 가운데 원천에서 대상으로 지식을 옮기는 방식으로, 2010년 Pan · Yang 의 정리 이후 도메인 D = {X, P(X)} 와 과제 T = {Y, f} 두 요소로 정의하며(Zhuang 2020 3.2절), 사전 학습 모델의 미세 조정과 레이블 없는 도메인 적응이 이 틀 위에서 돈다.
  2. 학습과 시험의 분포가 같다는 가정은 새 환경에서 깨진다 — MNIST 로 학습한 분류기는 배경을 섞은 MNIST-M 에서 52.25% 에 그쳤고, 도메인 적응(DANN)이 대상 레이블 없이 76.66% 로 올렸다(Ganin 2016 표 2).
  3. 「옮겼더니 오히려 나빠졌다」는 입력 분포가 다른가, 입력과 정답의 관계가 다른가로 가른다 — 두 데이터를 가르는 분류기가 쉽게 맞히면 분포 차이이고, 분포를 맞춘 뒤에도 대상 레이블 몇 개에서 원천 모델이 틀리면 관계 차이다.

2등장 배경

새 생산 라인 · 새 병원 · 새 언어마다 레이블을 처음부터 모으는 일은 비싸다. 판별 학습은 학습 · 시험 데이터가 같은 분포에서 나올 때만 잘 동작한다고 Ben-David 등은 출발점을 짚었다(Ben-David 2006 초록).

1992년 Pratt 의 DBT 는 관련 과제에서 학습한 신경망 가중치를 대상 신경망의 시작값으로 옮겨 무작위 시작보다 학습을 크게 앞당겼다(Pratt 1993 초록). 2006년 Ben-David 등은 대상 오류의 상한을 원천 오류 · 도메인 거리 · 두 도메인 공통 최선 오류의 합으로 묶었고(Ganin 2016 정리 2), 2010년 Pan · Yang 은 귀납 · 변환 · 비지도 설정과 «무엇을 옮기나» 분류를 정리했다(Zhuang 2020 3.3절). 2014년 DeCAF 는 ImageNet 으로 학습한 합성곱 신경망의 활성값을 새 과제의 특징으로 재사용했고(Donahue 2014 초록), Yosinski 등은 첫 층은 데이터와 무관한 일반 특징, 마지막 층은 과제 특수 특징임을 층별로 쟀다(Yosinski 2014 초록).

2016년 DANN 과 CORAL 은 대상 레이블 없이 표현 · 공분산을 맞추는 도메인 적응을 내놓았다(Ganin 2016 · Sun 2016). 지금은 사전 학습 → 미세 조정 흐름이 영상 · 언어 모델 전반의 기본이고, 남은 문제는 Wang 등이 «대상만 학습보다 나빠지는 경우»로 정의한 부정 전이다(Wang 2019 식 3).

3쉽게 이해하기 — 한국 운전자의 도쿄 첫 출근

한국에서 10년 운전한 민수가 도쿄 지사로 발령받았다. 민수는 운전 학원을 처음부터 다니지 않고 핸들 · 브레이크 감각은 그대로 가져간다. 표지판 모양이 달라 첫 주는 대조표를 들고 눈을 맞추고, 현지 강사와 연습 주행을 몇 번 한 뒤 도로 주행 시험을 본다. 그런데 교차로에서 오른쪽으로 붙는 습관이 튀어나와 아찔했다 — 몸에 밴 감각이 오히려 방해가 된 순간이다.

한국 도로 10년 운전한 곳 익숙한 도로 원천 도메인 A 운전자 민수 원천 모델 몸에 밴 감각 특징 · 가중치 도쿄 도로 새로 온 곳 낯선 도로 대상 도메인 B 연습 주행 몇 번 소수 대상 레이블 3 도로 주행 시험 대상 시험 4 1 감각을 그대로 가져감 표지판 대조표 도메인 적응 2 교차로에서 오른쪽에 붙는 습관이 튀어나옴 부정 전이 통행 방향(관계)이 반대인 곳에서는 몸에 밴 감각이 방해 5 원 숫자 = 이야기 순서 · 배지 = 실제 기술 이름 · 같은 색 = 같은 역할(도메인 · 모델 · 지식 · 평가 · 실패)

그림 1 · 민수는 한국에서 익힌 감각을 그대로 가져가고, 표지판 대조표로 눈을 맞추고, 연습 주행 몇 번으로 확인한다 — 통행 방향처럼 관계가 반대인 곳에서는 몸에 밴 감각이 방해가 된다.

10년 운전한국 도로에서 익힌 솜씨
도쿄 발령처음부터 다시 배우지 않음
대조표낯선 표지판에 눈 맞추기
연습 주행현지 강사와 몇 번만
주행 시험도쿄 도로에서 확인
몸에 밴 습관통행 방향이 반대인 곳
비유 — 한국과 도쿄 사이 실제 — 도메인 · 과제의 어느 요소인가 핸들 · 브레이크 감각 어느 나라 차든 같다 같음 표지판 모양 · 색 뜻은 같고 생김새만 다르다 다름 통행 방향 오른쪽 ↔ 왼쪽 같은 장면에 반대로 움직인다 반대 특징 공간 X · 레이블 공간 Y 같음 → 표현 · 가중치를 그대로 옮김 주변 분포 P(X) 다름 → 비레이블 대상으로 맞춤(도메인 적응) 관계 P(Y|X) · 결정 함수 f 다름 → 대상 레이블로만 보임 · 부정 전이 도메인 D = {X, P(X)} · 과제 T = {Y, f} — 둘 중 어느 요소가 다른가가 처방을 정한다 왼쪽 배지 = 비유 속 차이 · 오른쪽 테두리 색 = 같은 차이의 실제 이름(같음 · 분포 차이 · 관계 차이)

그림 2 · 핸들 감각처럼 같은 것은 그대로 옮기고, 표지판처럼 모양만 다른 것은 맞추면 되지만, 통행 방향처럼 관계가 반대인 것은 현지에서 직접 겪어 봐야 드러난다.

비유 속 역할실제 이름실제로 하는 일
한국 도로원천 도메인 · 과제레이블이 많은 곳에서 원천 모델을 학습한다
10년 운전한 민수원천 모델원천 데이터로 학습을 마친 분류기 · 신경망
몸에 밴 감각옮길 지식(특징 · 가중치)대상 학습의 시작값 · 공통 표현으로 쓴다
도쿄 도로대상 도메인 · 과제레이블이 적고 입력 분포가 다른 곳
표지판 대조표도메인 적응비레이블 대상 데이터로 입력 분포 P(X) 를 맞춘다
연습 주행 몇 번소수 대상 레이블 · 미세 조정옮긴 지식을 검증하고 관계 차이를 고친다
도로 주행 시험대상 시험 · 기준선 비교대상만 학습한 결과와 정확도를 견준다
오른쪽에 붙는 습관부정 전이관계 P(Y|X) 가 달라 옮긴 지식이 성능을 낮춘다

⚠ 비유가 맞지 않는 곳: 사람은 습관이 튀어나오는 순간을 스스로 알아채지만, 모델은 대상 레이블로 시험해 보기 전에는 부정 전이를 알 수 없다. 또 실제 도메인 적응은 대조표처럼 한 장씩 짝을 찾지 않고, 평균 · 공분산 같은 분포 통계를 통째로 맞춘다.

4구조 — 도메인 · 과제 · 옮길 지식 · 기준선

전이 학습은 원천 (D_S, T_S) 와 대상 (D_T, T_T) 가운데 하나 이상이 다를 때, 원천 지식으로 대상 결정 함수 f_T 의 학습을 돕는다(Zhuang 2020 정의 3). 옮긴 결과는 언제나 «대상 데이터만으로 학습한 기준선»과 견주어 판정한다.

원천 도메인 D_S = {X_S, P_S(X)} 과제 T_S = {Y_S, f_S} 레이블 많음 사례 5,000개 대상 도메인 D_T = {X_T, P_T(X)} 과제 T_T = {Y_T, f_T} 비레이블 U 2,000 레이블 L 20 옮길 지식 표본 가중치 특징 표현 — 사례 CORAL 매개변수 — 사례 사전값 관계 규칙 U = 분포 맞춤 L = 학습 · 검증 대상 학습기 시작 · 사전값 w0 · β = 10 대상 시험 정확도 전이 0.819 기준선 — 대상만 학습 같은 레이블 20개 · 0.739 판정 NTG = 기준선 − 전이 0 보다 크면 부정 전이 설정(레이블 위치) — 대상 레이블 있음 = 귀납 · 원천만 레이블 = 변환 · 둘 다 없음 = 비지도(Zhuang 2020 3.3절) 채운 상자 = 사례가 쓰는 방식 · 빈 상자 = 쓰지 않은 방식 · 굵은 테두리 = 실패 판정

그림 3 · 원천 쪽 지식 네 가지 가운데 무엇을 옮길지 고르고, 대상 데이터와 함께 학습한 결과를 대상만 학습한 기준선과 견주어야 전이가 이득인지 판정된다.

요소기호 · 식역할사례 값근거
도메인D = {X, P(X)}특징 공간과 주변 분포센서 6개 · A 와 B 의 P(X) 다름Zhuang 2020 정의 1
과제T = {Y, f}레이블 공간과 결정 함수불량 0 · 1 · 관계 가중치 코사인 0.92Zhuang 2020 정의 2
대상 데이터U + L비레이블은 분포 맞춤, 레이블은 학습 · 검증2,000 + 20Zhuang 2020 3.2절
옮길 지식표본 · 특징 · 매개변수 · 관계원천에서 무엇을 가져오나특징(CORAL) + 매개변수(사전값)Zhuang 2020 3.3절
도메인 거리PAD = 2(1 − 2ε)두 데이터를 가르는 분류기 오류 ε 로 P(X) 차이를 잼1.986 → 0.006Ganin 2016 식 3
사전값 세기β원천 가중치를 얼마나 믿는가β = 10사례 설정
부정 전이 차이NTG = 기준선 − 전이0 보다 크면 부정 전이(정확도 기준)C 에서 +0.326Wang 2019 식 4

대상 오류는 ε_T(h) ≤ ε_S(h) + d(S, T) + λ 꼴로 묶인다(Ganin 2016 정리 2). 도메인 적응은 둘째 항 d 를 줄이지만, 두 도메인에서 함께 잘하는 가설의 오류 λ 는 관계가 다를수록 커지고 비레이블 데이터로는 줄일 수 없다.

🔑 도메인 적응은 입력 분포 P(X) 의 차이를 메우고, 입력과 정답의 관계 P(Y|X) 차이는 대상 레이블만 드러낸다.

5동작 — 새 라인 센서 데이터로 불량 판정 모델 옮기기

센서 6개로 불량을 판정하는 로지스틱 회귀를 원천 라인 A 에서 새 라인 B 로 옮긴다. 값은 직접 실행(합성 데이터)으로 얻었고, 센서 이득 · 혼선 · 오프셋과 불량 관계 가중치는 설명용 가정 값이다.

  1. 데이터 — 원천 A 레이블 5,000개(불량 43.7%) · 대상 B 비레이블 2,000개 · B 레이블 20개(불량 13개) · B 시험 5,000개를 둔다. B 센서는 이득 · 혼선 · 오프셋이 다르고, 불량 관계 가중치도 A 와 코사인 0.92 로 조금 다르다.
  2. 원천 그대로 — A 로 학습한 모델은 A 새 표본에서 0.887 을 맞히지만 B 시험에서는 0.517 이다.
  3. 도메인 거리 — A 와 B 비레이블을 섞어 「어느 라인인가」를 맞히는 분류기의 오류가 0.35% 다. PAD = 2(1 − 2 × 0.0035) = 1.986 으로 최대 2 에 가깝다(Ganin 2016 식 3).
  4. 도메인 적응(CORAL) — A 의 평균을 빼고 C_A^−1/2 로 백색화한 뒤 C_B^1/2 로 다시 칠하고 B 평균을 더한다(Sun 2016 알고리즘 1). 센서 1 · 2 공분산이 −0.007 에서 1.453(B 1.455)으로 바뀌고 PAD 는 0.006 이 되며, B 레이블 0개로 0.827 이다. 평균만 맞추면 0.761, 센서별 크기까지 맞추면 0.774 다.
  5. 원천 검증 — B 레이블 20개로 후보 원천 둘을 먼저 잰다. A 정렬 모델은 0.80, 불량 관계가 많이 다른 라인 C(가중치 코사인 −0.48) 정렬 모델은 0.55 다 — C 도 정렬 뒤 PAD 는 −0.042 로 A 와 구분되지 않는다.
  6. 매개변수 전이 — A 정렬 모델 가중치 w0 를 사전값으로 두고 손실 + (β/2)‖w − w0‖²(β = 10)로 20개를 학습해 0.819 다. 같은 20개로 대상만 학습하면 0.739 다. 이 뽑기에서 20개는 0.827 을 더 올리지 못했다 — 같은 생성기로 20번 다시 뽑은 평균은 0.828 이다.
  7. 부정 전이 판정 — C 에서 같은 절차를 밟으면 0.413 이다. NTG = 0.739 − 0.413 = +0.326 > 0 이므로 C 는 버리고 A 를 쓴다(Wang 2019 식 4).
단계 B 시험 정확도 1 데이터 A 5,000 · B 비레이블 2,000 · B 레이블 20 2 원천 그대로 A 안 0.887 → B 에 적용 0.517 3 도메인 거리 라인 분류기 오류 0.35% → PAD 1.986 4 CORAL 정렬(레이블 0개) 평균 · 공분산을 B 에 맞춤 → PAD 0.006 0.827 5 원천 검증 B 레이블 20개에서 A 정렬 0.80 · C 정렬 0.55 6 매개변수 전이(A · β 10) w0 사전값 + B 레이블 20개 0.819 7 부정 전이 판정(C 에서 같은 절차) NTG = 0.739 − 0.413 = +0.326 → C 버림 0.413 대상만 20개 0.739 0 1.0 막대 = 원천 모델 · 정렬 모델(학습 규칙) · 전이 결과(평가) · 부정 전이(실패) · 점선 = 대상만 학습 기준선 · 합성 데이터 직접 실행

그림 4 · 원천 그대로 0.517 이던 정확도가 공분산 정렬만으로 0.827 이 되고, 같은 절차라도 관계가 다른 원천 C 는 대상만 학습한 기준선 0.739 아래인 0.413 으로 떨어진다.

대상 레이블 수에 따른 B 시험 정확도(20번 뽑기 평균) 0.4 0.6 0.8 0.9 10 20 50 100 200 500 1,000 대상 레이블 수(로그 눈금) 0.827 0.517 +0.168 NTG +0.270 C 에서 전이 0.673 대상만 0.779 1,000개에서 0.864 · 0.865 A 에서 전이 대상만 학습 C 에서 전이(부정 전이) 굵은 세로선 = 같은 레이블 수에서의 차이 · 점선 = 레이블 0개 CORAL 0.827 · 원천 그대로 0.517 · β = 10 고정 · 합성 데이터 직접 실행

그림 5 · 전이 이득은 대상 레이블 10개에서 +0.168 로 가장 크고 1,000개에서 0.001 로 사라지며, 관계가 다른 원천은 레이블이 1,000개로 늘어도 기준선 아래에 남는다.

🔑 전이 이득은 대상 레이블이 적을 때 크고 레이블이 쌓일수록 0으로 줄어든다 — 원천을 믿는 세기 β 는 대상 레이블 수에 맞춰 낮춘다.

6비교 — 옮기는 지식별 방식

형제 학습 방식끼리(지도 · 비지도 · 강화)의 비교는 지도 학습이 맡고, 여기서는 전이 학습 안의 방식을 «옮기는 것»으로 견준다.

옮기는 것대표 방법기대는 가정대상 레이블대표 실패
표본 가중치중요도 가중(KLIEP 등)관계 P(Y|X) 는 같고 P(X) 만 다름없어도 됨대상 영역을 덮는 원천 표본이 적으면 가중치가 몇 개에 몰림
특징 표현CORAL · DANN · 사전 학습 특징 재사용공통 표현에서 관계가 같음없어도 됨(변환 설정)정렬해도 관계가 다르면 부정 전이(사례 C)
매개변수사전 학습 + 미세 조정 · 사전값 정규화원천 해가 대상 해와 가까움수십 개부터β 가 크면 레이블이 쌓여도 대상만 학습을 못 따라감
관계 규칙관계 지식 이전데이터 사이 관계 구조가 같음경우마다 다름연구 · 구현이 적음(Zhuang 2020 3.3절)

MNIST → MNIST-M 에서 특징 표현을 맞춘 DANN 은 원천만 학습(52.25%)과 대상 학습 상한(95.96%) 사이 간격의 52.9% 를 메웠다(Ganin 2016 표 2). 사전 학습 특징은 ImageNet 정확도가 높은 모델일수록 잘 옮겨졌다 — 고정 특징 r = 0.99, 미세 조정 r = 0.96(Kornblith 2019 초록).

분석대상 레이블이 0개이면 특징 표현(CORAL · DANN)부터, 수십 ~ 수백 개이면 매개변수 전이를 β 를 줄여 가며, 원천 표본이 대상 입력 영역을 덮으면 표본 가중을 쓴다. 근거는 그림 5 — 레이블 0개 CORAL 0.827 이 대상만 100개(0.819)와 비슷하고, 전이 이득은 200개에서 0.007 로 줄었다.

LLM 의 미세 조정 방식(전체 · LoRA · 어댑터)은 미세 조정 · LoRA 가, 큰 모델의 지식을 작은 모델로 옮기는 일은 지식 증류가 맡는다.

7실무 진단 — 옮긴 모델이 대상에서 기대보다 못할 때

분석분포 → 관계 → 학습 설정 순으로 좁힌다. 분포 차이는 비레이블 데이터만으로 잴 수 있어 가장 싸고, 관계 차이는 대상 레이블이 있어야 보이기 때문이다(Ganin 2016 정리 2 의 λ 항).

#증상의심 원인단계확인 자료판정 기준(근거)
1원천 시험은 좋은데 대상에서 반쯤만 맞음입력 분포 P(X) 차이분포원천 · 대상 비레이블을 가르는 분류기 오류 εPAD = 2(1 − 2ε) 가 2 에 가까움(Ganin 2016 식 3 · 사례 1.986)
2정렬 뒤 PAD 가 0 근처인데 대상 정확도가 낮음관계 P(Y|X) 차이관계대상 레이블 수십 개로 원천 모델 검증원천 모델이 검증 레이블에서 기준선 아래(사례 C 0.55)
3전이 결과가 같은 레이블 수의 대상만 학습보다 낮음부정 전이평가같은 레이블 · 같은 시험 세트의 기준선NTG > 0(Wang 2019 식 4 · 사례 +0.326)
4레이블을 늘려도 대상만 학습을 못 따라감사전값 β 과다 · 얼린 층 과다학습 설정β · 얼린 층 수를 바꾼 검증 곡선레이블이 많은 구간에서 β 를 줄이면 정확도가 오름(그림 5 C 선)
5깊은 신경망 중간 층에서 잘라 얼렸더니 낮아짐이웃 층끼리 함께 적응한 특징이 끊김구조자른 층 위치별 정확도 · 얼림 ↔ 미세 조정중간 층 얼림에서 하락 · 미세 조정이면 회복(Yosinski 2014 그림 2)
6의료 · 산업 영상에서 사전 학습 이득이 없음원천(자연 영상)과 대상의 거리 · 대상 데이터가 큼기준선무작위 초기화 학습과 같은 반복 수로 비교차이가 작으면 사전 학습 효과가 아님(Raghu 2019 초록 · He 2019 초록)

PAD 는 레이블을 쓰지 않으므로 관계 차이를 못 본다 — 사례의 C 는 정렬 뒤 PAD −0.042 였지만 부정 전이였다. 그래서 대상 레이블이 몇 개라도 생기면 원천 후보마다 기준선과 함께 먼저 잰다.

8시험 대비

출제 정보 컴퓨터시스템응용(131회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 도메인 · 과제 정의와 «무엇을 옮기나» 분류를 묻는 정의 · 특징형, 사전 학습 확산과 도메인 적응 · 부정 전이를 묻는 동향 · 발전형이 나올 수 있다. 정의형은 D = {X, P(X)} · T = {Y, f} 두 요소로 «어느 요소가 다른가»를 먼저 세우고, 동향형은 부정 전이 판정(NTG)으로 «언제 옮기지 말아야 하나»까지 쓴다.

답안 목차
  1. 개요 — 정의(원천 → 대상 지식 이전) · D = {X, P(X)} · T = {Y, f} · 필요성(레이블 비용 · 분포 이동) · Pratt 1992 · Pan · Yang 2010
  2. 구조 — 그림 3 원천 · 대상 · 옮길 지식 넷 · 기준선 + 귀납 · 변환 · 비지도 설정 표
  3. 방식 비교 — 표본 가중치 · 특징 표현 · 매개변수 · 관계 규칙 표(가정 · 대상 레이블 · 실패)
  4. 절차 — 그림 4 원천 그대로 0.517 → PAD 1.986 → CORAL 0.827 → 검증 → 전이 0.819
  5. 핵심 원리 — 그림 5 레이블 수별 전이 이득 곡선(+0.168 → 0.001) · 상한 ε_T ≤ ε_S + d + λ
  6. 한계와 대응 — 부정 전이 NTG > 0 · PAD 는 관계를 못 봄 · 원천 검증 · β 조정

꼭 쓸 키워드
원천 도메인대상 도메인도메인 적응공변량 이동부정 전이NTGPADCORALDANN미세 조정

다른 답안과 차이를 내는 한 가지 — 대상 레이블 수에 따른 전이 이득 곡선과 NTG 판정을 함께 그려, 「전이는 언제나 이득」이 아니라 «레이블이 적을 때 · 관계가 같을 때만 이득»이라는 조건을 숫자로 보인다.

9오해와 사실

  • 오해원천 데이터가 많을수록 전이 효과가 크다.
    사실관계가 다른 원천은 양과 무관하게 해가 된다 — 사례의 C 는 레이블 5,000개였지만 대상 20개 학습보다 0.326 낮았고, Wang 등은 이 조건을 부정 전이로 정의했다(Wang 2019 식 3).
  • 오해영상 과제에는 ImageNet 사전 학습이 꼭 필요하다.
    사실COCO 검출은 무작위 초기화로도 반복 수만 늘리면 사전 학습과 같은 수준이었고 학습 데이터 10% 에서도 그랬으며(He 2019 초록), 큰 의료 영상 과제 둘에서도 이득이 작았다(Raghu 2019 초록).
  • 오해전이 학습은 곧 미세 조정이다.
    사실미세 조정은 매개변수 전이의 한 방법이고, 대상 레이블 없이 분포를 맞추는 도메인 적응(CORAL · DANN)과 표본 가중 방식도 전이 학습이다(Zhuang 2020 3.3절).

10핵심 정리

개념무엇을 다루나식 · 기준사례 값실패 신호
도메인특징 공간 · 주변 분포D = {X, P(X)}센서 6개 · 이득 · 혼선 · 오프셋 다름원천 모델이 대상에서 반쯤만 맞음
과제레이블 공간 · 결정 함수T = {Y, f}관계 코사인 A · B 0.92 · A · C −0.48정렬 뒤에도 대상 레이블에서 틀림
도메인 적응비레이블로 P(X) 맞춤CORAL C_S^−1/2 · C_T^1/20.517 → 0.827(레이블 0)PAD 는 0 인데 정확도가 낮음
매개변수 전이원천 가중치를 시작 · 사전값으로손실 + (β/2)‖w − w0‖²20개에서 0.819(대상만 0.739)레이블이 늘어도 기준선 아래
도메인 거리두 데이터가 갈리는 정도PAD = 2(1 − 2ε)1.986 → 0.006관계 차이는 못 봄
기준선같은 레이블의 대상만 학습전이와 같은 시험 세트0.739기준선 없이 전이 결과만 보고
부정 전이옮긴 지식이 성능을 낮춤NTG = 기준선 − 전이 > 0C 에서 +0.326원천 후보를 검증 없이 채택

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ A Comprehensive Survey on Transfer Learning (Zhuang et al. · Proceedings of the IEEE 109(1) · arXiv 1911.02685v3) — 도메인 · 과제 정의와 귀납 · 변환 · 비지도 분류, 표본 · 특징 · 매개변수 방식을 볼 때
    arXiv · 2019-11 · arxiv.org/abs/1911.02685 · 확인 2026-11-12
  3. ★ Domain-Adversarial Training of Neural Networks (Ganin et al. · JMLR 17(59)) — PAD 식 · 대상 위험 상한(정리 2) · DANN 의 MNIST → MNIST-M 결과를 볼 때
    JMLR · 2016-04 · jmlr.org/papers/v17/15-239.html · 확인 2026-11-12
  4. ★ Return of Frustratingly Easy Domain Adaptation (Sun · Feng · Saenko · AAAI 2016 · arXiv 1511.05547) — 공분산을 맞추는 CORAL 알고리즘 1 을 볼 때
    arXiv · 2015-11 · arxiv.org/abs/1511.05547 · 확인 2026-11-12
  5. ★ Characterizing and Avoiding Negative Transfer (Wang et al. · CVPR 2019 · arXiv 1811.09751) — 부정 전이 조건(식 3)과 부정 전이 차이 NTG(식 4)를 볼 때
    arXiv · 2018-11 · arxiv.org/abs/1811.09751 · 확인 2026-11-12
  6. ★ How transferable are features in deep neural networks? (Yosinski et al. · NIPS 2014 · arXiv 1411.1792) — 신경망 층마다 일반 특징 · 특수 특징이 갈리는 실험을 볼 때
    arXiv · 2014-11 · arxiv.org/abs/1411.1792 · 확인 2026-11-12
  7. 본문 근거
  8. A Survey on Transfer Learning (Pan · Yang · IEEE Transactions on Knowledge and Data Engineering 22(10) 1345-1359) — IEEE · 2010-10 · doi.org/10.1109/TKDE.2009.191 · 확인 2026-11-12
  9. Analysis of Representations for Domain Adaptation (Ben-David et al. · NIPS 19) — NeurIPS · 2006-12 · proceedings.neurips.cc/paper/2006/hash/b1b0432ceafb0ce714426e9114852ac7-Abstract.html · 확인 2026-11-12
  10. Discriminability-Based Transfer between Neural Networks (Pratt · NIPS 5) — NeurIPS · 1993 · proceedings.neurips.cc/paper/1992/hash/67e103b0761e60683e83c559be18d40c-Abstract.html · 확인 2026-11-12
  11. DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition (Donahue et al. · ICML 2014 · arXiv 1310.1531) — arXiv · 2013-10 · arxiv.org/abs/1310.1531 · 확인 2026-11-12
  12. Do Better ImageNet Models Transfer Better? (Kornblith · Shlens · Le · CVPR 2019 · arXiv 1805.08974) — arXiv · 2018-05 · arxiv.org/abs/1805.08974 · 확인 2026-11-12
  13. Rethinking ImageNet Pre-training (He · Girshick · Dollár · ICCV 2019 · arXiv 1811.08883) — arXiv · 2018-11 · arxiv.org/abs/1811.08883 · 확인 2026-11-12
  14. Transfusion: Understanding Transfer Learning for Medical Imaging (Raghu et al. · NeurIPS 2019 · arXiv 1902.07208) — arXiv · 2019-02 · arxiv.org/abs/1902.07208 · 확인 2026-11-12
  15. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12