GAN생성적 적대 신경망 · Generative Adversarial Network
잡음에서 표본을 만드는 생성자와 진짜 · 가짜를 가리는 판별자를 서로 겨루게 학습해, 데이터 분포를 닮은 표본을 순전파 한 번으로 만드는 생성 모델이다.
1요약
- GAN 은 생성 모델 가운데 생성자 G 와 판별자 D 의 최소 최대 게임으로 분포를 배우는 방법으로(Goodfellow 2014 3절), 그 위에서 조건부 생성(Mirza 2014) · 얼굴 합성(Karras 2018) · 합성 데이터가 돌며, 반도체 소재 GaN(질화갈륨)과는 다른 개념이다.
- 우도를 직접 계산하는 옛 생성 모델은 분할 함수와 마르코프 연쇄 표집이 걸림돌이었는데, GAN 은 표본 한 장을 순전파 한 번으로 만든다 — 확산 모델이 BigGAN-deep 품질에 닿으려면 표본마다 순전파 25번이 필요했다(Dhariwal 2021).
- 「GAN 이 안 배운다」는 판별자 출력 두 평균으로 가른다 — 가짜 점수 D(G(z)) 가 0 근처에 붙으면 손실 · 판별자 균형 문제, 점수는 맞서는데 표본이 몇 봉우리에 몰리면 모드 붕괴, 둘 다 아니면 평가 지표 쪽이다.
2등장 배경
2014년 전의 깊은 생성 모델(제한 볼츠만 머신 · 깊은 볼츠만 머신)은 확률을 정규화하는 분할 함수가 계산 불가라 MCMC 표집으로 기울기를 어림했고, 연쇄가 봉우리 사이를 잘 섞지 못하면 학습이 막혔다(Goodfellow 2014 2절). 표본을 볼 때마다 연쇄를 여러 번 돌려야 하는 것도 그대로였다.
2014-06 Goodfellow 외는 판별자를 속이는 쪽으로 생성자를 학습하는 GAN 을 내놓아 역전파만으로 학습 · 표집을 끝냈고(MNIST Parzen 로그 우도 225 · 표 1), 같은 해 11월 Mirza · Osindero 가 레이블 조건을 더했다. 2015-11 DCGAN(Radford 2015)이 합성곱 구조 규칙을, 2017년 WGAN(Arjovsky 2017) · WGAN-GP(Gulrajani 2017)가 학습 안정화를, FID(Heusel 2017)가 평가 기준을 세웠다.
2018-09 BigGAN 은 ImageNet 128 × 128 에서 FID 를 18.6 에서 7.4 로 낮췄지만(Brock 2018), 2021-05 확산 모델이 ImageNet 256 × 256 FID 4.59 로 앞서며 품질 1위 자리를 넘겼다(Dhariwal 2021). 지금 GAN 은 순전파 한 번이 필요한 실시간 생성 · 판별자 손실을 다른 생성 모델에 붙이는 부품으로 남고, 실존 인물 합성 문제는 딥페이크가 다룬다.
3쉽게 이해하기 — 위폐 공방과 은행 감별 창구
위조범 민호는 공방에서 아무렇게나 섞은 물감으로 지폐를 찍어 은행 감별 창구에 낸다. 감별사 지은은 금고에서 꺼낸 진짜 지폐와 민호의 지폐를 섞어 받아, 장마다 「진짜일 확률」을 점수표에 적는다. 민호는 진짜 지폐를 한 번도 직접 보지 못하고 점수표만 보고 «어디를 고치면 점수가 오르나»를 배워 다시 찍고, 지은도 틀린 장을 복습해 눈이 날카로워진다. 이 겨루기를 되풀이해 지은이 어느 지폐에나 반반이라고밖에 못 적게 되면 끝난다.
그림 1 · 위조범은 진짜 지폐를 직접 보지 않고 감별 점수표가 돌려주는 «고칠 방향»만으로 배우며, 감별사가 반반밖에 못 적게 되면 겨루기가 끝난다.
그림 2 · 감별사가 적는 확률은 «그 무늬에서 진짜가 차지하는 몫»이다 — 몫이 0.5 보다 크면 위조범이 그 무늬를 덜 찍은 것이고, 모든 무늬에서 0.5 가 되면 두 더미가 같아진 것이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 물감 상자 | 잡음 z | 정규 분포에서 뽑은 벡터 · 표본마다 다른 씨앗 |
| 위조 공방 · 민호 | 생성자 G | z 를 데이터 공간의 표본 G(z) 로 바꾸는 신경망 |
| 은행 금고 | 학습 데이터 | 판별자만 직접 읽는 진짜 표본 |
| 감별사 지은 | 판별자 D | 입력이 데이터에서 왔을 확률 D(x) 를 낸다 |
| 점수표 | 손실 · 기울기 | 판별자를 거꾸로 지나 생성자 가중치까지 전해지는 미분 |
| 고쳐 찍기 | 번갈아 갱신 | 판별자 k 번 · 생성자 1번을 되풀이(사례 k = 1) |
| 한 무늬만 찍기 | 모드 붕괴 | 많은 z 가 같은 표본으로 몰려 다양성이 사라진다 |
| 반반 | 평형 | p_ |
⚠ 비유가 맞지 않는 곳: 실제 감별사는 점수 하나가 아니라 «입력을 어느 쪽으로 옮기면 점수가 오르나»라는 미분을 통째로 넘기고, 신경망 GAN 에서는 그 겨루기가 반반에 닿는다는 보장이 없다 — 위 평형은 용량이 무한하고 판별자가 매번 최적일 때의 결과다(Goodfellow 2014 4.2절).
4구조 — 두 신경망과 두 손실
GAN 은 신경망 둘과 손실 둘로 이뤄진다. 판별자는 진짜 x 와 가짜 G(z) 를 함께 읽고, 생성자는 데이터를 직접 읽지 않으며 판별자를 거쳐 온 기울기로만 갱신된다.
그림 3 · 판별자 손실의 기울기는 판별자에서 멈추고, 생성자 손실의 기울기는 판별자를 고정한 채 그 안을 지나 생성자까지 간다.
| 요소 | 크기(사례) | 역할 | 값 · 근거 |
|---|---|---|---|
| 잡음 z | 16차원 | 표본마다 다른 씨앗 | z ~ N(0, I)(Goodfellow 2014 3절 p_ |
| 생성자 G | 파라미터 5,378개 | z → 표본 G(z) | 16·64 + 64 + 64·64 + 64 + 64·2 + 2 |
| 판별자 D | 파라미터 4,417개 | 입력이 데이터일 확률 | 시그모이드 출력 0 ~ 1 |
| 판별자 손실 L_ | 표본 쌍마다 | 진짜 1 · 가짜 0 분류 | 이진 교차 엔트로피(4.1절) |
| 생성자 손실 L_ | 표본마다 | 판별자를 속이는 쪽으로 | 원판 log(1 − D(G(z))) 최소화 · 실무 −log D(G(z))(3절) |
| 최적 판별자 D* | 위치 x 마다 | 두 밀도 비를 알려 줌 | p_ |
| 평가 FID | 특징 평균 · 공분산 | 생성 품질 · 다양성 | ‖m − m_ |
🔑 생성자는 학습 데이터를 한 번도 직접 읽지 않는다 — 데이터에 대한 정보는 모두 판별자를 지나온 기울기로만 들어오므로, 판별자가 주는 신호가 약하거나 치우치면 생성자는 그만큼만 배운다.
5동작 — 25개 봉우리 격자 분포 학습
직접 실행(합성 데이터 · NumPy 로 짠 작은 다층 퍼셉트론 · seed 0)으로 비포화 손실 GAN 이 격자 분포를 배우는 과정을 따라간다. 봉우리 근처 = 중심에서 0.15(표준편차의 3배) 이내 · 봉우리를 덮었다 = 고정 z 2,000개 표본 가운데 1%(20개) 이상이 그 근처다.
- 설정 — 데이터는 가로 · 세로 −2 ~ 2 의 정수 격자점 25곳에 놓인 정규 분포(표준편차 0.05 · 설명용 가정 값)이고, 판별자 1번 · 생성자 1번을 번갈아(k = 1 · Goodfellow 2014 3절) Adam 학습률 0.001 · β1 0.5 · 배치 256 으로 10,000단계 갱신한다(β1 0.5 = Radford 2015 4절).
- 시작 — 학습 전 생성자 표본은 원점에서 평균 1.79 떨어져(표준편차 1.03) 흩어져 있고, 우연히 근처에 든 표본은 6.2%(덮은 봉우리 1/25)다 · D(x) 0.58 · D(G(z)) 0.54 로 판별자도 아직 못 가린다.
- 3,000단계 — 표본이 바깥쪽으로 퍼지지만(원점 거리 평균 2.01) 봉우리 사이에 흩어져 근처 비율 4.7% · 덮은 봉우리 0이고, 판별자는 D(x) 0.68 · D(G(z)) 0.40 으로 앞서기 시작한다.
- 6,000단계 — 판별자가 더 앞서(D(x) 0.75 · D(G(z)) 0.28) 생성자를 봉우리 쪽으로 밀어, 표본이 몇 곳에 모이기 시작한다 — 근처 15.7% · 덮은 봉우리 6/25.
- 10,000단계 — 근처 비율은 56.1% 로 올랐는데 덮은 봉우리는 8/25 뿐이고, 그 8개 가운데 6개가 바깥 테두리이며 한가운데 (0, 0) 봉우리에는 표본이 0개다 · D(x) 0.77 · D(G(z)) 0.31 로 이론 평형 1/2 에 모이지 않는다 — 품질은 오르고 다양성은 잃는 모드 누락 상태다.
- 시드 범위 — 같은 설정을 seed 0 ~ 9 로 돌리면 10,000단계 뒤 덮은 봉우리는 5 ~ 9개, 근처 비율은 23.7 ~ 76.7% 로, 25개를 모두 덮은 실행은 없었다.
그림 4 · 판별자가 앞서는 6,000단계부터 표본이 봉우리에 모이며 근처 비율이 오르지만, 10,000단계에도 25개 가운데 8개만 덮고 가운데 봉우리는 비어 있다 — 품질과 다양성은 따로 움직인다.
판별자 확신이 생성자 신호를 어떻게 바꾸는지는 손실 식 하나로 정해진다. 판별자 로짓을 a, D = σ(a) 라 하면 원판 손실 log(1 − D) 의 a 미분 크기는 D, 비포화 손실 −log D 의 미분 크기는 1 − D 다(Goodfellow 2014 3절 「saturates」).
그림 5 · 판별자가 가짜를 확신할수록(D(G(z)) → 0) 원판 손실이 생성자에게 주는 신호는 D 만큼으로 줄고 비포화 손실은 1 − D 로 커진다 — 사례에서 D(G(z)) 0.234 일 때 생성자 기울기 노름이 2.6배 차이 났다.
그림 5 의 직접 실행 값은 생성자를 고정하고 판별자만 3,000번 학습한 뒤 같은 z 2,000개로 잰 생성자 전체 기울기 노름이다. seed 0 ~ 9 에서 D(G(z)) 는 0.12 ~ 0.23, 노름 비는 2.0 ~ 19배로 실행마다 크게 갈렸지만, 비포화 쪽이 작은 실행은 없었다.
🔑 비포화 손실은 게임의 고정점을 바꾸지 않고 신호의 크기만 바꾼다 — 판별자가 이길수록 원판 손실은 생성자에게 주는 신호를 줄이고, 비포화 손실은 오히려 키운다.
6비교 — 손실 · 구조 변형과 형제 생성 모델
| 기준 | 원판 GAN | 비포화 · DCGAN | WGAN-GP | 조건부 GAN | 형제(확산 모델 · VAE) |
|---|---|---|---|---|---|
| 생성자 손실 | log(1 − D(G(z))) 최소화 | −log D(G(z)) 최소화 | 비평자 점수 −D(G(z)) | 원판 · 비포화 + 레이블 y | 확산 = 잡음 예측 · VAE = 우도 하한(Kingma 2013) |
| 판별자 출력 | 확률 0 ~ 1 | 확률 0 ~ 1 | 실수 점수(확률 아님) | 확률 · x 와 y 를 함께 읽음 | 판별자 없음 |
| 주된 실패 | 초반 기울기 포화(3절) | 모드 붕괴 · 진동 | 비평자 5번당 생성자 1번이라 느림 | 레이블이 있어야 함 | 확산 = 단계 수만큼 느림 · VAE = 흐린 표본 |
| 대표 설정 | k = 1(Goodfellow 2014) | Adam 0.0002 · β1 0.5 · LeakyReLU 0.2(Radford 2015) | λ 10 · n_ | G · D 입력에 y 를 붙임(Mirza 2014) | 품질 · 다양성 · 속도 짝 비교 = 이미지 · 멀티모달 |
| 표본 1장 비용 | 순전파 1번 | 순전파 1번 | 순전파 1번 | 순전파 1번 | 확산 = BigGAN-deep 수준에 25번(Dhariwal 2021) |
분석처음 만든다면 비포화 손실 + DCGAN 설정에서 출발하고, 모드 붕괴 · 진동이 되풀이되면 WGAN-GP 로, 속도보다 품질 · 다양성이 중요하면 형제인 확산 모델로 옮긴다. 근거는 충분한 하이퍼파라미터 탐색과 재시작을 주면 대부분의 GAN 변형이 비슷한 점수에 닿았다는 대규모 비교라, 변형을 바꾸기 전에 탐색 예산부터 늘리는 편이 맞다(Lucic 2017).
7실무 진단 — GAN 학습 실패의 단계 가르기
분석판별자 출력 두 평균 D(x) · D(G(z)) 를 먼저 보고, 다음에 고정 z 표본의 다양성, 마지막에 평가 지표를 본다. 판별자 평균은 학습 중 바로 찍을 수 있고, 생성자의 모든 신호가 판별자를 지나오기 때문이다(그림 3 · Goodfellow 2014 3절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | D(G(z)) 가 0 근처에 붙고 표본이 안 바뀜 | 판별자 과강 · 원판 손실 포화 | 손실 · 균형 | D(x) · D(G(z)) 평균 · 생성자 기울기 노름 | 원판 손실이면 비포화로 바꿈(Goodfellow 2014 3절) · 사례 노름 비 2.6배 |
| 2 | 표본이 몇 봉우리 · 몇 모양에 몰림 | 모드 붕괴 · 모드 누락 | 생성자 | 고정 z 수천 개 표본의 봉우리 · 클래스별 개수 | 많은 z 가 같은 x 로 모임(Goodfellow 2014 6절) · 사례 25개 중 8개만 덮음 |
| 3 | 손실 곡선이 출렁이는데 품질과 무관 | 두 손실이 맞서 움직임 | 평가 | 고정 간격 FID 추이 | WGAN 비평자 값은 학습 곡선으로 쓸 수 있음(Arjovsky 2017) |
| 4 | 학습 초반 발산 · 진동 | 학습률 · β1 이 큼 | 최적화 | Adam 설정 | 0.001 은 너무 높고 β1 0.9 는 진동 → 0.0002 · 0.5(Radford 2015 4절) |
| 5 | 같은 설정인데 FID 가 실행마다 다름 | 시드 · 재시작 차이 | 평가 | 시드 여러 개의 FID 범위 | 단일 실행 비교 금지 · 여러 번 돌려 분포로 비교(Lucic 2017) |
8시험 대비
www.q-net.or.kr시험에서는 정의 · 특징형(생성자 · 판별자 구조와 최소 최대 게임)과 동향 · 발전형(DCGAN → WGAN → 확산 모델로의 이동)이 나올 수 있다. 정의 · 특징형은 식 하나 · 구조 그림 하나 · 한계 둘로 쓰고, 발전형은 «무엇이 문제였고 무엇으로 풀었나»를 변형마다 한 줄씩 잇는다.
- 개요 — 정의(생성자 · 판별자의 최소 최대 게임) · Goodfellow 2014 · 반도체 GaN 과 다른 개념 한 줄
- 구조 — 그림 3 두 신경망 · 두 손실과 기울기 길 · V(D, G) 식 · 최적 판별자 D* = p_data / (p_data + p_g)
- 학습 원리 — 그림 5 원판 손실 포화 ↔ 비포화 손실(미분 크기 D ↔ 1 − D) · C(G) = −log 4 + 2 · JSD
- 문제와 대응 — 그림 4 모드 누락 사례(25개 중 8개) · 학습 불안정 → DCGAN 설정 · WGAN-GP(λ 10 · n_critic 5)
- 변형 · 동향 — 조건부 GAN · DCGAN · WGAN · StyleGAN · BigGAN(FID 7.4) → 확산 모델(FID 4.59) · 순전파 1번의 장점
- 평가 · 활용 — FID 식 · 시드 여러 개로 비교 · 합성 데이터 · 딥페이크 위험은 탐지 · 표시로 연결
꼭 쓸 키워드
생성자판별자최소 최대 게임최적 판별자젠센-섀넌 발산비포화 손실모드 붕괴WGAN-GP조건부 GANFID
다른 답안과 차이를 내는 한 가지는 그림 5 의 «미분 크기 D ↔ 1 − D» 다 — 비포화 손실을 «관행»이 아니라 식 한 줄로 설명하면 학습 원리 항목이 끝난다.
9오해와 사실
- 오해판별자를 강하게 만들수록 생성자도 잘 배운다.사실원판 손실에서는 판별자가 가짜를 확신할수록 생성자 신호가 D 만큼으로 줄고(Goodfellow 2014 3절), 판별자만 학습한 사례에서 그 차이는 노름 2.6배(seed 0 ~ 9 에서 2.0 ~ 19배)였다.
- 오해판별자 출력이 0.5 근처면 생성자가 데이터 분포를 다 배운 것이다.사실1/2 은 용량 무한 · 최적 판별자 조건의 이론 해이고(명제 1), 판별자 점수만으로는 다양성을 알 수 없다 — 사례는 10,000단계 뒤 D(G(z)) 0.31 인데 덮은 봉우리가 8/25 였다.
- 오해새로 나온 GAN 변형일수록 확실히 더 좋은 결과를 낸다.사실대규모 비교에서 충분한 탐색 · 재시작을 주면 대부분의 변형이 비슷한 점수에 닿았다(Lucic 2017).
10핵심 정리
| 구분 | 입력 | 출력 | 식 · 설정 | 실패 신호 | 근거 |
|---|---|---|---|---|---|
| 잡음 z | 정규 난수 | 씨앗 벡터 | N(0, I) · 사례 16차원 | — | Goodfellow 2014 3절 |
| 생성자 G | z | 표본 G(z) | 비포화 −log D(G(z)) | 모드 붕괴 · 누락 | 3 · 6절 |
| 판별자 D | x · G(z) | 진짜 확률 | 최적 D* = p_ | D(G(z)) → 0 | 명제 1 |
| 게임 값 | D · G | C(G) | −log 4 + 2 · JSD | 평형에 안 모임 | 정리 1 |
| DCGAN 설정 | 합성곱 G · D | 학습 안정 | Adam 0.0002 · β1 0.5 | 진동 · 발산 | Radford 2015 |
| WGAN-GP | 비평자 점수 | 안정 학습 | λ 10 · n_ | 느린 학습 | Gulrajani 2017 |
| FID | 특징 평균 · 공분산 | 품질 · 다양성 점수 | 프레셰 거리 | 실행마다 다른 값 | Heusel 2017 |
| 모드 누락 | 고정 z 표본 | 봉우리별 개수 | 사례 8/25 | 빈 봉우리 | Metz 2016 |
11참고 문헌
- 먼저 볼 문헌
- ★ Generative Adversarial Networks (NeurIPS 2014) — 최소 최대 게임 식 · 최적 판별자 · 비포화 손실 · 모드 붕괴의 원전을 볼 때
- ★ Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (DCGAN · ICLR 2016) — 합성곱 GAN 의 구조 규칙과 Adam 학습률 · β1 설정을 볼 때
- ★ Improved Training of Wasserstein GANs (NeurIPS 2017) — 기울기 벌점 λ · 비평자 반복 수 같은 안정화 기본값을 볼 때
- ★ GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium (FID · NeurIPS 2017) — 생성 품질 지표 FID 의 식과 뜻을 볼 때
- ★ Unrolled Generative Adversarial Networks (ICLR 2017) — 모드 붕괴가 작은 2차원 혼합 분포에서 어떻게 보이고 무엇으로 완화하나를 볼 때
- 본문 근거
- Conditional Generative Adversarial Nets — arXiv · 2014-11 ·
arxiv.org/abs/1411.1784· 확인 2026-11-13 - Wasserstein GAN — arXiv · 2017-01 ·
arxiv.org/abs/1701.07875· 확인 2026-11-13 - Are GANs Created Equal? A Large-Scale Study (NeurIPS 2018) — arXiv · 2017-11 ·
arxiv.org/abs/1711.10337· 확인 2026-11-13 - Large Scale GAN Training for High Fidelity Natural Image Synthesis (BigGAN · ICLR 2019) — arXiv · 2018-09 ·
arxiv.org/abs/1809.11096· 확인 2026-11-13 - A Style-Based Generator Architecture for Generative Adversarial Networks (StyleGAN · CVPR 2019) — arXiv · 2018-12 ·
arxiv.org/abs/1812.04948· 확인 2026-11-13 - Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021) — arXiv · 2021-05 ·
arxiv.org/abs/2105.05233· 확인 2026-11-13 - Auto-Encoding Variational Bayes — arXiv · 2013-12 ·
arxiv.org/abs/1312.6114· 확인 2026-11-13 - NumPy documentation - numpy.random.Generator.standard_normal — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.standard_normal.html· 확인 2026-11-13