AI › 생성형 AI › 이미지 · 멀티모달 › 생성 모델

GAN생성적 적대 신경망 · Generative Adversarial Network

잡음에서 표본을 만드는 생성자와 진짜 · 가짜를 가리는 판별자를 서로 겨루게 학습해, 데이터 분포를 닮은 표본을 순전파 한 번으로 만드는 생성 모델이다.

1요약

  1. GAN 은 생성 모델 가운데 생성자 G 와 판별자 D 의 최소 최대 게임으로 분포를 배우는 방법으로(Goodfellow 2014 3절), 그 위에서 조건부 생성(Mirza 2014) · 얼굴 합성(Karras 2018) · 합성 데이터가 돌며, 반도체 소재 GaN(질화갈륨)과는 다른 개념이다.
  2. 우도를 직접 계산하는 옛 생성 모델은 분할 함수와 마르코프 연쇄 표집이 걸림돌이었는데, GAN 은 표본 한 장을 순전파 한 번으로 만든다 — 확산 모델이 BigGAN-deep 품질에 닿으려면 표본마다 순전파 25번이 필요했다(Dhariwal 2021).
  3. 「GAN 이 안 배운다」는 판별자 출력 두 평균으로 가른다 — 가짜 점수 D(G(z)) 가 0 근처에 붙으면 손실 · 판별자 균형 문제, 점수는 맞서는데 표본이 몇 봉우리에 몰리면 모드 붕괴, 둘 다 아니면 평가 지표 쪽이다.

2등장 배경

2014년 전의 깊은 생성 모델(제한 볼츠만 머신 · 깊은 볼츠만 머신)은 확률을 정규화하는 분할 함수가 계산 불가라 MCMC 표집으로 기울기를 어림했고, 연쇄가 봉우리 사이를 잘 섞지 못하면 학습이 막혔다(Goodfellow 2014 2절). 표본을 볼 때마다 연쇄를 여러 번 돌려야 하는 것도 그대로였다.

2014-06 Goodfellow 외는 판별자를 속이는 쪽으로 생성자를 학습하는 GAN 을 내놓아 역전파만으로 학습 · 표집을 끝냈고(MNIST Parzen 로그 우도 225 · 표 1), 같은 해 11월 Mirza · Osindero 가 레이블 조건을 더했다. 2015-11 DCGAN(Radford 2015)이 합성곱 구조 규칙을, 2017년 WGAN(Arjovsky 2017) · WGAN-GP(Gulrajani 2017)가 학습 안정화를, FID(Heusel 2017)가 평가 기준을 세웠다.

2018-09 BigGAN 은 ImageNet 128 × 128 에서 FID 를 18.6 에서 7.4 로 낮췄지만(Brock 2018), 2021-05 확산 모델이 ImageNet 256 × 256 FID 4.59 로 앞서며 품질 1위 자리를 넘겼다(Dhariwal 2021). 지금 GAN 은 순전파 한 번이 필요한 실시간 생성 · 판별자 손실을 다른 생성 모델에 붙이는 부품으로 남고, 실존 인물 합성 문제는 딥페이크가 다룬다.

3쉽게 이해하기 — 위폐 공방과 은행 감별 창구

위조범 민호는 공방에서 아무렇게나 섞은 물감으로 지폐를 찍어 은행 감별 창구에 낸다. 감별사 지은은 금고에서 꺼낸 진짜 지폐와 민호의 지폐를 섞어 받아, 장마다 「진짜일 확률」을 점수표에 적는다. 민호는 진짜 지폐를 한 번도 직접 보지 못하고 점수표만 보고 «어디를 고치면 점수가 오르나»를 배워 다시 찍고, 지은도 틀린 장을 복습해 눈이 날카로워진다. 이 겨루기를 되풀이해 지은이 어느 지폐에나 반반이라고밖에 못 적게 되면 끝난다.

물감 상자 아무렇게나 섞은 물감 잡음 z 위조 공방 · 민호 물감으로 지폐를 찍음 생성자 G 감별 창구 · 지은 장마다 진짜 확률 판별자 D 은행 금고 진짜 지폐 묶음 학습 데이터 x 점수표 어디가 티 나나 손실 · 기울기 반반 더는 가려내지 못함 D = 1/2 · 분포 일치 1 2 3 4 5 고칠 방향 6 잡음 모델 · 학습 규칙 판정 데이터 기울기가 돌아가는 길

그림 1 · 위조범은 진짜 지폐를 직접 보지 않고 감별 점수표가 돌려주는 «고칠 방향»만으로 배우며, 감별사가 반반밖에 못 적게 되면 겨루기가 끝난다.

물감 섞기아무렇게나 섞음
찍기위조 지폐를 냄
감별장마다 진짜 확률
점수표어디가 티 나나
고쳐 찍기점수만 보고 고침
반반더는 못 가려냄
비유 — 무늬별 지폐 더미 실제 — 최적 판별자 6 2 무늬 A 6/8 = 0.75 2 6 무늬 B 2/8 = 0.25 4 4 무늬 C 4/8 = 0.5 감별사가 적는 값 = 진짜 장 수 ÷ 그 무늬 전체 진짜 지폐 위조 지폐 D*(x) = p_data(x) / (p_data(x) + p_g(x)) 생성자를 고정했을 때의 최적 판별자(명제 1) 0.75 p_g 가 모자란 자리 → 더 만듦 0.25 p_g 가 넘친 자리 → 덜 만듦 0.5 두 밀도가 같은 자리 끝: p_g = p_data 이면 모든 x 에서 1/2 C(G) = −log 4 + 2 · JSD(p_data ‖ p_g) JSD = 0 일 때 최솟값 −log 4(정리 1)

그림 2 · 감별사가 적는 확률은 «그 무늬에서 진짜가 차지하는 몫»이다 — 몫이 0.5 보다 크면 위조범이 그 무늬를 덜 찍은 것이고, 모든 무늬에서 0.5 가 되면 두 더미가 같아진 것이다.

비유 속 역할실제 이름실제로 하는 일
물감 상자잡음 z정규 분포에서 뽑은 벡터 · 표본마다 다른 씨앗
위조 공방 · 민호생성자 Gz 를 데이터 공간의 표본 G(z) 로 바꾸는 신경망
은행 금고학습 데이터판별자만 직접 읽는 진짜 표본
감별사 지은판별자 D입력이 데이터에서 왔을 확률 D(x) 를 낸다
점수표손실 · 기울기판별자를 거꾸로 지나 생성자 가중치까지 전해지는 미분
고쳐 찍기번갈아 갱신판별자 k 번 · 생성자 1번을 되풀이(사례 k = 1)
한 무늬만 찍기모드 붕괴많은 z 가 같은 표본으로 몰려 다양성이 사라진다
반반평형p_g = p_data 이고 D = 1/2 인 이론 해

⚠ 비유가 맞지 않는 곳: 실제 감별사는 점수 하나가 아니라 «입력을 어느 쪽으로 옮기면 점수가 오르나»라는 미분을 통째로 넘기고, 신경망 GAN 에서는 그 겨루기가 반반에 닿는다는 보장이 없다 — 위 평형은 용량이 무한하고 판별자가 매번 최적일 때의 결과다(Goodfellow 2014 4.2절).

4구조 — 두 신경망과 두 손실

GAN 은 신경망 둘과 손실 둘로 이뤄진다. 판별자는 진짜 x 와 가짜 G(z) 를 함께 읽고, 생성자는 데이터를 직접 읽지 않으며 판별자를 거쳐 온 기울기로만 갱신된다.

잡음 z N(0, I) · 16차원 생성자 G 16 · 64 · 64 · 2 데이터 x 격자 25봉우리 판별자 D 2 · 64 · 64 · 1 판별자 손실 L_D −log D(x) − log(1 − D(G(z))) 생성자 손실 L_G −log D(G(z)) 가짜 G(z) 진짜 x ∂L_D — 판별자만 갱신 ∂L_G — 판별자는 고정한 채 지나 생성자만 갱신 잡음 생성 모델 판정 데이터 기울기 길

그림 3 · 판별자 손실의 기울기는 판별자에서 멈추고, 생성자 손실의 기울기는 판별자를 고정한 채 그 안을 지나 생성자까지 간다.

요소크기(사례)역할값 · 근거
잡음 z16차원표본마다 다른 씨앗z ~ N(0, I)(Goodfellow 2014 3절 p_z)
생성자 G파라미터 5,378개z → 표본 G(z)16·64 + 64 + 64·64 + 64 + 64·2 + 2
판별자 D파라미터 4,417개입력이 데이터일 확률시그모이드 출력 0 ~ 1
판별자 손실 L_D표본 쌍마다진짜 1 · 가짜 0 분류이진 교차 엔트로피(4.1절)
생성자 손실 L_G표본마다판별자를 속이는 쪽으로원판 log(1 − D(G(z))) 최소화 · 실무 −log D(G(z))(3절)
최적 판별자 D*위치 x 마다두 밀도 비를 알려 줌p_data / (p_data + p_g)(명제 1)
평가 FID특징 평균 · 공분산생성 품질 · 다양성‖m − m_w‖² + Tr(C + C_w − 2(C C_w)^½)(Heusel 2017 식 6)

🔑 생성자는 학습 데이터를 한 번도 직접 읽지 않는다 — 데이터에 대한 정보는 모두 판별자를 지나온 기울기로만 들어오므로, 판별자가 주는 신호가 약하거나 치우치면 생성자는 그만큼만 배운다.

5동작 — 25개 봉우리 격자 분포 학습

직접 실행(합성 데이터 · NumPy 로 짠 작은 다층 퍼셉트론 · seed 0)으로 비포화 손실 GAN 이 격자 분포를 배우는 과정을 따라간다. 봉우리 근처 = 중심에서 0.15(표준편차의 3배) 이내 · 봉우리를 덮었다 = 고정 z 2,000개 표본 가운데 1%(20개) 이상이 그 근처다.

  1. 설정 — 데이터는 가로 · 세로 −2 ~ 2 의 정수 격자점 25곳에 놓인 정규 분포(표준편차 0.05 · 설명용 가정 값)이고, 판별자 1번 · 생성자 1번을 번갈아(k = 1 · Goodfellow 2014 3절) Adam 학습률 0.001 · β1 0.5 · 배치 256 으로 10,000단계 갱신한다(β1 0.5 = Radford 2015 4절).
  2. 시작 — 학습 전 생성자 표본은 원점에서 평균 1.79 떨어져(표준편차 1.03) 흩어져 있고, 우연히 근처에 든 표본은 6.2%(덮은 봉우리 1/25)다 · D(x) 0.58 · D(G(z)) 0.54 로 판별자도 아직 못 가린다.
  3. 3,000단계 — 표본이 바깥쪽으로 퍼지지만(원점 거리 평균 2.01) 봉우리 사이에 흩어져 근처 비율 4.7% · 덮은 봉우리 0이고, 판별자는 D(x) 0.68 · D(G(z)) 0.40 으로 앞서기 시작한다.
  4. 6,000단계 — 판별자가 더 앞서(D(x) 0.75 · D(G(z)) 0.28) 생성자를 봉우리 쪽으로 밀어, 표본이 몇 곳에 모이기 시작한다 — 근처 15.7% · 덮은 봉우리 6/25.
  5. 10,000단계 — 근처 비율은 56.1% 로 올랐는데 덮은 봉우리는 8/25 뿐이고, 그 8개 가운데 6개가 바깥 테두리이며 한가운데 (0, 0) 봉우리에는 표본이 0개다 · D(x) 0.77 · D(G(z)) 0.31 로 이론 평형 1/2 에 모이지 않는다 — 품질은 오르고 다양성은 잃는 모드 누락 상태다.
  6. 시드 범위 — 같은 설정을 seed 0 ~ 9 로 돌리면 10,000단계 뒤 덮은 봉우리는 5 ~ 9개, 근처 비율은 23.7 ~ 76.7% 로, 25개를 모두 덮은 실행은 없었다.
2 시작 · 1/25 봉우리 근처 6.2% 3 3,000단계 · 0/25 봉우리 근처 4.7% 4 6,000단계 · 6/25 봉우리 근처 15.7% 5 10,000단계 · 8/25 봉우리 근처 56.1% 데이터 봉우리 중심 생성 표본(2,000개 중 120개) 끝까지 비어 있는 봉우리(모드 누락) 근처 = 중심 0.15 이내

그림 4 · 판별자가 앞서는 6,000단계부터 표본이 봉우리에 모이며 근처 비율이 오르지만, 10,000단계에도 25개 가운데 8개만 덮고 가운데 봉우리는 비어 있다 — 품질과 다양성은 따로 움직인다.

판별자 확신이 생성자 신호를 어떻게 바꾸는지는 손실 식 하나로 정해진다. 판별자 로짓을 a, D = σ(a) 라 하면 원판 손실 log(1 − D) 의 a 미분 크기는 D, 비포화 손실 −log D 의 미분 크기는 1 − D 다(Goodfellow 2014 3절 「saturates」).

0 0.5 1 판별자가 가짜에 준 점수 D(G(z)) 0 0.5 1 생성자가 받는 로짓 미분 크기 D = 0.5 에서 같음 비포화 −log D · 1 − D 원판(포화) log(1 − D) · D 점선 = 직접 실행 D(G(z)) 0.234 에서 미분 0.234 ↔ 0.766 원판 노름 2.58 비포화 노름 6.60

그림 5 · 판별자가 가짜를 확신할수록(D(G(z)) → 0) 원판 손실이 생성자에게 주는 신호는 D 만큼으로 줄고 비포화 손실은 1 − D 로 커진다 — 사례에서 D(G(z)) 0.234 일 때 생성자 기울기 노름이 2.6배 차이 났다.

그림 5 의 직접 실행 값은 생성자를 고정하고 판별자만 3,000번 학습한 뒤 같은 z 2,000개로 잰 생성자 전체 기울기 노름이다. seed 0 ~ 9 에서 D(G(z)) 는 0.12 ~ 0.23, 노름 비는 2.0 ~ 19배로 실행마다 크게 갈렸지만, 비포화 쪽이 작은 실행은 없었다.

🔑 비포화 손실은 게임의 고정점을 바꾸지 않고 신호의 크기만 바꾼다 — 판별자가 이길수록 원판 손실은 생성자에게 주는 신호를 줄이고, 비포화 손실은 오히려 키운다.

6비교 — 손실 · 구조 변형과 형제 생성 모델

기준원판 GAN비포화 · DCGANWGAN-GP조건부 GAN형제(확산 모델 · VAE)
생성자 손실log(1 − D(G(z))) 최소화−log D(G(z)) 최소화비평자 점수 −D(G(z))원판 · 비포화 + 레이블 y확산 = 잡음 예측 · VAE = 우도 하한(Kingma 2013)
판별자 출력확률 0 ~ 1확률 0 ~ 1실수 점수(확률 아님)확률 · x 와 y 를 함께 읽음판별자 없음
주된 실패초반 기울기 포화(3절)모드 붕괴 · 진동비평자 5번당 생성자 1번이라 느림레이블이 있어야 함확산 = 단계 수만큼 느림 · VAE = 흐린 표본
대표 설정k = 1(Goodfellow 2014)Adam 0.0002 · β1 0.5 · LeakyReLU 0.2(Radford 2015)λ 10 · n_critic 5 · Adam 0.0001 · β1 0 · β2 0.9(Gulrajani 2017 알고리즘 1)G · D 입력에 y 를 붙임(Mirza 2014)품질 · 다양성 · 속도 짝 비교 = 이미지 · 멀티모달
표본 1장 비용순전파 1번순전파 1번순전파 1번순전파 1번확산 = BigGAN-deep 수준에 25번(Dhariwal 2021)

분석처음 만든다면 비포화 손실 + DCGAN 설정에서 출발하고, 모드 붕괴 · 진동이 되풀이되면 WGAN-GP 로, 속도보다 품질 · 다양성이 중요하면 형제인 확산 모델로 옮긴다. 근거는 충분한 하이퍼파라미터 탐색과 재시작을 주면 대부분의 GAN 변형이 비슷한 점수에 닿았다는 대규모 비교라, 변형을 바꾸기 전에 탐색 예산부터 늘리는 편이 맞다(Lucic 2017).

7실무 진단 — GAN 학습 실패의 단계 가르기

분석판별자 출력 두 평균 D(x) · D(G(z)) 를 먼저 보고, 다음에 고정 z 표본의 다양성, 마지막에 평가 지표를 본다. 판별자 평균은 학습 중 바로 찍을 수 있고, 생성자의 모든 신호가 판별자를 지나오기 때문이다(그림 3 · Goodfellow 2014 3절).

#증상의심 원인단계확인 자료판정 기준(근거)
1D(G(z)) 가 0 근처에 붙고 표본이 안 바뀜판별자 과강 · 원판 손실 포화손실 · 균형D(x) · D(G(z)) 평균 · 생성자 기울기 노름원판 손실이면 비포화로 바꿈(Goodfellow 2014 3절) · 사례 노름 비 2.6배
2표본이 몇 봉우리 · 몇 모양에 몰림모드 붕괴 · 모드 누락생성자고정 z 수천 개 표본의 봉우리 · 클래스별 개수많은 z 가 같은 x 로 모임(Goodfellow 2014 6절) · 사례 25개 중 8개만 덮음
3손실 곡선이 출렁이는데 품질과 무관두 손실이 맞서 움직임평가고정 간격 FID 추이WGAN 비평자 값은 학습 곡선으로 쓸 수 있음(Arjovsky 2017)
4학습 초반 발산 · 진동학습률 · β1 이 큼최적화Adam 설정0.001 은 너무 높고 β1 0.9 는 진동 → 0.0002 · 0.5(Radford 2015 4절)
5같은 설정인데 FID 가 실행마다 다름시드 · 재시작 차이평가시드 여러 개의 FID 범위단일 실행 비교 금지 · 여러 번 돌려 분포로 비교(Lucic 2017)

8시험 대비

출제 정보 컴퓨터시스템응용(131회, 122회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 정의 · 특징형(생성자 · 판별자 구조와 최소 최대 게임)과 동향 · 발전형(DCGAN → WGAN → 확산 모델로의 이동)이 나올 수 있다. 정의 · 특징형은 식 하나 · 구조 그림 하나 · 한계 둘로 쓰고, 발전형은 «무엇이 문제였고 무엇으로 풀었나»를 변형마다 한 줄씩 잇는다.

답안 목차
  1. 개요 — 정의(생성자 · 판별자의 최소 최대 게임) · Goodfellow 2014 · 반도체 GaN 과 다른 개념 한 줄
  2. 구조 — 그림 3 두 신경망 · 두 손실과 기울기 길 · V(D, G) 식 · 최적 판별자 D* = p_data / (p_data + p_g)
  3. 학습 원리 — 그림 5 원판 손실 포화 ↔ 비포화 손실(미분 크기 D ↔ 1 − D) · C(G) = −log 4 + 2 · JSD
  4. 문제와 대응 — 그림 4 모드 누락 사례(25개 중 8개) · 학습 불안정 → DCGAN 설정 · WGAN-GP(λ 10 · n_critic 5)
  5. 변형 · 동향 — 조건부 GAN · DCGAN · WGAN · StyleGAN · BigGAN(FID 7.4) → 확산 모델(FID 4.59) · 순전파 1번의 장점
  6. 평가 · 활용 — FID 식 · 시드 여러 개로 비교 · 합성 데이터 · 딥페이크 위험은 탐지 · 표시로 연결

꼭 쓸 키워드
생성자판별자최소 최대 게임최적 판별자젠센-섀넌 발산비포화 손실모드 붕괴WGAN-GP조건부 GANFID

다른 답안과 차이를 내는 한 가지는 그림 5 의 «미분 크기 D ↔ 1 − D» 다 — 비포화 손실을 «관행»이 아니라 식 한 줄로 설명하면 학습 원리 항목이 끝난다.

9오해와 사실

  • 오해판별자를 강하게 만들수록 생성자도 잘 배운다.
    사실원판 손실에서는 판별자가 가짜를 확신할수록 생성자 신호가 D 만큼으로 줄고(Goodfellow 2014 3절), 판별자만 학습한 사례에서 그 차이는 노름 2.6배(seed 0 ~ 9 에서 2.0 ~ 19배)였다.
  • 오해판별자 출력이 0.5 근처면 생성자가 데이터 분포를 다 배운 것이다.
    사실1/2 은 용량 무한 · 최적 판별자 조건의 이론 해이고(명제 1), 판별자 점수만으로는 다양성을 알 수 없다 — 사례는 10,000단계 뒤 D(G(z)) 0.31 인데 덮은 봉우리가 8/25 였다.
  • 오해새로 나온 GAN 변형일수록 확실히 더 좋은 결과를 낸다.
    사실대규모 비교에서 충분한 탐색 · 재시작을 주면 대부분의 변형이 비슷한 점수에 닿았다(Lucic 2017).

10핵심 정리

구분입력출력식 · 설정실패 신호근거
잡음 z정규 난수씨앗 벡터N(0, I) · 사례 16차원—Goodfellow 2014 3절
생성자 Gz표본 G(z)비포화 −log D(G(z))모드 붕괴 · 누락3 · 6절
판별자 Dx · G(z)진짜 확률최적 D* = p_data / (p_data + p_g)D(G(z)) → 0명제 1
게임 값D · GC(G)−log 4 + 2 · JSD평형에 안 모임정리 1
DCGAN 설정합성곱 G · D학습 안정Adam 0.0002 · β1 0.5진동 · 발산Radford 2015
WGAN-GP비평자 점수안정 학습λ 10 · n_critic 5느린 학습Gulrajani 2017
FID특징 평균 · 공분산품질 · 다양성 점수프레셰 거리실행마다 다른 값Heusel 2017
모드 누락고정 z 표본봉우리별 개수사례 8/25빈 봉우리Metz 2016

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Generative Adversarial Networks (NeurIPS 2014) — 최소 최대 게임 식 · 최적 판별자 · 비포화 손실 · 모드 붕괴의 원전을 볼 때
    arXiv · 2014-06 · arxiv.org/abs/1406.2661 · 확인 2026-11-13
  3. ★ Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (DCGAN · ICLR 2016) — 합성곱 GAN 의 구조 규칙과 Adam 학습률 · β1 설정을 볼 때
    arXiv · 2015-11 · arxiv.org/abs/1511.06434 · 확인 2026-11-13
  4. ★ Improved Training of Wasserstein GANs (NeurIPS 2017) — 기울기 벌점 λ · 비평자 반복 수 같은 안정화 기본값을 볼 때
    arXiv · 2017-03 · arxiv.org/abs/1704.00028 · 확인 2026-11-13
  5. ★ GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium (FID · NeurIPS 2017) — 생성 품질 지표 FID 의 식과 뜻을 볼 때
    arXiv · 2017-06 · arxiv.org/abs/1706.08500 · 확인 2026-11-13
  6. ★ Unrolled Generative Adversarial Networks (ICLR 2017) — 모드 붕괴가 작은 2차원 혼합 분포에서 어떻게 보이고 무엇으로 완화하나를 볼 때
    arXiv · 2016-11 · arxiv.org/abs/1611.02163 · 확인 2026-11-13
  7. 본문 근거
  8. Conditional Generative Adversarial Nets — arXiv · 2014-11 · arxiv.org/abs/1411.1784 · 확인 2026-11-13
  9. Wasserstein GAN — arXiv · 2017-01 · arxiv.org/abs/1701.07875 · 확인 2026-11-13
  10. Are GANs Created Equal? A Large-Scale Study (NeurIPS 2018) — arXiv · 2017-11 · arxiv.org/abs/1711.10337 · 확인 2026-11-13
  11. Large Scale GAN Training for High Fidelity Natural Image Synthesis (BigGAN · ICLR 2019) — arXiv · 2018-09 · arxiv.org/abs/1809.11096 · 확인 2026-11-13
  12. A Style-Based Generator Architecture for Generative Adversarial Networks (StyleGAN · CVPR 2019) — arXiv · 2018-12 · arxiv.org/abs/1812.04948 · 확인 2026-11-13
  13. Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021) — arXiv · 2021-05 · arxiv.org/abs/2105.05233 · 확인 2026-11-13
  14. Auto-Encoding Variational Bayes — arXiv · 2013-12 · arxiv.org/abs/1312.6114 · 확인 2026-11-13
  15. NumPy documentation - numpy.random.Generator.standard_normal — NumPy · 2026-11 · numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.standard_normal.html · 확인 2026-11-13