확산 모델Diffusion Model
데이터에 가우스 잡음을 단계마다 조금씩 더하는 전방 과정을 정해 두고, 그 잡음을 한 단계씩 걷어 내는 역과정을 신경망으로 배워 순수 잡음에서 새 표본을 만드는 생성 모델이다.
1요약
- 확산 모델은 생성 모델 가운데 잡음을 한 단계씩 걷어 내는 반복 생성기로, 2015년 Sohl-Dickstein 등이 제안하고 2020년 DDPM 이 잡음 예측 학습으로 정리했으며, 글로 그림 만들기 · 이미지 고치기(인페인팅) · 해상도 올리기가 이 위에서 돈다. 반도체 공정의 「확산」(불순물을 열로 웨이퍼 속에 퍼뜨리는 공정)과는 이름만 같은 다른 개념이다.
- 한 번에 이미지를 내는 생성기는 판별자와의 대결이 흔들리거나 표본이 흐려지기 쉬운데, 확산 모델은 «더한 잡음 맞히기»라는 회귀 문제 하나만 풀어 적대 학습 없이 CIFAR-10 비조건 생성 FID 2.20 까지 갔다(Song 2021).
- 「생성 결과가 나쁘다」는 표본기 · 안내 세기 · 학습 가운데 어디인가로 가른다 — 같은 모델에서 단계만 늘려 나아지면 표본기, 조건을 무시하거나 과하게 따르면 안내 세기 w, 단계 · w 를 바꿔도 그대로면 잡음 일정 · 데이터 쪽이다.
2등장 배경
2014년 무렵 신경망 생성기는 GAN 의 생성자 · 판별자 대결(Goodfellow 2014)과 VAE 의 잠재 변수 하한 최적화가 이끌었다. 대결은 학습이 흔들리고 한 모양으로 몰리는 일이 잦았고, 하한 최적화는 표본이 흐렸다 — 두 방식 모두 «한 번의 신경망 호출로 완성품»을 내야 했다.
Sohl-Dickstein 등(2015)은 비평형 열역학에서 착안해 데이터 구조를 «천천히 부수는» 전방 과정과 그것을 되돌리는 역과정을 배우는 틀을 냈다(Sohl-Dickstein 2015). Song · Ermon(2019)은 여러 세기의 잡음을 얹은 데이터의 점수(로그 밀도의 기울기)를 배워 랑주뱅 동역학으로 표본을 뽑았고 CIFAR-10 IS 8.87 을 냈다(Song 2019). Ho 등(2020)은 두 흐름을 이어 «더한 잡음 ε 를 맞히는» 단순 목표 L_simple 로 학습을 정리했다(Ho 2020 3.4절).
그 뒤 2020년 DDIM 이 학습은 그대로 두고 단계를 줄였고(Song 2020), 2021년 분류기 안내(Dhariwal 2021)와 2022년 분류기 없는 안내(Ho 2022)가 조건 생성의 세기를 손잡이 하나로 만들었다. 압축 공간에서 확산을 돌리는 잠재 확산(Rombach 2021)이 계산량을 줄이면서 지금 글-이미지 생성 모델 다수가 이 구성을 쓴다.
3쉽게 이해하기 — 얼룩을 맞히는 미술 조수
미술 교사가 학생 그림 사진 위에 물감 얼룩을 한 겹씩 뿌려 끝내 얼룩만 보이는 종이로 만든다. 조수 지호는 겹마다 «방금 뿌린 얼룩이 어떤 모양인가»만 맞히는 연습을 수천 장 되풀이한다. 연습이 끝나면 교사는 그림 없이 얼룩만 뿌린 새 종이를 건네고, 지호는 손님의 주문 쪽지를 보며 맞힌 얼룩을 한 겹씩 100번 닦아 처음 보는 그림을 내놓는다.
그림 1 · 교사가 얼룩을 뿌리는 동안 조수는 얼룩 맞히기만 배우고, 생성 때는 새 얼룩 종이를 주문 쪽지대로 한 겹씩 닦아 새 그림을 만든다.
그림 2 · 조수는 그림을 직접 그리지 않고 «섞인 얼룩»만 맞힌다 — 실제 신경망도 x_t 에서 더해진 잡음 ε 를 예측하고, 그것을 빼서 x_0 를 추정한다.
| 비유 | 확산 모델 요소 | 실제로 하는 일 |
|---|---|---|
| 깨끗한 그림 | 학습 데이터 x_ | 확률 분포를 배울 표본(사례 = 2차원 점 2,000개) |
| 한 겹씩 뿌리는 얼룩 | 전방 과정 q · 잡음 일정 β_t | 단계마다 분산 β_t 의 가우스 잡음을 더함 · 학습 없음 |
| 얼룩 범벅 종이 | 순수 잡음 x_ | 마지막 단계 분포가 표준 정규 N(0, I) 에 가까움 |
| 얼룩 맞히기 연습 | 잡음 예측 학습 L_ | 임의 단계 t 의 x_ |
| 한 겹 닦기 | 역과정 한 단계 p_θ | 예측한 ε̂ 로 x_ |
| 닦는 횟수 | 표본 추출 단계 수 | 단계 하나 = 신경망 호출 한 번 · 횟수가 곧 생성 시간 |
| 주문 쪽지 | 조건 c · 안내 세기 w | 글 · 클래스를 넣고 w 로 조건을 따르는 세기를 정함 |
| 새 그림 | 생성 표본 | 학습 분포를 닮았지만 학습 표본과 다른 결과 |
⚠ 비유가 맞지 않는 곳: 실제 얼룩(ε)은 모양이 없는 표준 정규 난수이고, DDPM 은 닦을 때마다 작은 잡음 σ_t z 를 일부러 다시 더한다(Ho 2020 알고리즘 2) — 비유의 조수는 닦기만 한다. 또 조수 하나가 모든 겹을 맡듯 실제로도 신경망 하나가 단계 t 를 입력으로 받아 모든 단계를 처리한다.
4구조 — 고정된 전방 과정과 배우는 역과정
그림 3 · 전방 과정 q 는 학습 없이 정해진 잡음을 더하고, 신경망 ε_θ 하나가 단계 t · 조건 c 를 받아 역과정의 모든 단계를 맡는다.
| 요소 | 형태 · 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 잡음 일정 β_t | 단계 T 개의 분산 | 전방 과정의 잡음 세기 | 선형 0.0001 → 0.02 · T = 1,000(Ho 2020 4절) · 코사인 일정(Nichol 2021 3.2절) |
| 전방 과정 q | 가우스 마르코프 사슬 | 데이터를 잡음으로 | 한 번에 q(x_ |
| 잡음 예측 신경망 ε_θ | U-Net · 단계 임베딩 | x_ | CIFAR-10 모델 3,570만 파라미터 · 모든 단계가 가중치 공유(Ho 2020 부록 B) |
| 학습 목표 L_ | 제곱 오차 | ε 회귀 | E‖ε − ε_θ(√ᾱ_t x_ |
| 표본기 | 역과정 갱신 규칙 | x_ | DDPM 조상 추출 T 단계 · DDIM 결정적 S 단계(Song 2020 4.1절) |
| 조건 · 안내 | 조건 c · 세기 w | 생성 방향 조절 | ε̃ = (1 + w) ε_θ(x_ |
🔑 확산 모델은 «그림 그리기»를 배우지 않고 «섞인 잡음 맞히기»를 배운다 — 생성은 그 맞히기를 단계 수만큼 되풀이한 결과이고, 같은 신경망으로 단계 수만 바꿔 속도와 품질을 맞바꾼다.
5동작 — 2차원 점 무리를 잡음에서 되살리는 사례
반지름 2 원 위 여덟 무리를 배우는 작은 DDPM 을 NumPy 로 구현해 직접 실행(합성 데이터)했다. 신경망 · 학습 · 표본기는 Ho 2020 알고리즘 1 · 2 와 Song 2020 식 12 를 그대로 옮겼고, 일정 T = 100 과 신경망 크기는 이 사례의 설정이다.
- 데이터 — 원 위 45도 간격 중심 8개에 표준편차 0.1 로 점 2,000개를 뽑는다(전체 표준편차 1.41).
- 잡음 일정 — T = 100 단계에 β 를 0.001 → 0.2 로 선형 배치한다(DDPM 값 0.0001 ~ 0.02 를 1,000/T 배). 신호 계수 √ᾱ_t 는 t = 25 에서 0.727, t = 50 에서 0.272, t = 100 에서 0.0045 다.
- 전방 과정 한 점 — x_0 = (0.008, −1.910) 에 ε = (−0.802, −1.324) 를 섞으면 t = 25 에서 (−0.545, −2.298), t = 50 에서 (−0.769, −1.795), t = 100 에서 (−0.802, −1.333) 으로 거의 ε 자체가 된다.
- 학습 — 입력 18(좌표 2 + 단계 임베딩 16) · 은닉 128 × 3 · SiLU 신경망을 Adam(학습률 0.001) · 배치 256 으로 8,000번 갱신한다. L_simple 은 첫 100번 평균 0.808 에서 마지막 500번 평균 0.436 으로 내려가고, 단계별로는 t = 1 이 1.876 으로 가장 크고 t = 100 은 0.0016 이다.
- 역과정 — 새 잡음 2,000점에서 신경망을 100번 불러 DDPM 조상 추출로 되살린다. 무리 중심 반지름 0.3(3σ) 안에 든 비율은 92.0% 이고 여덟 무리가 모두 175 ~ 272점씩 채워진다(잡음 그대로 두면 4.2%).
- 단계 줄이기 — 같은 신경망에 DDIM(η = 0)을 50 · 20 · 10 · 5 단계로 쓰면 비율이 92.0 · 87.2 · 73.1 · 18.1% 가 된다. 시드 0 ~ 4 다섯 번에서 100단계는 92.0 ~ 93.5%, 10단계는 71.2 ~ 75.5%, 5단계는 15.0 ~ 28.0% 였다.
그림 4 · 잡음 구름이 호출을 거듭할수록 여덟 무리로 모이고, 같은 신경망이라도 단계를 10 아래로 줄이면 고리 안 비율이 급히 떨어진다.
🔑 t = 1 의 손실(1.876)이 t = 100(0.0016)보다 큰 것은 학습이 실패해서가 아니라 잡음이 거의 없는 x_1 에서 «아주 작은 잡음»을 맞히기가 가장 어렵기 때문이다 — 손실 값 하나로 모델을 비교할 때는 단계 t 를 같이 본다.
그림 5 · 선형 일정은 t 674 에서 신호 계수가 0.1 아래로 떨어져 뒤 3분의 1 을 거의 잡음에 쓰고, 코사인 일정은 t 936 까지 신호를 남긴다.
선형 일정 뒤쪽 단계는 입력이 이미 거의 잡음이라 학습 · 표본 추출에 보태는 정보가 적고, 코사인 일정은 ᾱ_t 를 가운데에서 거의 선형으로 줄여 이 낭비를 줄인다(Nichol 2021 3.2절 그림 5).
6비교 — 표본기 · 변형과 형제 생성 모델
| 기준 | DDPM 조상 추출 | DDIM | 잠재 확산 | 점수 SDE · ODE | GAN · VAE(형제) |
|---|---|---|---|---|---|
| 표본 하나의 신경망 호출 | T 번(1,000) | S 번(10 ~ 100) · 학습 그대로 | 표본기를 따름 · 픽셀 대신 압축 격자에서 | 풀이기 단계 수 | 생성자 · 디코더 한 번 |
| 무작위성 | 단계마다 잡음 z | η = 0 이면 같은 x_ | 표본기를 따름 | SDE 무작위 · ODE 결정적 | 입력 잡음 z 한 번 |
| 원 논문 품질(CIFAR-10 FID) | 1,000단계 3.17 · 10단계 41.07(η = 1) · 367.43(σ̂) | 10단계 13.36 · 50단계 4.67 | 고해상도 · 글 조건 생성이 목적(Rombach 2021) | 2.20 · 가능도 2.99 bits/dim | 품질 · 다양성 차이는 이미지 · 멀티모달 |
| 이 사례(고리 안 비율) | 100단계 92.0% · 10단계 71.6% | 10단계 73.1% · 5단계 18.1% | 실행 안 함 | 실행 안 함 | 실행 안 함 |
| 더 필요한 학습 | — | 없음 | 오토인코더를 먼저 학습 | 점수 신경망(같은 꼴) | 별도 모델 |
DDPM 10단계 값은 학습한 1,000단계를 10단계로 건너뛰며 조상 추출을 한 결과다(Song 2020 표 1 · η = 1 은 사후 분산 · σ̂ 는 DDPM 원래 분산) — 이 사례의 조상 추출은 η = 1 쪽 분산을 썼다.
분석이미 학습한 DDPM 이 있으면 학습은 그대로 두고 표본기만 DDIM 으로 바꿔 단계 수를 먼저 줄이고, 해상도가 커서 단계 하나가 무거우면 잠재 확산, 호출 한 번이 꼭 필요한 실시간 생성이면 GAN 쪽을 본다. 근거는 표의 품질 행 — 같은 10단계에서 DDIM 13.36 · 조상 추출 41.07 ~ 367.43 이고(Song 2020 표 1), 이 사례에서도 5단계 DDIM 이 다섯 시드 모두 조상 추출보다 높았다(15.0 ~ 28.0% ↔ 9.6 ~ 16.3%).
7실무 진단 — 생성 품질 저하의 원인 가르기
분석표본기(단계 수)부터 보고 안내 세기, 일정 · 데이터 순으로 좁힌다. 표본기와 w 는 학습 없이 바로 바꿔 볼 수 있지만 일정 · 데이터는 재학습이 필요하기 때문이다(Song 2020 1절 · Ho 2022 3.2절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 결과에 잡음 알갱이가 남거나 형태가 흐림 | 단계 수가 적은데 조상 추출을 씀 | 표본 추출 | 같은 시드 · 단계 S 별 표본 · FID | S = 20 에서 η = 1 은 18.36 · η = 0 은 6.84 — 같은 S 에서 η = 0 쪽이 낮으면 표본기 문제(Song 2020 표 1) |
| 2 | 글 조건(프롬프트)을 무시함 | 안내 세기 w = 0 · 학습 때 조건 버리기 없음 | 조건 · 안내 | 같은 시드로 w 0 · 1 · 3 비교 | w 0 → 1 에서 IS 52.9 → 158.29(Ho 2022 표 1 · p_ |
| 3 | 선명하지만 서로 비슷하고 색이 과함 | w 가 큼 | 조건 · 안내 | 표본 다양성 · FID | p_ |
| 4 | 학습 손실은 내려가는데 표본이 나아지지 않음 | 잡음 일정 뒤쪽이 거의 순수 잡음 | 일정 · 학습 | ᾱ_t 곡선 · 단계 구간별 손실 | 선형 일정 √ᾱ_t < 0.1 이 t 674 부터(원문 식 직접 계산 · Nichol 2021 3.2절) |
| 5 | 학습 이미지와 거의 같은 결과가 나옴 | 학습 데이터 기억(중복 표본) | 데이터 | 생성물 ↔ 학습 데이터 최근접 거리 | 최신 모델에서 학습 표본 1,000장 넘게 추출됨(Carlini 2023) |
단계 수를 늘렸을 때 FID 가 나아지면 표본기 문제로 닫고, 그대로이면 w 를 0 · 1 · 3 세 값으로 같은 시드에서 비교한다. 두 손잡이로 바뀌지 않으면 재학습 비용이 드는 일정 · 데이터 중복 점검으로 넘어간다.
8시험 대비
시험에서는 전방 · 역과정과 학습 목표를 묻는 정의 · 특징형, 그리고 VAE · GAN 에서 확산 · 잠재 확산 · 안내로 이어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 그림 3 의 두 사슬과 L_simple 식 하나로, 동향형은 «속도 문제 → DDIM · 잠재 확산, 조건 문제 → 분류기 없는 안내» 두 축으로 쓴다.
- 개요 — 정의(잡음을 더하는 고정 전방 과정 + 배우는 역과정) · Sohl-Dickstein 2015 · DDPM 2020 · 반도체 확산 공정과 다른 개념
- 구조 — 그림 3 전방 q · 역과정 p_θ · 신경망 ε_θ(x_t, t, c) + 요소 표(β_t · U-Net · L_simple)
- 동작 원리 — x_t = √ᾱ_t x_0 + √(1 − ᾱ_t) ε 식 · 그림 4 역과정 사례(호출 100번 · 고리 안 92.0%)
- 잡음 일정 — 그림 5 선형 · 코사인 신호 계수 곡선(t 674 ↔ 936)
- 속도 · 조건 개선 — DDIM 단계 수 표(10단계 13.36 ↔ 367.43) · 분류기 없는 안내 식 · w 의 품질 · 다양성 맞바꿈
- 한계와 위험 — 반복 호출 비용 · 학습 데이터 기억(Carlini 2023) · 생성물 표시
꼭 쓸 키워드
전방 과정역과정잡음 일정잡음 예측L_simpleDDPMDDIM잠재 확산분류기 없는 안내FID
다른 답안과 차이를 내는 한 가지 — 「단계 하나 = 신경망 호출 한 번」을 DDIM 표의 같은 10단계 FID(13.36 ↔ 367.43)로 보여 «학습은 그대로, 표본기만 바꿔도 속도가 달라진다»를 숫자로 증명한다.
9오해와 사실
- 오해확산 모델의 신경망은 한 단계 앞 이미지(역과정 평균)를 직접 예측한다.사실DDPM 은 더한 잡음 ε 를 예측하게 했고, 같은 고정 분산에서 평균 μ̃ 예측은 FID 13.22, ε 예측 L_simple 은 3.17 이었다(Ho 2020 표 2).
- 오해단계 수를 줄이려면 모델을 다시 학습해야 한다.사실DDIM 은 DDPM 과 같은 학습 목표를 쓰는 비마르코프 과정이라 학습한 모델 그대로 10 ~ 50배 빠르게 표본을 뽑는다(Song 2020 초록 · 3절).
- 오해잡음에서 만들므로 학습 이미지를 그대로 내놓지는 않는다.사실생성 후 거르기 방식으로 최신 확산 모델에서 학습 표본을 1,000장 넘게 뽑아낸 연구가 있고, GAN 보다 기억이 많았다(Carlini 2023).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 | 바꾸면 달라지는 것 | 흔한 실패 |
|---|---|---|---|---|
| 잡음 일정 | 단계별 잡음 세기 | 선형 0.0001 → 0.02 · 코사인 | 단계 낭비 · 학습 효율 | 뒤쪽 단계가 순수 잡음 |
| 전방 과정 | 데이터 → 잡음 | q(x_ | 없음(고정) | — |
| 잡음 예측 신경망 | x_ | U-Net · 단계 임베딩 | 품질 · 모델 크기 | 작은 t 손실이 큼(정상) |
| 표본기 | 잡음 → 표본 | DDPM T 단계 · DDIM S 단계 | 생성 시간 · 품질 | 단계가 적은 조상 추출 |
| 안내 세기 w | 조건을 따르는 정도 | ε̃ = (1 + w) ε_c − w ε | 충실도 ↔ 다양성 | 조건 무시 · 과포화 |
| 잠재 확산 | 압축 공간에서 확산 | 오토인코더 + 확산 | 단계당 계산량 | 압축이 세부를 지움 |
| 평가 | 표본 품질 측정 | FID(Heusel 2017) · IS | 비교 기준 | 단계 · w 를 맞추지 않은 비교 |
11참고 문헌
- 먼저 볼 문헌
- ★ Denoising Diffusion Probabilistic Models (NeurIPS 2020) — 전방 과정 식 · 잡음 예측 학습 목표 · 학습 · 표본 추출 알고리즘을 원문으로 볼 때
- ★ Denoising Diffusion Implicit Models (ICLR 2021) — 학습은 그대로 두고 단계 수를 줄이는 표본기와 단계 수별 FID 표를 볼 때
- ★ Classifier-Free Diffusion Guidance — 조건을 따르는 세기 w 와 품질 · 다양성의 맞바꿈을 볼 때
- ★ Improved Denoising Diffusion Probabilistic Models (ICML 2021) — 선형 · 코사인 잡음 일정의 차이를 볼 때
- 본문 근거
- Generative Adversarial Networks — arXiv · 2014-06 ·
arxiv.org/abs/1406.2661· 확인 2026-11-13 - Deep Unsupervised Learning using Nonequilibrium Thermodynamics (ICML 2015) — arXiv · 2015-03 ·
arxiv.org/abs/1503.03585· 확인 2026-11-13 - Generative Modeling by Estimating Gradients of the Data Distribution (NeurIPS 2019) — arXiv · 2019-07 ·
arxiv.org/abs/1907.05600· 확인 2026-11-13 - Score-Based Generative Modeling through Stochastic Differential Equations (ICLR 2021) — arXiv · 2020-11 ·
arxiv.org/abs/2011.13456· 확인 2026-11-13 - Diffusion Models Beat GANs on Image Synthesis (NeurIPS 2021) — arXiv · 2021-05 ·
arxiv.org/abs/2105.05233· 확인 2026-11-13 - High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022) — arXiv · 2021-12 ·
arxiv.org/abs/2112.10752· 확인 2026-11-13 - Extracting Training Data from Diffusion Models (USENIX Security 2023) — arXiv · 2023-01 ·
arxiv.org/abs/2301.13188· 확인 2026-11-13 - GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium (FID · NeurIPS 2017) — arXiv · 2017-06 ·
arxiv.org/abs/1706.08500· 확인 2026-11-13 - NumPy Random Generator 문서 — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13