VAE변분 오토인코더 · Variational Autoencoder
인코더가 입력마다 잠재 변수의 분포(평균 · 표준편차)를 내고 디코더가 그 분포에서 뽑은 값으로 입력을 되살리도록, 재구성 항과 KL 항으로 이루어진 증거 하한(ELBO)을 최대화해 학습하는 생성 모델이다.
1요약
- VAE 는 생성 모델 가운데 잠재 변수 모델을 신경망으로 푸는 방법으로, 2013년 Kingma · Welling 이 재매개변수화와 증거 하한(ELBO)으로 정리했고(Kingma 2013 식 3), 그 위에서 새 표본 생성 · 잠재 공간 보간 · 잠재 확산의 압축 공간이 돈다.
- 보통 오토인코더의 잠재 공간은 아무 데서나 뽑으면 엉뚱한 출력이 나와 생성에 쓸 수 없는데, 같은 구조에 KL 항만 더하자 기준 분포 N(0, I) 에서 뽑은 표본 500개의 실패가 94.6% 에서 4.2% 로 줄었다(본문 사례).
- 「흐리다」와 「엉뚱하다」는 KL 무게 β 의 방향으로 가른다 — 재구성은 좋은데 뽑은 표본이 엉뚱하면 KL 이 약하고, 표본은 무난한데 세부가 뭉개지면 KL 이 세다.
2등장 배경
오토인코더는 입력을 잠재 벡터로 줄였다 되살리지만, 그 벡터가 공간의 어디에 놓이는지는 정하지 않는다. 그래서 학습한 영상 사이 빈 곳에서 값을 골라 디코더에 넣으면 학습 자료와 닮지 않은 출력이 나온다. 확률 모델 쪽에서는 잠재 변수 z 로 데이터 x 를 설명하는 p(x) = ∫ p(x|z) p(z) dz 가 오래된 틀이었지만, 신경망 디코더에서는 이 적분과 사후 분포 p(z|x) 를 계산할 수 없었다.
2013년 12월 Kingma · Welling 은 인코더가 근사 사후 분포 q(z|x) 를 내게 하고, z = μ + σ ⊙ ε(ε ~ N(0, I))로 바꿔 써 표본 추출을 거쳐서도 기울기가 흐르게 했다(Kingma 2013 2.4절 · 식 10). 2014년 1월 Rezende · Mohamed · Wierstra 도 같은 생각을 따로 냈다(Rezende 2014). 그 뒤 2015년 조건부 VAE(Sohn 2015) · 중요도 가중 하한(Burda 2015), 2017년 β-VAE(Higgins 2017) · 이산 코드의 VQ-VAE(van den Oord 2017)가 이어졌다.
지금 고해상도 이미지 생성의 표본 품질은 GAN · 확산 모델이 앞서지만, VAE 계열 오토인코더는 잠재 확산이 512 × 512 영상을 작은 잠재 격자로 줄이는 압축기로 남아 있다(Rombach 2021). 정상 데이터만 배워 재구성 확률로 이상을 찾는 쓰임은 오토인코더 이상 탐지가 맡는다.
3쉽게 이해하기 — 지도에 범위로 적는 사진 기록원
동네 사진 기록원 도윤은 사진마다 공용 지도에 핀 하나가 아니라 «이 근처쯤» 하는 원을 그려 적고, 화가 서아는 그 원 안 아무 점이나 골라 사진을 다시 그린다. 감독은 두 가지를 본다 — 다시 그린 그림이 사진과 닮았는가, 그리고 도윤의 원들이 지도 가운데 기준 원판 안에 고루 모여 있는가. 둘을 함께 맞추고 나면, 서아는 사진 없이 원판 아무 곳이나 짚어도 그럴듯한 새 사진을 그린다.
그림 1 · 사진을 지도 위 원으로 적고 그 안에서 뽑아 다시 그리며, 감독이 닮음과 원판 모임을 함께 보면 나중에는 원판만 짚어도 새 그림이 나온다.
그림 2 · 핀 하나로만 적으면 지도에 빈 곳이 생겨 원판에서 뽑은 점이 엉뚱한 그림이 되고, 범위로 적고 원판에 모으면 뽑은 점마다 닮은 그림이 나온다.
| 비유 속 역할 | VAE 요소 | 실제로 하는 일 |
|---|---|---|
| 사진 한 장 | 입력 x | 12×12 화소 영상 · 0 ~ 1 |
| 기록원 도윤 | 인코더 q(z|x) | 입력마다 평균 μ 와 log σ² 를 냄 |
| 지도 위 원 | 근사 사후 분포 N(μ, σ²) | 점 하나가 아니라 범위로 위치를 적음 |
| 원 안 한 점 고르기 | 재매개변수화 z = μ + σ ⊙ ε | 무작위를 ε 으로 빼내 기울기가 흐르게 함 |
| 화가 서아 | 디코더 p(x|z) | z 로 화소별 밝기를 냄 |
| 감독의 「닮았나」 | 재구성 항 | 화소별 이진 교차 엔트로피 |
| 감독의 「원판에 모였나」 | KL 항 · 무게 β | q(z|x) 를 N(0, I) 쪽으로 당김 |
| 원판만 짚어 그리기 | 생성 | z ~ N(0, I) 를 디코더에 바로 넣음 |
⚠ 비유가 맞지 않는 곳: 도윤의 지도는 동서 · 남북처럼 축마다 뜻이 정해져 있지만, VAE 의 잠재 축은 학습이 정하고 한 축이 가로 · 세로 위치를 섞어 담기도 한다(사례 β 1 의 두 축과 점 중심 좌표의 상관 0.54 · −0.85 · −0.84 · −0.50). 또 감독이 원판 모임을 너무 세게 요구하면 원이 모두 겹쳐 서아가 사진마다 같은 그림을 그리게 되는데, 이 실패는 비유에서 잘 보이지 않는다.
4구조 — 확률 인코더 · 재매개변수화 · 확률 디코더 · 두 손실 항
VAE 는 오토인코더 모양이지만 잠재 값이 점이 아니라 분포다. 학습 목표는 데이터 하나의 로그 우도 log p(x) 의 하한인 ELBO = E_q[log p(x|z)] − KL(q(z|x) ‖ p(z)) 이고(Kingma 2013 식 3), 손실은 그 부호를 바꾼 재구성 항 + KL 항이다.
그림 3 · 인코더는 분포의 두 값 μ · σ 를 내고 무작위 ε 은 옆에서 들어오며, 손실은 출력 쪽 재구성 항과 잠재 쪽 KL 항 둘로 나뉜다 — 생성 때는 인코더 없이 N(0, I) 에서 디코더로 바로 간다.
| 요소 | 크기(사례) | 역할 | 값 · 근거 |
|---|---|---|---|
| 입력 x | 144 | 정답이자 입력 | 화소 0 ~ 1 · 이진 교차 엔트로피 대상 |
| 인코더 q(z|x) | 144 → 128 → 4 + 4 | 근사 사후 분포의 μ · log σ² | 대각 가우스(Kingma 2013 식 9) |
| 재매개변수화 | 4 | 표본 추출을 미분 가능한 식으로 | z = μ + σ ⊙ ε(Kingma 2013 2.4절) |
| 디코더 p(x|z) | 4 → 128 → 144 | 화소별 베르누이 확률 | 시그모이드 출력 |
| 재구성 항 | 스칼라 | 입력과 출력의 차이 | 표본 L = 1 로 추정(Kingma 2013 5절) |
| KL 항 | 스칼라 | q(z|x) 와 N(0, I) 의 거리 | ½ Σ(μ² + σ² − 1 − log σ²)(Kingma 2013 부록 B) |
| β | 1(기본) | KL 무게 | β > 1 = β-VAE(Higgins 2017) |
5동작 — 점 영상 한 장의 학습과 생성
사례는 NumPy 로 VAE 와 역전파를 직접 구현해 돌렸다 — 직접 실행(합성 데이터) · 난수는 default_rng(0) 하나(NumPy 난수 생성기 문서).
- 12×12 영상 한가운데 근처에 폭 1.5 화소의 밝은 점 하나를 그린다 — 점 중심 (cx, cy) 를 2 ~ 9 에서 고르게 뽑아 학습 5,000장 · 시험 1,000장을 만든다(참 요인은 위치 둘).
- 인코더 144 → 128(ReLU) → μ 4 · log σ² 4, 디코더 4 → 128(ReLU) → 144(시그모이드) · 가중치 38,808개 · β = 1 · 묶음 100 · Adam 0.001 · 80 에폭.
- 시험 영상 한 장(중심 5.98, 8.74)을 넣자 인코더가 μ = (−1.45, −1.09, −0.07, −0.03), σ = (0.28, 0.22, 0.58, 0.96) 을 낸다.
- ε = (1.51, −2.13, 1.10, −0.59) 를 뽑아 z = μ + σ ⊙ ε = (−1.04, −1.55, 0.57, −0.59) 를 만든다.
- 디코더가 z 로 144 화소를 되살린다 — 이 표본의 재구성 항은 25.0 nats, μ 를 그대로 넣은 복원은 MSE 0.00071 이다.
- KL 항 3.74 nats 를 차원별로 나누면 1.88 · 1.64 · 0.22 · 0.002 — 넷째 차원은 μ ≈ 0 · σ ≈ 0.96 으로 기준 분포와 같아 정보를 담지 않는다.
- 시험 1,000장에서 μ 의 분산 A_u 가 0.01 을 넘는 차원은 셋이다(Burda 2015 5.2절 기준) — 참 요인 둘보다 하나 많고 넷째는 꺼졌다.
- 생성 — 인코더 없이 z ~ N(0, I) 500개를 디코더에 넣으면 가장 가까운 학습 영상과의 MSE 평균이 0.0021 이고, 0.01(설명용으로 정한 실패 문턱)을 넘는 표본은 4.2% 다.
그림 4 · 시험 영상 한 장은 차원 둘에 좁은 분포로 위치를 담고, 쓰지 않는 차원은 기준 분포 그대로 두어 KL 을 거의 내지 않는다.
같은 구조를 β 만 바꿔 다시 학습하면, 재구성과 생성이 서로 반대로 움직인다. 보통 오토인코더는 KL 항이 없는 같은 구조다.
그림 5 · KL 무게 β 를 0 에서 4 로 올리면 재구성 MSE 는 약 90배 커지고, 기준 분포에서 뽑은 표본의 실패는 94.6% 에서 0% 로 떨어지며 쓰는 잠재 차원은 넷에서 둘로 준다.
🔑 VAE 를 생성 모델로 만드는 것은 인코더 · 디코더가 아니라 KL 항이다 — 같은 구조에서 KL 을 빼면 재구성은 가장 좋아지지만 기준 분포에서 뽑은 표본은 대부분 학습 자료와 닮지 않는다.
🔑 β 는 «얼마나 똑같이 되살릴까»와 «아무 데서 뽑아도 될까»를 맞바꾸는 손잡이이고, 손잡이를 돌리면 쓰는 잠재 차원 수가 함께 바뀐다.
6비교 — VAE 계열 변종
생성 모델 셋(VAE · GAN · 확산 모델)의 품질 · 다양성 · 속도 비교는 이미지 · 멀티모달이 맡는다. 여기서는 VAE 안에서 무엇을 바꾼 변종인지를 견준다.
| 방식 | 바꾼 곳 | 학습 목표 | 잠재 공간 | 주 쓰임 · 근거 |
|---|---|---|---|---|
| 보통 오토인코더 | KL 항 없음 · 잠재 = 점 | 재구성만 | 빈 곳이 많음 · 사례 실패 94.6% | 압축 · 특징 추출(→ 오토인코더) |
| VAE | 잠재 = 대각 가우스 | ELBO(β = 1) | 연속 · 뽑을 수 있음 · 사례 실패 4.2% | 생성 · 보간(Kingma 2013) |
| β-VAE | KL 무게 β > 1 | 재구성 + β · KL | 축이 요인별로 나뉘는 경향 · 흐려짐 | 요인 분리 표현(Higgins 2017 · Burgess 2018) |
| 조건부 VAE | 인코더 · 디코더에 조건 c | log p(x|c) 의 하한 | 조건마다 다른 분포 | 레이블 · 문맥을 준 생성(Sohn 2015) |
| VQ-VAE | 잠재 = 코드북의 이산 코드 | 재구성 + 코드북 손실 | 이산 · 사전 분포를 따로 학습 | 고품질 영상 · 음성 토큰(van den Oord 2017) |
| IWAE | 표본 k 개 중요도 가중 하한 | ELBO 보다 촘촘한 하한 | 활성 차원이 늘어남 | 밀도 추정(Burda 2015 5.2절) |
분석새 표본이 목적이면 β = 1 VAE 로 기준선을 재고, 축마다 뜻이 필요하면 β 를 올리되 재구성 손실을 함께 보며, 강한 디코더(자기 회귀)를 쓰거나 이산 토큰이 필요하면 VQ-VAE 로 간다. 근거는 사례의 β 비교(실패 94.6% → 4.2% → 0% · MSE 0.00004 → 0.00071 → 0.0034)와 VQ-VAE 가 강한 디코더의 잠재 무시를 피하려고 이산 코드를 쓴다는 원문 초록(van den Oord 2017)이다.
7실무 진단 — ELBO 두 항을 나눠 보기
분석합친 손실이 아니라 재구성 항 · KL 항 · 차원별 KL 을 따로 기록하고, KL → 활성 차원 → 재구성 순으로 본다. 두 항은 서로 맞바꾸므로(Kingma 2013 식 3) 합친 값만 보면 한쪽이 무너진 것을 놓친다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 뽑은 표본이 학습 자료와 닮지 않음 | KL 이 약함(β 작음) · 잠재가 기준 분포 밖 | 목표 무게 | 기준 분포 표본의 최근접 거리 · μ 의 평균 · 표준편차 | 사례 β 0.2 실패 16.0% · β 1 4.2% |
| 2 | 재구성이 흐리고 세부가 뭉개짐 | KL 이 셈 · 잠재 차원 부족 | 목표 무게 · 용량 | β 별 재구성 MSE · 활성 차원 수 | 사례 β 4 MSE 0.0034 · 활성 2 |
| 3 | KL 이 0 에 가깝고 출력이 입력과 무관 | 강한 디코더가 잠재를 무시(사후 붕괴) | 디코더 | 학습 곡선의 KL 항 · 차원별 KL | KL 풀림 · 단어 드롭아웃으로 회복(Bowman 2015 3.1절) |
| 4 | 잠재 차원을 늘려도 결과가 그대로 | 늘린 차원이 꺼짐 | 잠재 | 차원별 A_ | A_ |
| 5 | 학습 초기에 손실이 NaN | log σ² 이 커져 exp 넘침 | 수치 | log σ² 최대 · 최소 | log σ² 를 출력해 exp 로 바꾸는 꼴 유지(Kingma 2013 식 10) |
꺼진 차원 자체는 고장이 아니다 — 사례 β 1 에서 넷째 차원은 KL 0.002 로 정보를 담지 않았고, 참 요인(위치 둘)보다 많은 차원은 VAE 목표가 스스로 끈다(Kingma 2013 5절 「superfluous latent variables did not result in overfitting」).
8시험 대비
www.q-net.or.kr시험에서는 확률 인코더 · 재매개변수화 · ELBO 두 항을 쓰는 정의 · 특징형, 그리고 오토인코더 · GAN · 확산 모델이나 β-VAE · VQ-VAE 같은 변종과 견주는 비교형이 나올 수 있다. 「오토인코더에 확률을 더한 것」에서 그치지 않고 «KL 항이 잠재 공간을 뽑을 수 있게 만든다»를 사례 숫자로 보이면 비교까지 한 답안이 된다.
- 개요 — 잠재 변수 모델 p(x) = ∫ p(x|z) p(z) dz · 사후 분포를 계산할 수 없는 문제 · Kingma · Welling 2013
- 구조 — 그림 3 확률 인코더 μ · σ · 재매개변수화 z = μ + σ ⊙ ε · 확률 디코더
- 학습 목표 — ELBO = 재구성 항 − KL 항 · 가우스 KL 닫힌 꼴 ½ Σ(μ² + σ² − 1 − log σ²)
- 동작 사례 — 그림 4 영상 한 장의 μ · σ · z · KL 3.74 nats · 꺼진 차원
- 핵심 원리 — 그림 5 β 와 재구성 · 생성의 맞바꿈 · 활성 차원 4 → 2
- 변종 · 동향 — β-VAE · 조건부 VAE · VQ-VAE · IWAE 표 · 잠재 확산의 압축기
꼭 쓸 키워드
잠재 변수근사 사후 분포재매개변수화ELBO재구성 항KL 발산β-VAE사후 붕괴활성 차원VQ-VAE
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 구조에서 β 만 바꾼 재구성 · 생성 두 값을 나란히 보이는 것이다 — 「VAE 는 흐리다」가 결함이 아니라 KL 무게로 고른 결과라는 점을 숫자로 보인다.
9오해와 사실
- 오해VAE 는 오토인코더에 잡음을 넣은 것이라 학습 결과도 거의 같다.사실같은 구조에서 KL 항만 다른데 기준 분포 표본의 실패가 94.6% 와 4.2% 로 갈렸다 — 잡음 ε 이 아니라 KL 항이 잠재 공간을 기준 분포 위에 모은다(Kingma 2013 식 3).
- 오해VAE 의 잠재 축은 저절로 사람이 뜻하는 요인 하나씩에 맞는다.사실사례 β 1 의 두 활성 축은 점의 가로 · 세로 위치와 상관이 0.54 · −0.85 · −0.84 · −0.50 으로 둘을 섞어 담았다 — 축을 요인별로 나누려면 β 를 올리는 것 같은 장치가 따로 든다(Higgins 2017).
- 오해잠재 차원을 넉넉히 잡을수록 표현력이 커진다.사실학습된 VAE 는 쓸모없는 차원의 KL 을 0 으로 끄고(Burda 2015 5.2절), 사례에서도 넷 가운데 셋(β 1) · 둘(β 4)만 켜졌다.
10핵심 정리
| 구분 | 맡는 일 | 식 · 장치 | 사례 값 | 근거 |
|---|---|---|---|---|
| 확률 인코더 | 입력 → 잠재 분포 | q(z|x) = N(μ, σ²) | μ (−1.45, −1.09, …) | Kingma 2013 식 9 |
| 재매개변수화 | 뽑기를 미분 가능하게 | z = μ + σ ⊙ ε | z (−1.04, −1.55, …) | 2.4절 |
| 확률 디코더 | 잠재 → 화소 확률 | p(x|z) 베르누이 | MSE 0.00071 | 5절 |
| KL 항 | 잠재를 N(0, I) 로 | ½ Σ(μ² + σ² − 1 − log σ²) | 3.74 nats | 부록 B |
| β | 재구성 ↔ 생성 맞바꿈 | 재구성 + β · KL | 실패 94.6% → 0% | Higgins 2017 |
| 활성 차원 | 실제로 쓰는 잠재 수 | A_ | 4 · 4 · 3 · 2 | Burda 2015 |
| 사후 붕괴 | 디코더가 잠재를 무시 | KL → 0 | 이 사례 미발생 | Bowman 2015 |
| VQ-VAE | 이산 코드 잠재 | 코드북 | 이 사례 미실행 | van den Oord 2017 |
11참고 문헌
- 먼저 볼 문헌
- ★ Auto-Encoding Variational Bayes (arXiv 1312.6114v11) — 증거 하한 식(3) · 재매개변수화(2.4절) · 가우스 KL 닫힌 꼴(부록 B)의 원전을 볼 때
- ★ An Introduction to Variational Autoencoders (Foundations and Trends in Machine Learning 12(4) 307-392) — VAE 의 유도 · 변종 · 개선 방법을 한 권으로 정리해 볼 때
- ★ Importance Weighted Autoencoders — 활성 차원 A_u > 0.01 기준과 VAE 가 잠재 차원을 다 쓰지 않는 현상을 볼 때
- ★ Generating Sentences from a Continuous Space (CoNLL 2016) — 강한 디코더가 잠재 변수를 무시해 KL 이 0 이 되는 문제와 KL 풀림 학습을 볼 때
- 본문 근거
- Neural Discrete Representation Learning (VQ-VAE) — arXiv · NeurIPS 2017 · 2017-11 ·
arxiv.org/abs/1711.00937· 확인 2026-11-13 - Stochastic Backpropagation and Approximate Inference in Deep Generative Models (ICML 2014) — arXiv · 2014-01 ·
arxiv.org/abs/1401.4082· 확인 2026-11-13 - beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework (ICLR 2017) — ICLR · OpenReview · 2017-04 ·
openreview.net/forum?id=Sy2fzU9gl· 확인 2026-11-13 - Understanding disentangling in beta-VAE — arXiv · 2018-04 ·
arxiv.org/abs/1804.03599· 확인 2026-11-13 - Learning Structured Output Representation using Deep Conditional Generative Models (NeurIPS 2015) — NeurIPS · 2015-12 ·
papers.nips.cc/paper/5775-learning-structured-output-representation-using-deep-conditional-generative-models· 확인 2026-11-13 - High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022) — arXiv · 2021-12 ·
arxiv.org/abs/2112.10752· 확인 2026-11-13 - NumPy Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13