AI › 생성형 AI › 이미지 · 멀티모달 › 생성 모델

VAE변분 오토인코더 · Variational Autoencoder

인코더가 입력마다 잠재 변수의 분포(평균 · 표준편차)를 내고 디코더가 그 분포에서 뽑은 값으로 입력을 되살리도록, 재구성 항과 KL 항으로 이루어진 증거 하한(ELBO)을 최대화해 학습하는 생성 모델이다.

1요약

  1. VAE 는 생성 모델 가운데 잠재 변수 모델을 신경망으로 푸는 방법으로, 2013년 Kingma · Welling 이 재매개변수화와 증거 하한(ELBO)으로 정리했고(Kingma 2013 식 3), 그 위에서 새 표본 생성 · 잠재 공간 보간 · 잠재 확산의 압축 공간이 돈다.
  2. 보통 오토인코더의 잠재 공간은 아무 데서나 뽑으면 엉뚱한 출력이 나와 생성에 쓸 수 없는데, 같은 구조에 KL 항만 더하자 기준 분포 N(0, I) 에서 뽑은 표본 500개의 실패가 94.6% 에서 4.2% 로 줄었다(본문 사례).
  3. 「흐리다」와 「엉뚱하다」는 KL 무게 β 의 방향으로 가른다 — 재구성은 좋은데 뽑은 표본이 엉뚱하면 KL 이 약하고, 표본은 무난한데 세부가 뭉개지면 KL 이 세다.

2등장 배경

오토인코더는 입력을 잠재 벡터로 줄였다 되살리지만, 그 벡터가 공간의 어디에 놓이는지는 정하지 않는다. 그래서 학습한 영상 사이 빈 곳에서 값을 골라 디코더에 넣으면 학습 자료와 닮지 않은 출력이 나온다. 확률 모델 쪽에서는 잠재 변수 z 로 데이터 x 를 설명하는 p(x) = ∫ p(x|z) p(z) dz 가 오래된 틀이었지만, 신경망 디코더에서는 이 적분과 사후 분포 p(z|x) 를 계산할 수 없었다.

2013년 12월 Kingma · Welling 은 인코더가 근사 사후 분포 q(z|x) 를 내게 하고, z = μ + σ ⊙ ε(ε ~ N(0, I))로 바꿔 써 표본 추출을 거쳐서도 기울기가 흐르게 했다(Kingma 2013 2.4절 · 식 10). 2014년 1월 Rezende · Mohamed · Wierstra 도 같은 생각을 따로 냈다(Rezende 2014). 그 뒤 2015년 조건부 VAE(Sohn 2015) · 중요도 가중 하한(Burda 2015), 2017년 β-VAE(Higgins 2017) · 이산 코드의 VQ-VAE(van den Oord 2017)가 이어졌다.

지금 고해상도 이미지 생성의 표본 품질은 GAN · 확산 모델이 앞서지만, VAE 계열 오토인코더는 잠재 확산이 512 × 512 영상을 작은 잠재 격자로 줄이는 압축기로 남아 있다(Rombach 2021). 정상 데이터만 배워 재구성 확률로 이상을 찾는 쓰임은 오토인코더 이상 탐지가 맡는다.

3쉽게 이해하기 — 지도에 범위로 적는 사진 기록원

동네 사진 기록원 도윤은 사진마다 공용 지도에 핀 하나가 아니라 «이 근처쯤» 하는 원을 그려 적고, 화가 서아는 그 원 안 아무 점이나 골라 사진을 다시 그린다. 감독은 두 가지를 본다 — 다시 그린 그림이 사진과 닮았는가, 그리고 도윤의 원들이 지도 가운데 기준 원판 안에 고루 모여 있는가. 둘을 함께 맞추고 나면, 서아는 사진 없이 원판 아무 곳이나 짚어도 그럴듯한 새 사진을 그린다.

지도에 범위로 적고, 범위 안에서 뽑아 그리기 기준 원판에서 한 점 z ~ N(0, I) 7 사진 한 장 점 하나 찍힘 입력 x 기록원 도윤 지도에 원 그리기 인코더 지도 위 원 중심 · 반지름 μ · σ 화가 서아 원 안 한 점으로 디코더 다시 그린 사진 닮았는가 재구성 x̂ 1 2 3 4 5 감독 — 두 가지를 함께 본다 닮았나 = 재구성 항 원판에 모였나 = KL 항 6 원래 사진 원의 위치 · 크기 다시 그린 것

그림 1 · 사진을 지도 위 원으로 적고 그 안에서 뽑아 다시 그리며, 감독이 닮음과 원판 모임을 함께 보면 나중에는 원판만 짚어도 새 그림이 나온다.

사진 보기점 하나 찍힌 사진
원 그리기핀 대신 범위로
원 안에서 그리기아무 점 하나 골라
두 가지 보기닮음 · 원판 모임
원판만 짚기사진 없이 새 그림
핀만 꽂은 지도 사진마다 점 하나 · 모으라는 말 없음 뽑으면 엉뚱함 원판 표본 500개 중 94.6% 실패 보통 오토인코더 · 잠재 = 점 하나 범위로 적고 원판에 모은 지도 사진마다 원 하나 · 원판 쪽으로 당김 뽑아도 닮음 원판 표본 500개 중 4.2% 실패 VAE · 잠재 = 분포 q(z|x) 사진 한 장의 지도 위치(시험 영상 120장 · 잠재 두 축) 기준 원판 = 반지름 2 · 네모 = ±4 · 네모 밖 점 생략

그림 2 · 핀 하나로만 적으면 지도에 빈 곳이 생겨 원판에서 뽑은 점이 엉뚱한 그림이 되고, 범위로 적고 원판에 모으면 뽑은 점마다 닮은 그림이 나온다.

비유 속 역할VAE 요소실제로 하는 일
사진 한 장입력 x12×12 화소 영상 · 0 ~ 1
기록원 도윤인코더 q(z|x)입력마다 평균 μ 와 log σ² 를 냄
지도 위 원근사 사후 분포 N(μ, σ²)점 하나가 아니라 범위로 위치를 적음
원 안 한 점 고르기재매개변수화 z = μ + σ ⊙ ε무작위를 ε 으로 빼내 기울기가 흐르게 함
화가 서아디코더 p(x|z)z 로 화소별 밝기를 냄
감독의 「닮았나」재구성 항화소별 이진 교차 엔트로피
감독의 「원판에 모였나」KL 항 · 무게 βq(z|x) 를 N(0, I) 쪽으로 당김
원판만 짚어 그리기생성z ~ N(0, I) 를 디코더에 바로 넣음

⚠ 비유가 맞지 않는 곳: 도윤의 지도는 동서 · 남북처럼 축마다 뜻이 정해져 있지만, VAE 의 잠재 축은 학습이 정하고 한 축이 가로 · 세로 위치를 섞어 담기도 한다(사례 β 1 의 두 축과 점 중심 좌표의 상관 0.54 · −0.85 · −0.84 · −0.50). 또 감독이 원판 모임을 너무 세게 요구하면 원이 모두 겹쳐 서아가 사진마다 같은 그림을 그리게 되는데, 이 실패는 비유에서 잘 보이지 않는다.

4구조 — 확률 인코더 · 재매개변수화 · 확률 디코더 · 두 손실 항

VAE 는 오토인코더 모양이지만 잠재 값이 점이 아니라 분포다. 학습 목표는 데이터 하나의 로그 우도 log p(x) 의 하한인 ELBO = E_q[log p(x|z)] − KL(q(z|x) ‖ p(z)) 이고(Kingma 2013 식 3), 손실은 그 부호를 바꾼 재구성 항 + KL 항이다.

ε ~ N(0, I) 학습 때 무작위 입력 x 144 인코더 144→128 μ · 4 log σ² · 4 z = μ + σ ⊙ ε 재매개변수화 · 4 디코더 4→128→144 출력 x̂ 화소별 확률 생성 — z ~ N(0, I) 인코더 없이 디코더로 KL(q(z|x) ‖ N(0, I)) × β 잠재 분포를 기준 분포로 당김 재구성 항 −log p(x|z) 이진 교차 엔트로피 · 화소 144개 합 정답 = 입력 자신 입력 모델 잠재 분포 출력 점선 = 무작위 · 생성 경로

그림 3 · 인코더는 분포의 두 값 μ · σ 를 내고 무작위 ε 은 옆에서 들어오며, 손실은 출력 쪽 재구성 항과 잠재 쪽 KL 항 둘로 나뉜다 — 생성 때는 인코더 없이 N(0, I) 에서 디코더로 바로 간다.

요소크기(사례)역할값 · 근거
입력 x144정답이자 입력화소 0 ~ 1 · 이진 교차 엔트로피 대상
인코더 q(z|x)144 → 128 → 4 + 4근사 사후 분포의 μ · log σ²대각 가우스(Kingma 2013 식 9)
재매개변수화4표본 추출을 미분 가능한 식으로z = μ + σ ⊙ ε(Kingma 2013 2.4절)
디코더 p(x|z)4 → 128 → 144화소별 베르누이 확률시그모이드 출력
재구성 항스칼라입력과 출력의 차이표본 L = 1 로 추정(Kingma 2013 5절)
KL 항스칼라q(z|x) 와 N(0, I) 의 거리½ Σ(μ² + σ² − 1 − log σ²)(Kingma 2013 부록 B)
β1(기본)KL 무게β > 1 = β-VAE(Higgins 2017)

5동작 — 점 영상 한 장의 학습과 생성

사례는 NumPy 로 VAE 와 역전파를 직접 구현해 돌렸다 — 직접 실행(합성 데이터) · 난수는 default_rng(0) 하나(NumPy 난수 생성기 문서).

  1. 12×12 영상 한가운데 근처에 폭 1.5 화소의 밝은 점 하나를 그린다 — 점 중심 (cx, cy) 를 2 ~ 9 에서 고르게 뽑아 학습 5,000장 · 시험 1,000장을 만든다(참 요인은 위치 둘).
  2. 인코더 144 → 128(ReLU) → μ 4 · log σ² 4, 디코더 4 → 128(ReLU) → 144(시그모이드) · 가중치 38,808개 · β = 1 · 묶음 100 · Adam 0.001 · 80 에폭.
  3. 시험 영상 한 장(중심 5.98, 8.74)을 넣자 인코더가 μ = (−1.45, −1.09, −0.07, −0.03), σ = (0.28, 0.22, 0.58, 0.96) 을 낸다.
  4. ε = (1.51, −2.13, 1.10, −0.59) 를 뽑아 z = μ + σ ⊙ ε = (−1.04, −1.55, 0.57, −0.59) 를 만든다.
  5. 디코더가 z 로 144 화소를 되살린다 — 이 표본의 재구성 항은 25.0 nats, μ 를 그대로 넣은 복원은 MSE 0.00071 이다.
  6. KL 항 3.74 nats 를 차원별로 나누면 1.88 · 1.64 · 0.22 · 0.002 — 넷째 차원은 μ ≈ 0 · σ ≈ 0.96 으로 기준 분포와 같아 정보를 담지 않는다.
  7. 시험 1,000장에서 μ 의 분산 A_u 가 0.01 을 넘는 차원은 셋이다(Burda 2015 5.2절 기준) — 참 요인 둘보다 하나 많고 넷째는 꺼졌다.
  8. 생성 — 인코더 없이 z ~ N(0, I) 500개를 디코더에 넣으면 가장 가까운 학습 영상과의 MSE 평균이 0.0021 이고, 0.01(설명용으로 정한 실패 문턱)을 넘는 표본은 4.2% 다.
시험 영상 한 장이 지나는 길 — β = 1 모델 입력 x 144 화소 · 중심 (5.98, 8.74) 1 잠재 분포 q(z|x) — 차원 넷 막대 = μ ± σ · 점 = 뽑은 z · 축 −3 ~ 3 2 z1 z2 z3 z4 0 −3 3 재구성 x̂ μ 로 되살림 · MSE 0.00071 4 인코더 디코더 3 z = μ + σ ⊙ ε ε = (1.51, −2.13, 1.10, −0.59) z = (−1.04, −1.55, 0.57, −0.59) 5 KL 3.74 nats = 차원별 합 z1 1.88 · z2 1.64 · z3 0.22 · z4 0.002 z4 는 μ 0 · σ 0.96 — 기준 분포와 같아 정보 없음 화소 밝기 μ ± σ 범위 뽑은 z 점선 = 무작위가 들어오는 곳

그림 4 · 시험 영상 한 장은 차원 둘에 좁은 분포로 위치를 담고, 쓰지 않는 차원은 기준 분포 그대로 두어 KL 을 거의 내지 않는다.

같은 구조를 β 만 바꿔 다시 학습하면, 재구성과 생성이 서로 반대로 움직인다. 보통 오토인코더는 KL 항이 없는 같은 구조다.

KL 무게 β 를 올리면 — 되살리기는 흐려지고 뽑기는 안전해진다 재구성 MSE · 로그 축 10⁻⁵ 10⁻⁴ 10⁻³ 10⁻² 0.00004 0.00016 0.00071 0.0034 뽑기 실패 N(0, I) 표본 500개 94.6% 16.0% 4.2% 0.0% 보통 AE 활성 차원 4 β 0.2 활성 차원 4 β 1 활성 차원 3 β 4 활성 차원 2 KL 무게 크게

그림 5 · KL 무게 β 를 0 에서 4 로 올리면 재구성 MSE 는 약 90배 커지고, 기준 분포에서 뽑은 표본의 실패는 94.6% 에서 0% 로 떨어지며 쓰는 잠재 차원은 넷에서 둘로 준다.

🔑 VAE 를 생성 모델로 만드는 것은 인코더 · 디코더가 아니라 KL 항이다 — 같은 구조에서 KL 을 빼면 재구성은 가장 좋아지지만 기준 분포에서 뽑은 표본은 대부분 학습 자료와 닮지 않는다.

🔑 β 는 «얼마나 똑같이 되살릴까»와 «아무 데서 뽑아도 될까»를 맞바꾸는 손잡이이고, 손잡이를 돌리면 쓰는 잠재 차원 수가 함께 바뀐다.

6비교 — VAE 계열 변종

생성 모델 셋(VAE · GAN · 확산 모델)의 품질 · 다양성 · 속도 비교는 이미지 · 멀티모달이 맡는다. 여기서는 VAE 안에서 무엇을 바꾼 변종인지를 견준다.

방식바꾼 곳학습 목표잠재 공간주 쓰임 · 근거
보통 오토인코더KL 항 없음 · 잠재 = 점재구성만빈 곳이 많음 · 사례 실패 94.6%압축 · 특징 추출(→ 오토인코더)
VAE잠재 = 대각 가우스ELBO(β = 1)연속 · 뽑을 수 있음 · 사례 실패 4.2%생성 · 보간(Kingma 2013)
β-VAEKL 무게 β > 1재구성 + β · KL축이 요인별로 나뉘는 경향 · 흐려짐요인 분리 표현(Higgins 2017 · Burgess 2018)
조건부 VAE인코더 · 디코더에 조건 clog p(x|c) 의 하한조건마다 다른 분포레이블 · 문맥을 준 생성(Sohn 2015)
VQ-VAE잠재 = 코드북의 이산 코드재구성 + 코드북 손실이산 · 사전 분포를 따로 학습고품질 영상 · 음성 토큰(van den Oord 2017)
IWAE표본 k 개 중요도 가중 하한ELBO 보다 촘촘한 하한활성 차원이 늘어남밀도 추정(Burda 2015 5.2절)

분석새 표본이 목적이면 β = 1 VAE 로 기준선을 재고, 축마다 뜻이 필요하면 β 를 올리되 재구성 손실을 함께 보며, 강한 디코더(자기 회귀)를 쓰거나 이산 토큰이 필요하면 VQ-VAE 로 간다. 근거는 사례의 β 비교(실패 94.6% → 4.2% → 0% · MSE 0.00004 → 0.00071 → 0.0034)와 VQ-VAE 가 강한 디코더의 잠재 무시를 피하려고 이산 코드를 쓴다는 원문 초록(van den Oord 2017)이다.

7실무 진단 — ELBO 두 항을 나눠 보기

분석합친 손실이 아니라 재구성 항 · KL 항 · 차원별 KL 을 따로 기록하고, KL → 활성 차원 → 재구성 순으로 본다. 두 항은 서로 맞바꾸므로(Kingma 2013 식 3) 합친 값만 보면 한쪽이 무너진 것을 놓친다.

#증상의심 원인단계확인 자료판정 기준(근거)
1뽑은 표본이 학습 자료와 닮지 않음KL 이 약함(β 작음) · 잠재가 기준 분포 밖목표 무게기준 분포 표본의 최근접 거리 · μ 의 평균 · 표준편차사례 β 0.2 실패 16.0% · β 1 4.2%
2재구성이 흐리고 세부가 뭉개짐KL 이 셈 · 잠재 차원 부족목표 무게 · 용량β 별 재구성 MSE · 활성 차원 수사례 β 4 MSE 0.0034 · 활성 2
3KL 이 0 에 가깝고 출력이 입력과 무관강한 디코더가 잠재를 무시(사후 붕괴)디코더학습 곡선의 KL 항 · 차원별 KLKL 풀림 · 단어 드롭아웃으로 회복(Bowman 2015 3.1절)
4잠재 차원을 늘려도 결과가 그대로늘린 차원이 꺼짐잠재차원별 A_u = Cov_x(E_q[z])A_u ≤ 0.01 이면 꺼진 차원(Burda 2015 5.2절)
5학습 초기에 손실이 NaNlog σ² 이 커져 exp 넘침수치log σ² 최대 · 최소log σ² 를 출력해 exp 로 바꾸는 꼴 유지(Kingma 2013 식 10)

꺼진 차원 자체는 고장이 아니다 — 사례 β 1 에서 넷째 차원은 KL 0.002 로 정보를 담지 않았고, 참 요인(위치 둘)보다 많은 차원은 VAE 목표가 스스로 끈다(Kingma 2013 5절 「superfluous latent variables did not result in overfitting」).

8시험 대비

출제 정보 정보관리(135회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 확률 인코더 · 재매개변수화 · ELBO 두 항을 쓰는 정의 · 특징형, 그리고 오토인코더 · GAN · 확산 모델이나 β-VAE · VQ-VAE 같은 변종과 견주는 비교형이 나올 수 있다. 「오토인코더에 확률을 더한 것」에서 그치지 않고 «KL 항이 잠재 공간을 뽑을 수 있게 만든다»를 사례 숫자로 보이면 비교까지 한 답안이 된다.

답안 목차
  1. 개요 — 잠재 변수 모델 p(x) = ∫ p(x|z) p(z) dz · 사후 분포를 계산할 수 없는 문제 · Kingma · Welling 2013
  2. 구조 — 그림 3 확률 인코더 μ · σ · 재매개변수화 z = μ + σ ⊙ ε · 확률 디코더
  3. 학습 목표 — ELBO = 재구성 항 − KL 항 · 가우스 KL 닫힌 꼴 ½ Σ(μ² + σ² − 1 − log σ²)
  4. 동작 사례 — 그림 4 영상 한 장의 μ · σ · z · KL 3.74 nats · 꺼진 차원
  5. 핵심 원리 — 그림 5 β 와 재구성 · 생성의 맞바꿈 · 활성 차원 4 → 2
  6. 변종 · 동향 — β-VAE · 조건부 VAE · VQ-VAE · IWAE 표 · 잠재 확산의 압축기

꼭 쓸 키워드
잠재 변수근사 사후 분포재매개변수화ELBO재구성 항KL 발산β-VAE사후 붕괴활성 차원VQ-VAE

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 구조에서 β 만 바꾼 재구성 · 생성 두 값을 나란히 보이는 것이다 — 「VAE 는 흐리다」가 결함이 아니라 KL 무게로 고른 결과라는 점을 숫자로 보인다.

9오해와 사실

  • 오해VAE 는 오토인코더에 잡음을 넣은 것이라 학습 결과도 거의 같다.
    사실같은 구조에서 KL 항만 다른데 기준 분포 표본의 실패가 94.6% 와 4.2% 로 갈렸다 — 잡음 ε 이 아니라 KL 항이 잠재 공간을 기준 분포 위에 모은다(Kingma 2013 식 3).
  • 오해VAE 의 잠재 축은 저절로 사람이 뜻하는 요인 하나씩에 맞는다.
    사실사례 β 1 의 두 활성 축은 점의 가로 · 세로 위치와 상관이 0.54 · −0.85 · −0.84 · −0.50 으로 둘을 섞어 담았다 — 축을 요인별로 나누려면 β 를 올리는 것 같은 장치가 따로 든다(Higgins 2017).
  • 오해잠재 차원을 넉넉히 잡을수록 표현력이 커진다.
    사실학습된 VAE 는 쓸모없는 차원의 KL 을 0 으로 끄고(Burda 2015 5.2절), 사례에서도 넷 가운데 셋(β 1) · 둘(β 4)만 켜졌다.

10핵심 정리

구분맡는 일식 · 장치사례 값근거
확률 인코더입력 → 잠재 분포q(z|x) = N(μ, σ²)μ (−1.45, −1.09, …)Kingma 2013 식 9
재매개변수화뽑기를 미분 가능하게z = μ + σ ⊙ εz (−1.04, −1.55, …)2.4절
확률 디코더잠재 → 화소 확률p(x|z) 베르누이MSE 0.000715절
KL 항잠재를 N(0, I) 로½ Σ(μ² + σ² − 1 − log σ²)3.74 nats부록 B
β재구성 ↔ 생성 맞바꿈재구성 + β · KL실패 94.6% → 0%Higgins 2017
활성 차원실제로 쓰는 잠재 수A_u > 0.014 · 4 · 3 · 2Burda 2015
사후 붕괴디코더가 잠재를 무시KL → 0이 사례 미발생Bowman 2015
VQ-VAE이산 코드 잠재코드북이 사례 미실행van den Oord 2017

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Auto-Encoding Variational Bayes (arXiv 1312.6114v11) — 증거 하한 식(3) · 재매개변수화(2.4절) · 가우스 KL 닫힌 꼴(부록 B)의 원전을 볼 때
    arXiv · ICLR 2014 · 2013-12 · arxiv.org/abs/1312.6114 · 확인 2026-11-13
  3. ★ An Introduction to Variational Autoencoders (Foundations and Trends in Machine Learning 12(4) 307-392) — VAE 의 유도 · 변종 · 개선 방법을 한 권으로 정리해 볼 때
    arXiv · Now Publishers · 2019-12 · arxiv.org/abs/1906.02691 · 확인 2026-11-13
  4. ★ Importance Weighted Autoencoders — 활성 차원 A_u > 0.01 기준과 VAE 가 잠재 차원을 다 쓰지 않는 현상을 볼 때
    arXiv · ICLR 2016 · 2015-09 · arxiv.org/abs/1509.00519 · 확인 2026-11-13
  5. ★ Generating Sentences from a Continuous Space (CoNLL 2016) — 강한 디코더가 잠재 변수를 무시해 KL 이 0 이 되는 문제와 KL 풀림 학습을 볼 때
    arXiv · 2015-11 · arxiv.org/abs/1511.06349 · 확인 2026-11-13
  6. 본문 근거
  7. Neural Discrete Representation Learning (VQ-VAE) — arXiv · NeurIPS 2017 · 2017-11 · arxiv.org/abs/1711.00937 · 확인 2026-11-13
  8. Stochastic Backpropagation and Approximate Inference in Deep Generative Models (ICML 2014) — arXiv · 2014-01 · arxiv.org/abs/1401.4082 · 확인 2026-11-13
  9. beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework (ICLR 2017) — ICLR · OpenReview · 2017-04 · openreview.net/forum?id=Sy2fzU9gl · 확인 2026-11-13
  10. Understanding disentangling in beta-VAE — arXiv · 2018-04 · arxiv.org/abs/1804.03599 · 확인 2026-11-13
  11. Learning Structured Output Representation using Deep Conditional Generative Models (NeurIPS 2015) — NeurIPS · 2015-12 · papers.nips.cc/paper/5775-learning-structured-output-representation-using-deep-conditional-generative-models · 확인 2026-11-13
  12. High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022) — arXiv · 2021-12 · arxiv.org/abs/2112.10752 · 확인 2026-11-13
  13. NumPy Reference Random Generator — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13