오토인코더Autoencoder
입력을 인코더로 작은 잠재 벡터로 줄였다가 디코더로 다시 입력 모양으로 되살리도록, 입력 자신을 정답으로 삼아 학습하는 신경망이다.
1요약
- 오토인코더는 딥러닝 모델 구조 가운데 인코더 · 잠재 벡터 · 디코더 세 부분으로 입력을 줄였다 되살리는 신경망으로, 1980년대 신경망 연구에서 나와(Goodfellow 2016 14장) 그 위에서 차원 축소 · 잡음 제거 · 사전 학습 · 생성 모델의 잠재 공간이 돈다.
- 정답 레이블 없이 입력 자신만으로 학습하므로, 손글씨 숫자 3,823장으로 학습한 병목 16 모델은 같은 크기의 PCA 보다 재구성 오차가 절반(0.0062 ↔ 0.0119)이었다.
- 「오차는 작은데 쓸모가 없다」는 손상 입력 오차로 가른다 — 깨끗한 입력 오차만 줄고 가린 입력 오차가 «가린 그대로» 값에 붙어 있으면 모델이 구조를 배우지 않고 입력을 베끼고 있다.
2등장 배경
정답 레이블을 붙이는 데는 사람 손이 들지만, 화소 · 센서 값 같은 원자료는 레이블 없이 쌓인다. 1980년대 연구자들은 입력을 그대로 정답으로 삼아 좁은 은닉 계층을 지나게 하면 그 계층이 자료의 압축 좌표를 배운다는 데 주목했다(LeCun 1987 · Bourlard · Kamp 1988 · Goodfellow 2016 14장). Baldi · Hornik(1989)은 선형 오토인코더를 제곱 오차로 학습하면 PCA 와 같은 부분 공간에 닿는다는 것을 보였다.
깊게 쌓으면 학습이 잘 되지 않던 문제는 2006년 Hinton · Salakhutdinov 가 계층별 사전 학습으로 풀었다 — 784-1000-500-250-30 오토인코더의 MNIST 시험 재구성 오차는 이미지당 3.00 으로 같은 30차원 PCA 의 13.87 보다 작았다(Hinton 2006 그림 2). 2008년 Vincent 외는 입력 일부를 0 으로 지우고 원본을 맞히게 하는 잡음 제거 오토인코더를 냈고(Vincent 2008 2.3절), 2011년 Rifai 외의 축소 오토인코더, 2013년 Kingma · Welling 의 VAE 가 뒤를 이었다.
지금 오토인코더는 두 방향으로 남아 있다. 2021년 He 외는 이미지 조각 75% 를 가리고 되살리는 사전 학습을 냈고(He 2021), 이미지 생성 모델은 오토인코더로 줄인 잠재 공간 위에서 돈다. 정상 데이터의 재구성 오차로 이상을 찾는 쓰임은 오토인코더 이상 탐지가 맡는다.
3쉽게 이해하기 — 작은 가방으로 옮기는 방 한 칸
이삿짐 견습생 하람은 방 한 칸을 작은 가방 하나에 담길 «짐 목록»으로 줄여 적고, 새 집의 동료 지우는 그 목록만 보고 방을 다시 꾸민다. 반장은 원래 방 사진과 다시 꾸민 방 사진을 견주어 다른 곳을 짚어 주고, 둘은 그 지적으로 적는 법과 꾸미는 법을 함께 고친다. 가방이 작으니 하람은 «책상 옆에는 의자» 같은 방의 규칙을 적어야 한다. 반장이 가끔 물건 몇 개를 미리 치워 두면, 둘은 빈자리까지 채우는 법을 배운다.
그림 1 · 방을 작은 가방에 담길 목록으로 줄였다가 다시 꾸미고, 두 방의 차이로 적는 사람과 꾸미는 사람을 함께 고친다.
그림 2 · 가방이 방만큼 크면 빈자리까지 그대로 옮겨 아무것도 배우지 않고, 물건 몇 개를 치워 두고 원래 방을 맞히게 하면 방의 규칙을 배운다.
| 비유 속 역할 | 오토인코더 요소 | 실제로 하는 일 |
|---|---|---|
| 원래 방 | 입력 x | 숫자 이미지 64 화소(0 ~ 1) |
| 하람이 목록 적기 | 인코더 f | 64 → 128 → 16 계층으로 줄임 |
| 작은 가방(16줄) | 잠재 벡터 h(병목) | 디코더로 가는 유일한 정보 · 16 값 |
| 지우가 방 꾸미기 | 디코더 g | 16 → 128 → 64 계층으로 되살림 |
| 반장이 두 방 견주기 | 재구성 손실 L(x, x′) | 화소별 평균 제곱 오차 |
| 둘이 함께 고치기 | 역전파 · Adam | f · g 의 가중치를 한 손실로 함께 갱신 |
| 반장이 물건 치워 두기 | 입력 손상 x̃(잡음 제거) | 화소 25% 를 0 으로 · 정답은 원본 |
| 빈자리 채운 방 | 손상에 강한 표현 | 가린 화소를 이웃 화소의 규칙으로 채움 |
⚠ 비유가 맞지 않는 곳: 하람은 «의자 하나» 처럼 사람이 읽을 수 있는 목록을 적지만, 잠재 벡터 16 값은 뜻이 정해지지 않은 실수이고 한 값이 여러 특징에 섞여 있다. 또 지우는 처음 보는 방도 꾸밀 수 있을 것 같지만, 디코더는 학습한 자료와 비슷한 입력만 잘 되살린다.
4구조 — 인코더 · 잠재 벡터 · 디코더 · 규제
오토인코더는 인코더 h = f(x) 와 디코더 x′ = g(h) 를 이어 붙이고 L(x, g(f(x))) 를 줄이도록 학습한다(Goodfellow 2016 식 14.1). 손실만 줄이면 g(f(x)) = x 인 항등 함수가 정답이 되므로, 변종들은 그 복사를 막는 장치 하나씩을 더한다.
그림 3 · 본체는 인코더 · 잠재 벡터 · 디코더와 재구성 손실이고, 변종은 항등 복사를 막는 장치를 입력 · 인코더 · 잠재 벡터 가운데 어디에 거는가로 갈린다.
| 요소 | 크기(사례) | 역할 | 값 · 근거 |
|---|---|---|---|
| 입력 x | 64 | 정답이자 입력 | 화소 0 ~ 16 을 16 으로 나눔(UCI optdigits) |
| 인코더 f | 64 → 128 → 16 | 입력을 잠재 벡터로 줄임 | ReLU 은닉 · 선형 출력 |
| 잠재 벡터 h | 16 | 디코더가 받는 유일한 정보 | 입력보다 작으면 과소완전(Goodfellow 2016 14.1절) |
| 디코더 g | 16 → 128 → 64 | 잠재 벡터를 입력 모양으로 | 시그모이드 출력 = 0 ~ 1 |
| 재구성 손실 | 스칼라 | 입력과 출력의 차이 | 평균 제곱 오차 · 선형 디코더면 PCA 부분 공간(Goodfellow 2016 14.1절) |
| 규제 장치 | 선택 | 항등 복사를 막음 | 손상 비율(Vincent 2008) · 희소 벌점 Ω(h)(Goodfellow 2016 식 14.2) · 야코비안 벌점(Rifai 2011) |
5동작 — 손글씨 숫자 8 의 잡음 제거 학습
사례는 Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 오토인코더 · Adam(Kingma 2014) 을 직접 구현해 UCI 손글씨 숫자 자료(학습 3,823장 · 시험 1,797장)로 돌렸다.
- 8×8 이미지 한 장을 64 값으로 펴고 화소 값 0 ~ 16 을 16 으로 나눠 0 ~ 1 로 맞춘다.
- 잡음 제거 학습 — 묶음 128장마다 화소 25% 를 골라 0 으로 지운 x̃ 를 입력으로, 지우기 전 x 를 정답으로 둔다(Vincent 2008 2.3절의 손상 방식).
- 인코더 64 → 128(ReLU) → 16 이 잠재 벡터 h 를 내고, 디코더 16 → 128(ReLU) → 64(시그모이드)가 x′ 를 낸다 — 가중치 20,816개.
- 손실 = 64 화소 평균 제곱 오차 · Adam 학습률 0.001 · 150 에폭 — 학습 자료의 깨끗한 입력 재구성 오차는 1 에폭 0.0690 → 150 에폭 0.0103 으로 준다.
- 시험 숫자 8 한 장은 화소 25% 를 가리자 켜진 화소 8개가 지워져 원본과의 오차가 0.0639 가 된다.
- 잡음 제거 모델은 이 가린 입력을 16 값으로 줄였다 되살려 오차 0.0159 를 낸다 — 원래 0.75 이상이던 가린 화소 넷이 0.75 ~ 0.89 로 돌아온다.
- 같은 구조를 깨끗한 입력으로만 학습한 보통 오토인코더는 같은 입력에서 오차 0.0591 로, 가린 화소를 0.04 ~ 0.62 의 구멍으로 남긴다.
그림 4 · 가려진 숫자 8 을 잡음 제거 오토인코더는 16 값으로 줄였다가 빈 화소까지 되살리고, 깨끗한 입력만 배운 같은 크기의 모델은 구멍을 그대로 둔다.
같은 실험을 병목 2 ~ 128 로 바꿔 시험 1,797장 전체에서 재면, 보통 오토인코더는 깨끗한 입력 오차만 줄이고 가린 입력 오차는 «가린 그대로» 값으로 다가간다.
그림 5 · 병목을 넓히면 보통 오토인코더는 깨끗한 입력 오차만 0.0012 까지 줄고 가린 입력 오차는 «가린 그대로» 쪽으로 오르며, 잡음 제거 오토인코더만 두 오차를 함께 낮춘다.
🔑 병목을 넓히면 깨끗한 입력의 오차는 계속 줄지만 그것은 베끼는 능력이고, 자료의 구조를 배웠는지는 손상된 입력을 원본으로 되돌리는가가 가른다.
6비교 — 복사를 막는 장치에 따른 변종
| 방식 | 복사를 막는 장치 | 학습 목표 | 잠재 공간 성질 | 주 쓰임 · 근거 |
|---|---|---|---|---|
| 과소완전 | 병목 k < 입력 차원 | L(x, g(f(x))) | 압축 좌표 | 차원 축소 · 사례 k = 16 오차 0.0062(Goodfellow 2016 14.1절) |
| 희소 | 잠재 활성에 벌점 Ω(h) | L + Ω(h) | 소수 단위만 켜짐 | 분류용 특징 학습(Goodfellow 2016 식 14.2) |
| 잡음 제거 | 입력 손상 x̃ | L(x, g(f(x̃))) | 손상에 둔감 | 복원 · 사전 학습 · 사례 가린 입력 0.0172(Vincent 2008) |
| 축소 | 인코더 야코비안 벌점 | + λ‖∂h/∂x‖²F | 입력 근처 변화에 둔감 | 강건 특징(Rifai 2011) |
| 변분(VAE) | 잠재를 분포로 · KL 항 | 증거 하한(ELBO) | 연속 · 표본을 뽑을 수 있음 | 생성(Kingma 2013) |
| PCA(선형 기준) | 직교 축 k 개 | 제곱 오차 | 선형 부분 공간 | 기준선 · 사례 k = 16 오차 0.0119(Baldi 1989) |
분석압축 · 시각화만 필요하면 PCA 로 먼저 기준선을 재고, 같은 k 에서 오차가 뚜렷이 줄 때만 과소완전 오토인코더로 옮기며, 입력에 빠진 값 · 잡음이 있으면 잡음 제거, 새 표본이 필요하면 VAE 를 고른다. 근거는 표의 사례 값 — k = 16 에서 비선형 이득은 0.0119 → 0.0062 이고, 가린 입력에서는 보통 0.0438 · 잡음 제거 0.0172 로 장치가 더 큰 차이를 냈다.
7실무 진단 — 재구성 오차가 말하지 않는 것 가르기
분석손상 입력 오차 → 병목 크기 → 목표와 쓰임 순으로 본다. 깨끗한 입력의 재구성 오차는 항등 복사로도 작아지므로(Goodfellow 2016 14.1절), 그 숫자만 보고 병목이나 구조를 바꾸면 원인을 놓친다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 오차는 계속 주는데 손상 · 새 입력을 못 되살림 | 병목이 넓고 규제가 없어 항등 복사 | 용량 · 규제 | 깨끗한 입력 · 가린 입력 오차를 나란히 | 가린 입력 오차가 «가린 그대로»에 가까우면 복사(사례 k = 64 · 0.0507 ↔ 0.0590) |
| 2 | 재구성이 흐리고 숫자마다 평균 모양 | 병목이 너무 좁음 | 병목 | k 별 오차 곡선 · 같은 k 의 PCA 오차 | k 를 두 배로 늘려 두 오차가 함께 줄면 좁았던 것(사례 k 2 → 4 · 깨끗한 0.0359 → 0.0230 · 가린 0.0497 → 0.0405) |
| 3 | 비선형 모델인데 PCA 와 오차가 같음 | 은닉 활성이 꺼짐 · 디코더가 사실상 선형 | 모델 | 같은 k 의 PCA 오차 · 은닉 활성 0 비율 | 같으면 선형 부분 공간만 배움(Goodfellow 2016 14.1절) |
| 4 | 잠재 벡터로 분류하니 원자료보다 낮음 | 재구성 목표 ≠ 분류 목표 | 쓰임 | 원자료 · PCA · 잠재 벡터의 1-NN 정확도 | 사례 원자료 98.0% · PCA 16 97.2% · 잠재 16 96.7% → 미세 조정 |
| 5 | 첫 에폭부터 손실이 줄지 않음 | 입력 범위와 출력 활성 불일치 | 전처리 | 입력 최댓값 · 출력 활성 범위 | 시그모이드 출력이면 입력을 0 ~ 1 로(사례 단계 1) |
손상 입력 오차는 학습에 잡음 제거를 쓰지 않는 모델도 시험 때 한 번 잰다 — 깨끗한 입력 오차와 차이가 클수록 그 모델의 잠재 벡터는 입력의 사본에 가깝다.
8시험 대비
www.q-net.or.kr시험에서는 구성 요소와 학습 원리를 묻는 정의 · 특징형, 그리고 PCA · 변종(희소 · 잡음 제거 · 축소 · VAE)과의 차이를 묻는 비교형이 나올 수 있다. 「입력을 복원하는 신경망」 한 줄에서 그치지 않고 «항등 복사를 무엇으로 막는가»를 축으로 쓰면 비교까지 한 답안이 된다.
- 개요 — 정의 · 비지도(자기 지도) 학습 · 인코더 h = f(x) · 디코더 x′ = g(h) · 손실 L(x, g(f(x)))
- 구조 — 그림 3 인코더 · 잠재 벡터 · 디코더 · 규제 장치 넷 · 과소완전과 과대완전
- 학습 과정 — 그림 4 숫자 8 사례(가린 입력 0.0639 → 잡음 제거 0.0159 · 보통 0.0591)
- 핵심 원리 — 그림 5 병목과 항등 복사 · 선형 디코더 = PCA 부분 공간(Baldi 1989)
- 변종 비교 — 과소완전 · 희소 · 잡음 제거 · 축소 · VAE · PCA 표
- 활용과 동향 — 차원 축소 · 사전 학습(Hinton 2006) · 가림 사전 학습 75%(He 2021) · 생성 모델 잠재 공간
꼭 쓸 키워드
인코더디코더잠재 벡터병목재구성 오차과소완전항등 복사잡음 제거 오토인코더희소 오토인코더축소 오토인코더
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «깨끗한 입력 오차 ↔ 손상 입력 오차» 두 곡선을 나란히 보이는 것이다 — 병목을 넓히면 한쪽만 줄어든다는 그래프가 「복사를 막아야 한다」는 이유를 숫자로 보인다.
9오해와 사실
- 오해재구성 오차가 작을수록 좋은 오토인코더다.사실사례에서 병목 128 보통 모델은 깨끗한 입력 오차가 0.0012 로 가장 작지만, 가린 입력에서는 0.0509 로 가린 그대로(0.0590)와 거의 같아 구조를 배우지 않았다.
- 오해오토인코더의 잠재 벡터는 원자료보다 분류에 언제나 낫다.사실재구성만 목표로 한 잠재 16 값의 1-NN 정확도는 96.7% 로 원자료 64 값(98.0%)보다 낮았다 — 분류에 쓰려면 레이블로 미세 조정한다.
- 오해오토인코더는 PCA 와 전혀 다른 방법이다.사실디코더가 선형이고 손실이 제곱 오차이면 과소완전 오토인코더는 PCA 와 같은 부분 공간을 배운다(Goodfellow 2016 14.1절 · Baldi 1989).
10핵심 정리
| 구분 | 맡는 일 | 식 · 장치 | 사례 값 | 근거 |
|---|---|---|---|---|
| 인코더 | 입력을 잠재 벡터로 | h = f(x) | 64 → 128 → 16 | Goodfellow 2016 14장 |
| 잠재 벡터 | 디코더로 가는 유일한 정보 | 병목 k | 16 값 | 과소완전 = k < 입력 |
| 디코더 | 잠재 벡터를 입력 모양으로 | x′ = g(h) | 16 → 128 → 64 | 시그모이드 출력 |
| 재구성 손실 | 입력과 출력의 차이 | L(x, x′) | k = 16 · 0.0062 · PCA 0.0119 | 식 14.1 |
| 항등 복사 | 아무것도 배우지 않는 실패 | g(f(x)) = x | k = 128 가린 입력 0.0509 | Goodfellow 2016 14.1절 |
| 잡음 제거 | 손상 입력 → 원본 | L(x, g(f(x̃))) | 가린 25% · k = 16 · 0.0172 | Vincent 2008 |
| 희소 · 축소 | 은닉 활성 · 기울기에 벌점 | Ω(h) · ‖∂h/∂x‖² | 이 사례 미실행 | 식 14.2 · Rifai 2011 |
| VAE | 잠재를 분포로 · 생성 | ELBO · KL 항 | 이 사례 미실행 | Kingma 2013 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 14 Autoencoders — 과소완전 · 희소 · 잡음 제거 · 축소 오토인코더와 PCA 부분 공간의 관계를 식으로 볼 때
- ★ Extracting and Composing Robust Features with Denoising Autoencoders (ICML 2008) — 입력 일부를 0 으로 지우고 원본을 맞히게 하는 잡음 제거 학습의 처음 정의를 볼 때
- ★ Reducing the Dimensionality of Data with Neural Networks (Science 313(5786) 504-507) — 깊은 오토인코더를 계층별 사전 학습으로 훈련해 PCA 와 재구성 오차를 견준 실험을 볼 때
- ★ Masked Autoencoders Are Scalable Vision Learners — 이미지 조각 75% 를 가리고 되살리는 자기 지도 사전 학습을 볼 때
- 본문 근거
- Optical Recognition of Handwritten Digits (Alpaydin · Kaynak · DOI 10.24432/C50P49 · CC BY 4.0) — UCI Machine Learning Repository · 1998-06 ·
archive.ics.uci.edu/dataset/80/optical+recognition+of+handwritten+digits· 확인 2026-11-12 - Contractive Auto-Encoders: Explicit Invariance During Feature Extraction (ICML 2011) — ICML · 2011-06 ·
icml.cc/2011/papers/455_icmlpaper.pdf· 확인 2026-11-12 - Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion (JMLR 11 3371-3408) — JMLR · 2010-12 ·
jmlr.org/papers/v11/vincent10a.html· 확인 2026-11-12 - Auto-Encoding Variational Bayes — arXiv · 2013-12 ·
arxiv.org/abs/1312.6114· 확인 2026-11-12 - Neural networks and principal component analysis: Learning from examples without local minima (Neural Networks 2(1) 53-58) — Elsevier · 1989-01 ·
doi.org/10.1016/0893-6080(89)90014-2· 확인 2026-11-12 - Adam: A Method for Stochastic Optimization — arXiv · 2014-12 ·
arxiv.org/abs/1412.6980· 확인 2026-11-12 - NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12