AI › 인공지능 개요 › 딥러닝 › 모델 구조

오토인코더Autoencoder

입력을 인코더로 작은 잠재 벡터로 줄였다가 디코더로 다시 입력 모양으로 되살리도록, 입력 자신을 정답으로 삼아 학습하는 신경망이다.

1요약

  1. 오토인코더는 딥러닝 모델 구조 가운데 인코더 · 잠재 벡터 · 디코더 세 부분으로 입력을 줄였다 되살리는 신경망으로, 1980년대 신경망 연구에서 나와(Goodfellow 2016 14장) 그 위에서 차원 축소 · 잡음 제거 · 사전 학습 · 생성 모델의 잠재 공간이 돈다.
  2. 정답 레이블 없이 입력 자신만으로 학습하므로, 손글씨 숫자 3,823장으로 학습한 병목 16 모델은 같은 크기의 PCA 보다 재구성 오차가 절반(0.0062 ↔ 0.0119)이었다.
  3. 「오차는 작은데 쓸모가 없다」는 손상 입력 오차로 가른다 — 깨끗한 입력 오차만 줄고 가린 입력 오차가 «가린 그대로» 값에 붙어 있으면 모델이 구조를 배우지 않고 입력을 베끼고 있다.

2등장 배경

정답 레이블을 붙이는 데는 사람 손이 들지만, 화소 · 센서 값 같은 원자료는 레이블 없이 쌓인다. 1980년대 연구자들은 입력을 그대로 정답으로 삼아 좁은 은닉 계층을 지나게 하면 그 계층이 자료의 압축 좌표를 배운다는 데 주목했다(LeCun 1987 · Bourlard · Kamp 1988 · Goodfellow 2016 14장). Baldi · Hornik(1989)은 선형 오토인코더를 제곱 오차로 학습하면 PCA 와 같은 부분 공간에 닿는다는 것을 보였다.

깊게 쌓으면 학습이 잘 되지 않던 문제는 2006년 Hinton · Salakhutdinov 가 계층별 사전 학습으로 풀었다 — 784-1000-500-250-30 오토인코더의 MNIST 시험 재구성 오차는 이미지당 3.00 으로 같은 30차원 PCA 의 13.87 보다 작았다(Hinton 2006 그림 2). 2008년 Vincent 외는 입력 일부를 0 으로 지우고 원본을 맞히게 하는 잡음 제거 오토인코더를 냈고(Vincent 2008 2.3절), 2011년 Rifai 외의 축소 오토인코더, 2013년 Kingma · Welling 의 VAE 가 뒤를 이었다.

지금 오토인코더는 두 방향으로 남아 있다. 2021년 He 외는 이미지 조각 75% 를 가리고 되살리는 사전 학습을 냈고(He 2021), 이미지 생성 모델은 오토인코더로 줄인 잠재 공간 위에서 돈다. 정상 데이터의 재구성 오차로 이상을 찾는 쓰임은 오토인코더 이상 탐지가 맡는다.

3쉽게 이해하기 — 작은 가방으로 옮기는 방 한 칸

이삿짐 견습생 하람은 방 한 칸을 작은 가방 하나에 담길 «짐 목록»으로 줄여 적고, 새 집의 동료 지우는 그 목록만 보고 방을 다시 꾸민다. 반장은 원래 방 사진과 다시 꾸민 방 사진을 견주어 다른 곳을 짚어 주고, 둘은 그 지적으로 적는 법과 꾸미는 법을 함께 고친다. 가방이 작으니 하람은 «책상 옆에는 의자» 같은 방의 규칙을 적어야 한다. 반장이 가끔 물건 몇 개를 미리 치워 두면, 둘은 빈자리까지 채우는 법을 배운다.

작은 가방으로 방 한 칸 옮기기 원래 방 물건 64개 입력 x 하람 짐 목록 적기 인코더 f 작은 가방 목록 16줄만 잠재 벡터 h 지우 목록으로 꾸미기 디코더 g 다시 꾸민 방 물건 64개 재구성 x′ 1 2 3 4 5 원래 방 사진 꾸민 방 사진 6 반장 — 두 방 견주기 재구성 손실 L 고칠 점을 둘에게 함께(역전파)

그림 1 · 방을 작은 가방에 담길 목록으로 줄였다가 다시 꾸미고, 두 방의 차이로 적는 사람과 꾸미는 사람을 함께 고친다.

방 보기물건 64개
목록 적기16줄로 줄여
가방 보내기목록만 간다
방 꾸미기목록만 보고
견주기두 방 사진
함께 고치기적는 법 · 꾸미는 법
방만 한 가방 — 그대로 옮김 치워 두고 맞히기 — 규칙을 배움 물건 몇 개 빠진 방 64줄 가방 빈자리 그대로 보통 AE · 병목 64 — 항등 복사 원본과의 차이 0.0507 치운 그대로 두었을 때 0.0590 과 거의 같음 반장이 몇 개 치움 64줄 가방 빈자리 채움 잡음 제거 AE · 병목 64 — 원본을 정답으로 원본과의 차이 0.0157 같은 크기 가방에서 차이가 약 3분의 1 차이 = 시험 숫자 1,797장에서 화소 25% 를 가린 입력의 원본과의 평균 제곱 오차(시드 0)

그림 2 · 가방이 방만큼 크면 빈자리까지 그대로 옮겨 아무것도 배우지 않고, 물건 몇 개를 치워 두고 원래 방을 맞히게 하면 방의 규칙을 배운다.

비유 속 역할오토인코더 요소실제로 하는 일
원래 방입력 x숫자 이미지 64 화소(0 ~ 1)
하람이 목록 적기인코더 f64 → 128 → 16 계층으로 줄임
작은 가방(16줄)잠재 벡터 h(병목)디코더로 가는 유일한 정보 · 16 값
지우가 방 꾸미기디코더 g16 → 128 → 64 계층으로 되살림
반장이 두 방 견주기재구성 손실 L(x, x′)화소별 평균 제곱 오차
둘이 함께 고치기역전파 · Adamf · g 의 가중치를 한 손실로 함께 갱신
반장이 물건 치워 두기입력 손상 x̃(잡음 제거)화소 25% 를 0 으로 · 정답은 원본
빈자리 채운 방손상에 강한 표현가린 화소를 이웃 화소의 규칙으로 채움

⚠ 비유가 맞지 않는 곳: 하람은 «의자 하나» 처럼 사람이 읽을 수 있는 목록을 적지만, 잠재 벡터 16 값은 뜻이 정해지지 않은 실수이고 한 값이 여러 특징에 섞여 있다. 또 지우는 처음 보는 방도 꾸밀 수 있을 것 같지만, 디코더는 학습한 자료와 비슷한 입력만 잘 되살린다.

4구조 — 인코더 · 잠재 벡터 · 디코더 · 규제

오토인코더는 인코더 h = f(x) 와 디코더 x′ = g(h) 를 이어 붙이고 L(x, g(f(x))) 를 줄이도록 학습한다(Goodfellow 2016 식 14.1). 손실만 줄이면 g(f(x)) = x 인 항등 함수가 정답이 되므로, 변종들은 그 복사를 막는 장치 하나씩을 더한다.

잡음 제거(DAE) 입력 일부를 0 → x̃ 축소(CAE) ‖∂h/∂x‖² 벌점 희소 h 활성 벌점 Ω(h) 변분(VAE) h 를 분포 q(h|x) 로 · KL 항 입력 x 64 인코더 f 64→128→16 잠재 h 16 디코더 g 16→128→64 재구성 x′ 64 손실 = L(x, x′) + 규제 항 역전파로 f · g 를 한 손실로 함께 학습 정답 = 입력 자신 입력 데이터 모델 잠재 표현 출력 점선 상자 = 복사를 막는 선택 장치

그림 3 · 본체는 인코더 · 잠재 벡터 · 디코더와 재구성 손실이고, 변종은 항등 복사를 막는 장치를 입력 · 인코더 · 잠재 벡터 가운데 어디에 거는가로 갈린다.

요소크기(사례)역할값 · 근거
입력 x64정답이자 입력화소 0 ~ 16 을 16 으로 나눔(UCI optdigits)
인코더 f64 → 128 → 16입력을 잠재 벡터로 줄임ReLU 은닉 · 선형 출력
잠재 벡터 h16디코더가 받는 유일한 정보입력보다 작으면 과소완전(Goodfellow 2016 14.1절)
디코더 g16 → 128 → 64잠재 벡터를 입력 모양으로시그모이드 출력 = 0 ~ 1
재구성 손실스칼라입력과 출력의 차이평균 제곱 오차 · 선형 디코더면 PCA 부분 공간(Goodfellow 2016 14.1절)
규제 장치선택항등 복사를 막음손상 비율(Vincent 2008) · 희소 벌점 Ω(h)(Goodfellow 2016 식 14.2) · 야코비안 벌점(Rifai 2011)

5동작 — 손글씨 숫자 8 의 잡음 제거 학습

사례는 Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 오토인코더 · Adam(Kingma 2014) 을 직접 구현해 UCI 손글씨 숫자 자료(학습 3,823장 · 시험 1,797장)로 돌렸다.

  1. 8×8 이미지 한 장을 64 값으로 펴고 화소 값 0 ~ 16 을 16 으로 나눠 0 ~ 1 로 맞춘다.
  2. 잡음 제거 학습 — 묶음 128장마다 화소 25% 를 골라 0 으로 지운 x̃ 를 입력으로, 지우기 전 x 를 정답으로 둔다(Vincent 2008 2.3절의 손상 방식).
  3. 인코더 64 → 128(ReLU) → 16 이 잠재 벡터 h 를 내고, 디코더 16 → 128(ReLU) → 64(시그모이드)가 x′ 를 낸다 — 가중치 20,816개.
  4. 손실 = 64 화소 평균 제곱 오차 · Adam 학습률 0.001 · 150 에폭 — 학습 자료의 깨끗한 입력 재구성 오차는 1 에폭 0.0690 → 150 에폭 0.0103 으로 준다.
  5. 시험 숫자 8 한 장은 화소 25% 를 가리자 켜진 화소 8개가 지워져 원본과의 오차가 0.0639 가 된다.
  6. 잡음 제거 모델은 이 가린 입력을 16 값으로 줄였다 되살려 오차 0.0159 를 낸다 — 원래 0.75 이상이던 가린 화소 넷이 0.75 ~ 0.89 로 돌아온다.
  7. 같은 구조를 깨끗한 입력으로만 학습한 보통 오토인코더는 같은 입력에서 오차 0.0591 로, 가린 화소를 0.04 ~ 0.62 의 구멍으로 남긴다.
시험 숫자 8 한 장 — 가린 화소를 되살리는가 원본 x 64 화소 · 0 ~ 1 가린 입력 x̃ 25% 를 0 으로 잠재 h 16 값 잡음 제거 AE 복원 오차 0.0159 보통 AE 복원 오차 0.0591 1 2 3 4 5 테두리 = 켜져 있다가 가려진 화소 8개 원래 0.75 이상이던 가린 화소 넷 — 잡음 제거 AE 0.75 ~ 0.89 로 채움 · 보통 AE 0.04 ~ 0.62 로 구멍이 남음 오차 = 원본 x 와의 평균 제곱 오차 · 가린 입력 그대로의 오차 = 0.0639 화소 밝기(진할수록 1) 가려진 켜진 화소 잠재 값(가운데 선 = 0 · 오른쪽 양수) UCI 손글씨 숫자 시험 1,797장 중 첫 8 · 병목 16 · 시드 0

그림 4 · 가려진 숫자 8 을 잡음 제거 오토인코더는 16 값으로 줄였다가 빈 화소까지 되살리고, 깨끗한 입력만 배운 같은 크기의 모델은 구멍을 그대로 둔다.

같은 실험을 병목 2 ~ 128 로 바꿔 시험 1,797장 전체에서 재면, 보통 오토인코더는 깨끗한 입력 오차만 줄이고 가린 입력 오차는 «가린 그대로» 값으로 다가간다.

병목을 넓히면 — 깨끗한 오차는 줄고, 가린 입력 오차는 줄지 않는다 0.00 0.02 0.04 0.06 2 4 8 16 32 64 128 병목 크기 k(입력 64 · 오른쪽 둘 = 입력 이상) 원본과의 평균 제곱 오차 가린 입력 그대로 0.059 0.0509 0.0147 0.0012 보통 AE · 깨끗한 입력 보통 AE · 가린 입력 잡음 제거 AE · 가린 입력 점선 세로 = 병목이 입력(64)과 같은 곳 · 시험 1,797장 · 시드 0

그림 5 · 병목을 넓히면 보통 오토인코더는 깨끗한 입력 오차만 0.0012 까지 줄고 가린 입력 오차는 «가린 그대로» 쪽으로 오르며, 잡음 제거 오토인코더만 두 오차를 함께 낮춘다.

🔑 병목을 넓히면 깨끗한 입력의 오차는 계속 줄지만 그것은 베끼는 능력이고, 자료의 구조를 배웠는지는 손상된 입력을 원본으로 되돌리는가가 가른다.

6비교 — 복사를 막는 장치에 따른 변종

방식복사를 막는 장치학습 목표잠재 공간 성질주 쓰임 · 근거
과소완전병목 k < 입력 차원L(x, g(f(x)))압축 좌표차원 축소 · 사례 k = 16 오차 0.0062(Goodfellow 2016 14.1절)
희소잠재 활성에 벌점 Ω(h)L + Ω(h)소수 단위만 켜짐분류용 특징 학습(Goodfellow 2016 식 14.2)
잡음 제거입력 손상 x̃L(x, g(f(x̃)))손상에 둔감복원 · 사전 학습 · 사례 가린 입력 0.0172(Vincent 2008)
축소인코더 야코비안 벌점+ λ‖∂h/∂x‖²F입력 근처 변화에 둔감강건 특징(Rifai 2011)
변분(VAE)잠재를 분포로 · KL 항증거 하한(ELBO)연속 · 표본을 뽑을 수 있음생성(Kingma 2013)
PCA(선형 기준)직교 축 k 개제곱 오차선형 부분 공간기준선 · 사례 k = 16 오차 0.0119(Baldi 1989)

분석압축 · 시각화만 필요하면 PCA 로 먼저 기준선을 재고, 같은 k 에서 오차가 뚜렷이 줄 때만 과소완전 오토인코더로 옮기며, 입력에 빠진 값 · 잡음이 있으면 잡음 제거, 새 표본이 필요하면 VAE 를 고른다. 근거는 표의 사례 값 — k = 16 에서 비선형 이득은 0.0119 → 0.0062 이고, 가린 입력에서는 보통 0.0438 · 잡음 제거 0.0172 로 장치가 더 큰 차이를 냈다.

7실무 진단 — 재구성 오차가 말하지 않는 것 가르기

분석손상 입력 오차 → 병목 크기 → 목표와 쓰임 순으로 본다. 깨끗한 입력의 재구성 오차는 항등 복사로도 작아지므로(Goodfellow 2016 14.1절), 그 숫자만 보고 병목이나 구조를 바꾸면 원인을 놓친다.

#증상의심 원인단계확인 자료판정 기준(근거)
1학습 오차는 계속 주는데 손상 · 새 입력을 못 되살림병목이 넓고 규제가 없어 항등 복사용량 · 규제깨끗한 입력 · 가린 입력 오차를 나란히가린 입력 오차가 «가린 그대로»에 가까우면 복사(사례 k = 64 · 0.0507 ↔ 0.0590)
2재구성이 흐리고 숫자마다 평균 모양병목이 너무 좁음병목k 별 오차 곡선 · 같은 k 의 PCA 오차k 를 두 배로 늘려 두 오차가 함께 줄면 좁았던 것(사례 k 2 → 4 · 깨끗한 0.0359 → 0.0230 · 가린 0.0497 → 0.0405)
3비선형 모델인데 PCA 와 오차가 같음은닉 활성이 꺼짐 · 디코더가 사실상 선형모델같은 k 의 PCA 오차 · 은닉 활성 0 비율같으면 선형 부분 공간만 배움(Goodfellow 2016 14.1절)
4잠재 벡터로 분류하니 원자료보다 낮음재구성 목표 ≠ 분류 목표쓰임원자료 · PCA · 잠재 벡터의 1-NN 정확도사례 원자료 98.0% · PCA 16 97.2% · 잠재 16 96.7% → 미세 조정
5첫 에폭부터 손실이 줄지 않음입력 범위와 출력 활성 불일치전처리입력 최댓값 · 출력 활성 범위시그모이드 출력이면 입력을 0 ~ 1 로(사례 단계 1)

손상 입력 오차는 학습에 잡음 제거를 쓰지 않는 모델도 시험 때 한 번 잰다 — 깨끗한 입력 오차와 차이가 클수록 그 모델의 잠재 벡터는 입력의 사본에 가깝다.

8시험 대비

출제 정보 정보관리(135회) · 컴퓨터시스템응용(131회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 구성 요소와 학습 원리를 묻는 정의 · 특징형, 그리고 PCA · 변종(희소 · 잡음 제거 · 축소 · VAE)과의 차이를 묻는 비교형이 나올 수 있다. 「입력을 복원하는 신경망」 한 줄에서 그치지 않고 «항등 복사를 무엇으로 막는가»를 축으로 쓰면 비교까지 한 답안이 된다.

답안 목차
  1. 개요 — 정의 · 비지도(자기 지도) 학습 · 인코더 h = f(x) · 디코더 x′ = g(h) · 손실 L(x, g(f(x)))
  2. 구조 — 그림 3 인코더 · 잠재 벡터 · 디코더 · 규제 장치 넷 · 과소완전과 과대완전
  3. 학습 과정 — 그림 4 숫자 8 사례(가린 입력 0.0639 → 잡음 제거 0.0159 · 보통 0.0591)
  4. 핵심 원리 — 그림 5 병목과 항등 복사 · 선형 디코더 = PCA 부분 공간(Baldi 1989)
  5. 변종 비교 — 과소완전 · 희소 · 잡음 제거 · 축소 · VAE · PCA 표
  6. 활용과 동향 — 차원 축소 · 사전 학습(Hinton 2006) · 가림 사전 학습 75%(He 2021) · 생성 모델 잠재 공간

꼭 쓸 키워드
인코더디코더잠재 벡터병목재구성 오차과소완전항등 복사잡음 제거 오토인코더희소 오토인코더축소 오토인코더

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «깨끗한 입력 오차 ↔ 손상 입력 오차» 두 곡선을 나란히 보이는 것이다 — 병목을 넓히면 한쪽만 줄어든다는 그래프가 「복사를 막아야 한다」는 이유를 숫자로 보인다.

9오해와 사실

  • 오해재구성 오차가 작을수록 좋은 오토인코더다.
    사실사례에서 병목 128 보통 모델은 깨끗한 입력 오차가 0.0012 로 가장 작지만, 가린 입력에서는 0.0509 로 가린 그대로(0.0590)와 거의 같아 구조를 배우지 않았다.
  • 오해오토인코더의 잠재 벡터는 원자료보다 분류에 언제나 낫다.
    사실재구성만 목표로 한 잠재 16 값의 1-NN 정확도는 96.7% 로 원자료 64 값(98.0%)보다 낮았다 — 분류에 쓰려면 레이블로 미세 조정한다.
  • 오해오토인코더는 PCA 와 전혀 다른 방법이다.
    사실디코더가 선형이고 손실이 제곱 오차이면 과소완전 오토인코더는 PCA 와 같은 부분 공간을 배운다(Goodfellow 2016 14.1절 · Baldi 1989).

10핵심 정리

구분맡는 일식 · 장치사례 값근거
인코더입력을 잠재 벡터로h = f(x)64 → 128 → 16Goodfellow 2016 14장
잠재 벡터디코더로 가는 유일한 정보병목 k16 값과소완전 = k < 입력
디코더잠재 벡터를 입력 모양으로x′ = g(h)16 → 128 → 64시그모이드 출력
재구성 손실입력과 출력의 차이L(x, x′)k = 16 · 0.0062 · PCA 0.0119식 14.1
항등 복사아무것도 배우지 않는 실패g(f(x)) = xk = 128 가린 입력 0.0509Goodfellow 2016 14.1절
잡음 제거손상 입력 → 원본L(x, g(f(x̃)))가린 25% · k = 16 · 0.0172Vincent 2008
희소 · 축소은닉 활성 · 기울기에 벌점Ω(h) · ‖∂h/∂x‖²이 사례 미실행식 14.2 · Rifai 2011
VAE잠재를 분포로 · 생성ELBO · KL 항이 사례 미실행Kingma 2013

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 14 Autoencoders — 과소완전 · 희소 · 잡음 제거 · 축소 오토인코더와 PCA 부분 공간의 관계를 식으로 볼 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/autoencoders.html · 확인 2026-11-12
  3. ★ Extracting and Composing Robust Features with Denoising Autoencoders (ICML 2008) — 입력 일부를 0 으로 지우고 원본을 맞히게 하는 잡음 제거 학습의 처음 정의를 볼 때
    ICML · 저자 공개 PDF · 2008-07 · www.cs.toronto.edu/~larocheh/publications/icml-2008-denoising-autoencoders.pdf · 확인 2026-11-12
  4. ★ Reducing the Dimensionality of Data with Neural Networks (Science 313(5786) 504-507) — 깊은 오토인코더를 계층별 사전 학습으로 훈련해 PCA 와 재구성 오차를 견준 실험을 볼 때
    AAAS · 저자 공개 PDF · 2006-07 · www.cs.toronto.edu/~hinton/absps/science.pdf · 확인 2026-11-12
  5. ★ Masked Autoencoders Are Scalable Vision Learners — 이미지 조각 75% 를 가리고 되살리는 자기 지도 사전 학습을 볼 때
    arXiv · CVPR 2022 · 2021-11 · arxiv.org/abs/2111.06377 · 확인 2026-11-12
  6. 본문 근거
  7. Optical Recognition of Handwritten Digits (Alpaydin · Kaynak · DOI 10.24432/C50P49 · CC BY 4.0) — UCI Machine Learning Repository · 1998-06 · archive.ics.uci.edu/dataset/80/optical+recognition+of+handwritten+digits · 확인 2026-11-12
  8. Contractive Auto-Encoders: Explicit Invariance During Feature Extraction (ICML 2011) — ICML · 2011-06 · icml.cc/2011/papers/455_icmlpaper.pdf · 확인 2026-11-12
  9. Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion (JMLR 11 3371-3408) — JMLR · 2010-12 · jmlr.org/papers/v11/vincent10a.html · 확인 2026-11-12
  10. Auto-Encoding Variational Bayes — arXiv · 2013-12 · arxiv.org/abs/1312.6114 · 확인 2026-11-12
  11. Neural networks and principal component analysis: Learning from examples without local minima (Neural Networks 2(1) 53-58) — Elsevier · 1989-01 · doi.org/10.1016/0893-6080(89)90014-2 · 확인 2026-11-12
  12. Adam: A Method for Stochastic Optimization — arXiv · 2014-12 · arxiv.org/abs/1412.6980 · 확인 2026-11-12
  13. NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12