오토인코더 이상 탐지Autoencoder-based Anomaly Detection
정상 데이터만으로 입력을 좁은 잠재 벡터로 줄였다가 되살리는 오토인코더를 학습시키고, 새 관측의 재구성 오차가 정상 검증 데이터로 정한 임계값을 넘으면 이상으로 판정하는 방법이다.
1요약
- 오토인코더 이상 탐지는 이상 탐지의 재구성 계열에서 정상 데이터만으로 입력 → 좁은 잠재 벡터 → 재구성을 학습해 두고 재구성 오차를 이상 점수로 쓰는 방법으로, Hinton · Salakhutdinov(2006)의 비선형 차원 축소에서 출발해 센서 표 · 시계열 창 · 영상 감시가 그 위에서 돈다.
- 센서 사이 관계가 회전수의 제곱 · 세제곱처럼 굽어 있으면 직선 축으로 줄이는 PCA 가 정상 모양을 다 담지 못한다 — 송풍기 7센서 합성 사례에서 병목 2 오토인코더는 이상 90점 중 78점을 잡았고, 같은 두 차원의 PCA 는 23점을 잡았다.
- 「놓친다 · 경보가 너무 많다」는 병목 크기로 가른다 — 정상 오차까지 크면 병목이 너무 좁은 것이고, 정상 오차는 작은데 이상 오차도 함께 작으면 병목이 넓어 이상까지 되살리는 것이다.
2등장 배경
설비 센서가 수십 개로 늘면 센서마다 상한 · 하한을 두는 방식은 센서 사이 관계가 깨진 이상을 보지 못한다. 차압이 조금 오르고 풍량이 조금 내린 필터 막힘은 두 값 모두 정상 범위 안에 있다. 여러 센서를 함께 보는 PCA 재구성은 이 문제를 풀었지만 정상 모양을 직선 축 몇 개로만 담는다.
Hinton · Salakhutdinov(2006)는 여러 은닉층의 오토인코더를 사전 학습으로 훈련해 같은 차원 수에서 PCA 보다 재구성 오차가 작은 비선형 차원 축소를 보였다(Hinton 2006). Sakurada · Yairi(2014)가 이 비선형 차원 축소를 이상 탐지에 썼고, An · Cho(2015)는 변분 오토인코더(Kingma 2013)의 재구성 확률을 점수로 써서 변수마다 다른 산포를 반영했다(An 2015 3.3절). Malhotra 외(2016)는 LSTM 인코더 · 디코더로 다중 센서 시계열 창을 재구성하는 EncDec-AD 를 냈다(Malhotra 2016 2절).
2019년 Gong 외는 정상만 학습한 오토인코더가 너무 잘 일반화해 이상까지 잘 되살리는 경우를 짚고 정상 원형을 메모리 모듈에 묶는 MemAE 를 냈다(Gong 2019 1절). 지금 이 방법은 레이블 없는 다변량 설비 감시의 기본 도구로 남아 있고, 남은 쟁점은 병목 크기와 임계값을 정상 데이터만으로 정하는 일이다.
3쉽게 이해하기 — 두 자리 메모 카드로 전하는 측정표
송풍기실 기록원 서진은 매시간 숫자 일곱 개가 적힌 측정표를 받지만, 옆 건물의 동료 도윤에게는 숫자 두 개만 적는 메모 카드만 보낼 수 있다. 서진은 한 달 동안 정상 측정표만 보며 「두 자리에 무엇을 적으면 도윤이 일곱 값을 다시 쓸 수 있는지」를 익혔고, 도윤은 카드만 보고 측정표를 다시 쓴다. 반장은 원래 표와 다시 쓴 표를 견주어 차이가 기준선을 넘으면 점검반을 부른다. 평소와 다른 표는 두 자리에 담기지 않아 도윤이 «평소 모양»으로 다시 쓰고, 그 차이가 커진다.
그림 1 · 일곱 값 측정표를 두 자리 카드로 줄였다가 다시 쓰고, 원래 표와 다시 쓴 표의 차이가 기준선을 넘을 때만 점검을 부른다.
그림 2 · 카드 자리가 둘이면 과열 표가 «평소 모양»으로 되돌아와 차이가 커지지만, 자리가 일곱이면 과열까지 그대로 베껴져 차이가 사라진다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 한 달 치 정상 측정표 | 정상 학습 데이터 | 고장 레이블 없이 정상 운전 2,000점만 모은다 |
| 서진의 줄여 적기 | 인코더 | 7센서 값을 잠재 벡터 2차원으로 바꾼다 |
| 두 자리 메모 카드 | 병목(잠재 벡터) | 차원 수가 정상 모양의 자유도만큼만 담게 막는다 |
| 도윤의 다시 쓰기 | 디코더 | 잠재 벡터에서 7센서 값을 되살린다 |
| 다시 쓴 측정표 | 재구성 | 정상이면 원래 값과 거의 같고, 이상이면 정상 쪽으로 끌려온다 |
| 반장의 기준선 | 재구성 오차 · 임계값 | 검증용 정상 500점 오차의 99 백분위를 넘으면 이상 |
| 점검 호출 | 경보 · 센서별 기여 | 오차를 센서별로 나눠 어느 값이 어긋났는지 함께 알린다 |
⚠ 비유가 맞지 않는 곳: 서진은 카드 두 자리에 「회전수 · 바깥 기온」처럼 이름 붙은 값을 적지만, 실제 잠재 벡터의 두 숫자는 이름이 없고 학습이 정한 조합이다. 또 병목 차원 수만 줄이면 늘 안전한 것도 아니다 — 은닉층이 크고 오래 학습하면 차원이 적어도 이상까지 되살릴 수 있다.
4구조 — 인코더 · 병목 · 디코더 · 재구성 오차 · 임계값
오토인코더 이상 탐지는 재구성 오차를 점수로 쓰는 다섯 요소로 이루어진 구조다. 학습은 정상 데이터의 입력과 출력이 같아지도록 평균 제곱 오차를 줄이는 일이고, 판정은 학습에 쓰지 않은 정상 검증 데이터의 오차 분포에서 임계값을 고르는 일이다(Malhotra 2016 2.2절 — 학습 · 조기 종료 · 점수 분포 추정에 정상 세트를 따로 씀).
그림 3 · 7센서 값은 병목 2차원을 지나 되살아나고, 원래 값과의 오차가 검증 정상으로 정한 임계값을 넘을 때만 이상으로 판정된다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 입력 | 표 한 행 · 센서 스냅숏 · 시계열 창 | 7센서 스냅숏 · 학습 세트 평균 · 표준편차로 표준화 | 가정 값 |
| 인코더 | 입력을 잠재 벡터로 줄임 | 7 → 16(tanh) → 2 | Hinton 2006 |
| 병목 | 정상 모양의 자유도만 남김 | 2차원(운전 요인 = 회전수 · 외기 온도 둘) | 사례 설정 |
| 디코더 | 잠재 벡터에서 입력을 되살림 | 2 → 16(tanh) → 7 | Hinton 2006 |
| 재구성 오차 | 이상 점수 | 표준화 7값 제곱 오차 합 · 시험 정상 중앙값 0.0027 | Sakurada 2014 |
| 임계값 | 점수 → 정상 · 이상 | 검증 정상 500점 오차의 99 백분위 0.0219 | Malhotra 2016 2.2절 |
| 센서별 기여 | 오차를 센서마다 나눔 | 과열 점 오차 0.0589 중 베어링 온도 0.718 | 사례 계산 |
입력 단위만 바꾸면 같은 구조가 시계열에도 쓰인다. 길이 L 의 창 전체를 재구성하면 LSTM 오토인코더(EncDec-AD)이고, 이때 점수는 오차 벡터에 정상 오차의 평균 · 공분산을 맞춘 마할라노비스 꼴 거리로 매긴다(Malhotra 2016 2.2절).
5동작 — 송풍기 7센서 이상 90점 판정
Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 하나로 직접 실행한 사례다(합성 데이터). 오토인코더 · Adam · PCA 는 NumPy 로 직접 구현했고, 센서 값은 설명용 가정 값으로 풍량 ∝ 회전수 · 압력 ∝ 회전수² · 동력 ∝ 회전수³ 의 상사 법칙 꼴(DOE 2003 1절)에 공기 밀도(외기 온도) 보정과 1 ~ 2% 잡음을 넣었다.
- 회전수 300 ~ 1,500 rpm · 외기 5 ~ 35 °C 에서 정상 운전을 만든다 — 학습 2,000점 · 검증 500점 · 시험 정상 400점. 학습 범위는 차압 0.11 ~ 2.80 kPa · 축동력 0.20 ~ 26.42 kW · 베어링 온도 7.7 ~ 66.8 °C 다.
- 시험에 이상 90점을 넣는다 — 필터 막힘(차압 +10% · 풍량 −5%) · 임펠러 불평형(진동 +30%) · 베어링 과열(+4 °C) 각 30점. 세 가지 모두 값 하나하나는 학습 범위 안에 있다.
- 학습 세트로 맞춘 평균 · 표준편차로 7센서를 표준화하고, 7 → 16 → 2 → 16 → 7 오토인코더를 Adam(학습률 0.005 · 배치 64 · Kingma 2014)으로 300회 학습한다 — 평균 재구성 오차가 1회째 2.12 에서 300회째 0.0044 로 내려가고 검증도 0.0044 다.
- 병목 두 값 중 하나는 회전수와 상관 0.983 으로 움직인다 — 이름을 붙이지 않았는데 두 운전 요인 중 하나를 스스로 잡았다.
- 검증 정상 500점 오차의 99 백분위 0.0219 를 임계값으로 정한다 — 학습 오차의 99 백분위는 0.027 로 값이 달라, 학습에 쓰지 않은 정상 세트로 정해야 시험 정상의 경보 비율이 뜻대로 나온다.
- 시험 490점을 판정한다 — 정상 400점 중 경보 5점, 불평형 30/30(오차 중앙값 0.41) · 과열 30/30(0.066) · 필터 막힘 18/30(0.029)이다. 필터 막힘은 차압과 풍량이 서로 반대로 조금씩 움직여 오차가 임계값 근처에 걸친다.
- 과열 한 점을 열어 본다 — 외기 5.5 °C · 701 rpm 에서 베어링 온도 19.8 °C 는 학습 범위 안이지만 재구성 값은 17.3 °C 이고, 오차 0.0589 의 0.718 이 베어링 온도 몫이다.
- 정밀도 0.940 · 재현율 0.867 · F1 0.902 · AUROC 0.975 다. 같은 표준화 · 같은 임계값 규칙의 PCA 는 2성분(설명 분산 0.989) 재현율 0.256, 3성분 0.811 이다 — 굽은 정상 모양을 직선 축으로 담으려면 축이 하나 더 든다.
그림 4 · 정상 오차는 0.0027 가운데에 몰리고, 불평형 · 과열은 임계값을 통째로 넘지만, 필터 막힘은 상자가 임계값에 걸쳐 30점 중 18점만 넘는다.
임계값 백분위를 바꾸면 오경보와 놓침이 맞바뀐다. 같은 모델에서 95 백분위(0.0137)는 시험 정상 경보 23점 · 필터 막힘 21/30, 99.9 백분위(0.0337)는 경보 2점 · 필터 막힘 13/30 이다.
그림 5 · 정상 오차는 병목 2 ~ 4 에서 0.003 안팎으로 거의 같고 병목 7 은 더 작은데, 잡은 이상은 병목 2 에서 78점, 7 에서 25점으로 갈린다 — 병목은 검증 오차가 아니라 이상 민감도로 고른다.
🔑 병목은 정상을 다 담을 만큼 넓고 이상은 담지 못할 만큼 좁아야 한다 — 검증 정상 오차는 병목 2 · 3 · 4 에서 거의 같아 병목 크기를 고르는 근거가 되지 못하고, 주입한 이상의 재현율만 그 차이를 보인다.
같은 실험을 시드 0 ~ 4 로 돌리면 병목 2 의 F1 은 0.899 ~ 0.949, 병목 3 은 0.872 ~ 0.966 으로 다섯 번 중 세 번은 병목 3 이 앞섰고, 병목 7 의 재현율은 0.156 ~ 0.678, 병목 1 은 0.044 이하였다. 순위가 바뀌지 않은 것은 «너무 좁음 · 너무 넓음» 양 끝뿐이다.
6비교 — 재구성 계열 안의 방식
| 기준 | 기본 오토인코더(사례) | 변분 오토인코더(VAE) | LSTM 오토인코더(EncDec-AD) | PCA 재구성(다변량 통계) |
|---|---|---|---|---|
| 입력 단위 | 표 한 행 · 센서 스냅숏 | 표 한 행 | 길이 L 의 다중 센서 창(Malhotra 2016 2절) | 표 한 행 |
| 정상 모양 | 비선형 · 결정적 잠재 벡터 | 잠재 분포(평균 · 분산)(Kingma 2013) | 시간 순서를 담은 은닉 상태 | 직선 축 k 개 |
| 이상 점수 | 재구성 오차 | 재구성 확률 — 표본 L 개 평균 확률(An 2015 알고리즘 4) | 오차 벡터의 마할라노비스 꼴 거리(2.2절) | 재구성 오차 · T² |
| 임계값 정하기 | 검증 정상 오차 백분위 | 확률 α — 변수마다 산포를 반영해 단위를 맞출 가중이 필요 없음(An 2015 3.3절) | 검증 정상으로 분포 추정 · 이상 표본이 있으면 Fβ 최대(2.2절) | 정상 오차 분포 · 관리 한계 |
| 사례에서 | 병목 2 재현율 0.867 | — | — | 2성분 0.256 · 3성분 0.811 |
분석센서 관계가 선형이면 PCA 재구성으로 시작하고, 관계가 굽어 PCA 가 성분을 더 써야 할 때 오토인코더로 넘어가며, 이상이 순서 · 모양에 있으면 LSTM 창, 변수마다 산포가 크게 다르면 VAE 재구성 확률을 고른다. 근거는 표의 「사례에서」 행 — 같은 두 차원에서 PCA 는 0.256, 오토인코더는 0.867 이었고, 3성분 PCA(0.811)가 병목 2 에 가까워지는 것도 함께 보였다.
T² 관리도와 PCA 의 세부는 다변량 통계(T² · PCA), 분할 경로 길이 방식은 Isolation Forest, 영상 외관의 재구성 · 특징 방식은 비지도 결함 탐지가 맡는다.
7실무 진단 — 놓침 · 오경보의 단계 가르기
분석놓침이 보이면 임계값보다 병목 · 학습 데이터부터, 오경보가 많으면 임계값을 정한 세트부터 본다. 오토인코더는 정상만 학습해도 이상까지 되살릴 수 있어(Gong 2019 1절) 검증 오차가 작다는 것만으로는 탐지력을 보장하지 못하고, 그 차이는 그림 5 처럼 주입한 이상의 재현율로만 드러난다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 이상 오차가 정상 오차와 거의 같음 | 병목 · 은닉층이 넓어 이상까지 되살림 | 병목 | 병목 크기별 주입 이상 재현율 · 정상 오차 | 정상 오차는 그대로인데 재현율이 떨어지면 병목을 줄임(Gong 2019 1절 · 사례 병목 7 = 25/90) |
| 2 | 정상 오차부터 크고 경보가 남발 | 병목이 운전 요인 수보다 좁음 | 병목 | 정상 오차 중앙값 · 운전 모드 수 | 병목을 늘려 정상 오차가 크게 떨어지는 곳까지(사례 병목 1 → 2 = 0.448 → 0.0028) |
| 3 | 시험 오경보가 예상 비율보다 많음 | 임계값을 학습 오차로 정함 | 임계값 | 학습 · 검증 오차의 같은 백분위 | 학습에 쓰지 않은 정상 세트로 정함(Malhotra 2016 2.2절 vN1 · vN2) |
| 4 | 이상 하나에서 다른 센서 몫이 큼 | 표준화 범위 · 센서 단위 차이 | 입력 | 센서별 오차 기여 · 표준편차 | 학습 세트 표준편차로 나눴는지 · 변수별 산포가 크게 다르면 VAE 재구성 확률(An 2015 3.3절) |
| 5 | 알려진 고장도 오차가 낮음 | 학습 데이터에 고장 구간이 섞임 | 학습 데이터 | 정비 기록 · 학습 구간 상위 오차 점 | 정상만 학습한다는 전제가 깨짐 — 고장 구간을 빼고 다시 학습(Malhotra 2016 1절) |
가려내는 순서는 학습 데이터 → 병목 → 입력 → 임계값이다. 학습 데이터에 고장이 섞이면 오토인코더가 그 고장도 정상으로 되살리도록 배우므로 뒤 단계의 어떤 조정도 그 고장을 다시 드러내지 못한다.
8시험 대비
시험에서는 인코더 · 병목 · 디코더 · 재구성 오차 · 임계값의 구성을 쓰는 정의 · 특징형, 그리고 PCA 재구성 · VAE · LSTM 오토인코더와 견주는 비교형이 나올 수 있다. 「이상은 잘 재구성되지 않는다」는 전제가 깨지는 조건(병목 크기 · 일반화)을 수치로 보이면 정의 수준을 넘는다.
- 개요 — 정의(정상만 학습 → 재구성 오차 → 임계값) · 준지도 학습 위치 · 이상 탐지 재구성 계열 한 줄
- 구조 — 그림 3 구성도(입력 → 인코더 → 병목 → 디코더 → 재구성 오차 → 임계값) · 손실 = 평균 제곱 오차
- 판정 절차 — 표준화 · 학습 · 검증 정상 99 백분위 임계값 · 센서별 기여(그림 4 상자 그림 · 재현율 0.867)
- 방식 비교 — 기본 AE · VAE 재구성 확률 · LSTM 창 · PCA 재구성 비교표
- 일반화 함정 — 그림 5 병목 크기별 재현율(78 → 25) · 이상까지 되살림 · 기억 모듈 대응(MemAE)
- 적용 쟁점 — 학습 데이터 오염 · 병목 선택 기준(주입 이상) · 시계열 창 길이
꼭 쓸 키워드
재구성 오차병목잠재 벡터인코더디코더준지도 학습변분 오토인코더재구성 확률LSTM 오토인코더일반화 함정검증 정상 백분위
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 병목 크기마다 잡은 이상 수를 보이는 것이다 — 「병목을 적절히 둔다」 한 줄이 «검증 오차는 같아도 탐지력은 다르다»는 판단 근거로 바뀐다.
9오해와 사실
- 오해정상만 학습했으니 이상은 언제나 잘 재구성되지 않는다.사실사례의 병목 7 은 정상 검증 오차가 0.0008 로 가장 작았지만 베어링 과열은 30점 중 2점만 넘었다 — 오토인코더는 이상까지 되살릴 만큼 일반화할 수 있다(Gong 2019 1절).
- 오해검증 손실이 가장 낮은 병목이 가장 좋은 탐지기다.사실사례에서 병목 7 의 검증 오차(0.0008)는 병목 2(0.0028)보다 낮았지만 잡은 이상은 25점 대 78점이다 — 재구성 품질과 탐지력은 다른 목표다.
- 오해오토인코더는 언제나 PCA 보다 낫다.사실같은 데이터에서 3성분 PCA 는 재현율 0.811 로 병목 2 오토인코더(0.867)에 가까웠다 — 선형 축 하나를 더 쓰면 굽은 모양의 상당 부분이 담기고, 차이는 관계가 더 굽을수록 커진다.
10핵심 정리
| 구분 | 맡는 일 | 사례 값 | 잘못 두면 | 확인 방법 |
|---|---|---|---|---|
| 입력 | 표 행 · 스냅숏 · 시계열 창 | 7센서 · 학습 세트 표준화 | 센서 단위가 오차를 지배 | 센서별 오차 기여 |
| 병목 | 정상 자유도만 담음 | 2차원 · 78/90 | 좁으면 정상 못 담음 · 넓으면 이상 되살림 | 병목별 주입 이상 재현율 |
| 인코더 · 디코더 | 줄이고 되살림 | 7 → 16 → 2 → 16 → 7 · Adam 300회 | 과대 용량 · 과학습 | 학습 · 검증 오차 차이 |
| 재구성 오차 | 이상 점수 | 정상 중앙값 0.0027 | 정상 · 이상 분포가 겹침 | 상자 그림 · AUROC 0.975 |
| 임계값 | 정상 · 이상 가름 | 검증 99 백분위 0.0219 | 학습 오차로 정해 오경보 | 학습에 안 쓴 정상 세트 |
| VAE 재구성 확률 | 산포를 반영한 점수 | 확률 α 기준 | 변수 가중을 손으로 정함 | 변수별 분산 출력 |
| LSTM 오토인코더 | 시계열 창 재구성 | 길이 L 창 · 오차 벡터 거리 | 창이 사건보다 짧음 | 창 길이 · 오차 벡터 분포 |
| 일반화 함정 | 이상까지 되살림 | 병목 7 = 25/90 | 검증 손실만 보고 병목 선택 | 주입 이상 · 기억 모듈(MemAE) |
11참고 문헌
- 먼저 볼 문헌
- ★ LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection (ICML 2016 Anomaly Detection Workshop) — 정상 시계열 창을 재구성하고 오차 벡터로 이상 점수를 매기는 방법을 볼 때
- ★ Variational Autoencoder based Anomaly Detection using Reconstruction Probability (SNU Data Mining Center 2015-2 Special Lecture on IE · http 전용 http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf) — 재구성 오차 대신 재구성 확률로 임계값을 정하는 변분 오토인코더 방식을 볼 때
- ★ Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection (ICCV 2019) — 오토인코더가 이상까지 잘 되살리는 일반화 함정과 기억 모듈 대응을 볼 때
- ★ Reducing the Dimensionality of Data with Neural Networks (Science 313(5786) 504-507) — 깊은 오토인코더가 PCA 보다 나은 비선형 차원 축소를 보인 출발점을 볼 때
- 본문 근거
- Anomaly Detection Using Autoencoders with Nonlinear Dimensionality Reduction (MLSDA 2014 · ACM) — ACM · 2014-12 ·
doi.org/10.1145/2689746.2689747· 확인 2026-11-12 - Auto-Encoding Variational Bayes — arXiv · 2013-12 ·
arxiv.org/abs/1312.6114· 확인 2026-11-12 - Adam: A Method for Stochastic Optimization — arXiv · 2014-12 ·
arxiv.org/abs/1412.6980· 확인 2026-11-12 - Improving Fan System Performance: A Sourcebook for Industry (DOE/GO-102003-1294) Section 1 Fan Laws — U.S. Department of Energy · AMCA International · 2003-04 ·
www.energy.gov/sites/prod/files/2014/05/f16/fan_sourcebook.pdf· 확인 2026-11-12 - NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12