드롭아웃Dropout
신경망을 학습할 때 표본마다 은닉 단위 일부를 정해진 확률로 무작위로 꺼 서로 기대는 학습을 막고, 시험 때는 모든 단위를 켜되 값의 기댓값을 맞추어 쓰는 규제 방법이다.
1요약
- 드롭아웃은 신경망 학습 단계에 끼우는 규제 방법으로, Hinton 2012 가 제안하고 Srivastava 2014 가 정리했으며 그 위에서 표본마다 새로 뽑은 부분망(thinned network) 이 순전파 · 역전파를 돈다.
- 큰 망은 작은 데이터에서 단위끼리 서로 기대며 표본을 외운다 — 표준 순방향 신경망의 MNIST 테스트 오류 160개가 은닉 단위 50% 드롭아웃으로 약 130개로 줄었다(Hinton 2012).
- 드롭아웃을 켠 모델이 이상하면 예측이 호출마다 바뀌는지 · 학습 오차까지 높은지 · 검증 손실이 늦게 오르는지로 가른다 — 각각 평가 모드 누락 · 끄는 비율 과다 · 조기 종료와 함께 써야 하는 경우다.
2등장 배경
큰 순방향 신경망을 작은 학습 세트로 학습하면, 특징 검출기 하나가 다른 특정 검출기들이 있을 때만 쓸모 있는 공적응(co-adaptation) 이 생겨 학습 데이터에서만 맞았다(Hinton 2012). 망 여러 개를 따로 학습해 평균하면 나아지지만, 큰 망을 여러 벌 학습하고 시험 때 모두 돌리는 비용은 감당할 수 없었다(Srivastava 2014 1절).
Hinton 외는 2012년 학습 표본마다 은닉 단위 절반을 무작위로 빼는 방법을 냈고(Hinton 2012), 2014년 Srivastava 외는 이를 「단위 n 개 망 = 가중치를 공유하는 부분망 2ⁿ 개」로 해석하고 시험 때 가중치에 유지 확률 p 를 곱하는 근사 평균을 정리했다(Srivastava 2014 4절). 이어 가중치를 끄는 DropConnect(Wan 2013), 합성곱 특징 맵 단위로 끄는 SpatialDropout(Tompson 2015), 시험 때도 켜서 불확실성을 재는 MC 드롭아웃(Gal 2016)이 나왔다.
지금 드롭아웃은 주요 프레임워크의 기본 계층이고, PyTorch torch.nn.Dropout 은 학습 때 남은 값에 1/(1−p) 를 곱하는 방식을 쓴다(PyTorch nn.Dropout 문서).
3쉽게 이해하기 — 동전으로 출근을 정하는 주방
주방장 미나의 식당에는 요리사 여덟 명이 있는데, 늘 같은 짝꿍과만 일해 한 사람이 빠지면 요리가 무너진다. 미나는 아침마다 요리사마다 동전을 던져 앞면인 사람만 출근시키고, 나온 사람은 빠진 사람 몫까지 두 배로 맡긴다. 손님 평이 나쁘면 그날 나온 사람만 손을 본다. 날마다 다른 조로 몇 달을 보내자 누구와 짝이 되어도 혼자 제 몫을 하는 요리사들이 되었고, 개업 날에는 동전 없이 모두 나와 평소 몫으로 일한다.
그림 1 · 날마다 동전으로 다른 조를 짜면 짝꿍에게 기대는 버릇이 깨지고, 개업 날에는 모두 나와 평소 몫으로 일해도 평균 몫이 같다.
그림 2 · 나온 사람이 몫을 두 배로 맡으면 하루하루 합은 흔들려도, 1만 일 평균 몫은 평소 몫과 같아 개업 날에는 아무것도 고치지 않아도 된다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 요리사 여덟 명 | 은닉 단위 | 한 계층의 출력 값 h · 사례는 계층마다 256개 |
| 짝꿍에게 기대는 버릇 | 공적응 | 다른 특정 단위가 있을 때만 쓸모 있는 특징 |
| 아침 동전 | 마스크 r ~ Bernoulli(p) | 표본 · 단위마다 따로 0 또는 1 을 뽑음 |
| 오늘의 조 | 부분망 | 남은 단위만으로 이루어진 망 하나 |
| 몫 두 배 | 뒤집힌 드롭아웃 | 남은 값에 1/p 를 곱해 기댓값을 그대로 둠 |
| 나온 사람만 고침 | 역전파 | 꺼진 단위로 가는 기울기는 0 |
| 날마다 새 조 | 가중치 공유 부분망 2ⁿ 개 | 모든 조가 같은 가중치를 나눠 씀 |
| 개업 날 모두 출근 | 시험 · 평가 모드 | 마스크 없이 모든 단위 · 기댓값 맞춘 망 하나 |
⚠ 비유가 맞지 않는 곳: 요리사는 쉬는 날에도 기억이 남지만 꺼진 단위는 그 표본에서 값과 기울기가 모두 0 이다. 또 주방은 한 날 한 조지만 드롭아웃은 미니배치 안의 표본마다 다른 마스크를 뽑는다(Srivastava 2014 5.1절).
4구조 — 마스크 · 부분망 · 시험 때 축소
드롭아웃 계층은 가중치 없이 계층 출력 h 에 0 · 1 마스크 r 을 원소별로 곱하는 연산 하나다. 남는 확률 p 는 은닉 계층 0.5 가 넓은 범위에서 최적에 가깝고, 입력 계층은 1 에 가까운 0.8 정도가 낫다(Srivastava 2014 1절 · 표 10).
그림 3 · 학습 때는 표본마다 다른 부분망이 돌고, 시험 때는 마스크 없이 모든 단위를 켠 망 하나가 기댓값을 맞춰 그 평균을 대신한다.
| 요소 | 값 | 역할 | 근거 |
|---|---|---|---|
| 마스크 r | 0 · 1 · 표본 · 단위마다 독립 | 이번 표본에서 쓸 단위를 고름 | Srivastava 2014 4절 |
| 유지 확률 p | 은닉 0.5 · 입력 0.8 | 남길 비율 · 검증으로 고름 | Srivastava 2014 1절 |
| 스케일 | 학습 ÷p 또는 시험 ×p | 학습 · 시험의 기댓값을 같게 | Srivastava 2014 10절 |
| 부분망 | 단위 n 개 → 2ⁿ 개 | 가중치를 공유하는 작은 망 | Srivastava 2014 4절 |
| max-norm | ‖w‖₂ ≤ c | 단위로 들어오는 가중치 크기 제한 · 함께 쓰면 큰 학습률 허용 | Srivastava 2014 5.1절 |
| 평가 모드 | 마스크 없음 | 결정적인 예측 | PyTorch nn.Dropout 문서 |
5동작 — 체커보드 표본 200개에 드롭아웃 걸기
NumPy 로 망과 Adam 을 직접 구현해 default_rng(0) 으로 돌린 사례다(직접 실행 · 합성 데이터). 정확도는 맞힌 비율, 손실은 로그 손실이다.
- [-1, 1]² 정사각형을 4×4 칸으로 나눠 칸마다 0 · 1 을 번갈아 붙이고 레이블 10% 를 뒤집어 학습 200 · 테스트 4,000개를 만든다 — 어떤 모델도 테스트 정확도 0.90 을 넘기 어렵다.
- 2-256-256-1 ReLU 망을 Adam(학습률 0.003) · 전체 배치로 3,000 에포크 학습하고, 드롭아웃 망은 두 은닉 계층에 p 0.5 를 건다(남은 값 ×2).
- 학습 표본 하나 x = (0.274, −0.460) 의 첫째 은닉 계층 값 가운데 큰 8개 1.439 · 1.270 · 1.185 · 0.943 · 0.887 · 0.742 · 0.666 · 0.593(합 7.725)에 마스크 0 · 1 · 1 · 1 · 0 · 0 · 0 · 0 이 뽑혀 2.541 · 2.370 · 1.885 만 남는다(합 6.796).
- 역전파 때 꺼진 5개 단위로 가는 기울기는 0 이라, 이 표본은 남은 3개와 이어진 가중치만 고친다.
- 드롭아웃 없는 망은 학습 손실 0.017 · 정확도 0.990 까지 외우지만 테스트 손실은 에포크 100 의 0.569 가 최저이고 3,000 에포크에 1.813 · 정확도 0.757 이다.
- 드롭아웃 망은 학습 손실이 0.135 · 정확도 0.945 에 머물고, 테스트 손실 최저는 에포크 400 의 0.544 · 끝 값은 0.837 · 정확도 0.792 다.
- 시험 때는 마스크를 끈다 — 단계 3 의 첫째 단위(1.439)에 마스크 1만 개를 뽑아 ×2 하면 평균 1.436(남은 횟수 4,990)으로 마스크 없는 값과 같다.
- 마스크를 켠 채 부분망 k 개의 예측을 평균하면 정확도가 k 1 에서 0.763 · k 50 에서 0.791 · k 100 에서 0.792 로, 마스크 없이 한 번 계산한 0.792 에 닿는다(MNIST 도 k 50 부근 · Srivastava 2014 7.5절).
시드 0 ~ 4 다섯 개로 돌리면 3,000 에포크 테스트 정확도는 드롭아웃 없음 0.701 ~ 0.757 · 드롭아웃 0.750 ~ 0.792 로 다섯 시드 모두 드롭아웃 쪽이 높았다.
그림 4 · 드롭아웃은 학습 손실을 0.135 에 붙잡아 테스트 손실이 오르는 속도를 늦추지만, 표본 200개에서는 에포크 400 뒤 테스트 손실이 다시 오른다.
그림 5 · 마스크를 켠 부분망 50개 남짓을 평균해야 닿는 정확도를, 기댓값을 맞춘 망 하나가 한 번 계산으로 낸다.
🔑 드롭아웃은 학습 때는 표본마다 다른 부분망을 학습하는 무작위 절차이고, 시험 때는 그 부분망들의 평균을 기댓값 맞춤 한 번으로 대신하는 결정적 절차다 — 둘을 섞으면(평가 모드 누락) 예측이 흔들린다.
🔑 드롭아웃은 과적합을 늦출 뿐 멈추지 않는다 — 사례에서도 테스트 손실 최저점이 에포크 100 에서 400 으로 밀렸을 뿐 그 뒤 다시 올랐다.
6비교 — 드롭아웃 변종
다른 대책과의 비교는 과적합이 다루고, 여기서는 드롭아웃 변종끼리 견준다.
| 기준 | 표준(베르누이) | 가우스 드롭아웃 | DropConnect | SpatialDropout | MC 드롭아웃 |
|---|---|---|---|---|---|
| 끄는 대상 | 단위 출력 | 단위 출력에 N(1, σ²) 곱 | 가중치 하나하나 | 합성곱 특징 맵 통째 | 표준과 같음 |
| 시험 때 | 마스크 없음 · 기댓값 맞춤 | 기댓값 1 이라 고칠 것 없음 | 가우스 근사에서 표본 추출 | 마스크 없음 | 마스크 켠 채 T 번 평균 |
| 맞는 곳 | 완전 연결 계층 | 표준과 같은 자리 | 큰 완전 연결 계층 | 이웃 화소가 강하게 상관된 합성곱 출력 | 예측의 불확실성이 필요한 곳 |
| 사례 · 근거 값 | 은닉 0.5 · 입력 0.8 | MNIST 오류 1.08 → 0.95%(σ² = (1−p)/p) | 추론 때 표본 1,000개 | 단위별 드롭아웃은 학습만 늘고 과적합을 못 막음 | 예측 분산 = T 번 출력의 표본 분산 |
| 근거 | Srivastava 2014 4절 | Srivastava 2014 10절 · 표 10 | Wan 2013 3.2 · 6절 | Tompson 2015 3.2절 | Gal 2016 식 6 |
분석완전 연결 계층에는 표준 드롭아웃을, 합성곱 특징 맵에는 SpatialDropout 을 먼저 쓰고, 예측과 함께 불확실성이 필요하면 같은 망을 MC 드롭아웃으로 T 번 돌린다. 근거는 합성곱 출력에서 단위별로 끄면 이웃 화소가 같은 기울기를 대신 전해 효과가 없고(Tompson 2015 3.2절), MC 평균이 가중치 축소보다 계산을 T 배 쓰는 대신 분산을 준다는 점이다(Gal 2016 3절).
7실무 진단 — 드롭아웃이 듣지 않는 원인 가르기
분석같은 입력의 예측이 호출마다 같은지부터 보고, 그다음 학습 오차 수준, 마지막으로 에포크별 검증 손실을 본다. 평가 모드 누락은 다른 모든 진단 값을 흔들어 놓으므로 먼저 걸러야 한다(PyTorch nn.Dropout 문서).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 같은 입력의 예측이 호출마다 다름 | 평가 때 드롭아웃이 켜진 채 | 추론 | model.training 값 · model.eval() 호출 여부 | 평가 모드에서 드롭아웃은 입력을 그대로 내보내야 함(PyTorch nn.Dropout 문서) |
| 2 | 학습 오차까지 높고 줄지 않음 | 끄는 비율이 너무 큼 · 논문 p(유지)와 PyTorch p(끔)를 혼동 | 설정 | 계층별 p 값 · 학습 손실 곡선 | 유지 확률이 작으면 학습 오차도 높은 과소적합 · 0.4 ≤ p ≤ 0.8 에서 평평(Srivastava 2014 7.3절) |
| 3 | 합성곱 망에 걸었는데 검증이 그대로 | 단위별 마스크가 상관된 화소에서 무력 | 구조 | 드롭아웃 위치(합성곱 뒤 · 완전 연결 뒤) | 특징 맵 단위로 끄는 SpatialDropout 으로 바꿨을 때 좋아지는지(Tompson 2015 3.2절) |
| 4 | 검증 손실이 한동안 내려가다 다시 오름 | 드롭아웃만으로 과적합을 못 멈춤 | 학습 | 에포크별 학습 · 검증 손실 | 사례는 에포크 400 최저 뒤 상승 → 조기 종료와 함께 씀(그림 4) |
순서는 1행 → 2행 → 4행 → 3행이며, 학습 시간이 2 ~ 3배 늘어나는 것은 정상 범위다(Srivastava 2014 11절).
8시험 대비
시험에서는 드롭아웃의 원리 · 학습과 시험의 차이 · 효과를 묻는 정의 · 특징형과, 다른 과적합 대책이나 변종(DropConnect · MC 드롭아웃)과 견주는 비교형이 나올 수 있다.
- 개요 — 정의(학습 때 은닉 단위를 확률 p 로 남김) · 목적(공적응 억제 · 과적합 감소) · Hinton 2012 · Srivastava 2014
- 구조 — 그림 3 학습 때 마스크 · 부분망 / 시험 때 마스크 없음 · 유지 확률 은닉 0.5 · 입력 0.8
- 동작 — 마스크 곱 · 1/p 스케일 · 꺼진 단위 기울기 0 · 사례 정확도 0.757 → 0.792(그림 4)
- 원리 — 가중치 공유 부분망 2ⁿ 개의 평균 ≈ 기댓값 맞춘 망 하나(그림 5 · k 50 에서 닿음)
- 변종 비교 — 표준 · 가우스 · DropConnect · SpatialDropout · MC 드롭아웃 표
- 적용 시 유의점 — 평가 모드 · p 의 뜻 · 학습 시간 2 ~ 3배 · 조기 종료 · max-norm 과 함께
꼭 쓸 키워드
공적응부분망베르누이 마스크유지 확률뒤집힌 드롭아웃가중치 축소모델 평균DropConnectSpatialDropoutMC 드롭아웃
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 부분망 k 개 평균이 k 50 부근에서 기댓값 맞춘 망 하나와 같아지는 모습으로 「드롭아웃 = 값싼 앙상블」을 값으로 보인다.
9오해와 사실
- 오해드롭아웃 비율 p 는 어디서나 끄는 확률이다.사실원 논문의 p 는 «남길» 확률(은닉 0.5 · 입력 0.8)이고(Srivastava 2014 1절), PyTorch 의 p 는 «0 으로 만들» 확률이라(PyTorch nn.Dropout 문서) 입력 0.8 을 그대로 옮기면 80% 를 끄게 된다.
- 오해시험 때도 학습 때처럼 단위를 꺼야 같은 모델이 된다.사실사례에서 마스크를 켠 부분망 하나는 0.763 으로 기댓값 맞춘 망(0.792)보다 낮았고, 마스크를 켜는 것은 T 번 평균하는 MC 드롭아웃일 때다(Gal 2016 3절).
- 오해드롭아웃을 걸면 과적합 걱정 없이 오래 학습해도 된다.사실학습 시간은 2 ~ 3배 늘고(Srivastava 2014 11절), 사례에서도 테스트 손실이 에포크 400 뒤 0.544 → 0.837 로 올랐다.
10핵심 정리
| 구분 | 학습 때 | 시험 때 | 사례 · 근거 값 | 정할 값 |
|---|---|---|---|---|
| 표준 드롭아웃 | 단위 출력 × 마스크 | 마스크 없음 · 가중치 ×p | 정확도 0.757 → 0.792(사례) | 유지 확률 p |
| 뒤집힌 드롭아웃 | 남은 값 × 1/p | 아무것도 안 함 | 평균 1.436 ≈ 1.439(사례) | p · 프레임워크는 끄는 확률 |
| 부분망 | 표본마다 하나 | 2ⁿ 개 평균의 근사 | k 50 에서 0.791 · 한 번 계산 0.792 | — |
| 가우스 드롭아웃 | 출력 × N(1, σ²) | 고칠 것 없음 | MNIST 1.08 → 0.95% | σ² = (1−p)/p |
| DropConnect | 가중치 × 마스크 | 가우스 근사 표본 1,000개 | Wan 2013 6절 | 가중치 유지 확률 |
| SpatialDropout | 특징 맵 통째로 끔 | 마스크 없음 | Tompson 2015 3.2절 | 맵 유지 확률 |
| MC 드롭아웃 | 표준과 같음 | 마스크 켠 채 T 번 평균 | 예측 분산 = 표본 분산 | 반복 수 T |
11참고 문헌
- 먼저 볼 문헌
- ★ Dropout: A Simple Way to Prevent Neural Networks from Overfitting (JMLR 15(56) 1929-1958) — 부분망 2ⁿ 개 해석(4절) · 가중치 축소와 몬테카를로 평균 비교(7.5절) · 뒤집힌 방식과 가우스 드롭아웃(10절)을 볼 때
- ★ Improving neural networks by preventing co-adaptation of feature detectors (arXiv 1207.0580) — 드롭아웃을 처음 제안하며 공적응을 설명하고 MNIST 오류 수를 줄인 실험을 볼 때
- ★ Regularization of Neural Networks using DropConnect (ICML 2013 · PMLR 28(3) 1058-1066) — 단위 대신 가중치를 끄는 변종과 그 추론 방법(3.2절)을 볼 때
- ★ Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning (ICML 2016 · arXiv 1506.02142) — 시험 때도 드롭아웃을 켜 T 번 평균하는 MC 드롭아웃과 불확실성(3 · 4절)을 볼 때
- 본문 근거
- Efficient Object Localization Using Convolutional Networks (CVPR 2015 · arXiv 1411.4280) — arXiv · 2014-11 ·
arxiv.org/abs/1411.4280· 확인 2026-11-13 - PyTorch 2.15 documentation - torch.nn.Dropout — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.Dropout.html· 확인 2026-11-13 - NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13