옵티마이저Optimizer
역전파가 구한 기울기를 받아 지난 기울기의 평균 · 크기 같은 상태를 함께 써서 파라미터를 실제로 고치는 갱신 규칙이다. 모멘텀 · Nesterov · AdaGrad · RMSProp · Adam · AdamW 가 대표다.
1요약
- 옵티마이저는 신경망 학습 고리에서 역전파 다음에 오는 갱신 규칙으로, 기울기 g 에 지난 기울기의 지수 평균(1차 모멘트) · 제곱 평균(2차 모멘트) 같은 상태를 더해 θ 를 고치며, 2014년 Adam(Kingma 2014) 과 2017년 AdamW(Loshchilov 2017) 가 지금 트랜스포머 학습의 기본 선택이다. 데이터베이스가 SQL 실행 계획을 고르는 질의 옵티마이저와는 이름만 같은 다른 개념이다.
- 좁고 휜 골짜기에서는 기울기 방향이 벽 쪽으로 쏠려 기본 경사 하강이 거의 나아가지 못하는데, Rosenbrock 함수 사례에서 고정 학습률 SGD 는 5,000번 뒤에도 f = 3.8 × 10⁻³ 에 머물렀고 모멘텀(β 0.9)은 285번 만에 f < 10⁻⁴ 에 닿았다.
- 「옵티마이저를 바꿨더니 나빠졌다」는 상태 · 정규화 · 학습률 세 가지로 가른다 — 첫 수백 번에 손실이 튀면 2차 모멘트가 덜 쌓인 초기(워밍업 부족), 끝에서 검증 성능만 나쁘면 L2 를 Adam 안에 넣은 감쇠 결합, 처음부터 끝까지 느리면 옵티마이저마다 다른 학습률 눈금이다.
2등장 배경
확률적 경사 하강은 모든 파라미터에 같은 학습률 η 하나를 쓴다. 손실 곡면이 한 방향으로는 가파르고 다른 방향으로는 평평하면 η 는 가파른 방향 때문에 작아져야 하고, 그 작은 η 로는 평평한 방향을 거의 못 간다(Goodfellow 2016 8.3.2절).
1964년 Polyak 이 지난 이동을 이어 받는 모멘텀을, 1983년 Nesterov 가 한 걸음 앞 점의 기울기를 쓰는 가속법을 냈고, 2013년 Sutskever 등이 이 둘을 심층 신경망 학습에 다시 꺼냈다(Sutskever 2013 2절). 크기 쪽에서는 2011년 AdaGrad 가 지난 제곱 기울기 합으로 파라미터마다 학습률을 나눴고(Duchi 2011), 2012년 Hinton 의 RMSProp 이 그 합을 지수 평균으로 바꿨다(Goodfellow 2016 8.5.2절).
2014년 Kingma · Ba 는 두 흐름을 합치고 초기 편향을 보정한 Adam 을 발표했다(Kingma 2014). 2017년 Loshchilov · Hutter 는 Adam 에서 L2 정규화와 가중치 감쇠가 같지 않다는 것을 보이고 감쇠를 갱신식 밖으로 뺀 AdamW 를 냈으며(Loshchilov 2017 명제 2), 2017년 Wilson 등은 적응형 방법이 SGD 보다 일반화가 나쁜 문제가 있음을 보여(Wilson 2017 초록) 지금도 모멘텀 SGD 와 AdamW 가 문제마다 함께 쓰인다.
3쉽게 이해하기 — 휘어진 협곡 물길을 가는 배
선장 한 사람이 좁고 길게 휜 협곡 물길을 따라 먼 항구로 배를 몬다. 바람은 협곡 벽 쪽으로 세게, 물길 앞쪽으로는 약하게 분다. 무거운 배는 좌우로 부는 바람이 번갈아 바뀌어도 앞으로 가던 힘을 이어 가고, 항해사는 방향마다 파도 기록을 적어 파도가 센 쪽으로는 노를 약하게, 잔잔한 쪽으로는 세게 젓는다. 출항 직후에는 기록이 적어 천천히 나가고, 배 뒤에 매단 부표 밧줄은 늘 출발 부두 쪽으로 조금씩 당긴다.
그림 1 · 배는 지난 진행을 이어 받고(관성) 방향마다 노 세기를 바꿔(파도 기록) 벽 쪽 흔들림을 줄이고 물길 앞쪽으로 나아가며, 노트 두 권이 그 기억이다.
그림 2 · 파도 기록으로 노를 나누면 바람이 만 배 다른 두 방향도 거의 같은 보폭으로 나아간다 — Adam 의 한 걸음은 기울기 크기와 관계없이 학습률 α 근처다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 지금 부는 바람 | 기울기 g | 역전파가 이번 미니배치에서 구한 손실의 기울기 |
| 배의 관성 | 1차 모멘트 m | 지난 기울기의 지수 평균 · 엇갈리는 성분은 지우고 같은 방향은 쌓는다 |
| 방향별 파도 기록 | 2차 모멘트 v | 파라미터마다 제곱 기울기의 지수 평균 |
| 노 세기 조절 | 적응 학습률 α/√v̂ | 기울기가 늘 큰 파라미터는 작게 · 작은 파라미터는 크게 옮긴다 |
| 천천히 출항 | 편향 보정 · 워밍업 | 0에서 시작한 m · v 를 보정하고 처음 학습률을 낮춘다 |
| 부표 밧줄 | 가중치 감쇠 | 매 걸음 θ 를 0 쪽으로 일정 비율 당긴다 |
| 항구 | 손실의 최솟값 | 갱신을 멈출 θ |
| 노트 두 권의 무게 | 옵티마이저 상태 | 파라미터 수만큼의 m · v 가 GPU 메모리를 차지한다 |
⚠ 비유가 맞지 않는 곳: 배는 항구가 어디인지 알지만 옵티마이저는 최솟값의 위치를 모르고 그때그때의 기울기만 본다. 또 파도 기록은 방향(파라미터) 하나마다 따로 적는 것이라, 두 파라미터가 함께 움직이는 비스듬한 골짜기는 노 세기 조절로 펴지지 않는다.
4구조 — 두 계열과 상태의 수
옵티마이저는 «무엇을 기억하는가(상태)»와 «그 기억으로 걸음을 어떻게 바꾸는가(갱신식)» 두 부분이다. 기울기를 구하는 일은 역전파, 기본 갱신 θ ← θ − ηg 와 학습률 스케줄 · 미니배치는 경사 하강법이 맡고, 옵티마이저는 그 위에 얹는 상태와 갱신식을 다룬다.
그림 3 · 옵티마이저는 방향을 평균하는 계열(모멘텀)과 크기로 나누는 계열(적응 학습률)로 갈라졌다가 Adam 에서 합쳐졌고, AdamW 는 거기서 가중치 감쇠만 갱신식 밖으로 뺐다.
| 옵티마이저 | 파라미터당 상태 | 4096 × 4096 행렬(FP32) | 기본값 · 근거 |
|---|---|---|---|
| SGD | 0 | 0 | 경사 하강법 |
| 모멘텀 · Nesterov | 속도 v 1개 | 64 MiB | β 0.5 · 0.9 · 0.99 · β 0.9 = 최대 속력 10배(Goodfellow 2016 식 8.17) |
| AdaGrad · RMSProp | 제곱 평균 1개 | 64 MiB | AdaGrad 는 합이 늘기만 해 학습률이 일찍 줄어든다(Goodfellow 2016 8.5.1절) |
| Adam · AdamW | m · v 2개 | 128 MiB | α 0.001 · β₁ 0.9 · β₂ 0.999 · ε 10⁻⁸(Kingma 2014 알고리즘 1) · AdamW 감쇠 0.01(PyTorch optim.AdamW 문서) |
| 8비트 Adam | m · v 를 8비트로 | 32 MiB | 블록 단위 동적 양자화 · 상태가 학습 메모리의 33 ~ 75%(Dettmers 2021 1절) |
| Adafactor | v 를 행 합 · 열 합으로 | 32 KiB(β₁ = 0) | 4,096 + 4,096 값만 둠(Shazeer 2018 1절) |
🔑 옵티마이저의 차이는 갱신식보다 «무엇을 몇 개 기억하는가»에 있다 — 같은 행렬에서 SGD 는 상태 0, Adam 은 가중치의 두 배를 따로 들고 간다.
5동작 — Rosenbrock 골짜기에서 여섯 옵티마이저
직접 실행(합성 함수) — f(x, y) = (1 − x)² + 100(y − x²)² 는 y = x² 를 따라 휘어진 좁은 골짜기이고 최솟값은 (1, 1) · f = 0 이다. 모든 방법이 (−1.2, 1.0) · f = 24.2 에서 출발해 5,000번 갱신하고, 학습률은 실행 전에 정한 8개(10⁻⁴ ~ 0.3)에서 마지막 f 가 가장 낮은 값을 골랐다. 기울기에 잡음이 없어 시드에 따른 차이는 없다.
- 출발점의 기울기는 (−215.6, −88.0) 으로 골짜기 벽 쪽으로 쏠려 있다 — 골짜기를 따라가는 방향의 성분은 그보다 훨씬 작다.
- SGD 는 η 0.01 부터 발산해 0.001 에 머물고, 5,000번 뒤에도 f = 3.8 × 10⁻³ 이다.
- 모멘텀(β 0.9 · η 0.003)은 벽 사이로 엇갈리는 성분을 상쇄하고 골짜기 방향 속도를 쌓아 285번에 f < 10⁻⁴, 1,000번에 2.6 × 10⁻¹³ 이 된다.
- Nesterov(β 0.9)는 η 0.003 에서 발산하고 η 0.001 에서 874번이 걸린다 — 이 함수에서는 고전 모멘텀이 더 큰 학습률을 견뎠다.
- AdaGrad(η 0.3)는 제곱 기울기 합이 계속 커져 걸음이 줄어 5,000번에 2.3 × 10⁻⁴, RMSProp(ρ 0.9 · η 0.001)은 걸음이 α 근처에서 줄지 않아 최솟값 둘레에서 오르내리며 3.1 × 10⁻⁴ 이다.
- Adam(β₁ 0.9 · β₂ 0.999)은 η 0.03 에서 1,804번에 f < 10⁻⁴ 이고, 기본값 η 0.001 로는 5,000번 뒤에도 f = 1.71 이다 — 기본 학습률은 이 함수의 눈금과 맞지 않는다.
그림 4 · 잡음 없는 휜 골짜기에서는 방향을 평균하는 모멘텀이 가장 빨랐고, 크기로 나누는 AdaGrad · RMSProp 은 5,000번 안에 목표에 닿지 못했다(원 숫자 = 단계).
🔑 모멘텀은 «방향»의 잡음을, 적응 학습률은 파라미터 사이 «크기»의 차이를 푼다 — 문제가 어느 쪽으로 어려운지에 따라 옵티마이저 순위가 바뀐다.
Adam 의 m · v 는 0에서 시작하므로 처음 몇 걸음은 0 쪽으로 치우친다. 기울기가 1로 일정할 때 보정 없이 m/√v 를 쓰면 걸음은 t = 1 에 α 의 3.16배, t = 10 에 6.53배, t = 1,000 에도 1.26배가 된다(Kingma 2014 3절 식으로 직접 계산). 보정 m̂ = m/(1 − β₁ᵗ) · v̂ = v/(1 − β₂ᵗ) 이 이 배수를 1로 되돌린다.
보정을 해도 초기 v̂ 는 표본이 적어 분산이 크다. 그래서 트랜스포머 학습은 첫 4,000걸음 동안 학습률을 선형으로 올린 뒤 걸음 수의 제곱근에 반비례해 줄였고(Vaswani 2017 5.3절), Liu 등은 IWSLT'14 독-영 번역에서 워밍업을 빼면 학습 손실이 3에서 약 10으로 커진다고 보고했다(Liu 2019 1절).
L2 정규화를 손실에 더하면 그 기울기 λθ 도 √v̂ 로 나뉘어, 기울기가 늘 큰 파라미터는 덜 줄고 작은 파라미터는 많이 준다(Loshchilov 2017 2절). AdamW 는 감쇠 αλθ 를 적응 걸음 밖에서 따로 빼 모든 파라미터를 같은 비율로 당긴다(Loshchilov 2017 알고리즘 2 12행).
그림 5 · L2 를 Adam 안에 넣으면 √v̂ 가 작은 w₂ 가 걸음마다 10배 세게 줄어 0.48배가 되고, AdamW 는 두 가중치를 같은 비율로 당겨 손실 기울기에 맞는 값을 지킨다.
🔑 Adam 에서 L2 는 «정규화»가 아니라 «기울기 기록에 따라 세기가 바뀌는 당김»이 된다 — AdamW 의 감쇠는 더 센 것이 아니라 파라미터마다 같은 것이다.
6비교 — 방향 계열 · 크기 계열 · 결합 계열
| 기준 | 모멘텀 SGD · Nesterov | AdaGrad | RMSProp | Adam | AdamW |
|---|---|---|---|---|---|
| 기억하는 것 | 속도 v | 제곱 기울기 합 | 제곱 기울기 지수 평균 | m · v 지수 평균 | m · v + 분리된 감쇠 |
| 걸음 크기를 정하는 것 | η × 쌓인 속도 | η/√Σg² · 갈수록 줄어듦 | η/√E[g²] | α 근처 · 기울기 크기와 거의 무관 | Adam 과 같음 |
| 잘 맞는 문제 | 잡음이 적고 골짜기가 좁은 문제(사례 285번) | 희소한 특징(Duchi 2011) | 비정상 · 순환 신경망 | 파라미터마다 기울기 규모가 다른 큰 모델 | 정규화가 필요한 트랜스포머 · 미세 조정 |
| 약점 | 학습률 · β 를 함께 맞춰야 함 | 학습률이 일찍 0에 가까워짐 | 초기 편향 보정 없음 | 수렴이 깨지는 반례(Reddi 2018) · 일반화 격차(Wilson 2017) | 감쇠 λ 를 다시 맞춰야 함 |
| 상태 메모리 | 가중치 × 1 | × 1 | × 1 | × 2 | × 2 |
분석이미지 분류처럼 오래 쓰인 설정이 있는 합성곱 신경망은 모멘텀 SGD 를, 트랜스포머 · LLM 학습과 미세 조정은 AdamW 를 먼저 고르고, 메모리가 모자라면 8비트 Adam · Adafactor 로 상태를 줄인다. 근거는 표의 「잘 맞는 문제」 · 「약점」 행과 Goodfellow 2016 8.5.4절 — 어느 알고리즘이 가장 좋은지 합의가 없어 실무는 익숙한 설정과 튜닝 비용으로 고른다.
7실무 진단 — 옵티마이저 탓을 가르는 순서
분석옵티마이저를 바꾸기 전에 학습률 눈금부터 다시 맞추고, 다음에 초기 수백 걸음(워밍업 · 편향), 마지막에 감쇠 결합을 본다. Adam 의 걸음은 α 근처라(Kingma 2014 2.1절) SGD 의 η 를 그대로 옮기면 걸음 크기가 수십 ~ 수천 배 달라지기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | SGD 에서 Adam 으로 바꾸자 손실이 안 줄거나 튐 | 학습률 눈금이 다름 | 학습률 | 학습률 3배 간격 짧은 실행 | 사례 Adam η 0.001 f 1.71 ↔ 0.03 1,804번(직접 실행) |
| 2 | 첫 수백 걸음에 손실이 크게 튀고 그 뒤 회복 안 됨 | 초기 v̂ 분산 · 워밍업 없음 | 초기 | 걸음별 손실 · 학습률 기록 | 워밍업을 넣으면 사라짐(Liu 2019 1절 · Vaswani 2017 5.3절) |
| 3 | 학습 손실은 좋은데 검증 성능이 SGD 보다 나쁨 | L2 를 Adam 안에 넣음 · 일반화 격차 | 정규화 | 옵티마이저 설정(weight_ | AdamW 로 감쇠 분리(Loshchilov 2017 명제 2) · 모멘텀 SGD 와 비교(Wilson 2017) |
| 4 | 학습이 끝으로 갈수록 거의 멈춤 | AdaGrad 의 누적 합 | 상태 | 파라미터별 √Σg² 추이 | 합이 단조 증가하면 RMSProp · Adam 으로(Goodfellow 2016 8.5.1절) |
| 5 | 학습 시작 직후 GPU 메모리 부족 | 옵티마이저 상태 | 메모리 | 파라미터 수 × 상태 수 × 바이트 | Adam FP32 = 파라미터당 8바이트 → 8비트 Adam 2바이트(Dettmers 2021) |
PyTorch 의 torch. 는 기본 weight_decay 0.01 이고, torch.optim.Adam 의 weight_decay 는 L2 를 기울기에 더하는 방식이다(PyTorch optim.AdamW 문서). TensorFlow 에서는 tf. 와 tf. 이 같은 짝이다.
8시험 대비
www.q-net.or.kr시험에서는 모멘텀 · RMSProp · Adam 의 갱신식과 특징을 쓰는 정의 · 특징형과, SGD 계열과 적응형 계열을 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 계보와 Adam 의 편향 보정 식을, 비교형이면 그림 4 같은 사례 수치와 그림 5 의 감쇠 분리를 함께 보인다.
- 개요 — 정의(기울기 + 상태 → 갱신) · 역전파 · 경사 하강법과 역할 구분 · DB 질의 옵티마이저와 다른 개념
- 계보와 구조 — 그림 3 방향 계열 · 크기 계열 · Adam 결합 · 상태 수 표(4096 × 4096 = 64 · 128 MiB)
- Adam 동작 — m · v 지수 평균 · 편향 보정(보정 없으면 t = 10 에 6.53배) · 기본값 0.001 · 0.9 · 0.999 · 10⁻⁸
- 비교 사례 — 그림 4 Rosenbrock 여섯 방법(모멘텀 285번 · Adam 1,804번 · SGD 미도달)
- AdamW · 워밍업 — 그림 5 감쇠 분리(w₂ 0.48 ↔ 1.00) · 워밍업 4,000걸음
- 선택 기준 · 동향 — 합성곱 = 모멘텀 SGD · 트랜스포머 = AdamW · 8비트 Adam · Adafactor
꼭 쓸 키워드
모멘텀NesterovAdaGradRMSPropAdamAdamW편향 보정가중치 감쇠워밍업옵티마이저 상태
다른 답안과 차이를 내는 한 가지는 Adam 과 AdamW 의 차이를 식이 아니라 값으로 보이는 것이다 — 같은 λ 0.1 에서 Adam + L2 가 작은 기울기의 가중치를 0.48배로 줄이고 AdamW 는 1.00 을 지킨 결과를 쓰면 «감쇠 분리»가 한 줄로 설명된다.
9오해와 사실
- 오해Adam 은 어떤 문제에서나 SGD 계열보다 빠르다.사실사례 Rosenbrock 에서 모멘텀은 285번, Adam 은 가장 좋은 학습률에서도 1,804번이 걸렸고, 적응형 방법이 SGD 보다 일반화가 나쁜 경우도 보고됐다(Wilson 2017 초록).
- 오해AdamW 는 Adam 에 L2 정규화를 더한 것이다.사실L2 는 기울기에 λθ 를 더해 √v̂ 로 나뉘고, AdamW 는 감쇠를 갱신식 밖에서 따로 빼므로 SGD 가 아닌 적응형 방법에서는 둘이 같아질 수 없다(Loshchilov 2017 명제 2).
- 오해기본값 α 0.001 이면 학습률을 따로 맞출 필요가 없다.사실기본값은 원 논문이 시험한 문제의 좋은 값이고(Kingma 2014 알고리즘 1), 사례에서 같은 기본값은 5,000번 뒤에도 f = 1.71 이었다.
10핵심 정리
| 구분 | 기억하는 것 | 갱신 | 대표 값 | 깨지면 |
|---|---|---|---|---|
| 모멘텀 | 속도 v | v ← βv − ηg · θ ← θ + v | β 0.9 · 최대 속력 10배 | 학습률 과대 → 발산 |
| Nesterov | 속도 v | 앞선 점 θ + βv 의 기울기 | 사례 874번 | 사례 η 0.003 발산 |
| AdaGrad | Σg² | η/√Σg² | 희소 특징 | 걸음이 일찍 0 |
| RMSProp | E[g²] | η/√E[g²] | ρ 0.9 | 최솟값 둘레 출렁임 |
| Adam | m · v | α m̂/(√v̂ + ε) · 편향 보정 | 0.001 · 0.9 · 0.999 · 10⁻⁸ | 워밍업 없을 때 초기 튐 |
| AdamW | m · v | Adam 걸음 + αλθ 분리 | 감쇠 0.01(PyTorch) | λ 재조정 필요 |
| 워밍업 | — | 처음 학습률 선형 증가 | 4,000걸음 | 손실 3 → 약 10 |
| 상태 메모리 | 파라미터 × 상태 수 | 8비트 · 행렬 분해로 줄임 | 128 MiB → 32 MiB · 32 KiB | GPU 메모리 부족 |
11참고 문헌
- 먼저 볼 문헌
- ★ Adam: A Method for Stochastic Optimization (ICLR 2015 · arXiv 1412.6980v9) — Adam 의 1 · 2차 모멘트 갱신 · 편향 보정 · 기본값(알고리즘 1 · 2.1 · 3절)을 볼 때
- ★ Decoupled Weight Decay Regularization (ICLR 2019 · arXiv 1711.05101v3) — Adam 에서 L2 정규화와 가중치 감쇠가 왜 다른지(알고리즘 2 · 명제 2)를 볼 때
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8.3 ~ 8.5 Momentum · Adaptive Learning Rates — 모멘텀 · Nesterov · AdaGrad · RMSProp · Adam 을 한 표기로 견줄 때(8.3.2 ~ 8.5.3절)
- ★ On the importance of initialization and momentum in deep learning (ICML 2013 · PMLR 28) — 고전 모멘텀과 Nesterov 모멘텀의 차이(2절)를 식으로 볼 때
- 본문 근거
- Adaptive Subgradient Methods for Online Learning and Stochastic Optimization (JMLR 12) — JMLR · 2011-07 ·
jmlr.org/papers/v12/duchi11a.html· 확인 2026-11-12 - On the Variance of the Adaptive Learning Rate and Beyond (ICLR 2020 · arXiv 1908.03265v4) — arXiv · 2019-08 ·
arxiv.org/abs/1908.03265· 확인 2026-11-12 - Attention Is All You Need (NIPS 2017 · arXiv 1706.03762) 5.3 Optimizer — arXiv · 2017-06 ·
arxiv.org/abs/1706.03762· 확인 2026-11-12 - Adafactor: Adaptive Learning Rates with Sublinear Memory Cost (ICML 2018 · arXiv 1804.04235) — arXiv · 2018-04 ·
arxiv.org/abs/1804.04235· 확인 2026-11-12 - 8-bit Optimizers via Block-wise Quantization (ICLR 2022 · arXiv 2110.02861) — arXiv · 2021-10 ·
arxiv.org/abs/2110.02861· 확인 2026-11-12 - On the Convergence of Adam and Beyond (ICLR 2018 · arXiv 1904.09237) — arXiv · 2018-02 ·
arxiv.org/abs/1904.09237· 확인 2026-11-12 - The Marginal Value of Adaptive Gradient Methods in Machine Learning (NIPS 2017 · arXiv 1705.08292) — arXiv · 2017-05 ·
arxiv.org/abs/1705.08292· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.optim.AdamW — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.optim.AdamW.html· 확인 2026-11-12