AI › 인공지능 개요 › 딥러닝 › 신경망 기본

옵티마이저Optimizer

역전파가 구한 기울기를 받아 지난 기울기의 평균 · 크기 같은 상태를 함께 써서 파라미터를 실제로 고치는 갱신 규칙이다. 모멘텀 · Nesterov · AdaGrad · RMSProp · Adam · AdamW 가 대표다.

1요약

  1. 옵티마이저는 신경망 학습 고리에서 역전파 다음에 오는 갱신 규칙으로, 기울기 g 에 지난 기울기의 지수 평균(1차 모멘트) · 제곱 평균(2차 모멘트) 같은 상태를 더해 θ 를 고치며, 2014년 Adam(Kingma 2014) 과 2017년 AdamW(Loshchilov 2017) 가 지금 트랜스포머 학습의 기본 선택이다. 데이터베이스가 SQL 실행 계획을 고르는 질의 옵티마이저와는 이름만 같은 다른 개념이다.
  2. 좁고 휜 골짜기에서는 기울기 방향이 벽 쪽으로 쏠려 기본 경사 하강이 거의 나아가지 못하는데, Rosenbrock 함수 사례에서 고정 학습률 SGD 는 5,000번 뒤에도 f = 3.8 × 10⁻³ 에 머물렀고 모멘텀(β 0.9)은 285번 만에 f < 10⁻⁴ 에 닿았다.
  3. 「옵티마이저를 바꿨더니 나빠졌다」는 상태 · 정규화 · 학습률 세 가지로 가른다 — 첫 수백 번에 손실이 튀면 2차 모멘트가 덜 쌓인 초기(워밍업 부족), 끝에서 검증 성능만 나쁘면 L2 를 Adam 안에 넣은 감쇠 결합, 처음부터 끝까지 느리면 옵티마이저마다 다른 학습률 눈금이다.

2등장 배경

확률적 경사 하강은 모든 파라미터에 같은 학습률 η 하나를 쓴다. 손실 곡면이 한 방향으로는 가파르고 다른 방향으로는 평평하면 η 는 가파른 방향 때문에 작아져야 하고, 그 작은 η 로는 평평한 방향을 거의 못 간다(Goodfellow 2016 8.3.2절).

1964년 Polyak 이 지난 이동을 이어 받는 모멘텀을, 1983년 Nesterov 가 한 걸음 앞 점의 기울기를 쓰는 가속법을 냈고, 2013년 Sutskever 등이 이 둘을 심층 신경망 학습에 다시 꺼냈다(Sutskever 2013 2절). 크기 쪽에서는 2011년 AdaGrad 가 지난 제곱 기울기 합으로 파라미터마다 학습률을 나눴고(Duchi 2011), 2012년 Hinton 의 RMSProp 이 그 합을 지수 평균으로 바꿨다(Goodfellow 2016 8.5.2절).

2014년 Kingma · Ba 는 두 흐름을 합치고 초기 편향을 보정한 Adam 을 발표했다(Kingma 2014). 2017년 Loshchilov · Hutter 는 Adam 에서 L2 정규화와 가중치 감쇠가 같지 않다는 것을 보이고 감쇠를 갱신식 밖으로 뺀 AdamW 를 냈으며(Loshchilov 2017 명제 2), 2017년 Wilson 등은 적응형 방법이 SGD 보다 일반화가 나쁜 문제가 있음을 보여(Wilson 2017 초록) 지금도 모멘텀 SGD 와 AdamW 가 문제마다 함께 쓰인다.

3쉽게 이해하기 — 휘어진 협곡 물길을 가는 배

선장 한 사람이 좁고 길게 휜 협곡 물길을 따라 먼 항구로 배를 몬다. 바람은 협곡 벽 쪽으로 세게, 물길 앞쪽으로는 약하게 분다. 무거운 배는 좌우로 부는 바람이 번갈아 바뀌어도 앞으로 가던 힘을 이어 가고, 항해사는 방향마다 파도 기록을 적어 파도가 센 쪽으로는 노를 약하게, 잔잔한 쪽으로는 세게 젓는다. 출항 직후에는 기록이 적어 천천히 나가고, 배 뒤에 매단 부표 밧줄은 늘 출발 부두 쪽으로 조금씩 당긴다.

협곡 = 한 방향은 가파르고 다른 방향은 평평한 손실 곡면 항구 = 최솟값 점선 = 바람만 따르는 배(SGD) 굵은 선 = 관성 + 노 세기 조절(Adam) 1 바람 지금 미는 방향 기울기 g 2 배의 관성 가던 힘을 이음 모멘텀 m 3 파도 기록 방향마다 세기 2차 모멘트 v 4 노 세기 센 쪽은 약하게 ÷ √v 5 천천히 출항 기록이 적은 처음 워밍업 · 보정 6 부표 밧줄 부두 쪽으로 당김 가중치 감쇠 기울기(데이터에서 옴) 갱신 규칙 기억(상태) 규제 · 목표 벽 사이 흔들림

그림 1 · 배는 지난 진행을 이어 받고(관성) 방향마다 노 세기를 바꿔(파도 기록) 벽 쪽 흔들림을 줄이고 물길 앞쪽으로 나아가며, 노트 두 권이 그 기억이다.

바람 읽기지금 미는 방향
관성 잇기가던 힘에 보탬
파도 적기방향마다 세기
노 세기 맞추기센 쪽은 약하게
천천히 출항기록이 적은 처음
밧줄 당김부두 쪽으로 조금
비유 — 바람이 다른 두 방향 같은 힘으로 저음 센 바람 쪽으로만 밀림 약한 쪽 = 거의 0 파도 기록으로 나눔 두 방향이 비슷하게 나아감 센 바람 방향 약한 바람 방향 실제 — 한 걸음 크기 |Δθ| θ₁ 기울기 크기 100 · θ₂ 기울기 크기 0.01 SGD(η 0.001) = η · g θ₁ 0.1 · θ₂ 0.00001 → 만 배 차이 Adam(α 0.001) = α · m̂ / √v̂ θ₁ ≈ 0.001 · θ₂ ≈ 0.001 → 거의 같음 기울기가 일정하면 m̂ / √v̂ = ±1 상한 |Δ| ≤ α 근처(Kingma 2014 2.1절) 한쪽으로 쏠린 보폭 고르게 나뉜 보폭 막대 길이 = 한 걸음의 크기(비유 쪽은 크기 비교만)

그림 2 · 파도 기록으로 노를 나누면 바람이 만 배 다른 두 방향도 거의 같은 보폭으로 나아간다 — Adam 의 한 걸음은 기울기 크기와 관계없이 학습률 α 근처다.

비유 속 역할실제 이름실제로 하는 일
지금 부는 바람기울기 g역전파가 이번 미니배치에서 구한 손실의 기울기
배의 관성1차 모멘트 m지난 기울기의 지수 평균 · 엇갈리는 성분은 지우고 같은 방향은 쌓는다
방향별 파도 기록2차 모멘트 v파라미터마다 제곱 기울기의 지수 평균
노 세기 조절적응 학습률 α/√v̂기울기가 늘 큰 파라미터는 작게 · 작은 파라미터는 크게 옮긴다
천천히 출항편향 보정 · 워밍업0에서 시작한 m · v 를 보정하고 처음 학습률을 낮춘다
부표 밧줄가중치 감쇠매 걸음 θ 를 0 쪽으로 일정 비율 당긴다
항구손실의 최솟값갱신을 멈출 θ
노트 두 권의 무게옵티마이저 상태파라미터 수만큼의 m · v 가 GPU 메모리를 차지한다

⚠ 비유가 맞지 않는 곳: 배는 항구가 어디인지 알지만 옵티마이저는 최솟값의 위치를 모르고 그때그때의 기울기만 본다. 또 파도 기록은 방향(파라미터) 하나마다 따로 적는 것이라, 두 파라미터가 함께 움직이는 비스듬한 골짜기는 노 세기 조절로 펴지지 않는다.

4구조 — 두 계열과 상태의 수

옵티마이저는 «무엇을 기억하는가(상태)»와 «그 기억으로 걸음을 어떻게 바꾸는가(갱신식)» 두 부분이다. 기울기를 구하는 일은 역전파, 기본 갱신 θ ← θ − ηg 와 학습률 스케줄 · 미니배치는 경사 하강법이 맡고, 옵티마이저는 그 위에 얹는 상태와 갱신식을 다룬다.

SGD θ ← θ − η g 상태 0 모멘텀 · 1964 v ← βv − η g 상태 1(속도 v) Nesterov · 1983 g 를 θ + βv 에서 상태 1 · 앞을 보고 계산 AdaGrad · 2011 η / √(Σ g²) 상태 1 · 합은 늘기만 함 RMSProp · 2012 η / √E[g²] 상태 1 · 지수 평균 Adam · 2014 α · m̂ / (√v̂ + ε) 상태 2 · 편향 보정 AdamW · 2017 위 걸음 + α λ θ 상태 2 · 감쇠 분리 방향 계열 — 지난 기울기 평균을 더함 크기 계열 — 제곱 기울기로 파라미터마다 나눔 감쇠를 밖으로 방향 평균(1차) 크기 정규화(2차) 둘을 합침 굵은 테두리 = 감쇠 분리

그림 3 · 옵티마이저는 방향을 평균하는 계열(모멘텀)과 크기로 나누는 계열(적응 학습률)로 갈라졌다가 Adam 에서 합쳐졌고, AdamW 는 거기서 가중치 감쇠만 갱신식 밖으로 뺐다.

옵티마이저파라미터당 상태4096 × 4096 행렬(FP32)기본값 · 근거
SGD00경사 하강법
모멘텀 · Nesterov속도 v 1개64 MiBβ 0.5 · 0.9 · 0.99 · β 0.9 = 최대 속력 10배(Goodfellow 2016 식 8.17)
AdaGrad · RMSProp제곱 평균 1개64 MiBAdaGrad 는 합이 늘기만 해 학습률이 일찍 줄어든다(Goodfellow 2016 8.5.1절)
Adam · AdamWm · v 2개128 MiBα 0.001 · β₁ 0.9 · β₂ 0.999 · ε 10⁻⁸(Kingma 2014 알고리즘 1) · AdamW 감쇠 0.01(PyTorch optim.AdamW 문서)
8비트 Adamm · v 를 8비트로32 MiB블록 단위 동적 양자화 · 상태가 학습 메모리의 33 ~ 75%(Dettmers 2021 1절)
Adafactorv 를 행 합 · 열 합으로32 KiB(β₁ = 0)4,096 + 4,096 값만 둠(Shazeer 2018 1절)

🔑 옵티마이저의 차이는 갱신식보다 «무엇을 몇 개 기억하는가»에 있다 — 같은 행렬에서 SGD 는 상태 0, Adam 은 가중치의 두 배를 따로 들고 간다.

5동작 — Rosenbrock 골짜기에서 여섯 옵티마이저

직접 실행(합성 함수) — f(x, y) = (1 − x)² + 100(y − x²)² 는 y = x² 를 따라 휘어진 좁은 골짜기이고 최솟값은 (1, 1) · f = 0 이다. 모든 방법이 (−1.2, 1.0) · f = 24.2 에서 출발해 5,000번 갱신하고, 학습률은 실행 전에 정한 8개(10⁻⁴ ~ 0.3)에서 마지막 f 가 가장 낮은 값을 골랐다. 기울기에 잡음이 없어 시드에 따른 차이는 없다.

  1. 출발점의 기울기는 (−215.6, −88.0) 으로 골짜기 벽 쪽으로 쏠려 있다 — 골짜기를 따라가는 방향의 성분은 그보다 훨씬 작다.
  2. SGD 는 η 0.01 부터 발산해 0.001 에 머물고, 5,000번 뒤에도 f = 3.8 × 10⁻³ 이다.
  3. 모멘텀(β 0.9 · η 0.003)은 벽 사이로 엇갈리는 성분을 상쇄하고 골짜기 방향 속도를 쌓아 285번에 f < 10⁻⁴, 1,000번에 2.6 × 10⁻¹³ 이 된다.
  4. Nesterov(β 0.9)는 η 0.003 에서 발산하고 η 0.001 에서 874번이 걸린다 — 이 함수에서는 고전 모멘텀이 더 큰 학습률을 견뎠다.
  5. AdaGrad(η 0.3)는 제곱 기울기 합이 계속 커져 걸음이 줄어 5,000번에 2.3 × 10⁻⁴, RMSProp(ρ 0.9 · η 0.001)은 걸음이 α 근처에서 줄지 않아 최솟값 둘레에서 오르내리며 3.1 × 10⁻⁴ 이다.
  6. Adam(β₁ 0.9 · β₂ 0.999)은 η 0.03 에서 1,804번에 f < 10⁻⁴ 이고, 기본값 η 0.001 로는 5,000번 뒤에도 f = 1.71 이다 — 기본 학습률은 이 함수의 눈금과 맞지 않는다.
궤적(처음 1,000번) f 변화(5,000번 · 로그 눈금) -1 0 1 0 0.5 1 1.5 x · 세로 = y · 점선 = 골짜기 바닥 y = x² 100 1 10-2 10-4 10-6 10-8 10-10 10-12 0 1,000 2,000 3,000 4,000 5,000 반복 횟수 · 10⁻¹² 아래는 바닥에 붙임 목표 f < 10⁻⁴ 최솟값 (1, 1) 1 2 3 4 5 6 SGD η 0.001 모멘텀 η 0.003 Nesterov η 0.001 AdaGrad η 0.3 RMSProp η 0.001 Adam η 0.03 직접 실행(합성 함수 · 잡음 없음) · 학습률 = 10⁻⁴ ~ 0.3 의 8개 중 5,000번 뒤 f 가 가장 낮은 값

그림 4 · 잡음 없는 휜 골짜기에서는 방향을 평균하는 모멘텀이 가장 빨랐고, 크기로 나누는 AdaGrad · RMSProp 은 5,000번 안에 목표에 닿지 못했다(원 숫자 = 단계).

🔑 모멘텀은 «방향»의 잡음을, 적응 학습률은 파라미터 사이 «크기»의 차이를 푼다 — 문제가 어느 쪽으로 어려운지에 따라 옵티마이저 순위가 바뀐다.

Adam 의 m · v 는 0에서 시작하므로 처음 몇 걸음은 0 쪽으로 치우친다. 기울기가 1로 일정할 때 보정 없이 m/√v 를 쓰면 걸음은 t = 1 에 α 의 3.16배, t = 10 에 6.53배, t = 1,000 에도 1.26배가 된다(Kingma 2014 3절 식으로 직접 계산). 보정 m̂ = m/(1 − β₁ᵗ) · v̂ = v/(1 − β₂ᵗ) 이 이 배수를 1로 되돌린다.

보정을 해도 초기 v̂ 는 표본이 적어 분산이 크다. 그래서 트랜스포머 학습은 첫 4,000걸음 동안 학습률을 선형으로 올린 뒤 걸음 수의 제곱근에 반비례해 줄였고(Vaswani 2017 5.3절), Liu 등은 IWSLT'14 독-영 번역에서 워밍업을 빼면 학습 손실이 3에서 약 10으로 커진다고 보고했다(Liu 2019 1절).

L2 정규화를 손실에 더하면 그 기울기 λθ 도 √v̂ 로 나뉘어, 기울기가 늘 큰 파라미터는 덜 줄고 작은 파라미터는 많이 준다(Loshchilov 2017 2절). AdamW 는 감쇠 αλθ 를 적응 걸음 밖에서 따로 빼 모든 파라미터를 같은 비율로 당긴다(Loshchilov 2017 알고리즘 2 12행).

걸음당 감쇠 비율(어림 α λ / √v̂ · α λ) 0.045 0 0.0042 0.042 0.001 · 0.001 Adam + L2 AdamW 학습 끝 w ÷ 최소 제곱 해 1.0 0.5 0 0.98 0.48 0.99 1.00 Adam + L2 AdamW w₁ · 큰 기울기(√v̂ 0.238) w₂ · 작은 기울기(√v̂ 0.024) 굵은 테두리 = 지나치게 줄어든 값 직접 실행(합성 데이터 · 시드 0) · 특징 표준 편차 3 · 0.3 · 참값 1 · 1 · λ 0.1 · α 0.01 · 배치 50 · 20,000걸음 시드 0 ~ 9 = Adam + L2 의 w₂ 0.43 ~ 0.51 · AdamW 의 w₂ 0.93 ~ 1.05

그림 5 · L2 를 Adam 안에 넣으면 √v̂ 가 작은 w₂ 가 걸음마다 10배 세게 줄어 0.48배가 되고, AdamW 는 두 가중치를 같은 비율로 당겨 손실 기울기에 맞는 값을 지킨다.

🔑 Adam 에서 L2 는 «정규화»가 아니라 «기울기 기록에 따라 세기가 바뀌는 당김»이 된다 — AdamW 의 감쇠는 더 센 것이 아니라 파라미터마다 같은 것이다.

6비교 — 방향 계열 · 크기 계열 · 결합 계열

기준모멘텀 SGD · NesterovAdaGradRMSPropAdamAdamW
기억하는 것속도 v제곱 기울기 합제곱 기울기 지수 평균m · v 지수 평균m · v + 분리된 감쇠
걸음 크기를 정하는 것η × 쌓인 속도η/√Σg² · 갈수록 줄어듦η/√E[g²]α 근처 · 기울기 크기와 거의 무관Adam 과 같음
잘 맞는 문제잡음이 적고 골짜기가 좁은 문제(사례 285번)희소한 특징(Duchi 2011)비정상 · 순환 신경망파라미터마다 기울기 규모가 다른 큰 모델정규화가 필요한 트랜스포머 · 미세 조정
약점학습률 · β 를 함께 맞춰야 함학습률이 일찍 0에 가까워짐초기 편향 보정 없음수렴이 깨지는 반례(Reddi 2018) · 일반화 격차(Wilson 2017)감쇠 λ 를 다시 맞춰야 함
상태 메모리가중치 × 1× 1× 1× 2× 2

분석이미지 분류처럼 오래 쓰인 설정이 있는 합성곱 신경망은 모멘텀 SGD 를, 트랜스포머 · LLM 학습과 미세 조정은 AdamW 를 먼저 고르고, 메모리가 모자라면 8비트 Adam · Adafactor 로 상태를 줄인다. 근거는 표의 「잘 맞는 문제」 · 「약점」 행과 Goodfellow 2016 8.5.4절 — 어느 알고리즘이 가장 좋은지 합의가 없어 실무는 익숙한 설정과 튜닝 비용으로 고른다.

7실무 진단 — 옵티마이저 탓을 가르는 순서

분석옵티마이저를 바꾸기 전에 학습률 눈금부터 다시 맞추고, 다음에 초기 수백 걸음(워밍업 · 편향), 마지막에 감쇠 결합을 본다. Adam 의 걸음은 α 근처라(Kingma 2014 2.1절) SGD 의 η 를 그대로 옮기면 걸음 크기가 수십 ~ 수천 배 달라지기 때문이다.

#증상의심 원인단계확인 자료판정 기준(근거)
1SGD 에서 Adam 으로 바꾸자 손실이 안 줄거나 튐학습률 눈금이 다름학습률학습률 3배 간격 짧은 실행사례 Adam η 0.001 f 1.71 ↔ 0.03 1,804번(직접 실행)
2첫 수백 걸음에 손실이 크게 튀고 그 뒤 회복 안 됨초기 v̂ 분산 · 워밍업 없음초기걸음별 손실 · 학습률 기록워밍업을 넣으면 사라짐(Liu 2019 1절 · Vaswani 2017 5.3절)
3학습 손실은 좋은데 검증 성능이 SGD 보다 나쁨L2 를 Adam 안에 넣음 · 일반화 격차정규화옵티마이저 설정(weight_decay 자리)AdamW 로 감쇠 분리(Loshchilov 2017 명제 2) · 모멘텀 SGD 와 비교(Wilson 2017)
4학습이 끝으로 갈수록 거의 멈춤AdaGrad 의 누적 합상태파라미터별 √Σg² 추이합이 단조 증가하면 RMSProp · Adam 으로(Goodfellow 2016 8.5.1절)
5학습 시작 직후 GPU 메모리 부족옵티마이저 상태메모리파라미터 수 × 상태 수 × 바이트Adam FP32 = 파라미터당 8바이트 → 8비트 Adam 2바이트(Dettmers 2021)

PyTorch 의 torch.optim.AdamW(params, lr, betas, eps, weight_decay) 는 기본 weight_decay 0.01 이고, torch.optim.Adam 의 weight_decay 는 L2 를 기울기에 더하는 방식이다(PyTorch optim.AdamW 문서). TensorFlow 에서는 tf.keras.optimizers.AdamW 와 tf.keras.optimizers.Adam 이 같은 짝이다.

8시험 대비

출제 정보 정보관리(130회, 127회) · 컴퓨터시스템응용(110회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 모멘텀 · RMSProp · Adam 의 갱신식과 특징을 쓰는 정의 · 특징형과, SGD 계열과 적응형 계열을 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 계보와 Adam 의 편향 보정 식을, 비교형이면 그림 4 같은 사례 수치와 그림 5 의 감쇠 분리를 함께 보인다.

답안 목차
  1. 개요 — 정의(기울기 + 상태 → 갱신) · 역전파 · 경사 하강법과 역할 구분 · DB 질의 옵티마이저와 다른 개념
  2. 계보와 구조 — 그림 3 방향 계열 · 크기 계열 · Adam 결합 · 상태 수 표(4096 × 4096 = 64 · 128 MiB)
  3. Adam 동작 — m · v 지수 평균 · 편향 보정(보정 없으면 t = 10 에 6.53배) · 기본값 0.001 · 0.9 · 0.999 · 10⁻⁸
  4. 비교 사례 — 그림 4 Rosenbrock 여섯 방법(모멘텀 285번 · Adam 1,804번 · SGD 미도달)
  5. AdamW · 워밍업 — 그림 5 감쇠 분리(w₂ 0.48 ↔ 1.00) · 워밍업 4,000걸음
  6. 선택 기준 · 동향 — 합성곱 = 모멘텀 SGD · 트랜스포머 = AdamW · 8비트 Adam · Adafactor

꼭 쓸 키워드
모멘텀NesterovAdaGradRMSPropAdamAdamW편향 보정가중치 감쇠워밍업옵티마이저 상태

다른 답안과 차이를 내는 한 가지는 Adam 과 AdamW 의 차이를 식이 아니라 값으로 보이는 것이다 — 같은 λ 0.1 에서 Adam + L2 가 작은 기울기의 가중치를 0.48배로 줄이고 AdamW 는 1.00 을 지킨 결과를 쓰면 «감쇠 분리»가 한 줄로 설명된다.

9오해와 사실

  • 오해Adam 은 어떤 문제에서나 SGD 계열보다 빠르다.
    사실사례 Rosenbrock 에서 모멘텀은 285번, Adam 은 가장 좋은 학습률에서도 1,804번이 걸렸고, 적응형 방법이 SGD 보다 일반화가 나쁜 경우도 보고됐다(Wilson 2017 초록).
  • 오해AdamW 는 Adam 에 L2 정규화를 더한 것이다.
    사실L2 는 기울기에 λθ 를 더해 √v̂ 로 나뉘고, AdamW 는 감쇠를 갱신식 밖에서 따로 빼므로 SGD 가 아닌 적응형 방법에서는 둘이 같아질 수 없다(Loshchilov 2017 명제 2).
  • 오해기본값 α 0.001 이면 학습률을 따로 맞출 필요가 없다.
    사실기본값은 원 논문이 시험한 문제의 좋은 값이고(Kingma 2014 알고리즘 1), 사례에서 같은 기본값은 5,000번 뒤에도 f = 1.71 이었다.

10핵심 정리

구분기억하는 것갱신대표 값깨지면
모멘텀속도 vv ← βv − ηg · θ ← θ + vβ 0.9 · 최대 속력 10배학습률 과대 → 발산
Nesterov속도 v앞선 점 θ + βv 의 기울기사례 874번사례 η 0.003 발산
AdaGradΣg²η/√Σg²희소 특징걸음이 일찍 0
RMSPropE[g²]η/√E[g²]ρ 0.9최솟값 둘레 출렁임
Adamm · vα m̂/(√v̂ + ε) · 편향 보정0.001 · 0.9 · 0.999 · 10⁻⁸워밍업 없을 때 초기 튐
AdamWm · vAdam 걸음 + αλθ 분리감쇠 0.01(PyTorch)λ 재조정 필요
워밍업—처음 학습률 선형 증가4,000걸음손실 3 → 약 10
상태 메모리파라미터 × 상태 수8비트 · 행렬 분해로 줄임128 MiB → 32 MiB · 32 KiBGPU 메모리 부족

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Adam: A Method for Stochastic Optimization (ICLR 2015 · arXiv 1412.6980v9) — Adam 의 1 · 2차 모멘트 갱신 · 편향 보정 · 기본값(알고리즘 1 · 2.1 · 3절)을 볼 때
    arXiv · 2014-12 · arxiv.org/abs/1412.6980 · 확인 2026-11-12
  3. ★ Decoupled Weight Decay Regularization (ICLR 2019 · arXiv 1711.05101v3) — Adam 에서 L2 정규화와 가중치 감쇠가 왜 다른지(알고리즘 2 · 명제 2)를 볼 때
    arXiv · 2017-11 · arxiv.org/abs/1711.05101 · 확인 2026-11-12
  4. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8.3 ~ 8.5 Momentum · Adaptive Learning Rates — 모멘텀 · Nesterov · AdaGrad · RMSProp · Adam 을 한 표기로 견줄 때(8.3.2 ~ 8.5.3절)
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/optimization.html · 확인 2026-11-12
  5. ★ On the importance of initialization and momentum in deep learning (ICML 2013 · PMLR 28) — 고전 모멘텀과 Nesterov 모멘텀의 차이(2절)를 식으로 볼 때
    PMLR · 2013-06 · proceedings.mlr.press/v28/sutskever13.html · 확인 2026-11-12
  6. 본문 근거
  7. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization (JMLR 12) — JMLR · 2011-07 · jmlr.org/papers/v12/duchi11a.html · 확인 2026-11-12
  8. On the Variance of the Adaptive Learning Rate and Beyond (ICLR 2020 · arXiv 1908.03265v4) — arXiv · 2019-08 · arxiv.org/abs/1908.03265 · 확인 2026-11-12
  9. Attention Is All You Need (NIPS 2017 · arXiv 1706.03762) 5.3 Optimizer — arXiv · 2017-06 · arxiv.org/abs/1706.03762 · 확인 2026-11-12
  10. Adafactor: Adaptive Learning Rates with Sublinear Memory Cost (ICML 2018 · arXiv 1804.04235) — arXiv · 2018-04 · arxiv.org/abs/1804.04235 · 확인 2026-11-12
  11. 8-bit Optimizers via Block-wise Quantization (ICLR 2022 · arXiv 2110.02861) — arXiv · 2021-10 · arxiv.org/abs/2110.02861 · 확인 2026-11-12
  12. On the Convergence of Adam and Beyond (ICLR 2018 · arXiv 1904.09237) — arXiv · 2018-02 · arxiv.org/abs/1904.09237 · 확인 2026-11-12
  13. The Marginal Value of Adaptive Gradient Methods in Machine Learning (NIPS 2017 · arXiv 1705.08292) — arXiv · 2017-05 · arxiv.org/abs/1705.08292 · 확인 2026-11-12
  14. PyTorch 2.15 documentation - torch.optim.AdamW — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.optim.AdamW.html · 확인 2026-11-12