AI › 인공지능 개요 › 딥러닝 › 신경망 기본

경사 하강법Gradient Descent

손실 함수의 기울기를 구해 그 반대 방향으로 학습률만큼 파라미터를 옮기는 일을 되풀이하여 손실을 줄이는 반복 최적화 방법이다. 기울기를 전체 데이터로 구하면 배치, 표본 하나나 일부로 구하면 확률적 · 미니배치 경사 하강법이라 한다.

1요약

  1. 경사 하강법은 손실 L(θ) 의 기울기 반대 방향으로 θ ← θ − η∇L 을 되풀이하는 1차 최적화 방법이고(Goodfellow 2016 4.3절), 역전파가 구한 기울기를 받아 선형 회귀부터 LLM 까지 거의 모든 신경망의 파라미터를 실제로 고치는 단계다.
  2. 파라미터가 많은 모델은 손실을 0으로 만드는 식을 바로 풀 수 없어 반복으로 내려가야 하는데, 사례 회귀(표본 4,096개)에서 같은 10 에포크 계산량으로 배치 경사 하강은 초과 손실 2.8 × 10⁻² 에 머물렀고 미니배치 32 + 코사인 스케줄은 1.4 × 10⁻⁶ 까지 내려갔다.
  3. 「손실이 안 줄어든다」는 손실 곡선의 모양으로 가른다 — 처음부터 커지면 학습률이 안정 한계 2/λ_max 를 넘은 것, 한 수준에서 오르내리면 고정 학습률의 잡음 바닥, 긴 평지 뒤 갑자기 떨어지면 안장점 근처를 지난 것이다.

2등장 배경

손실을 가장 작게 하는 파라미터를 식 하나로 풀 수 있는 것은 선형 최소 제곱 같은 일부 문제뿐이다. 신경망은 닫힌 해가 없고, 파라미터 수백만 개의 헤시안을 쓰는 2차 방법은 메모리가 맞지 않는다.

1847년 Cauchy 가 연립 방정식을 푸는 일반 방법으로 함수가 가장 빨리 줄어드는 방향(기울기의 반대)으로 조금씩 움직이는 방법을 내놓았고(Goodfellow 2016 4.3절), 1951년 Robbins · Monro 는 잡음이 섞인 관측만으로 해를 찾는 확률적 근사법을 발표해 확률적 경사 하강의 출발점이 됐다(Robbins 1951 · Bottou 2018 Inset 3.1). 1986년 역전파가 여러 계층의 기울기를 한 번에 구하게 되면서 둘이 신경망 학습의 짝이 됐다.

지금도 대규모 머신러닝의 중심 전략은 확률적 경사 하강이고(Bottou 2018 1절), 2017년 Goyal 외는 미니배치 8,192장 · GPU 256개로 ResNet-50 을 약 1시간에 학습했다(Goyal 2017 초록).

3쉽게 이해하기 — 안개 낀 산을 내려가는 등산객

짙은 안개가 낀 산에서 등산객이 산 아래 마을로 내려가야 한다. 멀리는 보이지 않으니 지팡이로 발밑을 짚어 가장 가파르게 내려가는 쪽을 찾고, 그쪽으로 한 걸음 옮긴 뒤 다시 짚는다. 산 전체를 아는 안내원 대신 근처 길잡이 몇 명에게만 물어 방향을 잡아 빨리 움직이고, 가운데 평평한 고개에서는 어느 쪽도 기울지 않아 한참 머문다. 마을이 가까워지면 지나치지 않도록 보폭을 줄인다.

안개 — 멀리는 안 보이고 발밑만 보인다 = 손실 지형 전체를 모른다 마을 = 최솟값 내려가는 순서 1 → 6 1 출발 산 위 어딘가 초기 θ₀ 2 발밑 짚기 가장 가파른 쪽 기울기 ∇L 3 한 걸음 보폭만큼 내려감 학습률 η 4 평평한 고개 경사가 거의 0 안장점 5 길잡이 몇 명 전원 대신 몇 명 미니배치 6 보폭 줄이기 마을이 가까움 스케줄 η_t 학습 규칙 데이터 목표 · 평가 멈춤 위험

그림 1 · 등산객은 지형 전체를 모른 채 발밑 경사와 보폭만으로 내려가며, 평평한 고개에서 멈칫하고 마을 가까이에서 보폭을 줄인다.

출발산 위 아무 데서나
발밑 짚기가장 가파른 내리막
한 걸음보폭만큼 옮김
몇 명에게 묻기전원 대신 일부
고개에서 멈칫평평해 방향이 없음
보폭 줄이기마을 앞에서 천천히
비유 — 골짜기에서 보폭 세 가지 작은 보폭 한쪽에서 다가감 1 2 3 ηλ = 0.4 → 곱 0.6 큰 보폭 양쪽을 번갈아 · 줄어듦 1 2 3 ηλ = 1.5 → 곱 −0.5 너무 큰 보폭 양쪽을 번갈아 · 커짐 1 2 3 ηλ = 2.2 → 곱 −1.2 실제 — 이차 골짜기 L = ½λw² 에서 w ← w − ηλw = (1 − ηλ)w 곱의 크기 |1 − ηλ| < 1 이어야 줄어든다 → 0 < η < 2/λ · λ = 그 방향의 곡률(헤시안 고윳값) 원 숫자 = 걸음 순서 · 집 = 골짜기 바닥(최솟값) · 곡선 = 골짜기 단면

그림 2 · 보폭이 골짜기 폭에 비해 작으면 한쪽에서 다가가고, 조금 크면 양쪽을 번갈아 밟으며 줄어들고, 너무 크면 양쪽을 번갈아 밟으며 골짜기 밖으로 튕겨 나간다.

비유 속 역할실제 이름실제로 하는 일
등산객의 위치파라미터 θ모델의 가중치 · 편향 묶음 · 갱신 대상
산 아래 마을손실의 최솟값손실 L 이 가장 작은 θ*
지팡이로 짚은 발밑 경사기울기 ∇L지금 θ 에서 손실이 가장 빨리 커지는 방향과 크기
보폭학습률 η기울기에 곱하는 한 번 이동의 크기
길잡이 몇 명미니배치전체 표본 대신 B 개로 기울기를 어림
평평한 고개안장점 · 평지기울기가 0에 가깝지만 최솟값이 아닌 곳
마을 앞 보폭 줄이기학습률 스케줄반복이 진행될수록 η 를 줄여 잡음을 가라앉힘
발밑이 평평하면 멈춤멈춤 판정기울기 노름 · 에포크 수 · 검증 손실로 끝냄

⚠ 비유가 맞지 않는 곳: 실제 손실 지형은 2차원 산이 아니라 파라미터 수만큼의 차원이라 «고개»가 드문 것이 아니라 흔하고, 등산객은 내리막 «방향»만 쓰지만 경사 하강은 경사의 «크기»도 그대로 보폭에 곱하므로 가파른 곳에서는 저절로 크게 움직인다.

4구조 — 갱신 한 번을 이루는 요소

경사 하강법 한 번은 «표본을 고르고 → 기울기를 받아 → 학습률을 곱해 빼는» 고리다. 기울기를 «구하는» 계산 그래프 · 연쇄 법칙은 역전파가 맡고, 경사 하강법은 받은 기울기를 «쓰는» 규칙(어느 표본으로 · 얼마나 · 언제까지)을 맡는다.

학습 데이터 표본 n 개 사례 n = 4,096 미니배치 뽑기 B 개(1 ~ n) 에포크마다 섞음 순전파 · 손실 L_B(θ) B 개의 평균 기울기 g g = ∇L_B(θ) 역전파가 계산 갱신 θ ← θ − η_t · g 기울기 반대 방향으로 η_t 만큼 학습률 스케줄 η_t = 고정 · 계단 · 코사인 사례 η 0.1 → 0 멈춤 판정 ‖∇L‖ ≤ ε · 에포크 수 · 검증 손실 아니면 다음 미니배치로 반복(한 에포크 = n/B 번) 데이터 손실 · 판정 학습 규칙 갱신 고리

그림 3 · 갱신 고리의 입력은 미니배치와 기울기, 손잡이는 학습률 · 스케줄 · 멈춤 판정 셋이며, 기울기 계산 자체는 역전파가 맡는다.

요소크기역할값 · 근거
파라미터 θ모델 크기 d고칠 대상사례 d = 3(w1 · w2 · 절편) · 시작 0
손실 L(θ)숫자 1줄일 목표사례 ½ × 평균 제곱 오차 · 시작 2.366 → 최소 0.1229
기울기 gd오르막 방향 · 크기미니배치 기울기는 전체 기울기의 불편 추정(Bottou 2018 식 3.12)
미니배치 B1 ~ n기울기를 낼 표본흔히 2의 거듭제곱 32 ~ 256(Goodfellow 2016 8.1.3절)
학습률 η실수 1한 걸음 크기이차 손실 안정 조건 η < 2/λ_max · PyTorch SGD 기본 lr = 0.001(PyTorch optim.SGD 문서)
스케줄 η_t반복마다걸음 줄이기Σηₜ = ∞ · Σηₜ² < ∞(Goodfellow 2016 식 8.12 · 8.13) · 선형 감소 끝값 ≈ η₀ 의 1%
멈춤 판정—반복 끝내기‖∇L‖₂ ≤ ε(Boyd 2004 9.3절) · 실무는 에포크 수 · 검증 손실

🔑 경사 하강법은 «어느 쪽으로»는 기울기에게, «얼마나»는 학습률에게 맡긴다 — 기울기가 정확해도 학습률이 손실의 곡률에 비해 크면 손실은 오히려 커진다.

5동작 — 같은 계산량에서 배치 · 확률적 · 미니배치 비교

직접 실행(합성 데이터 · 시드 0) — 상관 0.8 인 두 특징 x1 · x2 표본 4,096개에 y = 2x1 − 3x2 + 1 + 잡음(표준 편차 0.5)을 만들고, 손실 ½ × 평균 제곱 오차를 θ = 0 에서 출발해 줄인다. 모든 방법에 같은 계산량 10 에포크(표본 기울기 40,960번)를 준다.

  1. 비교 기준을 먼저 구한다 — 최소 제곱 해 (1.996, −2.996, 1.007) · 최소 손실 L* = 0.1229 · 시작 손실 2.366 이고, 헤시안 XᵀX/n 의 고윳값 1.83 · 1.00 · 0.197 에서 조건수 9.29 · 안정 한계 2/1.83 = 1.093 이 나온다.
  2. 배치 경사 하강(η 1.0)은 에포크마다 전체 표본으로 한 번만 갱신해 10번 갱신 뒤 초과 손실 L − L* = 2.8 × 10⁻² 이다 — 10⁻³ 안에 들려면 19번이 필요하다.
  3. 확률적 경사 하강(표본 1개 · η 0.01)은 에포크마다 4,096번 갱신해 첫 에포크 끝에 이미 3.3 × 10⁻⁴ 이다.
  4. 같은 η 로 10 에포크까지 돌려도 7.7 × 10⁻⁴ 로 더 내려가지 않고 오르내린다 — 고정 학습률은 최솟값이 아니라 그 둘레 잡음 바닥으로 간다(Bottou 2018 정리 4.6).
  5. 미니배치(B 32 · η 0.1)는 에포크마다 128번 · 모두 1,280번 갱신해 6.6 × 10⁻⁴ 에 닿는다.
  6. 같은 미니배치에 코사인 스케줄(η 0.1 → 0 · PyTorch CosineAnnealingLR 문서 식)을 붙이면 1.4 × 10⁻⁶ · 계수 (1.995, −2.996, 1.007) 로 최소 제곱 해와 소수 셋째 자리까지 맞는다.
  7. 시드 0 ~ 9 로 다시 돌리면 배치 1.6 × 10⁻² ~ 6.4 × 10⁻² · 미니배치 고정 1.1 × 10⁻⁴ ~ 1.1 × 10⁻³ · 미니배치 코사인 5.1 × 10⁻⁷ ~ 6.1 × 10⁻⁶ 이고, 세 방법의 순위는 10번 모두 같다.
10 1 10-1 10-2 10-3 10-4 10-5 10-6 10-7 0 2 4 6 8 10 에포크(표본 기울기 4,096번 = 1) 초과 손실 L − L* — 같은 계산량에서 갱신 방식 비교 2.8×10⁻² 7.7×10⁻⁴ 6.6×10⁻⁴ 1.4×10⁻⁶ 2 3 4 5 6 배치 GD η 1.0 · 10번 갱신 SGD B 1 · η 0.01 · 40,960번 미니배치 B 32 · η 0.1 고정 · 1,280번 같은 미니배치 + 코사인 스케줄(η 0.1 → 0)

그림 4 · 같은 10 에포크에서 갱신 횟수가 많은 확률적 · 미니배치 쪽이 먼저 내려가고, 고정 학습률이 남긴 잡음 바닥은 스케줄로 학습률을 줄여야 뚫린다(원 숫자 = 단계).

이차 손실에서 오차는 헤시안의 고유 방향마다 매번 |1 − ηλ| 배가 되므로, 가장 굽은 방향(λ_max = 1.83)이 학습률 상한을, 가장 평평한 방향(λ_min = 0.197)이 속도를 정한다. 같은 데이터에서 η 만 바꾸면 0.1 · 0.5 · 1.0 은 179 · 35 · 19번 만에 10⁻³ 안에 들고 1.15 는 발산하며, 가장 좋은 고정 학습률 0.987 에서도 한 번에 (κ − 1)/(κ + 1) = 0.806 배씩만 준다(원문 식 직접 계산 · Boyd 2004 9.3.1절).

학습률만 바꾼 배치 경사 하강 — 초과 손실 L − L* 102 10 1 10-1 10-2 10-3 10-4 0 10 20 30 40 50 60 갱신 횟수 목표 10⁻³ η 0.1 η 0.5 · 35번 η 1.0 · 19번 η 1.15 · 발산 헤시안 고윳값 1.83 · 1.00 · 0.197 조건수 κ 9.29 안정 한계 2/1.83 = 1.093 η 0.1 · 179번 η 0.5 · 35번 η 1.0 · 19번 η 1.15 · 2/λ_max 초과 번 = 초과 손실이 10⁻³ 아래로 드는 갱신 횟수 · 세로 눈금 = 로그(10배마다 같은 길이)

그림 5 · 학습률이 2/λ_max 를 넘는 순간 줄던 손실이 커지기 시작하고, 그 아래에서는 클수록 빠르다 — 상한은 가장 가파른 방향이 정한다.

🔑 학습률의 상한은 가장 가파른 방향이, 수렴 속도는 가장 평평한 방향이 정한다 — 조건수 κ = λ_max/λ_min 이 클수록 학습률 하나로 두 방향을 함께 맞출 수 없다.

볼록 함수에서는 기울기가 0인 점이 곧 최솟값이고 위 수렴 보장이 그대로 선다(Boyd 2004 9.3.1절). 신경망 손실은 비볼록이며, 고차원에서는 기울기 0인 점 대부분이 극소가 아니라 헤시안 고윳값에 양수와 음수가 섞인 안장점이다(Goodfellow 2016 8.2.3절 · Dauphin 2014). 설명용 함수 f(x, y) = (x² − 1)²/4 + y²/2(최솟값 (±1, 0) · 안장점 (0, 0) 의 f = 0.25)를 η 0.1 로 내려가면, 시작 (10⁻⁶, 2) 는 x 가 매번 1.1배씩만 자라 약 30 ~ 125번을 f ≈ 0.25 평지에서 보내고 158번에 f < 10⁻³ 이 된다(어림 ln 10⁶ / ln 1.1 ≈ 145번). 시작 (0, 2) 는 2,000번 뒤에도 0.25 이고, 기울기에 표준 편차 0.01 잡음을 넣으면 80번(시드 0 ~ 9 = 68 ~ 114번)에 빠져나온다.

비볼록 함수 f(x, y) = (x² − 1)²/4 + y²/2 — 안장점 (0, 0) 의 평지 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0 50 100 150 200 반복 횟수(η 0.1) 평지 · 약 30 ~ 125번 · f ≈ 0.25 · ‖∇f‖ ≈ 0 시작 f = 2.25(위로 잘림) 158번 80번 끝까지 0.25 안장점 (0, 0) 고윳값 −1 · +1 최솟값 (±1, 0) 경사 하강 · 시작 (10⁻⁶, 2) 경사 하강 · 시작 (0, 2) 시작 (0, 2) + 기울기 잡음 σ 0.01(시드 0) 점선 상자 = 기울기가 0에 가까워 멈춘 것처럼 보이는 구간

그림 6 · 안장점 근처에서 정확한 기울기는 0에 가까워 손실이 평지에 머물고, 확률적 기울기의 잡음이 오히려 음의 곡률 방향으로 밀어 평지를 빨리 벗어나게 한다.

🔑 비볼록 손실에서 기울기 0 은 «도착»이 아니라 «멈춤»일 뿐이다 — 안장점은 정확한 경사 하강을 세워 두고, 잡음이 섞인 확률적 기울기가 오히려 그곳을 빠져나오게 한다.

6비교 — 기울기를 내는 표본 수와 미분 차수

기준배치 경사 하강확률적 경사 하강(B = 1)미니배치 경사 하강뉴턴법(2차)
갱신 1회에 쓰는 것표본 n 개 전부 · 기울기표본 1개 · 기울기표본 B 개 · 기울기표본 n 개 · 기울기 + 헤시안
갱신 1회 비용n · d 에 비례d 에 비례 · n 과 무관(Goodfellow 2016 8.3.1절)B · d 에 비례 · GPU 병렬헤시안 d × d 저장 · 풀이 d³
고정 학습률의 끝최솟값(η < 2/λ_max)잡음 바닥 · 감소 스케줄 필요(Bottou 2018 정리 4.6 · 4.7)잡음 바닥이 B 만큼 낮음국소 2차 수렴
안장점기울기 0 이면 멈춤잡음이 밀어냄잡음이 밀어냄(B 가 크면 약함)안장점으로 끌릴 수 있음(Dauphin 2014)
주로 쓰는 곳표본이 적은 볼록 문제 · 정확한 해가 필요할 때온라인 학습 · 표본이 흘러 들어오는 경우딥러닝 학습의 기본파라미터가 적은 통계 모형

분석신경망은 미니배치 경사 하강을 기본으로 하고 B 는 GPU 메모리가 허락하는 32 ~ 256 에서 고른 뒤 학습률을 스케줄로 줄이며, 배치 경사 하강과 뉴턴법은 표본 · 파라미터가 적은 볼록 문제에만 쓴다. 근거는 표의 「갱신 1회 비용」 · 「고정 학습률의 끝」 행이다(Goodfellow 2016 8.1.3절).

모멘텀 · Adam 같은 변형은 옵티마이저가 다룬다.

7실무 진단 — 손실 곡선 모양으로 원인 가르기

분석처음 100번 안팎의 손실 곡선으로 학습률부터 보고, 다음에 에포크 단위 곡선으로 스케줄 · 배치를, 마지막에 기울기 노름으로 지형(평지 · 안장점)을 본다. 학습률이 너무 크면 곡선이 심하게 출렁이며 손실이 커지고 너무 작으면 높은 손실에 갇힐 수 있어(Goodfellow 2016 8.3.1절) 다른 진단보다 먼저 정해야 한다.

#증상의심 원인단계확인 자료판정 기준(근거)
1첫 몇 번부터 손실이 커지거나 크게 출렁임학습률 > 2/λ_max학습률학습률을 3 ~ 10배씩 줄인 짧은 실행 비교줄이면 단조 감소로 바뀜(사례 η 1.15 발산 · 1.0 은 19번 수렴) · 2/λ_max(Boyd 2004 9.3절)
2손실이 단조롭게 아주 천천히 줆학습률이 작음 · 조건수가 큼학습률η 를 키운 실행 · 헤시안 고윳값 비키워도 안 빨라지고 발산하면 조건수 몫(사례 η 0.1 179번 ↔ 1.0 19번 · κ 9.29)
3한 수준에서 오르내리며 더 안 내려감고정 학습률의 잡음 바닥스케줄에포크별 학습 손실 · CosineAnnealingLR · 선형 감소스케줄을 붙이면 바닥이 내려감(사례 6.6 × 10⁻⁴ → 1.4 × 10⁻⁶ · Bottou 2018 정리 4.7)
4긴 평지 뒤 손실이 갑자기 떨어짐안장점 · 평탄 구간지형반복별 기울기 노름노름이 0에 가까운데 손실이 최저가 아님 → 더 학습 · 잡음 유지(Goodfellow 2016 8.2.3절)
5배치를 키운 뒤 덜 내려감 · 검증 성능 저하갱신 수 감소 · 날카로운 극소배치배치 크기별 손실학습률 비례 · 워밍업(Goyal 2017 · Keskar 2016)

PyTorch CosineAnnealingLR 은 TensorFlow CosineDecay 가 같은 일을 한다. 기울기 폭주 · 소실은 딥러닝이 다룬다.

8시험 대비

출제 정보 정보관리(119회) · 컴퓨터시스템응용(122회, 119회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 갱신식과 학습률의 뜻을 쓰는 정의 · 특징형과, 배치 · 확률적 · 미니배치 경사 하강을 견주는 비교형이 나올 수 있다. 정의형이면 θ ← θ − η∇L 과 그림 5 처럼 학습률의 상한 · 속도를 수치로 쓰고, 비교형이면 그림 4 처럼 같은 계산량에서 갱신 수 · 잡음 · 스케줄을 함께 보인다.

답안 목차
  1. 개요 — 정의(θ ← θ − η∇L · 1차 방법 · Cauchy 1847) · 역전파(기울기 계산)와 역할 구분
  2. 구성 요소 — 그림 3 갱신 고리(미니배치 · 기울기 · 학습률 · 스케줄 · 멈춤 판정) + 요소 표
  3. 학습률과 수렴 — 그림 5 η 0.1 · 0.5 · 1.0 · 1.15(179 · 35 · 19번 · 발산) · η < 2/λ_max · 조건수 9.29
  4. 배치 · 확률적 · 미니배치 — 그림 4 같은 10 에포크 초과 손실(2.8 × 10⁻² · 6.6 × 10⁻⁴ · 1.4 × 10⁻⁶) + 비교 표
  5. 비볼록과 안장점 — 그림 6 평지 약 30 ~ 125번 · 잡음 탈출 80번 · 고차원 안장점(Dauphin 2014)
  6. 실무 적용 — 감소 스케줄 조건(Σηₜ = ∞ · Σηₜ² < ∞) · 코사인 스케줄 · 큰 배치의 학습률 비례 · 워밍업 · 변형은 옵티마이저

꼭 쓸 키워드
학습률기울기배치 경사 하강확률적 경사 하강(SGD)미니배치에포크조건수안장점학습률 스케줄볼록 함수

다른 답안과 차이를 내는 한 가지는 학습률을 «적당히 작게»가 아니라 곡률로 쓰는 것이다 — 안정 한계 2/λ_max 와 발산하는 η 를 수치로 함께 보인다.

9오해와 사실

  • 오해경사 하강법은 끝까지 돌리면 언제나 가장 낮은 손실에 닿는다.
    사실최솟값 보장은 볼록 함수에서만 서고(Boyd 2004 9.3.1절), 비볼록 사례에서 안장점 위 (0, 2) 에서 출발한 정확한 경사 하강은 2,000번 뒤에도 f = 0.25 에 멈춰 있었다.
  • 오해학습률은 작을수록 안전하고 결과도 좋다.
    사실사례에서 η 0.1 은 179번, η 1.0 은 19번 걸렸으며, 초기 학습률이 너무 작으면 높은 손실에 갇힐 수 있다(Goodfellow 2016 8.3.1절).
  • 오해확률적 경사 하강은 틀린 기울기를 쓰므로 배치 경사 하강보다 늘 느리다.
    사실미니배치 기울기는 평균이 전체 기울기와 같은 추정이고(Bottou 2018 식 3.12), 같은 1 에포크에서 표본 1개씩 4,096번 갱신한 쪽은 3.3 × 10⁻⁴, 한 번 갱신한 배치는 1.15 였다.

10핵심 정리

구분맡는 일식 · 규칙사례 값깨지면
갱신식기울기 반대로 이동θ ← θ − η∇L시작 2.366 → 최소 0.1229방향 부호 실수
학습률 η한 걸음 크기0 < η < 2/λ_max한계 1.093 · 최적 고정 0.9871.15 발산
조건수 κ수렴 속도λ_max/λ_min · 한 번에 (κ − 1)/(κ + 1)9.29 · 0.806느린 단조 감소
배치 GD전체 표본 기울기에포크당 1번10번 · 2.8 × 10⁻²큰 데이터에서 느림
SGD · 미니배치일부 표본 기울기에포크당 n/B 번 · B 32 ~ 2561,280번 · 6.6 × 10⁻⁴잡음 바닥
스케줄학습률 줄이기Σηₜ = ∞ · Σηₜ² < ∞ · 코사인1.4 × 10⁻⁶바닥에서 출렁임
안장점비볼록의 함정헤시안 고윳값 부호 섞임평지 약 30 ~ 125번 · 잡음 80번멈춘 것처럼 보임

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8 Optimization for Training Deep Models — 미니배치 크기 · SGD 학습률 조건 · 선형 감소 스케줄 · 안장점(8.1.3 · 8.2.3 · 8.3.1절)을 볼 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/optimization.html · 확인 2026-11-12
  3. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 4 Numerical Computation — 기울기 · 임계점 · 헤시안 · 조건수로 경사 하강을 처음 정의할 때(4.2 · 4.3절)
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/numerical.html · 확인 2026-11-12
  4. ★ Optimization Methods for Large-Scale Machine Learning (arXiv 1606.04838v3) — 확률적 경사 하강의 고정 · 감소 학습률 수렴 정리와 미니배치를 볼 때
    arXiv · 2018-02 · arxiv.org/abs/1606.04838 · 확인 2026-11-12
  5. ★ Convex Optimization (Stephen Boyd · Lieven Vandenberghe) 9.3 Gradient descent method — 강볼록 함수에서 수렴 속도와 조건수의 관계(9.3.1절)를 식으로 따라갈 때
    Cambridge University Press · 2004-03 · web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf · 확인 2026-11-12
  6. 본문 근거
  7. Identifying and attacking the saddle point problem in high-dimensional non-convex optimization — arXiv · 2014-06 · arxiv.org/abs/1406.2572 · 확인 2026-11-12
  8. A Stochastic Approximation Method (Annals of Mathematical Statistics 22(3) 400-407) — Institute of Mathematical Statistics · 1951-09 · doi.org/10.1214/aoms/1177729586 · 확인 2026-11-12
  9. Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — arXiv · 2017-06 · arxiv.org/abs/1706.02677 · 확인 2026-11-12
  10. On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima (ICLR 2017) — arXiv · 2016-09 · arxiv.org/abs/1609.04836 · 확인 2026-11-12
  11. SGDR: Stochastic Gradient Descent with Warm Restarts (ICLR 2017) — arXiv · 2016-08 · arxiv.org/abs/1608.03983 · 확인 2026-11-12
  12. PyTorch 2.15 documentation - torch.optim.SGD — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.optim.SGD.html · 확인 2026-11-12
  13. PyTorch 2.15 documentation - torch.optim.lr_scheduler.CosineAnnealingLR — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.optim.lr_scheduler.CosineAnnealingLR.html · 확인 2026-11-12