경사 하강법Gradient Descent
손실 함수의 기울기를 구해 그 반대 방향으로 학습률만큼 파라미터를 옮기는 일을 되풀이하여 손실을 줄이는 반복 최적화 방법이다. 기울기를 전체 데이터로 구하면 배치, 표본 하나나 일부로 구하면 확률적 · 미니배치 경사 하강법이라 한다.
1요약
- 경사 하강법은 손실 L(θ) 의 기울기 반대 방향으로 θ ← θ − η∇L 을 되풀이하는 1차 최적화 방법이고(Goodfellow 2016 4.3절), 역전파가 구한 기울기를 받아 선형 회귀부터 LLM 까지 거의 모든 신경망의 파라미터를 실제로 고치는 단계다.
- 파라미터가 많은 모델은 손실을 0으로 만드는 식을 바로 풀 수 없어 반복으로 내려가야 하는데, 사례 회귀(표본 4,096개)에서 같은 10 에포크 계산량으로 배치 경사 하강은 초과 손실 2.8 × 10⁻² 에 머물렀고 미니배치 32 + 코사인 스케줄은 1.4 × 10⁻⁶ 까지 내려갔다.
- 「손실이 안 줄어든다」는 손실 곡선의 모양으로 가른다 — 처음부터 커지면 학습률이 안정 한계 2/λ_max 를 넘은 것, 한 수준에서 오르내리면 고정 학습률의 잡음 바닥, 긴 평지 뒤 갑자기 떨어지면 안장점 근처를 지난 것이다.
2등장 배경
손실을 가장 작게 하는 파라미터를 식 하나로 풀 수 있는 것은 선형 최소 제곱 같은 일부 문제뿐이다. 신경망은 닫힌 해가 없고, 파라미터 수백만 개의 헤시안을 쓰는 2차 방법은 메모리가 맞지 않는다.
1847년 Cauchy 가 연립 방정식을 푸는 일반 방법으로 함수가 가장 빨리 줄어드는 방향(기울기의 반대)으로 조금씩 움직이는 방법을 내놓았고(Goodfellow 2016 4.3절), 1951년 Robbins · Monro 는 잡음이 섞인 관측만으로 해를 찾는 확률적 근사법을 발표해 확률적 경사 하강의 출발점이 됐다(Robbins 1951 · Bottou 2018 Inset 3.1). 1986년 역전파가 여러 계층의 기울기를 한 번에 구하게 되면서 둘이 신경망 학습의 짝이 됐다.
지금도 대규모 머신러닝의 중심 전략은 확률적 경사 하강이고(Bottou 2018 1절), 2017년 Goyal 외는 미니배치 8,192장 · GPU 256개로 ResNet-50 을 약 1시간에 학습했다(Goyal 2017 초록).
3쉽게 이해하기 — 안개 낀 산을 내려가는 등산객
짙은 안개가 낀 산에서 등산객이 산 아래 마을로 내려가야 한다. 멀리는 보이지 않으니 지팡이로 발밑을 짚어 가장 가파르게 내려가는 쪽을 찾고, 그쪽으로 한 걸음 옮긴 뒤 다시 짚는다. 산 전체를 아는 안내원 대신 근처 길잡이 몇 명에게만 물어 방향을 잡아 빨리 움직이고, 가운데 평평한 고개에서는 어느 쪽도 기울지 않아 한참 머문다. 마을이 가까워지면 지나치지 않도록 보폭을 줄인다.
그림 1 · 등산객은 지형 전체를 모른 채 발밑 경사와 보폭만으로 내려가며, 평평한 고개에서 멈칫하고 마을 가까이에서 보폭을 줄인다.
그림 2 · 보폭이 골짜기 폭에 비해 작으면 한쪽에서 다가가고, 조금 크면 양쪽을 번갈아 밟으며 줄어들고, 너무 크면 양쪽을 번갈아 밟으며 골짜기 밖으로 튕겨 나간다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 등산객의 위치 | 파라미터 θ | 모델의 가중치 · 편향 묶음 · 갱신 대상 |
| 산 아래 마을 | 손실의 최솟값 | 손실 L 이 가장 작은 θ* |
| 지팡이로 짚은 발밑 경사 | 기울기 ∇L | 지금 θ 에서 손실이 가장 빨리 커지는 방향과 크기 |
| 보폭 | 학습률 η | 기울기에 곱하는 한 번 이동의 크기 |
| 길잡이 몇 명 | 미니배치 | 전체 표본 대신 B 개로 기울기를 어림 |
| 평평한 고개 | 안장점 · 평지 | 기울기가 0에 가깝지만 최솟값이 아닌 곳 |
| 마을 앞 보폭 줄이기 | 학습률 스케줄 | 반복이 진행될수록 η 를 줄여 잡음을 가라앉힘 |
| 발밑이 평평하면 멈춤 | 멈춤 판정 | 기울기 노름 · 에포크 수 · 검증 손실로 끝냄 |
⚠ 비유가 맞지 않는 곳: 실제 손실 지형은 2차원 산이 아니라 파라미터 수만큼의 차원이라 «고개»가 드문 것이 아니라 흔하고, 등산객은 내리막 «방향»만 쓰지만 경사 하강은 경사의 «크기»도 그대로 보폭에 곱하므로 가파른 곳에서는 저절로 크게 움직인다.
4구조 — 갱신 한 번을 이루는 요소
경사 하강법 한 번은 «표본을 고르고 → 기울기를 받아 → 학습률을 곱해 빼는» 고리다. 기울기를 «구하는» 계산 그래프 · 연쇄 법칙은 역전파가 맡고, 경사 하강법은 받은 기울기를 «쓰는» 규칙(어느 표본으로 · 얼마나 · 언제까지)을 맡는다.
그림 3 · 갱신 고리의 입력은 미니배치와 기울기, 손잡이는 학습률 · 스케줄 · 멈춤 판정 셋이며, 기울기 계산 자체는 역전파가 맡는다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 파라미터 θ | 모델 크기 d | 고칠 대상 | 사례 d = 3(w1 · w2 · 절편) · 시작 0 |
| 손실 L(θ) | 숫자 1 | 줄일 목표 | 사례 ½ × 평균 제곱 오차 · 시작 2.366 → 최소 0.1229 |
| 기울기 g | d | 오르막 방향 · 크기 | 미니배치 기울기는 전체 기울기의 불편 추정(Bottou 2018 식 3.12) |
| 미니배치 B | 1 ~ n | 기울기를 낼 표본 | 흔히 2의 거듭제곱 32 ~ 256(Goodfellow 2016 8.1.3절) |
| 학습률 η | 실수 1 | 한 걸음 크기 | 이차 손실 안정 조건 η < 2/λ_max · PyTorch SGD 기본 lr = 0.001(PyTorch optim.SGD 문서) |
| 스케줄 η_t | 반복마다 | 걸음 줄이기 | Σηₜ = ∞ · Σηₜ² < ∞(Goodfellow 2016 식 8.12 · 8.13) · 선형 감소 끝값 ≈ η₀ 의 1% |
| 멈춤 판정 | — | 반복 끝내기 | ‖∇L‖₂ ≤ ε(Boyd 2004 9.3절) · 실무는 에포크 수 · 검증 손실 |
🔑 경사 하강법은 «어느 쪽으로»는 기울기에게, «얼마나»는 학습률에게 맡긴다 — 기울기가 정확해도 학습률이 손실의 곡률에 비해 크면 손실은 오히려 커진다.
5동작 — 같은 계산량에서 배치 · 확률적 · 미니배치 비교
직접 실행(합성 데이터 · 시드 0) — 상관 0.8 인 두 특징 x1 · x2 표본 4,096개에 y = 2x1 − 3x2 + 1 + 잡음(표준 편차 0.5)을 만들고, 손실 ½ × 평균 제곱 오차를 θ = 0 에서 출발해 줄인다. 모든 방법에 같은 계산량 10 에포크(표본 기울기 40,960번)를 준다.
- 비교 기준을 먼저 구한다 — 최소 제곱 해 (1.996, −2.996, 1.007) · 최소 손실 L* = 0.1229 · 시작 손실 2.366 이고, 헤시안 XᵀX/n 의 고윳값 1.83 · 1.00 · 0.197 에서 조건수 9.29 · 안정 한계 2/1.83 = 1.093 이 나온다.
- 배치 경사 하강(η 1.0)은 에포크마다 전체 표본으로 한 번만 갱신해 10번 갱신 뒤 초과 손실 L − L* = 2.8 × 10⁻² 이다 — 10⁻³ 안에 들려면 19번이 필요하다.
- 확률적 경사 하강(표본 1개 · η 0.01)은 에포크마다 4,096번 갱신해 첫 에포크 끝에 이미 3.3 × 10⁻⁴ 이다.
- 같은 η 로 10 에포크까지 돌려도 7.7 × 10⁻⁴ 로 더 내려가지 않고 오르내린다 — 고정 학습률은 최솟값이 아니라 그 둘레 잡음 바닥으로 간다(Bottou 2018 정리 4.6).
- 미니배치(B 32 · η 0.1)는 에포크마다 128번 · 모두 1,280번 갱신해 6.6 × 10⁻⁴ 에 닿는다.
- 같은 미니배치에 코사인 스케줄(η 0.1 → 0 · PyTorch CosineAnnealingLR 문서 식)을 붙이면 1.4 × 10⁻⁶ · 계수 (1.995, −2.996, 1.007) 로 최소 제곱 해와 소수 셋째 자리까지 맞는다.
- 시드 0 ~ 9 로 다시 돌리면 배치 1.6 × 10⁻² ~ 6.4 × 10⁻² · 미니배치 고정 1.1 × 10⁻⁴ ~ 1.1 × 10⁻³ · 미니배치 코사인 5.1 × 10⁻⁷ ~ 6.1 × 10⁻⁶ 이고, 세 방법의 순위는 10번 모두 같다.
그림 4 · 같은 10 에포크에서 갱신 횟수가 많은 확률적 · 미니배치 쪽이 먼저 내려가고, 고정 학습률이 남긴 잡음 바닥은 스케줄로 학습률을 줄여야 뚫린다(원 숫자 = 단계).
이차 손실에서 오차는 헤시안의 고유 방향마다 매번 |1 − ηλ| 배가 되므로, 가장 굽은 방향(λ_max = 1.83)이 학습률 상한을, 가장 평평한 방향(λ_min = 0.197)이 속도를 정한다. 같은 데이터에서 η 만 바꾸면 0.1 · 0.5 · 1.0 은 179 · 35 · 19번 만에 10⁻³ 안에 들고 1.15 는 발산하며, 가장 좋은 고정 학습률 0.987 에서도 한 번에 (κ − 1)/(κ + 1) = 0.806 배씩만 준다(원문 식 직접 계산 · Boyd 2004 9.3.1절).
그림 5 · 학습률이 2/λ_max 를 넘는 순간 줄던 손실이 커지기 시작하고, 그 아래에서는 클수록 빠르다 — 상한은 가장 가파른 방향이 정한다.
🔑 학습률의 상한은 가장 가파른 방향이, 수렴 속도는 가장 평평한 방향이 정한다 — 조건수 κ = λ_max/λ_min 이 클수록 학습률 하나로 두 방향을 함께 맞출 수 없다.
볼록 함수에서는 기울기가 0인 점이 곧 최솟값이고 위 수렴 보장이 그대로 선다(Boyd 2004 9.3.1절). 신경망 손실은 비볼록이며, 고차원에서는 기울기 0인 점 대부분이 극소가 아니라 헤시안 고윳값에 양수와 음수가 섞인 안장점이다(Goodfellow 2016 8.2.3절 · Dauphin 2014). 설명용 함수 f(x, y) = (x² − 1)²/4 + y²/2(최솟값 (±1, 0) · 안장점 (0, 0) 의 f = 0.25)를 η 0.1 로 내려가면, 시작 (10⁻⁶, 2) 는 x 가 매번 1.1배씩만 자라 약 30 ~ 125번을 f ≈ 0.25 평지에서 보내고 158번에 f < 10⁻³ 이 된다(어림 ln 10⁶ / ln 1.1 ≈ 145번). 시작 (0, 2) 는 2,000번 뒤에도 0.25 이고, 기울기에 표준 편차 0.01 잡음을 넣으면 80번(시드 0 ~ 9 = 68 ~ 114번)에 빠져나온다.
그림 6 · 안장점 근처에서 정확한 기울기는 0에 가까워 손실이 평지에 머물고, 확률적 기울기의 잡음이 오히려 음의 곡률 방향으로 밀어 평지를 빨리 벗어나게 한다.
🔑 비볼록 손실에서 기울기 0 은 «도착»이 아니라 «멈춤»일 뿐이다 — 안장점은 정확한 경사 하강을 세워 두고, 잡음이 섞인 확률적 기울기가 오히려 그곳을 빠져나오게 한다.
6비교 — 기울기를 내는 표본 수와 미분 차수
| 기준 | 배치 경사 하강 | 확률적 경사 하강(B = 1) | 미니배치 경사 하강 | 뉴턴법(2차) |
|---|---|---|---|---|
| 갱신 1회에 쓰는 것 | 표본 n 개 전부 · 기울기 | 표본 1개 · 기울기 | 표본 B 개 · 기울기 | 표본 n 개 · 기울기 + 헤시안 |
| 갱신 1회 비용 | n · d 에 비례 | d 에 비례 · n 과 무관(Goodfellow 2016 8.3.1절) | B · d 에 비례 · GPU 병렬 | 헤시안 d × d 저장 · 풀이 d³ |
| 고정 학습률의 끝 | 최솟값(η < 2/λ_max) | 잡음 바닥 · 감소 스케줄 필요(Bottou 2018 정리 4.6 · 4.7) | 잡음 바닥이 B 만큼 낮음 | 국소 2차 수렴 |
| 안장점 | 기울기 0 이면 멈춤 | 잡음이 밀어냄 | 잡음이 밀어냄(B 가 크면 약함) | 안장점으로 끌릴 수 있음(Dauphin 2014) |
| 주로 쓰는 곳 | 표본이 적은 볼록 문제 · 정확한 해가 필요할 때 | 온라인 학습 · 표본이 흘러 들어오는 경우 | 딥러닝 학습의 기본 | 파라미터가 적은 통계 모형 |
분석신경망은 미니배치 경사 하강을 기본으로 하고 B 는 GPU 메모리가 허락하는 32 ~ 256 에서 고른 뒤 학습률을 스케줄로 줄이며, 배치 경사 하강과 뉴턴법은 표본 · 파라미터가 적은 볼록 문제에만 쓴다. 근거는 표의 「갱신 1회 비용」 · 「고정 학습률의 끝」 행이다(Goodfellow 2016 8.1.3절).
모멘텀 · Adam 같은 변형은 옵티마이저가 다룬다.
7실무 진단 — 손실 곡선 모양으로 원인 가르기
분석처음 100번 안팎의 손실 곡선으로 학습률부터 보고, 다음에 에포크 단위 곡선으로 스케줄 · 배치를, 마지막에 기울기 노름으로 지형(평지 · 안장점)을 본다. 학습률이 너무 크면 곡선이 심하게 출렁이며 손실이 커지고 너무 작으면 높은 손실에 갇힐 수 있어(Goodfellow 2016 8.3.1절) 다른 진단보다 먼저 정해야 한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 첫 몇 번부터 손실이 커지거나 크게 출렁임 | 학습률 > 2/λ_max | 학습률 | 학습률을 3 ~ 10배씩 줄인 짧은 실행 비교 | 줄이면 단조 감소로 바뀜(사례 η 1.15 발산 · 1.0 은 19번 수렴) · 2/λ_max(Boyd 2004 9.3절) |
| 2 | 손실이 단조롭게 아주 천천히 줆 | 학습률이 작음 · 조건수가 큼 | 학습률 | η 를 키운 실행 · 헤시안 고윳값 비 | 키워도 안 빨라지고 발산하면 조건수 몫(사례 η 0.1 179번 ↔ 1.0 19번 · κ 9.29) |
| 3 | 한 수준에서 오르내리며 더 안 내려감 | 고정 학습률의 잡음 바닥 | 스케줄 | 에포크별 학습 손실 · CosineAnnealingLR · 선형 감소 | 스케줄을 붙이면 바닥이 내려감(사례 6.6 × 10⁻⁴ → 1.4 × 10⁻⁶ · Bottou 2018 정리 4.7) |
| 4 | 긴 평지 뒤 손실이 갑자기 떨어짐 | 안장점 · 평탄 구간 | 지형 | 반복별 기울기 노름 | 노름이 0에 가까운데 손실이 최저가 아님 → 더 학습 · 잡음 유지(Goodfellow 2016 8.2.3절) |
| 5 | 배치를 키운 뒤 덜 내려감 · 검증 성능 저하 | 갱신 수 감소 · 날카로운 극소 | 배치 | 배치 크기별 손실 | 학습률 비례 · 워밍업(Goyal 2017 · Keskar 2016) |
PyTorch CosineAnnealingLR 은 TensorFlow CosineDecay 가 같은 일을 한다. 기울기 폭주 · 소실은 딥러닝이 다룬다.
8시험 대비
www.q-net.or.kr시험에서는 갱신식과 학습률의 뜻을 쓰는 정의 · 특징형과, 배치 · 확률적 · 미니배치 경사 하강을 견주는 비교형이 나올 수 있다. 정의형이면 θ ← θ − η∇L 과 그림 5 처럼 학습률의 상한 · 속도를 수치로 쓰고, 비교형이면 그림 4 처럼 같은 계산량에서 갱신 수 · 잡음 · 스케줄을 함께 보인다.
- 개요 — 정의(θ ← θ − η∇L · 1차 방법 · Cauchy 1847) · 역전파(기울기 계산)와 역할 구분
- 구성 요소 — 그림 3 갱신 고리(미니배치 · 기울기 · 학습률 · 스케줄 · 멈춤 판정) + 요소 표
- 학습률과 수렴 — 그림 5 η 0.1 · 0.5 · 1.0 · 1.15(179 · 35 · 19번 · 발산) · η < 2/λ_max · 조건수 9.29
- 배치 · 확률적 · 미니배치 — 그림 4 같은 10 에포크 초과 손실(2.8 × 10⁻² · 6.6 × 10⁻⁴ · 1.4 × 10⁻⁶) + 비교 표
- 비볼록과 안장점 — 그림 6 평지 약 30 ~ 125번 · 잡음 탈출 80번 · 고차원 안장점(Dauphin 2014)
- 실무 적용 — 감소 스케줄 조건(Σηₜ = ∞ · Σηₜ² < ∞) · 코사인 스케줄 · 큰 배치의 학습률 비례 · 워밍업 · 변형은 옵티마이저
꼭 쓸 키워드
학습률기울기배치 경사 하강확률적 경사 하강(SGD)미니배치에포크조건수안장점학습률 스케줄볼록 함수
다른 답안과 차이를 내는 한 가지는 학습률을 «적당히 작게»가 아니라 곡률로 쓰는 것이다 — 안정 한계 2/λ_max 와 발산하는 η 를 수치로 함께 보인다.
9오해와 사실
- 오해경사 하강법은 끝까지 돌리면 언제나 가장 낮은 손실에 닿는다.사실최솟값 보장은 볼록 함수에서만 서고(Boyd 2004 9.3.1절), 비볼록 사례에서 안장점 위 (0, 2) 에서 출발한 정확한 경사 하강은 2,000번 뒤에도 f = 0.25 에 멈춰 있었다.
- 오해학습률은 작을수록 안전하고 결과도 좋다.사실사례에서 η 0.1 은 179번, η 1.0 은 19번 걸렸으며, 초기 학습률이 너무 작으면 높은 손실에 갇힐 수 있다(Goodfellow 2016 8.3.1절).
- 오해확률적 경사 하강은 틀린 기울기를 쓰므로 배치 경사 하강보다 늘 느리다.사실미니배치 기울기는 평균이 전체 기울기와 같은 추정이고(Bottou 2018 식 3.12), 같은 1 에포크에서 표본 1개씩 4,096번 갱신한 쪽은 3.3 × 10⁻⁴, 한 번 갱신한 배치는 1.15 였다.
10핵심 정리
| 구분 | 맡는 일 | 식 · 규칙 | 사례 값 | 깨지면 |
|---|---|---|---|---|
| 갱신식 | 기울기 반대로 이동 | θ ← θ − η∇L | 시작 2.366 → 최소 0.1229 | 방향 부호 실수 |
| 학습률 η | 한 걸음 크기 | 0 < η < 2/λ_max | 한계 1.093 · 최적 고정 0.987 | 1.15 발산 |
| 조건수 κ | 수렴 속도 | λ_max/λ_min · 한 번에 (κ − 1)/(κ + 1) | 9.29 · 0.806 | 느린 단조 감소 |
| 배치 GD | 전체 표본 기울기 | 에포크당 1번 | 10번 · 2.8 × 10⁻² | 큰 데이터에서 느림 |
| SGD · 미니배치 | 일부 표본 기울기 | 에포크당 n/B 번 · B 32 ~ 256 | 1,280번 · 6.6 × 10⁻⁴ | 잡음 바닥 |
| 스케줄 | 학습률 줄이기 | Σηₜ = ∞ · Σηₜ² < ∞ · 코사인 | 1.4 × 10⁻⁶ | 바닥에서 출렁임 |
| 안장점 | 비볼록의 함정 | 헤시안 고윳값 부호 섞임 | 평지 약 30 ~ 125번 · 잡음 80번 | 멈춘 것처럼 보임 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 8 Optimization for Training Deep Models — 미니배치 크기 · SGD 학습률 조건 · 선형 감소 스케줄 · 안장점(8.1.3 · 8.2.3 · 8.3.1절)을 볼 때
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 4 Numerical Computation — 기울기 · 임계점 · 헤시안 · 조건수로 경사 하강을 처음 정의할 때(4.2 · 4.3절)
- ★ Optimization Methods for Large-Scale Machine Learning (arXiv 1606.04838v3) — 확률적 경사 하강의 고정 · 감소 학습률 수렴 정리와 미니배치를 볼 때
- ★ Convex Optimization (Stephen Boyd · Lieven Vandenberghe) 9.3 Gradient descent method — 강볼록 함수에서 수렴 속도와 조건수의 관계(9.3.1절)를 식으로 따라갈 때
- 본문 근거
- Identifying and attacking the saddle point problem in high-dimensional non-convex optimization — arXiv · 2014-06 ·
arxiv.org/abs/1406.2572· 확인 2026-11-12 - A Stochastic Approximation Method (Annals of Mathematical Statistics 22(3) 400-407) — Institute of Mathematical Statistics · 1951-09 ·
doi.org/10.1214/aoms/1177729586· 확인 2026-11-12 - Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — arXiv · 2017-06 ·
arxiv.org/abs/1706.02677· 확인 2026-11-12 - On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima (ICLR 2017) — arXiv · 2016-09 ·
arxiv.org/abs/1609.04836· 확인 2026-11-12 - SGDR: Stochastic Gradient Descent with Warm Restarts (ICLR 2017) — arXiv · 2016-08 ·
arxiv.org/abs/1608.03983· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.optim.SGD — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.optim.SGD.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.optim.lr_scheduler.CosineAnnealingLR — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.optim.lr_scheduler.CosineAnnealingLR.html· 확인 2026-11-12