하이퍼파라미터 튜닝Hyperparameter Tuning
학습으로 정해지지 않는 모델 설정값(하이퍼파라미터)을 여러 후보로 학습 · 검증해 보고 검증 성능이 가장 좋은 값을 고르는 절차다. 고른 값의 성능은 고르는 데 쓰지 않은 데이터로 따로 잰다.
1요약
- 하이퍼파라미터 튜닝은 모델 평가 단계에서 학습 전에 정하는 설정(RBF 폭 γ · 규제 λ · 학습률)을 검증 점수로 고르는 절차로, 탐색 공간 · 탐색 규칙 · 평가 설계 세 부분 위에서 격자 · 무작위 · Successive Halving · Hyperband · 베이지안 최적화가 돈다(Feurer · Hutter 2019 1.2절).
- 설정을 잘못 두면 같은 모델이 쓸모없어진다 — 본문 사례(UCI Ionosphere)에서 γ 를 1 이상으로 두면 교차 검증 정확도가 0.654 ~ 0.737 로, γ 0.01 의 0.918 보다 18%p 넘게 낮다.
- 「튜닝했는데 테스트 점수가 그대로다」는 후보 사이 점수 차가 검증 표본 몇 개 몫인가로 가른다 — 그 안이면 선택 편향 · 잡음이고, 그보다 크면 탐색 공간이나 데이터 누수를 본다.
2등장 배경
SVM 이 널리 쓰이던 2000년대 초, RBF 커널의 C · γ 를 어떻게 정할지 모르는 초보자는 만족스럽지 못한 결과를 얻기 쉬웠다(LIBSVM 안내서 초록). 2003년 Hsu · Chang · Lin 은 C = 2⁻⁵ ~ 2¹⁵ · γ = 2⁻¹⁵ ~ 2³ 을 지수 간격으로 늘어놓고 교차 검증으로 고르는 격자 탐색을 표준 절차로 권했다(LIBSVM 안내서 3.2절).
2010년 Cawley · Talbot 는 튜닝에 쓴 교차 검증 점수가 낙관적으로 치우치며 그 크기가 알고리즘 사이 성능 차와 맞먹는다고 보였다(Cawley · Talbot 2010 초록). 2012년 Bergstra · Bengio 는 성능을 좌우하는 하이퍼파라미터가 몇 개뿐이라 같은 시행 수에서 무작위 탐색이 격자보다 낫다고 보였고(Bergstra · Bengio 2012 초록), Karnin 외(2013)의 Successive Halving 을 Jamieson · Talwalkar(2015)가 튜닝에 옮긴 뒤 Li 외(2018)가 Hyperband 로 묶었다.
지금 scikit-learn 1.9.1 은 GridSearchCV · RandomizedSearchCV · HalvingGridSearchCV(실험 기능)를 제공한다(scikit-learn 튜닝 안내 3.2절). 대리 모델로 다음 후보를 고르는 방법은 베이지안 최적화가, 실행 기록은 실험 관리가 맡는다.
3쉽게 이해하기 — 오븐 다이얼을 맞추는 제빵사
제빵사 수아는 새 식빵을 내기 전에 오븐 온도와 굽는 시간 다이얼을 정해야 한다. 반죽이 부푸는 것은 반죽이 알아서 하지만, 다이얼은 굽기 전에 수아가 정한다. 오븐을 쓸 시간이 모자라서 수아는 작은 반죽 27개를 짧게 구워 직원들에게 맛을 보이고, 나은 9개만 더 크게, 그중 3개만 제 크기로 굽는다. 대회 심사는 봉인해 두었다가 마지막 한 덩이로 한 번만 받는다.
그림 1 · 수아는 다이얼을 먼저 정하고, 작은 반죽을 직원 평가로 걸러 남은 것만 크게 구우며, 봉인된 대회 심사는 마지막에 한 번만 받는다.
그림 2 · 대회 심사표 25장을 다 보고 가장 높은 다이얼을 고르면 그 점수는 부풀려진다 — 이 사례의 테스트 세트에서는 3개를 더 맞힌 것처럼 보였다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 오븐 다이얼 | 하이퍼파라미터 | 학습 전에 정하는 γ · λ — 학습이 바꾸지 않는다 |
| 반죽이 부푸는 것 | 모델 파라미터 | 학습이 데이터에서 정하는 계수 α |
| 눈금 목록 | 탐색 공간 | γ · λ 각각 10⁻³ ~ 10¹ 로그 범위 |
| 직원 맛 평가 | 검증 세트 · 교차 검증 | 개발 데이터 안에서 점수를 매긴다 |
| 나은 1/3 만 크게 | Successive Halving | 작은 자원으로 평가하고 상위 1/3 에만 자원을 3배 준다 |
| 오븐 쓸 시간 | 자원 예산 | 설정 수 × 학습 표본 수의 합 |
| 봉인된 대회 심사 | 테스트 세트 | 고른 뒤 한 번만 잰다 |
| 심사표 엿보기 | 테스트 누수 | 테스트 점수로 고르면 그 점수가 낙관적이 된다 |
⚠ 비유가 맞지 않는 곳: 빵은 크기를 키워도 맛 순위가 거의 그대로지만, 모델은 학습 표본을 늘리면 설정 사이 순위가 뒤바뀔 수 있다(이 사례에서 제 크기 최고 점수를 낸 설정 4개 중 3개가 첫 단계에서 탈락했다). 다이얼은 둘이지만 실제 탐색 공간은 수십 차원일 수 있다.
4구조 — 탐색 공간 · 탐색 규칙 · 평가 설계
튜닝 문제는 «검증 손실의 기댓값을 가장 작게 하는 설정 λ*»를 찾는 것이며, 기댓값은 유한한 데이터의 홀드아웃 · 교차 검증으로 근사한다(Feurer · Hutter 2019 식 1.1). 탐색 규칙이 후보를 내고 평가 설계가 점수를 매기며, 최종 성능은 그 고리 밖의 데이터로 한 번만 잰다.
그림 3 · 탐색 규칙이 낸 후보는 개발 데이터의 안쪽 교차 검증으로만 점수를 받고, 봉인한 테스트는 고른 설정 하나를 한 번만 잰다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 하이퍼파라미터 | 추정기가 직접 학습하지 않는 설정 · 생성자 인자 | RBF 폭 γ · 규제 λ | scikit-learn 튜닝 안내 3.2절 |
| 탐색 공간 | 하이퍼파라미터마다 범위 · 눈금(실수 · 정수 · 범주 · 조건부) | 10⁻³ ~ 10¹ 로그 균등 | Feurer · Hutter 2019 1.2절 |
| 탐색 규칙 | 다음 후보를 내는 방법 | 격자 25 · 무작위 25 · SH 27 | 비교 절 |
| 자원 배분 | 후보마다 쓸 표본 수 · 반복 수를 정함 | η = 3 · 표본 18 → 54 → 162 | Li 외 2018 알고리즘 1 |
| 안쪽 평가 | 개발 데이터 안의 K겹 교차 검증 점수 | 개발 243개 · 5겹 | Cawley · Talbot 2010 5.1절 |
| 바깥 평가 | 고르는 데 쓰지 않은 데이터의 점수 · 테스트 또는 중첩 교차 검증 | 테스트 108개 | scikit-learn 튜닝 안내 3.2.4.4절 |
🔑 하이퍼파라미터를 고른 데이터는 그 하이퍼파라미터의 성능을 잴 수 없다 — 고르는 순간 그 점수는 후보 중 «운 좋게 높은» 쪽으로 치우친다.
5동작 — Ionosphere 레이더 신호 분류기 튜닝
직접 실행(Python · NumPy · 난수 default_rng(0) 하나)이다. 모델은 RBF 커널 리지 분류기(레이블 ±1 · α = (K + λI)⁻¹y · Cawley · Talbot 2010 2절)를 직접 구현했고, 표준화는 학습에 쓰는 겹 안에서만 맞춘다.
- UCI Ionosphere 351개(good 225 · bad 126 · 특징 34개)를 클래스 비율대로 나눠 테스트 108개를 봉인하고 개발 243개만 쓴다. 튜닝 없이 γ = 1/34 · λ = 1 로 두면 개발 데이터 5겹 교차 검증 정확도는 0.914 다.
- 탐색 공간을 γ · λ 각각 10⁻³ ~ 10¹ 로그 범위로 정하고, 모든 후보를 같은 5겹으로 평가한다.
- 격자 5 × 5 = 25회는 γ 0.01 · λ 0.1 에서 0.918 이 가장 높다. γ 1 · 10 두 줄의 10회는 모두 0.654 ~ 0.737 이고, γ 값은 5가지만 시험된다.
- 같은 범위의 로그 균등 무작위 25회는 γ 값 25가지를 시험해 γ 0.014 · λ 0.0083 에서 0.922 를 얻는다.
- Successive Halving(η = 3)은 개발 데이터를 학습 후보 162개 · 검증 81개로 나누고, 무작위 설정 27개를 학습 표본 18개 → 54개 → 162개로 늘려 가며 단계마다 상위 1/3 만 남긴다. 비용(설정 수 × 표본 수)은 1,458 로, 27개를 모두 162개로 평가하는 4,374 의 1/3 이며 고른 설정의 검증 정확도 0.938 은 27개 중 최고값과 같다. Hyperband 는 같은 R = 162 · η = 3 에서 묶음 셋(9개 · 5개 · 3개)을 돌려 1,404 를 썼다.
- 고른 설정을 테스트 108개로 한 번 재면 격자 0.880 · 무작위 0.861 · Successive Halving 0.861 · Hyperband 0.880 · 튜닝 없음 0.870 이다 — 가장 큰 차가 2개(1개 = 0.93%p)라 이 테스트로는 다섯을 가를 수 없다.
- 같은 데이터 351개를 10번 다르게 섞어, 격자 최고 교차 검증 점수와 바깥 5겹 · 안쪽 5겹 중첩 교차 검증 점수를 견준다. 앞의 것이 10번 중 8번 높고 차이 중앙값은 0.57%p(범위 −0.29 ~ +1.99%p)다.
그림 4 · 같은 25회에서 격자는 γ 를 5가지만 시험하고 그중 두 줄 10회를 나쁜 영역에 썼으며, 무작위 탐색은 γ 를 25가지 시험해 0.90 이상인 점을 6개(격자 4개) 얻었다.
그림 5 · Successive Halving 은 단계마다 같은 비용 486 을 쓰며 후보를 27 → 9 → 3 → 1 로 줄여, 전부를 끝까지 평가하는 비용의 1/3 로 같은 검증 최고값을 찾았다.
그림 6 · 고를 때 쓴 교차 검증 최고 점수는 10번 중 8번 중첩 교차 검증보다 높다 — 이 차이가 선택 편향이고, 보고할 점수는 중첩 쪽이다.
🔑 Successive Halving 은 «한 학습을 일찍 멈추는» 조기 종료가 아니라 «여러 설정 사이에 자원을 나누는» 규칙이다 — 작은 자원의 순위를 믿는 만큼 비용이 준다.
6비교 — 탐색 규칙 다섯
| 기준 | 격자 탐색 | 무작위 탐색 | Successive Halving | Hyperband | 베이지안 최적화 |
|---|---|---|---|---|---|
| 다음 후보 | 미리 정한 눈금의 곱 | 분포에서 독립 표집 | 무작위 후보 + 단계별 탈락 | SH 를 n · r 이 다른 묶음으로 여러 번 | 대리 모델 · 획득 함수 |
| 병렬 실행 | 후보끼리 독립(LIBSVM 안내서 3.2절) | 후보끼리 독립 | 단계 안에서만 | 묶음 · 단계 안에서 | 대체로 순차 |
| 하이퍼파라미터 N개 · 시행 B회 | 축마다 B^(1/N) 가지 값(Feurer · Hutter 2019 1.3.1절) | 축마다 B 가지 값 | 무작위와 같음 | 무작위와 같음 | 표준 커널 가우시안 과정은 고차원에 약함(같은 장 1.3.2절) |
| 정할 값 | 눈금 | 시행 수 · 분포 | n · η · 최소 자원 | R · η | 커널 · 획득 함수 |
| 이 사례 | 25회 × 5겹 · 0.918 | 25회 × 5겹 · 0.922 | 27개 · 비용 1,458 · 검증 0.938 | 17개 · 비용 1,404 · 검증 0.938 | 베이지안 최적화 |
격자 · 무작위는 5겹 교차 검증 점수이고 Successive Halving · Hyperband 는 검증 81개 한 벌의 점수라, 이 표의 점수끼리 크기를 견주지 않는다.
분석하이퍼파라미터가 셋 이하이고 한 번 학습이 싸면 격자, 넷 이상이면 무작위를 기준선으로 두고, 학습이 비싸며 작은 자원의 순위가 큰 자원 순위를 따라가면 Successive Halving · Hyperband 를 쓴다. 근거는 격자의 후보 수가 곱으로 늘고(Bergstra · Bengio 2012 그림 1) SH 의 이득이 작은 자원 순위의 정확도에 달렸다는 점이다(Li 외 2018 3.1절).
7실무 진단 — 튜닝 결과를 믿을 수 없을 때
분석먼저 평가 설계(테스트를 고르는 데 썼는지 · 후보 사이 점수 차가 검증 표본 몇 개 몫인지)를 보고, 그다음 탐색 공간, 마지막에 탐색 규칙을 본다. 평가 설계가 틀리면 어떤 탐색 규칙의 결과도 낙관적이기 때문이다(Cawley · Talbot 2010 5절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 튜닝 뒤 검증 점수만 오르고 테스트 · 운영 점수는 그대로 | 선택 편향 · 검증 세트가 작음 | 평가 설계 | 중첩 교차 검증 점수 · 상위 후보 점수 차 | 차가 검증 1 ~ 2개 몫(81개면 1.2 ~ 2.5%p) 안이면 순위를 믿지 않는다 — 선택 기준의 분산이 선택 과적합을 부른다(Cawley · Talbot 2010 4.1절) |
| 2 | 테스트 점수가 후보마다 기록되어 있음 | 테스트로 후보를 고름(누수) | 평가 설계 | 실험 기록의 테스트 조회 횟수 | 개발 세트로만 고르고 평가 세트는 고른 설정 하나에 쓴다(scikit-learn 튜닝 안내 3.2.4.4절) |
| 3 | 최고 설정이 탐색 범위의 끝에 붙음 | 범위가 좁음 | 탐색 공간 | cv_results_ 의 최고 후보 좌표 | 끝이면 범위를 넓히고, 좋은 구간을 찾으면 성긴 격자 → 좁은 격자로(LIBSVM 안내서 3.2절) |
| 4 | Successive Halving 결과가 실행마다 크게 바뀜 | 작은 자원에서 순위가 뒤집힘 | 자원 배분 | 단계별 순위 대조 | 이 사례처럼 제 크기 최고 설정 4개 중 1개만 첫 단계를 넘었으면 최소 자원을 키우거나 Hyperband 로(Li 외 2018 3.1절) |
순서는 1행 → 2행 → 3행 → 4행이다. 1 · 2행에서 평가가 바로 서야 3행의 범위 판단과 4행의 자원 판단이 의미를 갖는다.
8시험 대비
시험에서는 격자 · 무작위 · Successive Halving · Hyperband · 베이지안 최적화를 견주는 비교형과, 튜닝과 성능 평가를 함께 설계하는 구현 · 설계형(중첩 교차 검증 · 테스트 봉인)이 나올 수 있다. 「여러 값을 시도해 가장 좋은 것을 고른다」에서 끝내지 않고, 고른 점수가 왜 낙관적인지와 그 대책을 그림으로 보이면 답안이 갈린다.
- 개요 — 정의(학습 전 설정 · 검증 점수로 선택) · 파라미터와의 구분 · 식 λ* = argmin 검증 손실
- 구성 — 그림 3 탐색 공간 · 탐색 규칙 · 자원 배분 · 안쪽 · 바깥 평가와 데이터 분할
- 탐색 규칙 비교 — 격자 · 무작위 · SH · Hyperband · 베이지안 최적화 비교표 + 그림 4 격자 · 무작위 점 배치
- 다중 충실도 — 그림 5 Successive Halving 27 → 9 → 3 → 1 · 비용 1/3 · Hyperband 묶음
- 검증 설계 — 그림 6 선택 편향(10번 중 8번 · 중앙값 0.57%p) · 중첩 교차 검증 · 테스트 봉인
- 실무 적용 — 진단 순서(평가 설계 → 탐색 공간 → 자원) · 실험 관리로 기록
꼭 쓸 키워드
하이퍼파라미터탐색 공간격자 탐색무작위 탐색Successive HalvingHyperband다중 충실도중첩 교차 검증선택 편향테스트 누수
다른 답안과 차이를 내는 한 가지는 그림 6 이다 — 같은 데이터에서 «고를 때 쓴 점수»와 «중첩 점수»를 나란히 두어 선택 편향을 실제 값으로 보인다.
9오해와 사실
- 오해격자를 쓰면 무작위 탐색보다 빈틈없이 찾는다.사실같은 25회에서 격자는 γ 를 5가지, 무작위는 25가지 시험했다 — 성능을 좌우하는 하이퍼파라미터가 몇 개뿐이면 무작위가 그 축을 더 촘촘히 덮는다(Bergstra · Bengio 2012 그림 1).
- 오해튜닝에 쓴 교차 검증 최고 점수가 그 모델의 성능이다.사실이 사례에서 그 점수는 10번 중 8번 중첩 교차 검증보다 높았고, 보고할 값은 고르는 데 쓰지 않은 바깥 겹의 점수다(Cawley · Talbot 2010 5.1절).
- 오해Successive Halving 은 언제나 끝까지 평가한 것과 같은 설정을 찾는다.사실작은 자원 단계에서 좋은 설정이 떨어질 수 있다 — 이 사례에서 표본 162개 최고 점수 0.938 을 낸 설정 4개 중 3개가 표본 18개 단계에서 탈락했고, 이 위험 때문에 Hyperband 가 묶음 여럿을 돌린다(Li 외 2018 3.1절).
10핵심 정리
| 구분 | 정하는 것 | 평가 · 비용 단위 | 사례 값 | 주의 |
|---|---|---|---|---|
| 하이퍼파라미터 | 학습 전 설정 | — | γ · λ | 파라미터(α)와 다름 |
| 탐색 공간 | 범위 · 눈금 | — | 10⁻³ ~ 10¹ 로그 | 끝에 붙으면 넓힘 |
| 격자 탐색 | 눈금의 곱 | 후보마다 5겹 | 25회 · γ 5가지 · 0.918 | 차원이 늘면 곱으로 |
| 무작위 탐색 | 시행 수 · 분포 | 후보마다 5겹 | 25회 · γ 25가지 · 0.922 | 기준선으로 둠 |
| Successive Halving | n · η · 최소 자원 | 설정 수 × 표본 수 | 27 → 9 → 3 → 1 · 1,458 | 작은 자원 순위 오류 |
| Hyperband | R · η | SH 묶음 여럿 | 묶음 3 · 1,404 | 묶음 수 = ⌊log_η R⌋ + 1 |
| 중첩 교차 검증 | 바깥 · 안쪽 겹 수 | 바깥 겹 점수 평균 | 차이 중앙값 0.57%p | 비용 = 바깥 겹 수배 |
| 테스트 세트 | 봉인 비율 | 고른 설정 1회 | 108개 · 1개 = 0.93%p | 고르는 데 쓰지 않음 |
11참고 문헌
- 먼저 볼 문헌
- ★ Hyperparameter Optimization (Feurer · Hutter · Automated Machine Learning: Methods, Systems, Challenges 1장) — 튜닝 문제의 식 (1.1) · 모델 없는 탐색 · 다중 충실도(1.4절)를 한 번에 훑을 때
- ★ Random Search for Hyper-Parameter Optimization (Journal of Machine Learning Research 13 281-305) — 같은 시행 수에서 무작위 탐색이 격자보다 나은 이유(그림 1)를 볼 때
- ★ Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization (Journal of Machine Learning Research 18(185) 1-52) — Successive Halving 의 n 대 B/n 문제(3.1절)와 Hyperband 알고리즘 1 을 따라 해 볼 때
- ★ On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation (Journal of Machine Learning Research 11 2079-2107) — 튜닝에 쓴 점수가 낙관적인 이유와 중첩 평가(5.1절)를 볼 때
- ★ scikit-learn 1.9.1 User Guide 3.2 Tuning the hyper-parameters of an estimator — GridSearchCV · RandomizedSearchCV · HalvingGridSearchCV 를 쓸 때
- 본문 근거
- Non-stochastic Best Arm Identification and Hyperparameter Optimization (arXiv 1502.07943) — arXiv · 2015-02 ·
arxiv.org/abs/1502.07943· 확인 2026-11-12 - Almost Optimal Exploration in Multi-Armed Bandits (ICML 2013 · PMLR 28(3) 1238-1246) — PMLR · 2013 ·
proceedings.mlr.press/v28/karnin13.html· 확인 2026-11-12 - A Practical Guide to Support Vector Classification (Hsu · Chang · Lin · 2003 초판 · 2025-09 갱신) — National Taiwan University · 2025-09 ·
www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf· 확인 2026-11-12 - Ionosphere [Dataset] (Sigillito · Wing · Hutton · Baker · UCI Machine Learning Repository · CC BY 4.0) — UCI Machine Learning Repository · 1988-12 ·
doi.org/10.24432/C5W01B· 확인 2026-11-12 - NumPy 2.4 Reference — Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-12