AI › 인공지능 개요 › 머신러닝 › 모델 평가

하이퍼파라미터 튜닝Hyperparameter Tuning

학습으로 정해지지 않는 모델 설정값(하이퍼파라미터)을 여러 후보로 학습 · 검증해 보고 검증 성능이 가장 좋은 값을 고르는 절차다. 고른 값의 성능은 고르는 데 쓰지 않은 데이터로 따로 잰다.

1요약

  1. 하이퍼파라미터 튜닝은 모델 평가 단계에서 학습 전에 정하는 설정(RBF 폭 γ · 규제 λ · 학습률)을 검증 점수로 고르는 절차로, 탐색 공간 · 탐색 규칙 · 평가 설계 세 부분 위에서 격자 · 무작위 · Successive Halving · Hyperband · 베이지안 최적화가 돈다(Feurer · Hutter 2019 1.2절).
  2. 설정을 잘못 두면 같은 모델이 쓸모없어진다 — 본문 사례(UCI Ionosphere)에서 γ 를 1 이상으로 두면 교차 검증 정확도가 0.654 ~ 0.737 로, γ 0.01 의 0.918 보다 18%p 넘게 낮다.
  3. 「튜닝했는데 테스트 점수가 그대로다」는 후보 사이 점수 차가 검증 표본 몇 개 몫인가로 가른다 — 그 안이면 선택 편향 · 잡음이고, 그보다 크면 탐색 공간이나 데이터 누수를 본다.

2등장 배경

SVM 이 널리 쓰이던 2000년대 초, RBF 커널의 C · γ 를 어떻게 정할지 모르는 초보자는 만족스럽지 못한 결과를 얻기 쉬웠다(LIBSVM 안내서 초록). 2003년 Hsu · Chang · Lin 은 C = 2⁻⁵ ~ 2¹⁵ · γ = 2⁻¹⁵ ~ 2³ 을 지수 간격으로 늘어놓고 교차 검증으로 고르는 격자 탐색을 표준 절차로 권했다(LIBSVM 안내서 3.2절).

2010년 Cawley · Talbot 는 튜닝에 쓴 교차 검증 점수가 낙관적으로 치우치며 그 크기가 알고리즘 사이 성능 차와 맞먹는다고 보였다(Cawley · Talbot 2010 초록). 2012년 Bergstra · Bengio 는 성능을 좌우하는 하이퍼파라미터가 몇 개뿐이라 같은 시행 수에서 무작위 탐색이 격자보다 낫다고 보였고(Bergstra · Bengio 2012 초록), Karnin 외(2013)의 Successive Halving 을 Jamieson · Talwalkar(2015)가 튜닝에 옮긴 뒤 Li 외(2018)가 Hyperband 로 묶었다.

지금 scikit-learn 1.9.1 은 GridSearchCV · RandomizedSearchCV · HalvingGridSearchCV(실험 기능)를 제공한다(scikit-learn 튜닝 안내 3.2절). 대리 모델로 다음 후보를 고르는 방법은 베이지안 최적화가, 실행 기록은 실험 관리가 맡는다.

3쉽게 이해하기 — 오븐 다이얼을 맞추는 제빵사

제빵사 수아는 새 식빵을 내기 전에 오븐 온도와 굽는 시간 다이얼을 정해야 한다. 반죽이 부푸는 것은 반죽이 알아서 하지만, 다이얼은 굽기 전에 수아가 정한다. 오븐을 쓸 시간이 모자라서 수아는 작은 반죽 27개를 짧게 구워 직원들에게 맛을 보이고, 나은 9개만 더 크게, 그중 3개만 제 크기로 굽는다. 대회 심사는 봉인해 두었다가 마지막 한 덩이로 한 번만 받는다.

제빵사 수아 굽기 전에 정함 튜닝하는 사람 오븐 다이얼 둘 온도 · 굽는 시간 하이퍼파라미터 γ · λ 오븐 쓸 시간 하루에 정해져 있음 자원 예산 작은 반죽 27개 짧게 굽기 설정 27개 · 작은 자원 직원 맛 평가 가게 안에서 점수 검증 · 교차 검증 나은 1/3 만 크게 27 → 9 → 3 Successive Halving 제 크기 한 덩이 가장 나은 다이얼 고른 설정 봉인된 대회 심사 마지막에 한 번만 테스트 세트 심사표 엿보기 금지 보고 고르면 부풀려짐 테스트 누수 1 2 3 4 5 예산 1 다이얼대로 굽기 · 2 맛 평가 · 3 걸러 내기 · 4 남은 것을 크게 구움 · 5 대회 심사 한 번 설정 데이터 · 반죽 고르는 규칙 평가 사람 · 예산 실패 · 누수

그림 1 · 수아는 다이얼을 먼저 정하고, 작은 반죽을 직원 평가로 걸러 남은 것만 크게 구우며, 봉인된 대회 심사는 마지막에 한 번만 받는다.

다이얼 고르기온도 · 시간 눈금을 정함
작은 반죽27개를 짧게 구움
직원 평가맛 점수를 매김
걸러 내기나은 1/3 만 더 크게
한 덩이제 크기에서 가장 나은 것
대회 심사봉인을 열고 한 번만
비유 — 수아가 고르는 법 실제 — 무작위 후보 25개 보고하는 점수 직원 평가로 고름 대회 심사는 봉인 마지막에 한 번 교차 검증 최고 1개 선택 γ 0.014 · λ 0.0083 테스트 108개로 1회 0.861 · 93개 맞힘 정직한 점수 심사표 25장 엿보기 가장 높은 다이얼을 고름 25개 모두 테스트로 잼 그중 최고 1개를 고름 테스트를 25번 씀 0.889 · 96개 맞힘 부풀린 점수 3개는 고른 덕 테스트 108개 · 1개 = 0.93%p · 같은 무작위 후보 25개에서 고르는 데이터만 다름

그림 2 · 대회 심사표 25장을 다 보고 가장 높은 다이얼을 고르면 그 점수는 부풀려진다 — 이 사례의 테스트 세트에서는 3개를 더 맞힌 것처럼 보였다.

비유 속 역할실제 이름실제로 하는 일
오븐 다이얼하이퍼파라미터학습 전에 정하는 γ · λ — 학습이 바꾸지 않는다
반죽이 부푸는 것모델 파라미터학습이 데이터에서 정하는 계수 α
눈금 목록탐색 공간γ · λ 각각 10⁻³ ~ 10¹ 로그 범위
직원 맛 평가검증 세트 · 교차 검증개발 데이터 안에서 점수를 매긴다
나은 1/3 만 크게Successive Halving작은 자원으로 평가하고 상위 1/3 에만 자원을 3배 준다
오븐 쓸 시간자원 예산설정 수 × 학습 표본 수의 합
봉인된 대회 심사테스트 세트고른 뒤 한 번만 잰다
심사표 엿보기테스트 누수테스트 점수로 고르면 그 점수가 낙관적이 된다

⚠ 비유가 맞지 않는 곳: 빵은 크기를 키워도 맛 순위가 거의 그대로지만, 모델은 학습 표본을 늘리면 설정 사이 순위가 뒤바뀔 수 있다(이 사례에서 제 크기 최고 점수를 낸 설정 4개 중 3개가 첫 단계에서 탈락했다). 다이얼은 둘이지만 실제 탐색 공간은 수십 차원일 수 있다.

4구조 — 탐색 공간 · 탐색 규칙 · 평가 설계

튜닝 문제는 «검증 손실의 기댓값을 가장 작게 하는 설정 λ*»를 찾는 것이며, 기댓값은 유한한 데이터의 홀드아웃 · 교차 검증으로 근사한다(Feurer · Hutter 2019 식 1.1). 탐색 규칙이 후보를 내고 평가 설계가 점수를 매기며, 최종 성능은 그 고리 밖의 데이터로 한 번만 잰다.

점수로 다음 후보를 고름(베이지안 최적화만) 탐색 공간 γ · λ 범위 · 눈금 10⁻³ ~ 10¹ 로그 탐색 규칙 격자 · 무작위 SH · Hyperband · BO 안쪽 평가 개발 데이터만 5겹 교차 검증 점수 고른 설정 점수 최고 1개 개발 전체로 재학습 자원 배분 후보마다 표본 · 반복 수 개발 데이터로만 한 번만 잰다 데이터 351개 학습 1 학습 2 학습 3 학습 4 검증 1겹 테스트 108개 · 봉인 개발 243개 — 5겹이 돌아가며 검증 1겹을 맡는다 중첩 교차 검증 = 테스트 자리를 바깥 5겹으로 돌려, 바깥 겹마다 안쪽 튜닝을 새로 한다 설정 표현 고르는 규칙 평가 · 검증 학습 데이터 점선 = 일부 규칙만 쓰는 되먹임

그림 3 · 탐색 규칙이 낸 후보는 개발 데이터의 안쪽 교차 검증으로만 점수를 받고, 봉인한 테스트는 고른 설정 하나를 한 번만 잰다.

요소역할사례 값근거
하이퍼파라미터추정기가 직접 학습하지 않는 설정 · 생성자 인자RBF 폭 γ · 규제 λscikit-learn 튜닝 안내 3.2절
탐색 공간하이퍼파라미터마다 범위 · 눈금(실수 · 정수 · 범주 · 조건부)10⁻³ ~ 10¹ 로그 균등Feurer · Hutter 2019 1.2절
탐색 규칙다음 후보를 내는 방법격자 25 · 무작위 25 · SH 27비교 절
자원 배분후보마다 쓸 표본 수 · 반복 수를 정함η = 3 · 표본 18 → 54 → 162Li 외 2018 알고리즘 1
안쪽 평가개발 데이터 안의 K겹 교차 검증 점수개발 243개 · 5겹Cawley · Talbot 2010 5.1절
바깥 평가고르는 데 쓰지 않은 데이터의 점수 · 테스트 또는 중첩 교차 검증테스트 108개scikit-learn 튜닝 안내 3.2.4.4절

🔑 하이퍼파라미터를 고른 데이터는 그 하이퍼파라미터의 성능을 잴 수 없다 — 고르는 순간 그 점수는 후보 중 «운 좋게 높은» 쪽으로 치우친다.

5동작 — Ionosphere 레이더 신호 분류기 튜닝

직접 실행(Python · NumPy · 난수 default_rng(0) 하나)이다. 모델은 RBF 커널 리지 분류기(레이블 ±1 · α = (K + λI)⁻¹y · Cawley · Talbot 2010 2절)를 직접 구현했고, 표준화는 학습에 쓰는 겹 안에서만 맞춘다.

  1. UCI Ionosphere 351개(good 225 · bad 126 · 특징 34개)를 클래스 비율대로 나눠 테스트 108개를 봉인하고 개발 243개만 쓴다. 튜닝 없이 γ = 1/34 · λ = 1 로 두면 개발 데이터 5겹 교차 검증 정확도는 0.914 다.
  2. 탐색 공간을 γ · λ 각각 10⁻³ ~ 10¹ 로그 범위로 정하고, 모든 후보를 같은 5겹으로 평가한다.
  3. 격자 5 × 5 = 25회는 γ 0.01 · λ 0.1 에서 0.918 이 가장 높다. γ 1 · 10 두 줄의 10회는 모두 0.654 ~ 0.737 이고, γ 값은 5가지만 시험된다.
  4. 같은 범위의 로그 균등 무작위 25회는 γ 값 25가지를 시험해 γ 0.014 · λ 0.0083 에서 0.922 를 얻는다.
  5. Successive Halving(η = 3)은 개발 데이터를 학습 후보 162개 · 검증 81개로 나누고, 무작위 설정 27개를 학습 표본 18개 → 54개 → 162개로 늘려 가며 단계마다 상위 1/3 만 남긴다. 비용(설정 수 × 표본 수)은 1,458 로, 27개를 모두 162개로 평가하는 4,374 의 1/3 이며 고른 설정의 검증 정확도 0.938 은 27개 중 최고값과 같다. Hyperband 는 같은 R = 162 · η = 3 에서 묶음 셋(9개 · 5개 · 3개)을 돌려 1,404 를 썼다.
  6. 고른 설정을 테스트 108개로 한 번 재면 격자 0.880 · 무작위 0.861 · Successive Halving 0.861 · Hyperband 0.880 · 튜닝 없음 0.870 이다 — 가장 큰 차가 2개(1개 = 0.93%p)라 이 테스트로는 다섯을 가를 수 없다.
  7. 같은 데이터 351개를 10번 다르게 섞어, 격자 최고 교차 검증 점수와 바깥 5겹 · 안쪽 5겹 중첩 교차 검증 점수를 견준다. 앞의 것이 10번 중 8번 높고 차이 중앙값은 0.57%p(범위 −0.29 ~ +1.99%p)다.
격자 탐색 5 × 5 10⁻³ 10⁻³ 10⁻² 10⁻² 10⁻¹ 10⁻¹ 10⁰ 10⁰ 10¹ 10¹ γ 값 5가지만 시험 무작위 탐색 25회 10⁻³ 10⁻³ 10⁻² 10⁻² 10⁻¹ 10⁻¹ 10⁰ 10⁰ 10¹ 10¹ γ 값 25가지 시험 가로 γ · 세로 λ(로그 눈금) 가로 γ · 세로 λ(로그 눈금) 교차 검증 0.90 이상 0.80 ~ 0.90 0.80 미만 고른 점(격자 0.918 · 무작위 0.922)

그림 4 · 같은 25회에서 격자는 γ 를 5가지만 시험하고 그중 두 줄 10회를 나쁜 영역에 썼으며, 무작위 탐색은 γ 를 25가지 시험해 0.90 이상인 점을 6개(격자 4개) 얻었다.

표본 18개 · 설정 27개 검증 0.630 ~ 0.852 비용 27 × 18 = 486 상위 9개 남김 표본 54개 · 설정 9개 검증 0.889 ~ 0.963 비용 9 × 54 = 486 상위 3개 남김 표본 162개 · 설정 3개 검증 0.914 ~ 0.938 비용 3 × 162 = 486 상위 1개 남김 고른 설정 검증 0.938 비용(설정 수 × 표본 수) Successive Halving 1,458 27개 모두 표본 162개로 평가 4,374 남긴 설정 버린 설정

그림 5 · Successive Halving 은 단계마다 같은 비용 486 을 쓰며 후보를 27 → 9 → 3 → 1 로 줄여, 전부를 끝까지 평가하는 비용의 1/3 로 같은 검증 최고값을 찾았다.

고를 때 쓴 점수는 선택에 쓰지 않은 점수보다 대개 높다 0.900 0.910 0.920 0.930 섞기 1 +0.29%p 섞기 2 +0.27%p 섞기 3 −0.29%p 섞기 4 +1.99%p 섞기 5 +1.15%p 섞기 6 +0.57%p 섞기 7 +0.57%p 섞기 8 +0.57%p 섞기 9 0.00%p 섞기 10 +1.14%p 정확도(데이터 351개 · 5겹 · 격자 25개) 선택에 쓴 점수(격자 최고 교차 검증) 중첩 교차 검증(바깥 겹 평균) 오른쪽 숫자 = 두 점수 차

그림 6 · 고를 때 쓴 교차 검증 최고 점수는 10번 중 8번 중첩 교차 검증보다 높다 — 이 차이가 선택 편향이고, 보고할 점수는 중첩 쪽이다.

🔑 Successive Halving 은 «한 학습을 일찍 멈추는» 조기 종료가 아니라 «여러 설정 사이에 자원을 나누는» 규칙이다 — 작은 자원의 순위를 믿는 만큼 비용이 준다.

6비교 — 탐색 규칙 다섯

기준격자 탐색무작위 탐색Successive HalvingHyperband베이지안 최적화
다음 후보미리 정한 눈금의 곱분포에서 독립 표집무작위 후보 + 단계별 탈락SH 를 n · r 이 다른 묶음으로 여러 번대리 모델 · 획득 함수
병렬 실행후보끼리 독립(LIBSVM 안내서 3.2절)후보끼리 독립단계 안에서만묶음 · 단계 안에서대체로 순차
하이퍼파라미터 N개 · 시행 B회축마다 B^(1/N) 가지 값(Feurer · Hutter 2019 1.3.1절)축마다 B 가지 값무작위와 같음무작위와 같음표준 커널 가우시안 과정은 고차원에 약함(같은 장 1.3.2절)
정할 값눈금시행 수 · 분포n · η · 최소 자원R · η커널 · 획득 함수
이 사례25회 × 5겹 · 0.91825회 × 5겹 · 0.92227개 · 비용 1,458 · 검증 0.93817개 · 비용 1,404 · 검증 0.938베이지안 최적화

격자 · 무작위는 5겹 교차 검증 점수이고 Successive Halving · Hyperband 는 검증 81개 한 벌의 점수라, 이 표의 점수끼리 크기를 견주지 않는다.

분석하이퍼파라미터가 셋 이하이고 한 번 학습이 싸면 격자, 넷 이상이면 무작위를 기준선으로 두고, 학습이 비싸며 작은 자원의 순위가 큰 자원 순위를 따라가면 Successive Halving · Hyperband 를 쓴다. 근거는 격자의 후보 수가 곱으로 늘고(Bergstra · Bengio 2012 그림 1) SH 의 이득이 작은 자원 순위의 정확도에 달렸다는 점이다(Li 외 2018 3.1절).

7실무 진단 — 튜닝 결과를 믿을 수 없을 때

분석먼저 평가 설계(테스트를 고르는 데 썼는지 · 후보 사이 점수 차가 검증 표본 몇 개 몫인지)를 보고, 그다음 탐색 공간, 마지막에 탐색 규칙을 본다. 평가 설계가 틀리면 어떤 탐색 규칙의 결과도 낙관적이기 때문이다(Cawley · Talbot 2010 5절).

#증상의심 원인단계확인 자료판정 기준(근거)
1튜닝 뒤 검증 점수만 오르고 테스트 · 운영 점수는 그대로선택 편향 · 검증 세트가 작음평가 설계중첩 교차 검증 점수 · 상위 후보 점수 차차가 검증 1 ~ 2개 몫(81개면 1.2 ~ 2.5%p) 안이면 순위를 믿지 않는다 — 선택 기준의 분산이 선택 과적합을 부른다(Cawley · Talbot 2010 4.1절)
2테스트 점수가 후보마다 기록되어 있음테스트로 후보를 고름(누수)평가 설계실험 기록의 테스트 조회 횟수개발 세트로만 고르고 평가 세트는 고른 설정 하나에 쓴다(scikit-learn 튜닝 안내 3.2.4.4절)
3최고 설정이 탐색 범위의 끝에 붙음범위가 좁음탐색 공간cv_results_ 의 최고 후보 좌표끝이면 범위를 넓히고, 좋은 구간을 찾으면 성긴 격자 → 좁은 격자로(LIBSVM 안내서 3.2절)
4Successive Halving 결과가 실행마다 크게 바뀜작은 자원에서 순위가 뒤집힘자원 배분단계별 순위 대조이 사례처럼 제 크기 최고 설정 4개 중 1개만 첫 단계를 넘었으면 최소 자원을 키우거나 Hyperband 로(Li 외 2018 3.1절)

순서는 1행 → 2행 → 3행 → 4행이다. 1 · 2행에서 평가가 바로 서야 3행의 범위 판단과 4행의 자원 판단이 의미를 갖는다.

8시험 대비

시험에서는 격자 · 무작위 · Successive Halving · Hyperband · 베이지안 최적화를 견주는 비교형과, 튜닝과 성능 평가를 함께 설계하는 구현 · 설계형(중첩 교차 검증 · 테스트 봉인)이 나올 수 있다. 「여러 값을 시도해 가장 좋은 것을 고른다」에서 끝내지 않고, 고른 점수가 왜 낙관적인지와 그 대책을 그림으로 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의(학습 전 설정 · 검증 점수로 선택) · 파라미터와의 구분 · 식 λ* = argmin 검증 손실
  2. 구성 — 그림 3 탐색 공간 · 탐색 규칙 · 자원 배분 · 안쪽 · 바깥 평가와 데이터 분할
  3. 탐색 규칙 비교 — 격자 · 무작위 · SH · Hyperband · 베이지안 최적화 비교표 + 그림 4 격자 · 무작위 점 배치
  4. 다중 충실도 — 그림 5 Successive Halving 27 → 9 → 3 → 1 · 비용 1/3 · Hyperband 묶음
  5. 검증 설계 — 그림 6 선택 편향(10번 중 8번 · 중앙값 0.57%p) · 중첩 교차 검증 · 테스트 봉인
  6. 실무 적용 — 진단 순서(평가 설계 → 탐색 공간 → 자원) · 실험 관리로 기록

꼭 쓸 키워드
하이퍼파라미터탐색 공간격자 탐색무작위 탐색Successive HalvingHyperband다중 충실도중첩 교차 검증선택 편향테스트 누수

다른 답안과 차이를 내는 한 가지는 그림 6 이다 — 같은 데이터에서 «고를 때 쓴 점수»와 «중첩 점수»를 나란히 두어 선택 편향을 실제 값으로 보인다.

9오해와 사실

  • 오해격자를 쓰면 무작위 탐색보다 빈틈없이 찾는다.
    사실같은 25회에서 격자는 γ 를 5가지, 무작위는 25가지 시험했다 — 성능을 좌우하는 하이퍼파라미터가 몇 개뿐이면 무작위가 그 축을 더 촘촘히 덮는다(Bergstra · Bengio 2012 그림 1).
  • 오해튜닝에 쓴 교차 검증 최고 점수가 그 모델의 성능이다.
    사실이 사례에서 그 점수는 10번 중 8번 중첩 교차 검증보다 높았고, 보고할 값은 고르는 데 쓰지 않은 바깥 겹의 점수다(Cawley · Talbot 2010 5.1절).
  • 오해Successive Halving 은 언제나 끝까지 평가한 것과 같은 설정을 찾는다.
    사실작은 자원 단계에서 좋은 설정이 떨어질 수 있다 — 이 사례에서 표본 162개 최고 점수 0.938 을 낸 설정 4개 중 3개가 표본 18개 단계에서 탈락했고, 이 위험 때문에 Hyperband 가 묶음 여럿을 돌린다(Li 외 2018 3.1절).

10핵심 정리

구분정하는 것평가 · 비용 단위사례 값주의
하이퍼파라미터학습 전 설정—γ · λ파라미터(α)와 다름
탐색 공간범위 · 눈금—10⁻³ ~ 10¹ 로그끝에 붙으면 넓힘
격자 탐색눈금의 곱후보마다 5겹25회 · γ 5가지 · 0.918차원이 늘면 곱으로
무작위 탐색시행 수 · 분포후보마다 5겹25회 · γ 25가지 · 0.922기준선으로 둠
Successive Halvingn · η · 최소 자원설정 수 × 표본 수27 → 9 → 3 → 1 · 1,458작은 자원 순위 오류
HyperbandR · ηSH 묶음 여럿묶음 3 · 1,404묶음 수 = ⌊log_η R⌋ + 1
중첩 교차 검증바깥 · 안쪽 겹 수바깥 겹 점수 평균차이 중앙값 0.57%p비용 = 바깥 겹 수배
테스트 세트봉인 비율고른 설정 1회108개 · 1개 = 0.93%p고르는 데 쓰지 않음

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Hyperparameter Optimization (Feurer · Hutter · Automated Machine Learning: Methods, Systems, Challenges 1장) — 튜닝 문제의 식 (1.1) · 모델 없는 탐색 · 다중 충실도(1.4절)를 한 번에 훑을 때
    Springer · automl.org · 2019-05 · www.automl.org/wp-content/uploads/2019/05/AutoML_Book_Chapter1.pdf · 확인 2026-11-12
  3. ★ Random Search for Hyper-Parameter Optimization (Journal of Machine Learning Research 13 281-305) — 같은 시행 수에서 무작위 탐색이 격자보다 나은 이유(그림 1)를 볼 때
    JMLR · 2012 · jmlr.org/papers/v13/bergstra12a.html · 확인 2026-11-12
  4. ★ Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization (Journal of Machine Learning Research 18(185) 1-52) — Successive Halving 의 n 대 B/n 문제(3.1절)와 Hyperband 알고리즘 1 을 따라 해 볼 때
    JMLR · 2018 · jmlr.org/papers/v18/16-558.html · 확인 2026-11-12
  5. ★ On Over-fitting in Model Selection and Subsequent Selection Bias in Performance Evaluation (Journal of Machine Learning Research 11 2079-2107) — 튜닝에 쓴 점수가 낙관적인 이유와 중첩 평가(5.1절)를 볼 때
    JMLR · 2010 · jmlr.org/papers/v11/cawley10a.html · 확인 2026-11-12
  6. ★ scikit-learn 1.9.1 User Guide 3.2 Tuning the hyper-parameters of an estimator — GridSearchCV · RandomizedSearchCV · HalvingGridSearchCV 를 쓸 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/grid_search.html · 확인 2026-11-12
  7. 본문 근거
  8. Non-stochastic Best Arm Identification and Hyperparameter Optimization (arXiv 1502.07943) — arXiv · 2015-02 · arxiv.org/abs/1502.07943 · 확인 2026-11-12
  9. Almost Optimal Exploration in Multi-Armed Bandits (ICML 2013 · PMLR 28(3) 1238-1246) — PMLR · 2013 · proceedings.mlr.press/v28/karnin13.html · 확인 2026-11-12
  10. A Practical Guide to Support Vector Classification (Hsu · Chang · Lin · 2003 초판 · 2025-09 갱신) — National Taiwan University · 2025-09 · www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf · 확인 2026-11-12
  11. Ionosphere [Dataset] (Sigillito · Wing · Hutton · Baker · UCI Machine Learning Repository · CC BY 4.0) — UCI Machine Learning Repository · 1988-12 · doi.org/10.24432/C5W01B · 확인 2026-11-12
  12. NumPy 2.4 Reference — Random Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-12