AI › 산업 AI 응용 › 공정 최적화

베이지안 최적화Bayesian Optimization

평가 한 번이 비싼 목적 함수를 가우시안 과정 같은 확률 대리 모델로 근사하고, 획득 함수가 고른 점만 차례로 평가해 적은 횟수로 최적값을 찾는 방법이다.

1요약

  1. 베이지안 최적화는 Kushner(1964) · Močkus(1975)에서 출발해 Jones(1998)의 EGO 로 알려진 순차 실험 설계 방법이며, 가우시안 과정이 내는 예측 평균 μ 와 불확실성 σ 위에서 EI · PI · UCB 같은 획득 함수가 다음 평가점 하나를 고른다(Frazier 2018 1절).
  2. 평가 한 번에 수 분 ~ 수 시간이 드는 함수(Frazier 2018 초록)는 격자나 무작위로 훑을 수 없다 — 본문 사례의 Branin 함수 20회 평가에서 무작위 탐색은 참 최소와의 차이가 시드 10개 중앙값 1.769 로 남았고, EI 는 0.212 까지 줄였다.
  3. 「베이지안 최적화가 안 듣는다」는 제안점이 한 자리에 몰리는가, 경계 · 구석만 도는가로 가른다 — 몰리면 길이 척도를 길게 잡아 σ 가 작아진 것이고, 구석만 돌면 길이 척도가 짧거나 탐색 손잡이(κ)가 크다.

2등장 배경

1960년대 공학 설계에서는 시험 한 번이 비싼 곡선의 최고점을 찾아야 했다. Kushner(1964)는 잡음이 있는 다봉 곡선을 확률 과정으로 보고 «지금 최고보다 나아질 확률»이 큰 점을 고르는 방법(PI)을 냈고, Močkus(1975)는 확률 대신 «나아질 양의 기댓값»(EI)을 기준으로 삼았다(Frazier 2018 1절 · 4.1절).

1998년 Jones 등이 내놓은 EGO 알고리즘이 EI 기준과 kriging 을 한 묶음으로 만들면서, 이 방법은 공학 설계 현장으로 퍼졌다(Jones 1998). Srinivas 등(2010)은 신뢰 상한을 따르는 GP-UCB 의 누적 후회가 정보 이득으로 묶인다는 상한을 보여 이론 근거를 더했고(Srinivas 2010 초록), Snoek 등(2012)은 같은 틀로 신경망 · SVM 의 하이퍼파라미터를 맞춰 전문가 수준을 넘는 결과를 보였다(Snoek 2012 초록).

지금 베이지안 최적화는 공정 레시피 · 소재 실험 · 기계 학습 튜닝에 쓰이며, 20차원 미만 연속 공간이 가장 잘 맞는 자리다(Frazier 2018 초록). 공정 조건 탐색 전체에서 이 방법이 맡는 몫은 공정 최적화가 정리한다.

3쉽게 이해하기 — 시식 열한 번으로 국물 간 맞추기

요리사 지우는 새 국물에 넣을 소금 양을 0 ~ 1 큰술 눈금에서 정해야 하는데, 시식단은 열한 번만 부를 수 있다. 처음 세 번은 아무 눈금이나 골라 맛보게 하고 «불만 점수»(낮을수록 좋음)를 수첩에 적는다. 수첩 그래프에는 «이쯤이면 이 점수일 것» 선과 «여기는 자신 없음» 폭이 함께 그려지고, 지우는 «지금 최고보다 나아질 기대»가 가장 큰 눈금을 다음 시식으로 고른다. 어느 눈금에서도 기대가 거의 없으면 시식을 멈춘다.

시식 열한 번 더 부를 수 없다 실험 예산 시식단 눈금 하나 → 불만 점수 목적 함수 f(x) 수첩 그래프 예상 선 + 자신 없는 폭 대리 모델 μ · σ 1 다음 눈금 저울질 나아질 기대가 가장 큰 곳 획득 함수 EI 2 3 고른 눈금을 맛봄 처음 세 번 아무 눈금이나 맛봄 초기 설계 멈춤 4 ① 점수를 수첩에 적고 그래프를 고침 ② 그래프로 기대를 잼 ③ 가장 큰 곳을 맛봄 ④ 기대가 거의 없으면 멈춤(종료 규칙) 불만 점수는 낮을수록 좋다 = 최소화 문제

그림 1 · 지우는 시식 결과로 수첩 그래프를 고치고, 그래프에서 «나아질 기대»가 가장 큰 눈금을 다음 시식으로 고른다 — 이 고리가 대리 모델과 획득 함수다.

시식 열한 번예산이 먼저 정해짐
처음 세 번아무 눈금이나
수첩 그래프예상 선과 자신 없는 폭
기대 저울질나아질 기대가 큰 눈금
다시 시식점수를 수첩에 더함
시식 멈춤기대가 거의 없음
비유 — 맛보기 전과 뒤의 수첩 그래프 연한 폭 = 맛보기 전 · 진한 폭 = 맛본 뒤 맛본 눈금은 폭이 0 · 옆으로 갈수록 다시 넓다 실제 — 6회째 관측 전후의 σ(x) x 관측 전 σ 관측 뒤 σ 0.704 2.119 0.005(관측점) 0.72 2.602 0.408 0.75 3.289 1.460 0.80 3.650 3.054 관측점에서 0.096(길이 척도 0.088) 떨어지면 σ 가 관측 전의 84 % 로 돌아온다 관측 전 불확실성 관측 뒤 불확실성 굵은 테두리 = 관측한 점 오른쪽 값 = 아래 동작 절 사례(Forrester 함수 · 시드 0) 직접 실행 · 막대 길이는 3.65 를 129px 로 맞춤

그림 2 · 한 눈금을 맛보면 그 자리의 «자신 없는 폭»은 거의 0 이 되고, 멀어질수록 원래 폭으로 돌아온다 — 얼마나 멀리까지 좁아지는지는 길이 척도가 정한다.

비유 속 역할실제 이름실제로 하는 일
시식 열한 번평가 예산 N목적 함수를 부를 수 있는 횟수(사례 11회 · 20회)
시식단의 불만 점수목적 함수 f(x)식을 모르는 비싼 함수 · 공정 실험 · 학습 한 번의 검증 오차
처음 세 번초기 설계무작위 · 공간 채움 점으로 첫 데이터를 만든다(Frazier 2018 알고리즘 1)
수첩의 예상 선사후 평균 μ(x)관측점을 지나가는 가장 그럴듯한 함수 값
자신 없는 폭사후 표준편차 σ(x)관측점에서 0 · 멀수록 커지는 불확실성
폭이 좁아지는 거리길이 척도 ℓ커널이 «가까운 점은 비슷하다»고 보는 거리 · 로그 주변 우도로 고른다
기대 저울질획득 함수μ 와 σ 를 한 점수로 묶어 다음 x 하나를 고른다
시식 멈춤종료 규칙최대 EI 가 정한 값보다 작거나 예산이 끝나면 멈춘다

⚠ 비유가 맞지 않는 곳: 지우는 그래프를 손으로 그리지만 대리 모델은 커널 행렬을 풀어 μ · σ 를 계산하고, 관측이 n 개면 그 비용이 n³ 에 비례한다(Rasmussen 2006 5.4.1절). 또 시식단의 점수는 날마다 흔들리는데, 사례는 잡음이 없는 시험 함수라 같은 눈금을 다시 맛보는 일이 없다.

4구조 — 대리 모델 · 하이퍼파라미터 · 획득 함수

베이지안 최적화의 부품은 넷이다. 관측 데이터에 가우시안 과정을 맞추고(커널 · 하이퍼파라미터), 그 사후 분포로 획득 함수를 계산하며, 후보 위에서 획득 함수가 가장 큰 x 를 찾아 목적 함수를 부른다(Frazier 2018 2절).

관측 데이터 (x₁, y₁) … (xₙ, yₙ) 평가할 때마다 1개씩 가우시안 과정(대리 모델) 커널 k(x, x′) — RBF · Matérn 하이퍼파라미터 — 길이 척도 ℓ 로그 주변 우도 최대(식 5.8) K + 잡음 · Cholesky 분해 O(n³) 사후 평균 μ(x) · 식 (2.25) 사후 표준편차 σ(x) · 식 (2.26) 획득 함수 a(x) EI · PI LCB(μ − κσ) 톰슨 표집 · 지식 기울기 a(x) 최대화 후보 격자 · L-BFGS-B → 다음 x 하나 목적 함수 f(x) 비싼 블랙박스 고른 x 에서만 평가 데이터 모델 · 선택 규칙 모델 출력 굵은 테두리 = 비싼 부분(평가 한 번 = 실험 한 번)

그림 3 · 목적 함수는 고른 점에서만 불리고, 나머지 계산(커널 · 사후 분포 · 획득 함수)은 모두 값싼 대리 모델 쪽에서 돈다.

요소역할식 · 값근거
목적 함수최소화할 비싼 함수사례 Forrester (6x − 2)² sin(12x − 4) · BraninSFU Forrester · SFU Branin
초기 설계첫 데이터무작위 3점(1변수) · 5점(2변수)Frazier 2018 알고리즘 1
커널두 점의 값이 얼마나 닮았나RBF exp(−‖x − x′‖² / 2ℓ²)Frazier 2018 3.1절
하이퍼파라미터길이 척도 ℓ · 신호 분산ℓ 후보 40개(0.03 ~ 1) 중 로그 주변 우도 최대Rasmussen 2006 식 (5.8) · Frazier 2018 3.2절
사후 분포예측 μ(x) · 불확실성 σ(x)μ = k*ᵀK⁻¹y · σ² = k(x, x) − k*ᵀK⁻¹k*Rasmussen 2006 식 (2.25) · (2.26)
획득 함수다음 x 고르기EI = (f* − μ)Φ(z) + σφ(z) · z = (f* − μ)/σFrazier 2018 식 (8) 의 최소화 꼴
종료 규칙멈춤예산 N · 최대 EI 하한사례

🔑 비싼 것은 목적 함수 한 번이고 값싼 것은 대리 모델 계산이다 — 베이지안 최적화는 값싼 계산을 수천 번 더 해서 비싼 평가를 한 번 줄인다.

5동작 — Forrester 함수 11회 최소화

Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 가우시안 과정(RBF 커널 · 출력 표준화 · 잡음 1e−6)과 EI 를 직접 구현해 실행했다. 시험 함수는 지역 최소 · 평평한 변곡점 · 전역 최소가 하나씩 있는 1변수 함수다(SFU Forrester).

  1. 설정 — x ∈ [0, 1] 을 0.001 간격 후보 1,001개로 두고 예산을 11회로 정한다 · 후보 위 참 최소는 x 0.757 · f −6.0207 이다.
  2. 초기 설계 — 무작위 3점 x 0.637 · 0.270 · 0.041 에서 f −1.597 · −0.100 · 1.103 을 얻는다.
  3. 4회째 — 점이 셋뿐이라 길이 척도가 0.34 로 길게 잡히고, EI 최대 0.115 인 끝자리 x 0.933 을 골라 10.24 라는 나쁜 값을 얻는다.
  4. 5회째 — 이 값이 들어오자 길이 척도가 0.081 로 짧아지고, σ 3.60 으로 비어 있던 x 0.559 를 탐색해 0.770 을 얻는다.
  5. 6 · 7회째 — EI 가 x 0.704(μ −1.092 · σ 2.119)와 0.743 을 골라 −4.774 · −5.917 로 최고값을 두 번 갱신한다.
  6. 8 · 9회째 — 아직 비어 있던 x 0.390(σ 4.02)을 한 번 확인한 뒤, 0.754 에서 −6.015 를 얻는다.
  7. 10 · 11회째 — 왼쪽 지역 최소 근처 x 0.155(−0.964)를 확인하고, 11회째 x 0.757 에서 −6.0207 로 후보 위 참 최소에 닿는다 · 이때 EI 는 0.0047 이다.
  8. 여러 시드 — 시드 0 ~ 9 를 같은 설정으로 돌리면 9개는 11회 안에 참 최소와 0.003 이내에 들어가고, 시드 8 은 초기 3점(0.327 · 0.987 · 0.319)이 매끈한 구간에만 떨어져 x 0.31 근처를 여섯 번 되풀이하다 −0.005 에서 끝난다.
Forrester 함수 f(x) = (6x − 2)² sin(12x − 4) 최소화 — 실험 11회(시드 0) -6 -3 0 3 6 9 0 0.25 0.5 0.75 1 1 2 3 5 6 7 8 9 10 11 참 최소 x 0.757 4회째 10.24 초기 무작위 3점 EI 가 고른 8점 참 함수 11점 뒤 GP 평균 μ 점 옆 숫자 = 실험 회차 · 직접 실행 세로축 f(x) · 11 위는 잘라 냄(x = 1 근처 최대 15.83)

그림 4 · 초기 3점 뒤 EI 는 오른쪽 끝(4회째)과 빈 구간(5 · 8 · 10회째)을 확인하는 사이사이 전역 최소 쪽으로 좁혀 들어가, 11회째 x 0.757 에 닿는다.

이 고리는 공정 레시피뿐 아니라 기계 학습 하이퍼파라미터 튜닝에도 그대로 쓰인다 — x = 학습률 · 정규화 세기 같은 설정, f = 검증 오차이고, 무작위 탐색이 비교 기준선이다(Snoek 2012 · Bergstra 2012).

같은 사후 분포에서도 획득 함수가 다르면 다음 점이 달라진다. 5회 관측 뒤(지금 최고 f* −1.597) 세 함수가 고르는 x 를 나란히 놓으면 «얼마나 멀리 나가 보는가»가 함수마다 다르다.

5회 관측 뒤 같은 사후 분포 — 획득 함수마다 다음 점이 다르다(x 0.45 ~ 1 구간) 지금 최고 f* −1.597 -10 -5 0 5 10 EI 0.5 0.6 0.7 0.8 0.9 1 PI 0.647 EI 0.704 참 최소 0.757 평균 최저 0.660 LCB 0.734 μ ± 2σ 띠 GP 평균 μ 참 함수(모르는 값) 관측점 EI 곡선(최대 = 1) 굵은 선 = EI 가 고른 점 참 최소 위치 μ 최저 0.660 · σ 0.645 / EI 0.704 · μ −1.092 · σ 2.119 / LCB 0.734 · σ 2.963 · 직접 실행(시드 0)

그림 5 · 같은 μ · σ 에서 PI 는 평균 최저 근처 0.647, EI 는 0.704, LCB(κ 2)는 σ 가 더 큰 0.734 를 고른다 — 참 최소 0.757 쪽으로 더 나가는 순서가 탐색 성향의 순서다.

🔑 획득 함수는 «어디가 좋아 보이나»가 아니라 «어디를 재면 가장 배우는가»를 고른다 — PI 는 개선 확률만 보고 평균 가까이에 머물고, EI 는 개선 크기를 σ 로 키워 더 멀리 나간다.

6비교 — 획득 함수와 모델 없는 탐색

Branin 2변수 함수(전역 최소 0.397887 · SFU Branin)를 [0, 1]² 로 바꿔, 초기 무작위 5점 + 15회 = 20회 평가 뒤 남은 차이(최고값 − 0.397887)를 시드 0 ~ 9 로 쟀다. 후보는 41 × 41 격자이고(후보 위 최소 차이 0.021), 커널 길이 척도는 변수마다 9개 후보에서 고른다.

기준EIPI(ξ 0.01)LCB(κ 2)톰슨 표집모델 없는 탐색
다음 점 규칙개선량의 기댓값 최대개선 확률 최대(Kushner 1964)μ − κσ 최소(Srinivas 2010)사후 표본 하나의 최소점무작위 · 고정 격자
탐색 손잡이없음ξκ없음(표본이 흔들림)—
20회 · 시드 0 / 중앙값0.060 / 0.2120.153 / 0.1550.060 / 0.4960.060 / 0.155무작위 1.243 / 1.769 · 격자 5 × 4 5.533
20회 · 시드 범위0.021 ~ 1.4550.060 ~ 0.2320.060 ~ 2.8370.057 ~ 1.688무작위 0.320 ~ 4.613
10회 · 중앙값0.9120.2363.7313.409무작위 6.148
이 사례에서 보인 성질가장 작은 값에 닿은 시드가 있다일찍 좋아지고 흩어짐이 작다앞쪽 회차를 탐색에 쓴다병렬로 여러 점을 뽑기 쉽다모델이 없어 앞 결과를 쓰지 않는다
Branin 2변수 · 실험 20회 뒤 남은 차이(최고값 − 0.397887) · 시드 0 ~ 9 0.01 0.1 1 10 EI PI LCB κ 2 톰슨 표집 무작위 탐색 격자 5 × 4 5.53(시드 없음) 가로축 = 남은 차이(로그 눈금) · 왼쪽일수록 참 최소에 가깝다 시드 10개 범위(GP 획득 함수) 모델 없는 탐색 중앙값 시드 0 고정 격자 초기 무작위 5점 + 15회 · 후보 41 × 41 격자(후보의 최소 차이 0.021) · 직접 실행

그림 6 · 20회 평가에서 네 획득 함수의 중앙값(0.155 ~ 0.496)은 무작위 탐색(1.769)의 1/4 ~ 1/11 이지만, 획득 함수끼리의 차이는 시드 범위 안에 들어간다.

분석획득 함수는 손잡이가 없는 EI 로 시작하고, 평가가 10회 안팎으로 아주 적으면 PI 처럼 활용 쪽 함수를, 여러 점을 한 번에 돌려야 하면 표본마다 다른 점이 나오는 톰슨 표집을 고른다. 근거는 표의 「10회 중앙값」 행(PI 0.236 ↔ LCB 3.731)과 「시드 범위」 행 — 20회에서는 획득 함수끼리의 차이가 시드에 따른 흩어짐보다 작다.

같은 예산을 실험 묶음으로 미리 정하는 방식(격자 · 요인 배치)과 그 해석은 실험 계획법(DOE)이 맡는다 — 이 사례의 5 × 4 격자는 참 최소 세 곳 사이를 지나 5.533 이 남았다.

7실무 진단 — 제안점이 이상할 때

분석제안점의 위치부터 본다. 한 자리에 몰리는지 · 경계에만 붙는지 · 흩어지는지가 길이 척도 · 손잡이 · 잡음 가운데 어디를 볼지 정해 주고, 계산 시간은 관측 수 n 이 수백을 넘을 때만 따로 본다(Rasmussen 2006 5.4.1절 O(n³)).

#증상의심 원인단계확인 자료판정 기준(근거)
1제안점이 한 자리 근처를 되풀이길이 척도를 길게 잡아 σ 가 작음하이퍼파라미터고른 ℓ · 후보 위 최대 σ · 연속 제안점 거리사례 시드 8 = ℓ 0.37 · 여섯 점이 0.31 ± 0.01 → ℓ 상한 · 사전 분포(MAP)를 두고 초기점을 늘린다(Frazier 2018 3.2절)
2제안점이 경계 · 구석만 돎길이 척도가 짧음 · κ 가 큼획득 함수제안점 중 경계 비율 · κ 값경계 비율이 절반을 넘고 최고값이 멈추면 κ 를 줄이거나 EI 로 바꾼다(사례 LCB 10회 중앙값 3.731 · Srinivas 2010)
3같은 점을 다시 재면 값이 다름잡음을 0 으로 가정대리 모델같은 x 반복 평가의 흩어짐흩어짐이 개선 폭보다 크면 잡음 분산을 하이퍼파라미터로 두고 잡음 대응 EI 를 쓴다(Frazier 2018 5절)
4회차가 늘수록 한 회 계산이 느려짐커널 행렬 n × n 분해계산관측 수 n · 회당 계산 시간시간이 n³ 꼴로 늘면 희소 근사 · 국소 영역 방식을 검토한다(Rasmussen 2006 알고리즘 2.1)

사례의 시드 8 은 1행에 해당한다. 같은 설정에서 초기점만 공간 채움으로 바꾸거나 ℓ 상한을 두면 이 쏠림은 다시 판정한다.

8시험 대비

출제 정보 정보관리(132회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 대리 모델 · 획득 함수 · 순차 평가를 쓰는 정의 · 특징형, 그리고 EI · PI · UCB 와 격자 · 무작위 탐색을 견주는 비교형이 나올 수 있다. 「적은 실험으로 최적을 찾는다」 한 줄에서 끝내지 않고, 같은 μ · σ 에서 획득 함수마다 다음 점이 다르다는 것을 그림으로 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의 · 쓰는 조건(평가 한 번이 비쌈 · 20차원 미만 · 미분 없음) · 결과물 = 최적 x
  2. 구조 — 그림 3 구성(목적 함수 · 가우시안 과정 · 하이퍼파라미터 · 획득 함수 · 최대화) · μ · σ 식
  3. 동작 — 그림 4 순차 평가 11회(초기 설계 → 탐색 → 활용 → 종료)
  4. 획득 함수 비교 — 그림 5 같은 사후 분포에서 PI · EI · LCB 가 고르는 점 · 식 · 손잡이 표
  5. 성능 비교 — 그림 6 무작위 · 격자 대비 남은 차이 · 시드 범위
  6. 한계 · 대응 — 길이 척도 쏠림 · 잡음 · O(n³) · 고차원 · 하이퍼파라미터 튜닝 쓰임

꼭 쓸 키워드
대리 모델가우시안 과정커널길이 척도로그 주변 우도획득 함수기대 개선(EI)개선 확률(PI)GP-UCB톰슨 표집탐색과 활용

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 「탐색과 활용의 균형」이라는 말 대신, 같은 μ · σ 에서 세 함수가 0.647 · 0.704 · 0.734 로 갈리는 것을 숫자로 보인다.

9오해와 사실

  • 오해베이지안 최적화는 시드 · 초기점과 상관없이 같은 답을 낸다.
    사실같은 설정에서도 시드 10개 중 하나(시드 8)는 초기 3점이 매끈한 구간에만 떨어져 지역 구간에서 끝났고, Branin 20회 EI 의 남은 차이는 0.021 ~ 1.455 로 흩어졌다.
  • 오해획득 함수가 고르는 점은 대리 모델이 가장 좋다고 예측한 점이다.
    사실그림 5 에서 평균 최저는 x 0.660 이지만 EI 는 σ 가 큰 0.704 를 고른다(Frazier 2018 4.1절 그림 3 의 Δ · σ 맞바꿈).
  • 오해가우시안 과정의 하이퍼파라미터는 한 번 정하면 된다.
    사실사례의 길이 척도는 4회째 0.34 → 5회째 0.081 로 바뀌었고, 매 회 로그 주변 우도로 다시 고른다(Rasmussen 2006 식 (5.8)).

10핵심 정리

구분맡는 일식 · 규칙사례 값근거
목적 함수비싼 평가 · 최소화 대상고른 x 에서만 부름Forrester 11회 · Branin 20회SFU
가우시안 과정예측 μ · 불확실성 σμ = k*ᵀK⁻¹y · σ² = k − k*ᵀK⁻¹k*관측점 σ 0.005Rasmussen 2006
길이 척도닮음이 퍼지는 거리로그 주변 우도 최대0.34 → 0.081Rasmussen 2006 식 (5.8)
EI개선량 기댓값(f* − μ)Φ(z) + σφ(z)0.704 · 20회 중앙값 0.212Frazier 2018 식 (8)
PI개선 확률Φ((f* − ξ − μ)/σ)0.647 · 10회 중앙값 0.236Kushner 1964
LCB · GP-UCB신뢰 하한 최소μ − κσ0.734 · 10회 중앙값 3.731Srinivas 2010
톰슨 표집사후 표본의 최소점표본 하나 → argmin20회 중앙값 0.155사례
쏠림 실패탐색이 멈춤ℓ 과대 → σ 과소시드 8 · 0.31 근처 6회Frazier 2018 3.2절

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ A Tutorial on Bayesian Optimization (arXiv 1807.02811) — 알고리즘 1 · 3.2절 하이퍼파라미터 · 4.1절 EI 식 (8) 을 따라 해 볼 때
    arXiv · 2018-07 · arxiv.org/abs/1807.02811 · 확인 2026-11-12
  3. ★ Gaussian Processes for Machine Learning (Rasmussen · Williams · MIT Press) 2장 · 5장 — 사후 평균 · 분산 식 (2.25) · (2.26) 과 로그 주변 우도 식 (5.8) 을 볼 때
    MIT Press · 2006-01 · gaussianprocess.org/gpml/ · 확인 2026-11-12
  4. ★ Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design (Srinivas · Krause · Kakade · Seeger · ICML 2010) — GP-UCB 와 누적 후회 상한을 볼 때
    arXiv · 2009-12 · arxiv.org/abs/0912.3995 · 확인 2026-11-12
  5. ★ Practical Bayesian Optimization of Machine Learning Algorithms (Snoek · Larochelle · Adams · NIPS 2012) — 기계 학습 하이퍼파라미터 튜닝에 쓰는 법을 볼 때
    arXiv · 2012-06 · arxiv.org/abs/1206.2944 · 확인 2026-11-12
  6. 본문 근거
  7. Efficient Global Optimization of Expensive Black-Box Functions (Journal of Global Optimization 13(4) 455-492) — Springer · 1998-12 · doi.org/10.1023/A:1008306431147 · 확인 2026-11-12
  8. Random Search for Hyper-Parameter Optimization (Journal of Machine Learning Research 13 281-305) — JMLR · 2012-02 · jmlr.org/papers/v13/bergstra12a.html · 확인 2026-11-12
  9. A New Method of Locating the Maximum Point of an Arbitrary Multipeak Curve in the Presence of Noise (Journal of Basic Engineering 86(1) 97-106) — ASME · 1964-03 · doi.org/10.1115/1.3653121 · 확인 2026-11-12
  10. Virtual Library of Simulation Experiments — Forrester et al. (2008) Function — Simon Fraser University · 2026-11 · www.sfu.ca/~ssurjano/forretal08.html · 확인 2026-11-12
  11. Virtual Library of Simulation Experiments — Branin Function — Simon Fraser University · 2026-11 · www.sfu.ca/~ssurjano/branin.html · 확인 2026-11-12
  12. NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-12