베이지안 최적화Bayesian Optimization
평가 한 번이 비싼 목적 함수를 가우시안 과정 같은 확률 대리 모델로 근사하고, 획득 함수가 고른 점만 차례로 평가해 적은 횟수로 최적값을 찾는 방법이다.
1요약
- 베이지안 최적화는 Kushner(1964) · Močkus(1975)에서 출발해 Jones(1998)의 EGO 로 알려진 순차 실험 설계 방법이며, 가우시안 과정이 내는 예측 평균 μ 와 불확실성 σ 위에서 EI · PI · UCB 같은 획득 함수가 다음 평가점 하나를 고른다(Frazier 2018 1절).
- 평가 한 번에 수 분 ~ 수 시간이 드는 함수(Frazier 2018 초록)는 격자나 무작위로 훑을 수 없다 — 본문 사례의 Branin 함수 20회 평가에서 무작위 탐색은 참 최소와의 차이가 시드 10개 중앙값 1.769 로 남았고, EI 는 0.212 까지 줄였다.
- 「베이지안 최적화가 안 듣는다」는 제안점이 한 자리에 몰리는가, 경계 · 구석만 도는가로 가른다 — 몰리면 길이 척도를 길게 잡아 σ 가 작아진 것이고, 구석만 돌면 길이 척도가 짧거나 탐색 손잡이(κ)가 크다.
2등장 배경
1960년대 공학 설계에서는 시험 한 번이 비싼 곡선의 최고점을 찾아야 했다. Kushner(1964)는 잡음이 있는 다봉 곡선을 확률 과정으로 보고 «지금 최고보다 나아질 확률»이 큰 점을 고르는 방법(PI)을 냈고, Močkus(1975)는 확률 대신 «나아질 양의 기댓값»(EI)을 기준으로 삼았다(Frazier 2018 1절 · 4.1절).
1998년 Jones 등이 내놓은 EGO 알고리즘이 EI 기준과 kriging 을 한 묶음으로 만들면서, 이 방법은 공학 설계 현장으로 퍼졌다(Jones 1998). Srinivas 등(2010)은 신뢰 상한을 따르는 GP-UCB 의 누적 후회가 정보 이득으로 묶인다는 상한을 보여 이론 근거를 더했고(Srinivas 2010 초록), Snoek 등(2012)은 같은 틀로 신경망 · SVM 의 하이퍼파라미터를 맞춰 전문가 수준을 넘는 결과를 보였다(Snoek 2012 초록).
지금 베이지안 최적화는 공정 레시피 · 소재 실험 · 기계 학습 튜닝에 쓰이며, 20차원 미만 연속 공간이 가장 잘 맞는 자리다(Frazier 2018 초록). 공정 조건 탐색 전체에서 이 방법이 맡는 몫은 공정 최적화가 정리한다.
3쉽게 이해하기 — 시식 열한 번으로 국물 간 맞추기
요리사 지우는 새 국물에 넣을 소금 양을 0 ~ 1 큰술 눈금에서 정해야 하는데, 시식단은 열한 번만 부를 수 있다. 처음 세 번은 아무 눈금이나 골라 맛보게 하고 «불만 점수»(낮을수록 좋음)를 수첩에 적는다. 수첩 그래프에는 «이쯤이면 이 점수일 것» 선과 «여기는 자신 없음» 폭이 함께 그려지고, 지우는 «지금 최고보다 나아질 기대»가 가장 큰 눈금을 다음 시식으로 고른다. 어느 눈금에서도 기대가 거의 없으면 시식을 멈춘다.
그림 1 · 지우는 시식 결과로 수첩 그래프를 고치고, 그래프에서 «나아질 기대»가 가장 큰 눈금을 다음 시식으로 고른다 — 이 고리가 대리 모델과 획득 함수다.
그림 2 · 한 눈금을 맛보면 그 자리의 «자신 없는 폭»은 거의 0 이 되고, 멀어질수록 원래 폭으로 돌아온다 — 얼마나 멀리까지 좁아지는지는 길이 척도가 정한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 시식 열한 번 | 평가 예산 N | 목적 함수를 부를 수 있는 횟수(사례 11회 · 20회) |
| 시식단의 불만 점수 | 목적 함수 f(x) | 식을 모르는 비싼 함수 · 공정 실험 · 학습 한 번의 검증 오차 |
| 처음 세 번 | 초기 설계 | 무작위 · 공간 채움 점으로 첫 데이터를 만든다(Frazier 2018 알고리즘 1) |
| 수첩의 예상 선 | 사후 평균 μ(x) | 관측점을 지나가는 가장 그럴듯한 함수 값 |
| 자신 없는 폭 | 사후 표준편차 σ(x) | 관측점에서 0 · 멀수록 커지는 불확실성 |
| 폭이 좁아지는 거리 | 길이 척도 ℓ | 커널이 «가까운 점은 비슷하다»고 보는 거리 · 로그 주변 우도로 고른다 |
| 기대 저울질 | 획득 함수 | μ 와 σ 를 한 점수로 묶어 다음 x 하나를 고른다 |
| 시식 멈춤 | 종료 규칙 | 최대 EI 가 정한 값보다 작거나 예산이 끝나면 멈춘다 |
⚠ 비유가 맞지 않는 곳: 지우는 그래프를 손으로 그리지만 대리 모델은 커널 행렬을 풀어 μ · σ 를 계산하고, 관측이 n 개면 그 비용이 n³ 에 비례한다(Rasmussen 2006 5.4.1절). 또 시식단의 점수는 날마다 흔들리는데, 사례는 잡음이 없는 시험 함수라 같은 눈금을 다시 맛보는 일이 없다.
4구조 — 대리 모델 · 하이퍼파라미터 · 획득 함수
베이지안 최적화의 부품은 넷이다. 관측 데이터에 가우시안 과정을 맞추고(커널 · 하이퍼파라미터), 그 사후 분포로 획득 함수를 계산하며, 후보 위에서 획득 함수가 가장 큰 x 를 찾아 목적 함수를 부른다(Frazier 2018 2절).
그림 3 · 목적 함수는 고른 점에서만 불리고, 나머지 계산(커널 · 사후 분포 · 획득 함수)은 모두 값싼 대리 모델 쪽에서 돈다.
| 요소 | 역할 | 식 · 값 | 근거 |
|---|---|---|---|
| 목적 함수 | 최소화할 비싼 함수 | 사례 Forrester (6x − 2)² sin(12x − 4) · Branin | SFU Forrester · SFU Branin |
| 초기 설계 | 첫 데이터 | 무작위 3점(1변수) · 5점(2변수) | Frazier 2018 알고리즘 1 |
| 커널 | 두 점의 값이 얼마나 닮았나 | RBF exp(−‖x − x′‖² / 2ℓ²) | Frazier 2018 3.1절 |
| 하이퍼파라미터 | 길이 척도 ℓ · 신호 분산 | ℓ 후보 40개(0.03 ~ 1) 중 로그 주변 우도 최대 | Rasmussen 2006 식 (5.8) · Frazier 2018 3.2절 |
| 사후 분포 | 예측 μ(x) · 불확실성 σ(x) | μ = k*ᵀK⁻¹y · σ² = k(x, x) − k*ᵀK⁻¹k* | Rasmussen 2006 식 (2.25) · (2.26) |
| 획득 함수 | 다음 x 고르기 | EI = (f* − μ)Φ(z) + σφ(z) · z = (f* − μ)/σ | Frazier 2018 식 (8) 의 최소화 꼴 |
| 종료 규칙 | 멈춤 | 예산 N · 최대 EI 하한 | 사례 |
🔑 비싼 것은 목적 함수 한 번이고 값싼 것은 대리 모델 계산이다 — 베이지안 최적화는 값싼 계산을 수천 번 더 해서 비싼 평가를 한 번 줄인다.
5동작 — Forrester 함수 11회 최소화
Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 가우시안 과정(RBF 커널 · 출력 표준화 · 잡음 1e−6)과 EI 를 직접 구현해 실행했다. 시험 함수는 지역 최소 · 평평한 변곡점 · 전역 최소가 하나씩 있는 1변수 함수다(SFU Forrester).
- 설정 — x ∈ [0, 1] 을 0.001 간격 후보 1,001개로 두고 예산을 11회로 정한다 · 후보 위 참 최소는 x 0.757 · f −6.0207 이다.
- 초기 설계 — 무작위 3점 x 0.637 · 0.270 · 0.041 에서 f −1.597 · −0.100 · 1.103 을 얻는다.
- 4회째 — 점이 셋뿐이라 길이 척도가 0.34 로 길게 잡히고, EI 최대 0.115 인 끝자리 x 0.933 을 골라 10.24 라는 나쁜 값을 얻는다.
- 5회째 — 이 값이 들어오자 길이 척도가 0.081 로 짧아지고, σ 3.60 으로 비어 있던 x 0.559 를 탐색해 0.770 을 얻는다.
- 6 · 7회째 — EI 가 x 0.704(μ −1.092 · σ 2.119)와 0.743 을 골라 −4.774 · −5.917 로 최고값을 두 번 갱신한다.
- 8 · 9회째 — 아직 비어 있던 x 0.390(σ 4.02)을 한 번 확인한 뒤, 0.754 에서 −6.015 를 얻는다.
- 10 · 11회째 — 왼쪽 지역 최소 근처 x 0.155(−0.964)를 확인하고, 11회째 x 0.757 에서 −6.0207 로 후보 위 참 최소에 닿는다 · 이때 EI 는 0.0047 이다.
- 여러 시드 — 시드 0 ~ 9 를 같은 설정으로 돌리면 9개는 11회 안에 참 최소와 0.003 이내에 들어가고, 시드 8 은 초기 3점(0.327 · 0.987 · 0.319)이 매끈한 구간에만 떨어져 x 0.31 근처를 여섯 번 되풀이하다 −0.005 에서 끝난다.
그림 4 · 초기 3점 뒤 EI 는 오른쪽 끝(4회째)과 빈 구간(5 · 8 · 10회째)을 확인하는 사이사이 전역 최소 쪽으로 좁혀 들어가, 11회째 x 0.757 에 닿는다.
이 고리는 공정 레시피뿐 아니라 기계 학습 하이퍼파라미터 튜닝에도 그대로 쓰인다 — x = 학습률 · 정규화 세기 같은 설정, f = 검증 오차이고, 무작위 탐색이 비교 기준선이다(Snoek 2012 · Bergstra 2012).
같은 사후 분포에서도 획득 함수가 다르면 다음 점이 달라진다. 5회 관측 뒤(지금 최고 f* −1.597) 세 함수가 고르는 x 를 나란히 놓으면 «얼마나 멀리 나가 보는가»가 함수마다 다르다.
그림 5 · 같은 μ · σ 에서 PI 는 평균 최저 근처 0.647, EI 는 0.704, LCB(κ 2)는 σ 가 더 큰 0.734 를 고른다 — 참 최소 0.757 쪽으로 더 나가는 순서가 탐색 성향의 순서다.
🔑 획득 함수는 «어디가 좋아 보이나»가 아니라 «어디를 재면 가장 배우는가»를 고른다 — PI 는 개선 확률만 보고 평균 가까이에 머물고, EI 는 개선 크기를 σ 로 키워 더 멀리 나간다.
6비교 — 획득 함수와 모델 없는 탐색
Branin 2변수 함수(전역 최소 0.397887 · SFU Branin)를 [0, 1]² 로 바꿔, 초기 무작위 5점 + 15회 = 20회 평가 뒤 남은 차이(최고값 − 0.397887)를 시드 0 ~ 9 로 쟀다. 후보는 41 × 41 격자이고(후보 위 최소 차이 0.021), 커널 길이 척도는 변수마다 9개 후보에서 고른다.
| 기준 | EI | PI(ξ 0.01) | LCB(κ 2) | 톰슨 표집 | 모델 없는 탐색 |
|---|---|---|---|---|---|
| 다음 점 규칙 | 개선량의 기댓값 최대 | 개선 확률 최대(Kushner 1964) | μ − κσ 최소(Srinivas 2010) | 사후 표본 하나의 최소점 | 무작위 · 고정 격자 |
| 탐색 손잡이 | 없음 | ξ | κ | 없음(표본이 흔들림) | — |
| 20회 · 시드 0 / 중앙값 | 0.060 / 0.212 | 0.153 / 0.155 | 0.060 / 0.496 | 0.060 / 0.155 | 무작위 1.243 / 1.769 · 격자 5 × 4 5.533 |
| 20회 · 시드 범위 | 0.021 ~ 1.455 | 0.060 ~ 0.232 | 0.060 ~ 2.837 | 0.057 ~ 1.688 | 무작위 0.320 ~ 4.613 |
| 10회 · 중앙값 | 0.912 | 0.236 | 3.731 | 3.409 | 무작위 6.148 |
| 이 사례에서 보인 성질 | 가장 작은 값에 닿은 시드가 있다 | 일찍 좋아지고 흩어짐이 작다 | 앞쪽 회차를 탐색에 쓴다 | 병렬로 여러 점을 뽑기 쉽다 | 모델이 없어 앞 결과를 쓰지 않는다 |
그림 6 · 20회 평가에서 네 획득 함수의 중앙값(0.155 ~ 0.496)은 무작위 탐색(1.769)의 1/4 ~ 1/11 이지만, 획득 함수끼리의 차이는 시드 범위 안에 들어간다.
분석획득 함수는 손잡이가 없는 EI 로 시작하고, 평가가 10회 안팎으로 아주 적으면 PI 처럼 활용 쪽 함수를, 여러 점을 한 번에 돌려야 하면 표본마다 다른 점이 나오는 톰슨 표집을 고른다. 근거는 표의 「10회 중앙값」 행(PI 0.236 ↔ LCB 3.731)과 「시드 범위」 행 — 20회에서는 획득 함수끼리의 차이가 시드에 따른 흩어짐보다 작다.
같은 예산을 실험 묶음으로 미리 정하는 방식(격자 · 요인 배치)과 그 해석은 실험 계획법(DOE)이 맡는다 — 이 사례의 5 × 4 격자는 참 최소 세 곳 사이를 지나 5.533 이 남았다.
7실무 진단 — 제안점이 이상할 때
분석제안점의 위치부터 본다. 한 자리에 몰리는지 · 경계에만 붙는지 · 흩어지는지가 길이 척도 · 손잡이 · 잡음 가운데 어디를 볼지 정해 주고, 계산 시간은 관측 수 n 이 수백을 넘을 때만 따로 본다(Rasmussen 2006 5.4.1절 O(n³)).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 제안점이 한 자리 근처를 되풀이 | 길이 척도를 길게 잡아 σ 가 작음 | 하이퍼파라미터 | 고른 ℓ · 후보 위 최대 σ · 연속 제안점 거리 | 사례 시드 8 = ℓ 0.37 · 여섯 점이 0.31 ± 0.01 → ℓ 상한 · 사전 분포(MAP)를 두고 초기점을 늘린다(Frazier 2018 3.2절) |
| 2 | 제안점이 경계 · 구석만 돎 | 길이 척도가 짧음 · κ 가 큼 | 획득 함수 | 제안점 중 경계 비율 · κ 값 | 경계 비율이 절반을 넘고 최고값이 멈추면 κ 를 줄이거나 EI 로 바꾼다(사례 LCB 10회 중앙값 3.731 · Srinivas 2010) |
| 3 | 같은 점을 다시 재면 값이 다름 | 잡음을 0 으로 가정 | 대리 모델 | 같은 x 반복 평가의 흩어짐 | 흩어짐이 개선 폭보다 크면 잡음 분산을 하이퍼파라미터로 두고 잡음 대응 EI 를 쓴다(Frazier 2018 5절) |
| 4 | 회차가 늘수록 한 회 계산이 느려짐 | 커널 행렬 n × n 분해 | 계산 | 관측 수 n · 회당 계산 시간 | 시간이 n³ 꼴로 늘면 희소 근사 · 국소 영역 방식을 검토한다(Rasmussen 2006 알고리즘 2.1) |
사례의 시드 8 은 1행에 해당한다. 같은 설정에서 초기점만 공간 채움으로 바꾸거나 ℓ 상한을 두면 이 쏠림은 다시 판정한다.
8시험 대비
www.q-net.or.kr시험에서는 대리 모델 · 획득 함수 · 순차 평가를 쓰는 정의 · 특징형, 그리고 EI · PI · UCB 와 격자 · 무작위 탐색을 견주는 비교형이 나올 수 있다. 「적은 실험으로 최적을 찾는다」 한 줄에서 끝내지 않고, 같은 μ · σ 에서 획득 함수마다 다음 점이 다르다는 것을 그림으로 보이면 답안이 갈린다.
- 개요 — 정의 · 쓰는 조건(평가 한 번이 비쌈 · 20차원 미만 · 미분 없음) · 결과물 = 최적 x
- 구조 — 그림 3 구성(목적 함수 · 가우시안 과정 · 하이퍼파라미터 · 획득 함수 · 최대화) · μ · σ 식
- 동작 — 그림 4 순차 평가 11회(초기 설계 → 탐색 → 활용 → 종료)
- 획득 함수 비교 — 그림 5 같은 사후 분포에서 PI · EI · LCB 가 고르는 점 · 식 · 손잡이 표
- 성능 비교 — 그림 6 무작위 · 격자 대비 남은 차이 · 시드 범위
- 한계 · 대응 — 길이 척도 쏠림 · 잡음 · O(n³) · 고차원 · 하이퍼파라미터 튜닝 쓰임
꼭 쓸 키워드
대리 모델가우시안 과정커널길이 척도로그 주변 우도획득 함수기대 개선(EI)개선 확률(PI)GP-UCB톰슨 표집탐색과 활용
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 「탐색과 활용의 균형」이라는 말 대신, 같은 μ · σ 에서 세 함수가 0.647 · 0.704 · 0.734 로 갈리는 것을 숫자로 보인다.
9오해와 사실
- 오해베이지안 최적화는 시드 · 초기점과 상관없이 같은 답을 낸다.사실같은 설정에서도 시드 10개 중 하나(시드 8)는 초기 3점이 매끈한 구간에만 떨어져 지역 구간에서 끝났고, Branin 20회 EI 의 남은 차이는 0.021 ~ 1.455 로 흩어졌다.
- 오해획득 함수가 고르는 점은 대리 모델이 가장 좋다고 예측한 점이다.사실그림 5 에서 평균 최저는 x 0.660 이지만 EI 는 σ 가 큰 0.704 를 고른다(Frazier 2018 4.1절 그림 3 의 Δ · σ 맞바꿈).
- 오해가우시안 과정의 하이퍼파라미터는 한 번 정하면 된다.사실사례의 길이 척도는 4회째 0.34 → 5회째 0.081 로 바뀌었고, 매 회 로그 주변 우도로 다시 고른다(Rasmussen 2006 식 (5.8)).
10핵심 정리
| 구분 | 맡는 일 | 식 · 규칙 | 사례 값 | 근거 |
|---|---|---|---|---|
| 목적 함수 | 비싼 평가 · 최소화 대상 | 고른 x 에서만 부름 | Forrester 11회 · Branin 20회 | SFU |
| 가우시안 과정 | 예측 μ · 불확실성 σ | μ = k*ᵀK⁻¹y · σ² = k − k*ᵀK⁻¹k* | 관측점 σ 0.005 | Rasmussen 2006 |
| 길이 척도 | 닮음이 퍼지는 거리 | 로그 주변 우도 최대 | 0.34 → 0.081 | Rasmussen 2006 식 (5.8) |
| EI | 개선량 기댓값 | (f* − μ)Φ(z) + σφ(z) | 0.704 · 20회 중앙값 0.212 | Frazier 2018 식 (8) |
| PI | 개선 확률 | Φ((f* − ξ − μ)/σ) | 0.647 · 10회 중앙값 0.236 | Kushner 1964 |
| LCB · GP-UCB | 신뢰 하한 최소 | μ − κσ | 0.734 · 10회 중앙값 3.731 | Srinivas 2010 |
| 톰슨 표집 | 사후 표본의 최소점 | 표본 하나 → argmin | 20회 중앙값 0.155 | 사례 |
| 쏠림 실패 | 탐색이 멈춤 | ℓ 과대 → σ 과소 | 시드 8 · 0.31 근처 6회 | Frazier 2018 3.2절 |
11참고 문헌
- 먼저 볼 문헌
- ★ A Tutorial on Bayesian Optimization (arXiv 1807.02811) — 알고리즘 1 · 3.2절 하이퍼파라미터 · 4.1절 EI 식 (8) 을 따라 해 볼 때
- ★ Gaussian Processes for Machine Learning (Rasmussen · Williams · MIT Press) 2장 · 5장 — 사후 평균 · 분산 식 (2.25) · (2.26) 과 로그 주변 우도 식 (5.8) 을 볼 때
- ★ Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design (Srinivas · Krause · Kakade · Seeger · ICML 2010) — GP-UCB 와 누적 후회 상한을 볼 때
- ★ Practical Bayesian Optimization of Machine Learning Algorithms (Snoek · Larochelle · Adams · NIPS 2012) — 기계 학습 하이퍼파라미터 튜닝에 쓰는 법을 볼 때
- 본문 근거
- Efficient Global Optimization of Expensive Black-Box Functions (Journal of Global Optimization 13(4) 455-492) — Springer · 1998-12 ·
doi.org/10.1023/A:1008306431147· 확인 2026-11-12 - Random Search for Hyper-Parameter Optimization (Journal of Machine Learning Research 13 281-305) — JMLR · 2012-02 ·
jmlr.org/papers/v13/bergstra12a.html· 확인 2026-11-12 - A New Method of Locating the Maximum Point of an Arbitrary Multipeak Curve in the Presence of Noise (Journal of Basic Engineering 86(1) 97-106) — ASME · 1964-03 ·
doi.org/10.1115/1.3653121· 확인 2026-11-12 - Virtual Library of Simulation Experiments — Forrester et al. (2008) Function — Simon Fraser University · 2026-11 ·
www.sfu.ca/~ssurjano/forretal08.html· 확인 2026-11-12 - Virtual Library of Simulation Experiments — Branin Function — Simon Fraser University · 2026-11 ·
www.sfu.ca/~ssurjano/branin.html· 확인 2026-11-12 - NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-12