공정 최적화Process Optimization
온도 · 압력 · 시간 · 유량 같은 공정 조건을 바꿔 가며 실험해, 품질 목표를 가장 잘 맞추는 조건을 적은 실험 횟수로 찾는 방법이다.
1요약
- 공정 최적화는 Fisher(1935)의 실험 계획법과 Box · Wilson(1951)의 반응 표면법에서 출발해, 지금은 가우시안 과정 대리 모델과 획득 함수로 다음 실험 조건을 하나씩 고르는 베이지안 최적화(Jones 1998)가 그 위에서 돌며, 결과물은 장비에 넣을 레시피 값 한 묶음이다.
- 실험 한 번이 웨이퍼 · 장비 시간 · 계측을 쓰므로 실험 횟수가 곧 비용이다 — 플라즈마 식각 가상 시험에서 전문가가 앞 단계를 맡고 알고리즘이 마무리한 방식은 목표 도달 비용을 전문가 혼자일 때의 절반으로 줄였다(Kanarik 2023).
- 「최적화가 수렴하지 않는다」는 추천 조건이 실험 영역 경계에 붙었는가, 반복 측정의 차이가 개선 폭보다 큰가로 가른다 — 경계에 붙으면 영역을 옮기고, 잡음이 더 크면 모델을 바꾸기 전에 반복 측정부터 늘린다.
2등장 배경
1920 ~ 30년대 농업 시험장의 실험은 비료 · 품종을 한 번에 하나씩 바꿔 보는 방식이 흔했고, 두 요인이 함께 작용하는 효과는 이 방식으로 드러나지 않았다. 로담스테드 농업 시험장의 R. A. Fisher 는 1935년 『The Design of Experiments』에서 요인을 함께 바꾸는 요인 실험과 무작위화를 정리했다(MacTutor Fisher).
화학 공정에서는 수율이 가장 높은 조건을 찾아야 했다. 화학 회사 연구소에서 일하던 G. E. P. Box 와 K. B. Wilson 은 1951년 1차 모형으로 좋아지는 방향(최급 경사)을 따라 실험 영역을 옮기고, 최적 근처에서 2차 곡면을 맞추는 반응 표면법을 냈다(Box 1951 · MacTutor Box). 비싼 계산 · 실험을 줄이는 쪽에서는 Močkus(1975)의 기대 개선 아이디어를 Jones · Schonlau · Welch(1998)가 kriging 대리 모델과 묶어 EGO 로 널리 알렸다(Frazier 2018 4.1절).
지금 공정 개발에는 NIST/SEMATECH 핸드북 5장의 실험 계획법 · 중심 합성 계획이 표준 교재로 남아 있고, 변수가 많고 실험이 비싼 단계에는 베이지안 최적화가 들어온다. Frazier(2018)는 이 방법이 평가 한 번에 수 분 ~ 수 시간이 드는 20차원 미만 연속 공간에 가장 잘 맞는다고 정리했다.
3쉽게 이해하기 — 갯벌에서 조개 캐기
하준은 썰물 두 시간 동안 갯벌을 열두 번만 팔 수 있다. 처음 다섯 번은 갯벌 여기저기를 고르게 파 보고, 나온 조개 수를 수첩 지도에 적는다. 수첩에는 「여기는 많을 것 같다」는 어림과 「여기는 아직 모른다」는 표시가 함께 있어, 하준은 둘을 저울질해 다음 자리를 고른다. 물이 들어오는 바다 쪽 깃발 너머는 파지 않고, 어느 자리도 지금보다 나아 보이지 않으면 삽을 내려놓는다.
그림 1 · 하준은 고르게 판 다섯 곳으로 수첩 지도를 그리고, 지도에서 «많을 곳»과 «모르는 곳»을 저울질해 깃발 안에서 다음 자리를 판다.
그림 2 · 어림이 조금 적어도 «모르는» 자리 B 의 기대 이득이 가장 크다 — 다음 실험은 평균이 아니라 기대 개선(EI)으로 고른다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 삽질 열두 번 | 실험 예산 | 웨이퍼 · 장비 시간으로 정한 실험 횟수 상한(사례 12회) |
| 고르게 판 다섯 곳 | 초기 실험 계획 | 공간 채움 계획 · 실험 계획법으로 대리 모델의 첫 데이터를 만든다 |
| 파서 센 조개 수 | 실험 1회 · 계측 | 조건 x 로 공정을 돌려 품질 y(불균일도)를 잰다 |
| 수첩 지도 | 대리 모델(가우시안 과정) | 안 해 본 조건의 예측 평균 μ 와 불확실성 σ 를 낸다 |
| 다음 자리 저울질 | 획득 함수(EI) | μ 가 좋은 곳과 σ 가 큰 곳을 한 점수로 묶어 다음 조건을 고른다 |
| 바다 쪽 깃발 | 안전 범위 · 제약 | 장비 한계 · 안전 조건 밖의 후보를 뺀다 |
| 많지만 먼 자리 | 다목적 맞바꿈 | 품질과 처리 속도가 함께 좋아질 수 없을 때 파레토 해 중 하나를 고른다 |
| 삽 내려놓기 | 종료 · 확인 실험 | 최대 EI 가 측정 잡음보다 작아지면 멈추고 추천 조건을 다시 돌려 확인한다 |
⚠ 비유가 맞지 않는 곳: 갯벌의 조개 자리는 날마다 바뀌지만, 공정 최적화는 장비 상태가 그대로라는 가정 위에 있다 — 챔버가 드리프트하면 찾은 조건도 밀리고, 그 보정은 R2R 제어가 맡는다. 하준은 지도를 눈으로 어림하지만 대리 모델은 커널 식으로 μ · σ 를 계산한다.
4구조 — 탐색 공간 · 대리 모델 · 획득 함수 · 종료
베이지안 최적화는 실험 한 번이 끝날 때마다 대리 모델을 다시 맞추고 다음 조건 하나를 고르는 고리다(Frazier 2018 알고리즘 1). 반응 표면법은 같은 일을 실험 묶음 단위로 한다 — 2변수 면 중심 합성 계획(CCF)은 요인점 4 · 축점 4 · 중심점을 미리 정하고 2차 다항식 하나를 맞춘다(NIST 5.3.3.6.1).
그림 3 · 베이지안 최적화는 «실험 → 데이터 → 모델 → 다음 조건»을 한 점씩 돌고, 반응 표면법은 실험 묶음을 먼저 정한다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 탐색 공간 | 바꿀 변수와 범위 | 히터 온도 350 ~ 450 °C · 압력 2 ~ 10 Torr(가정 값) | NIST 5.3.3.6.1 CCI · CCF(한계가 엄격하면 점을 범위 안에) |
| 제약 · 안전 범위 | 넘으면 안 되는 조건 · 출력 | 범위 상자 · 속도 하한(그림 6) | EI × 제약 만족 확률(Gardner 2014) · 안전 임계값(Sui 2015) |
| 초기 실험 계획 | 모델의 첫 데이터 | 공간 채움 5점 | Frazier 2018 알고리즘 1 |
| 대리 모델 | 예측 평균 μ · 불확실성 σ | 가우시안 과정 · RBF 커널 · 길이 척도 0.10 ~ 0.40 | Rasmussen 2006 2장 · 5장 주변 우도 |
| 획득 함수 | 다음 조건 하나 고르기 | 기대 개선(EI) · 후보 101 × 101 격자 | Frazier 2018 식 (8) |
| 종료 · 확인 | 멈춤과 추천 확정 | 최대 EI 0.0018 · 잡음 σ 0.03 | 사례 |
🔑 반응 표면법은 실험을 먼저 다 정하고 모델을 맞추고, 베이지안 최적화는 모델이 다음 실험을 정한다 — 두 방법의 차이는 모델의 종류보다 실험 순서에 있다.
5동작 — 증착 조건 두 변수의 12회 탐색
Python 3.14.0 · NumPy 2.4.3(default_rng(1))으로 직접 실행한 합성 데이터 사례다. 불균일도는 합성 함수 U(T, P)에 측정 잡음 σ 0.03 %p 를 더한 값이고, 변수 범위 · 함수는 모두 설명용 가정 값이다(실제 공정의 레시피 값이 아님).
- 안전 범위를 히터 온도 350 ~ 450 °C · 압력 2 ~ 10 Torr 로 정하고 두 변수를 0 ~ 1 로 정규화한다 — 후보는 101 × 101 = 10,201개 격자점이다.
- 공간 채움 5점(360 °C · 4.4 Torr / 380 · 9.2 / 400 · 6.0 / 420 · 2.8 / 440 · 7.6)을 돌려 불균일도 2.045 · 1.773 · 0.824 · 0.745 · 1.158 % 를 얻는다.
- RBF 커널 가우시안 과정을 맞추며 로그 주변 우도가 가장 큰 길이 척도 0.10 을 고르고(Rasmussen 2006 5장), EI 가 가장 큰 417 °C · 3.44 Torr 를 6회째로 돌려 0.709 % 를 얻는다.
- 7회째 420 °C · 5.28 Torr 는 예측 μ 0.707 · σ 0.237 로 불확실성이 컸고, 실제 0.607 % 가 나와 최고값을 0.10 %p 줄인다.
- 8 · 9회째는 450 °C 경계 두 곳(3.28 · 2.0 Torr)을 탐색해 0.668 · 0.821 % 로 그쪽이 더 낫지 않음을 확인한다.
- 10회째 433 °C · 4.16 Torr(예측 μ 0.594 · σ 0.074)에서 0.604 % 로 최고값을 갱신한다.
- 11회째 450 °C · 4.88 Torr(0.688 %) 뒤, 12회째 후보 426 °C · 4.64 Torr 의 EI 는 0.0018 로 측정 잡음 0.03 보다 훨씬 작아 예산 12회에서 멈추고 433 °C · 4.16 Torr 를 추천한다 — 합성 함수의 참 최소(430 °C · 4.4 Torr · 0.600 %)와 0.003 %p 차이다.
그림 4 · 초기 5점으로 공간을 훑은 뒤 EI 가 450 °C 경계까지 탐색하고, 10회째 433 °C · 4.16 Torr 에서 참 최소 가까이 들어간다 — 반응 표면법 영역(점선)은 최적을 담지 못했다.
EI 가 무엇을 저울질하는지는 한 변수 단면에서 보인다. 압력을 4.4 Torr 에 고정하고 355 · 385 · 405 · 445 °C 네 점만 잰 상태에서, 예측 평균이 가장 낮은 곳과 EI 가 가장 큰 곳은 서로 다르다.
그림 5 · 평균이 가장 낮은 442.5 °C 대신 불확실성이 큰 430 °C 의 EI 가 가장 크고, 참 최소도 430 °C 에 있다.
🔑 EI 는 «가장 좋아 보이는 곳»이 아니라 «좋아질 기대가 가장 큰 곳»을 고른다 — 평균 최저 442.5 °C 의 EI 는 0.019, 불확실성이 큰 430 °C 의 EI 는 0.068 이다.
목표가 둘이면 답은 점 하나가 아니다. 같은 범위에서 증착 속도 R(합성 · 가정 값)을 함께 키우려 하면, 불균일도를 더 줄이면서 속도도 더 올릴 수 없는 점들의 선인 파레토 앞면(Deb 2002)이 생긴다. 제약은 이 앞면을 자르는 방식으로 들어간다 — 속도 하한을 두면 그 아래 후보를 빼거나, 제약을 따로 모델로 맞춰 EI 에 만족 확률을 곱한다(Gardner 2014).
그림 6 · 속도 하한을 50 에서 60 nm/min 으로 올리면 닿을 수 있는 최소 불균일도가 0.600 에서 0.769 % 로 커진다.
강화 학습은 공정 도중 시간에 따라 조건을 바꾸는 연속 결정 문제에 쓰이고, 레시피 한 묶음을 찾는 공정 최적화의 방법과는 데이터를 모으는 방식이 다르다.
6비교 — 격자 · 반응 표면법 · 베이지안 최적화
같은 합성 함수 · 같은 잡음으로 세 방식을 돌린 결과다(참 값 = 잡음 없는 함수 값).
| 기준 | 완전 요인 격자(5 × 5) | 실험 계획법 + 반응 표면법(CCF) | 베이지안 최적화(GP + EI) |
|---|---|---|---|
| 실험 순서 | 25점을 미리 정해 모두 돌림 | 11점을 미리 정하고 모형을 맞춘 뒤 확인 1회 | 한 점마다 모델을 다시 맞춰 다음 점을 고름 |
| 사례 실험 수 · 결과(참 값) | 25회 · 425 °C · 4.0 Torr · 0.618 %(17회째에 처음 나옴) | 12회 · 영역 모서리 415 °C · 4.8 Torr · 0.643 % · 정상점 424.5 °C · 3.0 Torr 는 영역 밖 | 12회 · 433 °C · 4.16 Torr · 0.603 % |
| 모델 | 없음 — 관측 최솟값 | 2차 다항식 6계수 · R² 0.998(중심 395 °C · 6.4 Torr · 반폭 20 °C · 1.6 Torr) | 가우시안 과정 μ · σ |
| 변수가 4개로 늘면 | 5⁴ = 625회 | CCF 2⁴ + 2 × 4 = 24점 + 중심점(NIST 5.3.3.6.1) | 대개 20차원 미만 연속 변수까지(Frazier 2018) |
| 결과 해석 | 표에서 바로 읽음 | 계수로 요인 효과 · 상호작용을 읽음 | 요인 효과 해석은 약하고 다음 점 고르기가 강점 |
분석변수가 2 ~ 3개이고 최적이 정한 영역 안에 있을 것으로 보이면 요인 효과까지 알려 주는 반응 표면법을 먼저 쓰고, 변수가 많거나 최적 위치를 모르고 실험을 하나씩 돌릴 수 있으면 베이지안 최적화를 쓴다. 근거는 표의 「사례」 행 — 같은 12회에서 반응 표면법은 정상점이 영역 밖이라 2단계 실험이 남았고, 베이지안 최적화는 참 최소와 0.003 %p 안에 들어왔다.
7실무 진단 — 최적화가 수렴하지 않을 때
분석반복 측정 잡음을 먼저 보고, 다음에 추천 조건이 영역 경계인지, 마지막에 모델이 맞는지를 본다. 잡음이 개선 폭보다 크면 어떤 모델도 두 조건을 가르지 못하므로(Rasmussen 2006 2.2절 잡음 분산), 앞 단계가 정상일 때만 다음 단계를 의심한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 회차마다 최고값이 오르내리고 순서가 뒤바뀜 | 측정 · 공정 잡음 | 계측 | 같은 조건 반복(사례 중심점 0.983 · 0.941 · 0.942 %) | 반복 표준편차(사례 0.024 %p)가 최근 개선 폭보다 크면 반복 수부터 늘림(NIST 5.3.3.6.1 중심점) |
| 2 | 추천 조건이 실험 영역 모서리 · 경계 | 영역이 좁음 · 최적이 영역 밖 | 실험 계획 | 2차 모형의 정상점 좌표 | 코드 값 ±1 밖이면(사례 x₁ 1.48 · x₂ −2.11) 최급 경사 방향으로 영역을 옮김(Box 1951) |
| 3 | 확인 실험 값이 예측과 크게 다름 | 커널 · 잡음 가정이 맞지 않음 · 데이터 부족 | 대리 모델 | 추천점의 μ · σ 와 확인 값 | μ ± 2σ 밖이면 커널 · 길이 척도를 다시 맞추고 그 점을 데이터에 넣음(Rasmussen 2006 2.2절 예측 분포) |
| 4 | 찾은 조건이 며칠 뒤 다시 나빠짐 | 장비 드리프트 · 챔버 상태 변화 | 장비 | SPC 관리도 · 정비 이력 | 관리 한계 밖이면 다시 최적화하지 않고 R2R 제어 · 정비로 넘김 |
사례에서는 1행의 반복 표준편차 0.024 %p 가 마지막 개선 폭(7 → 10회째 0.003 %p)보다 커서, 433 °C · 4.16 Torr 와 420 °C · 5.28 Torr 를 이 데이터만으로는 가를 수 없다. 이때는 두 조건을 각각 3회 이상 반복해 평균으로 고른다.
8시험 대비
시험에서는 공정 최적화의 정의와 실험 계획법 · 반응 표면법 · 베이지안 최적화의 차이를 쓰는 정의 · 특징형, 그리고 AI 기반 레시피 탐색이 공정 개발을 어떻게 바꾸는지 묻는 동향 · 발전형이 나올 수 있다. 실험 비용이 왜 큰지와 획득 함수의 탐색 · 활용 균형을 그림으로 보이면 «방법 나열»을 넘는다.
- 개요 — 정의 · 실험 비용이 큰 까닭(웨이퍼 · 장비 시간 · 계측) · 결과물 = 레시피 값 한 묶음
- 방법의 흐름 — 실험 계획법(Fisher 1935) → 반응 표면법(Box 1951 · CCF 11점) → 베이지안 최적화(Jones 1998) 비교표
- 베이지안 최적화 구조 — 그림 3 반복 고리(탐색 공간 · 대리 모델 · 획득 함수 · 종료)
- 획득 함수 원리 — 그림 5 μ · σ · EI 곡선(평균 최저 442.5 °C ↔ EI 최대 430 °C) · EI 식
- 제약 · 다목적 — 안전 범위 · EI × 만족 확률 · 그림 6 파레토 앞면(속도 50 → 60 nm/min 이면 0.600 → 0.769 %)
- 동향 · 한계 — 사람이 앞 단계 · 알고리즘이 마무리(Kanarik 2023 비용 절반) · 20차원 한계 · 드리프트는 R2R 제어
꼭 쓸 키워드
실험 계획법반응 표면법중심 합성 계획대리 모델가우시안 과정획득 함수기대 개선탐색과 활용파레토 앞면안전 범위
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 「불확실성을 고려한다」 한 줄 대신, 평균이 가장 낮은 곳을 두고 EI 가 다른 곳을 고르는 까닭을 μ · σ 숫자로 보인다.
9오해와 사실
- 오해베이지안 최적화는 실험 계획법을 대체한다.사실첫 데이터는 여전히 공간 채움 · 실험 계획으로 만들고(Frazier 2018 알고리즘 1 초기 설계), 사례도 5점으로 시작했다.
- 오해대리 모델이 가장 좋다고 예측한 조건을 다음에 돌리는 것이 가장 빠르다.사실평균만 따르면 이미 잰 점 옆만 찍는다 — 그림 5 에서 평균 최저는 442.5 °C 지만 참 최소는 EI 가 고른 430 °C 다.
- 오해최적 조건은 하나다.사실목표가 둘이면 답은 파레토 앞면 위의 여러 점이고(Deb 2002), 사례에서 속도 하한을 50 → 60 nm/min 으로 올리면 최소 불균일도가 0.600 → 0.769 % 로 바뀐다.
10핵심 정리
| 구분 | 맡는 일 | 사례 값 | 식 · 규칙 | 근거 |
|---|---|---|---|---|
| 탐색 공간 · 안전 범위 | 바꿀 변수와 넘지 않을 범위 | 350 ~ 450 °C · 2 ~ 10 Torr | 범위 밖 후보 제외 · 만족 확률 곱 | Gardner 2014 |
| 실험 계획법 | 요인 효과 · 첫 데이터 | 공간 채움 5점 | 요인을 함께 바꿈 · 무작위화 | Fisher 1935 |
| 반응 표면법 | 2차 곡면 · 정상점 | CCF 11점 · R² 0.998 | 2차 다항식 6계수 · 최급 경사 | Box 1951 |
| 가우시안 과정 | 예측 평균 · 불확실성 | 길이 척도 0.10 ~ 0.40 | RBF 커널 · 주변 우도 최대 | Rasmussen 2006 |
| 기대 개선(EI) | 다음 조건 하나 고르기 | 단면 430 °C · EI 0.068 | (f* − μ)Φ(z) + σφ(z) | Frazier 2018 식 (8) |
| 종료 · 확인 실험 | 멈춤 · 추천 확정 | EI 0.0018 · 433 °C · 4.16 Torr | 최대 EI ≪ 측정 잡음 | 사례 |
| 파레토 앞면 | 목표 둘의 맞바꿈 | 50 → 60 nm/min · 0.600 → 0.769 % | 서로 지배하지 않는 해의 모음 | Deb 2002 |
11참고 문헌
- 먼저 볼 문헌
- ★ Efficient Global Optimization of Expensive Black-Box Functions (Journal of Global Optimization 13(4) 455-492) — 기대 개선과 kriging 대리 모델로 비싼 함수를 최적화하는 원형을 볼 때
- ★ A Tutorial on Bayesian Optimization (arXiv 1807.02811) — 가우시안 과정 · EI 식 (8) · 알고리즘 1 을 따라 해 볼 때
- ★ NIST/SEMATECH e-Handbook of Statistical Methods 5.3.3.6.1 Central Composite Designs (CCD) — 중심 합성 계획(CCC · CCI · CCF)의 점 배치와 α 값을 볼 때
- ★ On the Experimental Attainment of Optimum Conditions (Journal of the Royal Statistical Society Series B 13(1) 1-45) — 반응 표면법과 최급 경사 이동의 원전을 볼 때
- ★ Human-machine collaboration for improving semiconductor process development (Nature 616 707-711) — 식각 공정 개발에서 사람과 베이지안 최적화의 역할 나눔을 볼 때
- 본문 근거
- Gaussian Processes for Machine Learning (Rasmussen · Williams · MIT Press) — MIT Press · 2006-01 ·
gaussianprocess.org/gpml/· 확인 2026-11-04 - Bayesian Optimization with Inequality Constraints (ICML 2014 PMLR 32(2) 937-945) — PMLR · 2014-06 ·
proceedings.mlr.press/v32/gardner14.html· 확인 2026-11-04 - Safe Exploration for Optimization with Gaussian Processes (ICML 2015 PMLR 37 997-1005) — PMLR · 2015-07 ·
proceedings.mlr.press/v37/sui15.html· 확인 2026-11-04 - A fast and elitist multiobjective genetic algorithm: NSGA-II (IEEE Transactions on Evolutionary Computation 6(2) 182-197) — IEEE · 2002-04 ·
doi.org/10.1109/4235.996017· 확인 2026-11-04 - Ronald Aylmer Fisher - Biography (MacTutor History of Mathematics) — University of St Andrews · 2026-11 ·
mathshistory.st-andrews.ac.uk/Biographies/Fisher/· 확인 2026-11-04 - George Edward Pelham Box - Biography (MacTutor History of Mathematics) — University of St Andrews · 2026-11 ·
mathshistory.st-andrews.ac.uk/Biographies/Box/· 확인 2026-11-04 - NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-04