앙상블Ensemble Learning
여러 모델(기초 학습기)의 예측을 투표 · 평균 · 가중 합으로 묶어, 어느 한 모델보다 오차가 작은 예측을 내는 머신러닝 방법이다.
1요약
- 앙상블은 머신러닝 알고리즘 가운데 기초 학습기 여러 개를 묶는 방법으로, 배깅(Breiman 1996) · AdaBoost(Freund 1997) · 랜덤 포레스트(Breiman 2001) · 스태킹(Wolpert 1992)이 대표이고, 그 위에서 표 데이터 분류 · 회귀 · 수율 예측 같은 일이 돈다.
- 결정 트리 하나는 학습 데이터가 조금만 바뀌어도 모양이 크게 바뀌는 불안정한 학습기라 오차가 크다 — 소나 데이터에서 트리 하나의 시험 오차는 31.7% 였고, 랜덤 포레스트는 15.9%, AdaBoost 는 15.6% 였다(Breiman 2001 표 2).
- 「멤버를 늘려도 더 좋아지지 않는다」는 멤버 사이 상관으로 가른다 — 상관이 높으면 멤버 수를 늘려도 흔들림이 바닥 아래로 내려가지 않으므로, 수가 아니라 다양성(특성 무작위 선택 · 다른 알고리즘)을 늘려야 한다.
2등장 배경
통계 모델 하나를 고르면 그 모델이 틀리는 방식에 그대로 묶인다. 1990년 Hansen · Salamon 은 신경망 여러 개를 다수결로 묶으면 하나보다 오차가 줄고, 조건은 멤버가 「우연보다 정확하고 서로 다른 곳에서 틀리는 것」임을 보였다(Hansen 1990 · Dietterich 2000 1절). 오차 0.3 인 멤버 21개가 서로 독립으로 틀리면 11개 이상이 동시에 틀릴 확률, 곧 다수결 오차는 0.026 이다(Dietterich 2000 그림 1).
Breiman 은 1994년 기술 보고서(1996년 논문)에서 학습 표본을 복원 추출한 붓스트랩 50벌로 트리 50개를 만들어 투표하는 배깅을 내놓아, 파형 데이터 오차를 29.0% → 19.4% 로 줄였다(Breiman 1996 표 1). Freund · Schapire 는 1997년 틀린 표본에 가중치를 몰아 약한 학습기를 차례로 쌓는 AdaBoost 를(Freund 1997), Wolpert 는 1992년 멤버 예측을 입력으로 받는 메타 모델 스태킹을, Breiman 은 2001년 분할마다 특성 일부만 보는 랜덤 포레스트를 냈다(Breiman 2001 4절). 같은 해 Friedman 은 부스팅을 손실 함수의 경사 하강으로 다시 썼다(Friedman 2001).
지금 표 데이터에서는 트리 앙상블이 기본 선택이다 — 2015년 한 경진 대회 사이트 블로그에 실린 우승 풀이 29개 가운데 17개가 그래디언트 트리 부스팅 오픈소스 XGBoost 를 썼다(Chen 2016 1절). 남은 약점은 트리 수백 개의 판단 근거를 읽기 어렵다는 것이고, 설명은 SHAP 같은 설명 방법이 맡는다.
3쉽게 이해하기 — 내일 비를 맞히는 기상 동아리
기상 동아리 반장 하은은 「내일 비가 오나」를 혼자 맞히다 자주 틀려서 친구들을 모은다. 첫째 조 친구 셋은 지난 일기장 300일 가운데 제비뽑기로 뽑은 300일(같은 날이 두 번 뽑혀도 됨)만 보고, 구름 · 바람 · 습도 단서도 몇 개씩만 골라 따로 익힌다. 둘째 조 친구 셋은 한 명씩 차례로 익히는데, 앞사람이 틀린 날을 굵게 표시해 다음 사람이 그날을 더 열심히 본다. 하은은 첫째 조는 한 사람 한 표, 둘째 조는 잘 맞힌 사람에게 더 큰 표를 주고 모아 예보를 낸다.
그림 1 · 첫째 조는 서로 다른 일기장 묶음으로 따로 익혀 한 표씩, 둘째 조는 앞사람이 틀린 날에 무게를 실어 차례로 익혀 큰 표 작은 표로 묶는다.
그림 2 · 다섯 명 모두 6일 중 2일을 틀려도, 틀리는 날이 서로 다르면 다수결은 하루도 틀리지 않고 같은 날 몰려 틀리면 다수결도 그날 틀린다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 일기장 300일 | 학습 데이터 | 표본 n 개 · 특성과 레이블 |
| 제비뽑기로 뽑은 300일 | 붓스트랩 표본 | n 개를 복원 추출 · 표본마다 약 36.8% 가 빠진다 |
| 단서 몇 개만 보기 | 특성 무작위 선택 | 분할마다 특성 m 개 후보만 본다(랜덤 포레스트) |
| 따로 익힌 친구 | 기초 학습기 | 같은 알고리즘으로 따로 학습한 트리 하나 |
| 한 사람 한 표 | 다수결 · 평균 | 분류는 다수결, 회귀는 평균 |
| 틀린 날을 굵게 | 표본 가중치 갱신 | 틀린 표본의 가중치를 키워 다음 학습기에 넘긴다(부스팅) |
| 잘 맞힌 사람에게 큰 표 | 학습기 가중치 α | 가중 오차가 작은 학습기일수록 큰 몫 |
| 같은 날 몰려 틀림 | 멤버 사이 상관 | 상관이 높으면 묶어도 오차가 줄지 않는다 |
⚠ 비유가 맞지 않는 곳: 친구들은 저마다 타고난 감이 다르지만, 배깅 · 랜덤 포레스트의 트리는 같은 알고리즘이라 차이는 뽑힌 표본과 단서에서만 나온다. 둘째 조 친구도 굵게 표시된 날만 보는 것이 아니라 300일을 모두 보되 무게만 다르게 둔다.
4구조 — 멤버를 만드는 법과 묶는 법
그림 3 · 배깅 · 랜덤 포레스트는 표본과 특성을 흔들어 멤버를 따로 만들고, 부스팅은 앞 멤버의 실수로 다음 멤버를 만들며, 스태킹은 다른 알고리즘의 예측을 메타 모델이 묶는다.
| 요소 | 역할 | 사례 값(그림 4) | 근거 |
|---|---|---|---|
| 기초 학습기 | 묶일 멤버 하나 | 가지치기 없는 트리 · 깊이 1 트리(그루터기) | Breiman 1996 2절 · Schapire 2013 그림 1 |
| 붓스트랩 표본 | 멤버마다 다른 학습 표본 | 146개 복원 추출 · 평균 36.4% 빠짐 | Breiman 1996 6.3절(빠지지 않을 확률 1 − 1/e ≈ 0.632) |
| 특성 무작위 선택 | 분할마다 볼 특성 후보 | 60개 중 6개 = int(log₂60 + 1) | Breiman 2001 4절 |
| 표본 가중치 D | 틀린 표본에 무게 | 1회 뒤 틀린 표본 0.0161 · 맞힌 표본 0.0043 | Schapire 2013 그림 1 |
| 결합 규칙 | 멤버 예측을 하나로 | 다수결 · 가중 합 Σ α·h | Breiman 1996 1절 · Schapire 2013 식 1 |
| OOB 추정 | 빠진 표본으로 오차 추정 | 배깅 18.5% · 랜덤 포레스트 16.4% | Breiman 2001 3.1절 |
배깅과 랜덤 포레스트는 멤버를 서로 모른 채 병렬로 만들어 흔들리는 학습기의 분산을 줄이고(Breiman 1996 1절), 부스팅은 앞 멤버가 틀린 표본으로 다음 멤버를 만드는 순차 구조다. 그래디언트 부스팅은 그 「틀린 정도」를 손실의 경사(회귀면 잔차)로 바꿔 트리가 잔차를 맞추게 하고, 축소 계수로 한 걸음을 줄인다(Friedman 2001 · Chen 2016 2.3절). 스태킹은 멤버 예측을 교차 검증으로 만들어 메타 모델의 입력으로 쓴다(Wolpert 1992).
🔑 배깅 · 랜덤 포레스트는 멤버를 서로 떼어 놓아 흔들림을 지우고, 부스팅은 멤버를 앞 멤버의 실수에 묶어 모자란 곳을 메운다.
5동작 — 소나 신호 판별에서 트리 하나와 세 앙상블
공개 데이터로 직접 실행했다(NumPy 로 CART · 배깅 · 랜덤 포레스트 · AdaBoost 를 구현 · default_rng(0)). 각 방식의 멤버는 200개다.
- UCI 소나 데이터 208 표본을 읽는다 — 금속 원통 M 111 · 암석 R 97 · 특성 60개(주파수 대역별 에너지 · 0 ~ 1)(UCI 소나).
- 클래스마다 30% 를 떼는 층화 분할로 학습 146(M 78) · 시험 62(M 33)를 만든다.
- 가지치기 없는 트리 하나는 잎 14개로 학습 오차 0 이지만 시험에서 26개를 틀린다(41.9%).
- 배깅은 붓스트랩마다 학습 표본의 평균 36.4% 가 빠지고(NumPy Generator.integers), 트리 200개 다수결의 시험 오차가 32.3%(20개) · OOB 오차가 18.5% 다.
- 랜덤 포레스트는 분할마다 특성 6개만 본다. 트리 하나의 평균 시험 오차는 36.3% 로 배깅 트리(34.8%)보다 나쁘지만, 트리 예측 사이 평균 상관이 0.30 → 0.21 로 내려가 시험 오차 29.0%(18개)가 된다.
- AdaBoost 는 그루터기를 쌓는다. 첫 그루터기의 가중 오차 ε₁ = 0.212 에서 α₁ = ½ ln((1 − ε₁)/ε₁) = 0.655 를 받고(Schapire 2013 그림 1), 다음 회차에서 틀린 표본의 가중치가 맞힌 표본의 3.7배가 된다. 50회에 학습 오차 0 이 되고 시험 오차는 50회 22.6% → 200회 16.1%(10개)로 계속 내려간다.
- 분할 시드를 0 ~ 9 로 바꿔 열 번 돌리면 평균 시험 오차는 트리 29.2% · 배깅 21.0% · 랜덤 포레스트 19.7% · AdaBoost 17.3% 이고, 열 번 모두 랜덤 포레스트의 트리 사이 상관이 배깅보다 낮다(배깅 0.25 ~ 0.35 · 랜덤 포레스트 0.16 ~ 0.27). 시드 0 분할은 시험 오차가 높은 쪽이며, 순서는 Breiman 2001 표 2 와 같다.
그림 4 · 시드 0 분할에서 멤버가 늘수록 세 앙상블 모두 트리 하나(41.9%)보다 낮아지고, AdaBoost 는 학습 오차가 0 이 된 50회 뒤에도 시험 오차가 내려간다.
그림 5 · 멤버 사이 상관 ρ 가 있으면 멤버를 늘려도 평균의 분산은 ρ 아래로 내려가지 않는다 — 랜덤 포레스트는 멤버 수가 아니라 ρ 를 0.30 → 0.21 로 낮춰 바닥을 내린다.
🔑 앙상블이 내려갈 수 있는 바닥은 멤버 수가 아니라 멤버 사이 상관이 정한다 — 랜덤 포레스트는 트리 하나를 조금 약하게 만드는 대신 상관을 낮춰 더 깊이 내려간다(Breiman 2001 정리 2.3 · 강도 s 와 상관 ρ̄ 로 PE* ≤ ρ̄(1 − s²)/s²).
6비교 — 배깅 · 랜덤 포레스트 · 부스팅 · 스태킹
| 기준 | 단일 결정 트리 | 배깅 | 랜덤 포레스트 | 부스팅(AdaBoost · 그래디언트) | 스태킹 |
|---|---|---|---|---|---|
| 멤버를 만드는 법 | — | 붓스트랩 표본 | 붓스트랩 + 분할마다 특성 m 개 | 가중치 · 잔차로 차례로 | 서로 다른 알고리즘 + 메타 모델 |
| 학습 순서 | 한 번 | 병렬 | 병렬 | 순차(앞 멤버에 매임) | 멤버 병렬 · 메타 나중 |
| 사례 시험 오차(시드 0 · 10회 평균) | 41.9% · 29.2% | 32.3% · 21.0% | 29.0% · 19.7% | 16.1% · 17.3%(AdaBoost) | — |
| 레이블 잡음 5% 뒤 오차 증가율(소나) | — | — | −6.6% | +15.1%(AdaBoost) | 멤버에 따라 다름 |
| 손볼 하이퍼파라미터 | 깊이 · 잎 크기 | 멤버 수 | 멤버 수 · m | 반복 수 · 학습률 · 깊이 | 멤버 구성 · 메타 모델 · 겹 수 |
| 따로 떼지 않는 오차 추정 | 없음 | OOB | OOB | 없음(검증 세트 · 교차 검증) | 교차 검증 예측 |
분석레이블이 깨끗하고 튜닝할 시간이 있으면 부스팅을, 레이블에 잡음이 있거나 튜닝 없이 OOB 로 바로 판단하려면 랜덤 포레스트를, 서로 다른 알고리즘이 이미 비슷한 성능으로 있으면 스태킹을 고른다. 근거는 표의 잡음 행(Breiman 2001 8절 표 4)과 OOB 행(Breiman 2001 3.1절)이다.
결정 트리 하나의 분할 기준 · 가지치기는 결정 트리가 맡는다.
7실무 진단 — 앙상블이 기대만큼 줄지 않을 때
분석시험 오차와 OOB 오차를 먼저 나란히 보고(평가 문제인지), 다음에 멤버 사이 상관(다양성 문제인지), 그다음 부스팅이면 가중치가 몰린 표본(레이블 문제인지)을 본다. OOB 는 따로 떼지 않은 오차 추정이라 시험 세트가 작을 때 비교 기준이 된다(Breiman 2001 3.1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | OOB 오차와 시험 오차가 크게 다름 | 시험 세트가 작음 · 같은 대상의 표본이 학습 · 시험에 나뉨 | 평가 | 분할 시드를 바꾼 반복 · 대상별 분할 | 차이가 시드 반복 범위 안이면 분할 운(사례 OOB 18.5% · 시험 32.3% · 10회 배깅 12.9 ~ 32.3%) · 소나는 같은 물체를 여러 각도에서 잰 표본(UCI 소나) |
| 2 | 트리를 늘려도 시험 오차가 그대로 | 멤버 사이 상관이 높음 | 다양화 | 트리 예측 사이 평균 상관 · m 별 OOB 오차 | 상관이 배깅 수준(사례 0.30)이면 m 을 줄이고, OOB 가 나빠지면 int(log₂M + 1) 의 2 ~ 3배로 늘려 비교(Breiman 2001 4 · 6절) |
| 3 | 부스팅 반복이 늘수록 시험 오차가 오름 | 레이블 잡음 · 이상값에 가중치가 몰림 | 데이터 | 반복마다 가중치 상위 표본 목록 · 그 표본의 레이블 | 상위 표본에서 레이블 오류가 나오면 레이블 문제 · 잡음 5% 에 소나 AdaBoost 오차 증가율 +15.1%(Breiman 2001 8절 표 4) |
| 4 | 모델이 크고 예측이 느림 | 멤버 수 과다 | 운영 | 멤버 수별 OOB 곡선 | 곡선이 평평해진 수를 넘으면 줄임 · 파형 데이터 복제 10 · 25 · 50 · 100 에서 21.8 · 19.5 · 19.4 · 19.4%(Breiman 1996 6.2절) |
트리 수백 개를 작은 모델 하나로 줄이는 일은 지식 증류가 맡는다.
8시험 대비
www.q-net.or.kr시험에서는 앙상블의 정의 · 원리 · 대표 방식을 쓰는 정의 · 특징형, 그리고 배깅과 부스팅(또는 랜덤 포레스트)의 학습 순서 · 줄이는 오차 · 잡음 내성을 가르는 비교형이 나올 수 있다. 「여러 모델을 합친다」에서 멈추지 않고, 상관 ρ 가 정하는 바닥을 식과 그림으로 보이면 원리를 설명한 답안이 된다.
- 개요 — 정의(기초 학습기 여러 개를 투표 · 평균 · 가중 합으로) · 조건 = 정확하고 다양한 멤버(Dietterich 2000) · 독립 21개 · 오차 0.3 → 다수결 0.026
- 구조 — 그림 3 네 방식(배깅 · 랜덤 포레스트 · 부스팅 · 스태킹)의 멤버 만드는 법 · 결합 규칙 + 요소 표(붓스트랩 · 특성 m · 가중치 D · OOB)
- 원리 — 그림 5 분산 비율 ρ + (1 − ρ)/B · 랜덤 포레스트 상관 0.30 → 0.21 · Breiman 정리 2.3
- 동작 사례 — 그림 4 소나 데이터 멤버 수별 시험 오차(트리 41.9% → 배깅 32.3% · 랜덤 포레스트 29.0% · AdaBoost 16.1%) · α = ½ ln((1 − ε)/ε)
- 방식 비교 — 학습 순서 · 하이퍼파라미터 · OOB · 레이블 잡음 내성(+15.1% ↔ −6.6%) 표
- 한계와 대응 — 해석 어려움(SHAP) · 모델 크기(지식 증류) · 같은 대상 표본 누수(대상별 분할)
꼭 쓸 키워드
기초 학습기붓스트랩배깅OOB 오차특성 무작위 선택랜덤 포레스트AdaBoost그래디언트 부스팅스태킹멤버 사이 상관
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 「다양할수록 좋다」 한 줄 대신 상관 0.30 과 0.21 의 바닥이 멤버 50개에서 0.314 · 0.226 으로 갈리는 것을 식 하나로 보인다.
9오해와 사실
- 오해멤버를 많이 넣을수록 앙상블은 끝없이 좋아진다.사실파형 데이터에서 배깅 복제 수 10 · 25 · 50 · 100 의 오차는 21.8 · 19.5 · 19.4 · 19.4% 로, 25개 뒤로는 거의 같다(Breiman 1996 6.2절).
- 오해부스팅은 학습 오차가 0 이 되면 거기서 멈춰야 한다.사실C4.5 트리 부스팅에서 학습 오차가 5회에 0 이 된 뒤에도 시험 오차는 8.4% 에서 1,000회 3.1% 로 내려갔다(Schapire 2013 3절) — 사례도 50회 22.6% → 200회 16.1% 다.
- 오해배깅은 어떤 학습기에 걸어도 성능을 올린다.사실데이터가 조금 바뀌어도 결과가 거의 같은 최근접 이웃 분류기는 배깅해도 여섯 데이터 모두 오차가 그대로였다(Breiman 1996 6.3절 표 5).
10핵심 정리
| 구분 | 맡는 일 | 사례 · 기준 값 | 주로 줄이는 것 | 흔한 실패 |
|---|---|---|---|---|
| 기초 학습기 | 묶일 멤버 | 가지치기 없는 트리 · 그루터기 | — | 안정한 학습기에 배깅 |
| 붓스트랩 · 배깅 | 표본을 흔들어 멤버 다양화 | 빠지는 표본 36.4% · 시험 32.3% | 분산 | 멤버 사이 상관이 높음 |
| 특성 무작위 선택 | 분할 후보를 m 개로 | m = 6(M = 60) · 상관 0.21 | 상관 → 분산 | m 이 너무 작아 트리가 약함 |
| AdaBoost 가중치 | 틀린 표본에 무게 | ε₁ 0.212 · α₁ 0.655 · 시험 16.1% | 편향 · 분산 | 레이블 잡음에 가중치 집중 |
| 그래디언트 부스팅 | 손실 경사(잔차)를 트리로 맞춤 | 축소 계수로 한 걸음 줄임 | 편향 · 분산 | 반복 수 · 학습률 과다 |
| 스태킹 | 메타 모델이 멤버 예측을 묶음 | 교차 검증 예측을 입력으로 | 멤버별 약점 | 학습 예측을 그대로 써 누수 |
| OOB 추정 | 빠진 표본으로 오차 | 배깅 18.5% · 포레스트 16.4% | 검증 세트 부담 | 작은 시험 세트와 비교 혼동 |
| 멤버 사이 상관 ρ | 앙상블의 바닥을 정함 | 0.30 → 0.21 · B 50 에서 0.314 · 0.226 | — | 멤버 수만 늘림 |
11참고 문헌
- 먼저 볼 문헌
- ★ Random Forests (Machine Learning 45(1) 5-32 · 저자 기관 공개판 2001-01) — 강도 · 상관으로 쓴 오차 상한(정리 2.3) · 분할마다 특성 F 개(4절) · 소나 데이터 결과(표 2) · 레이블 잡음 실험(8절 표 4)을 볼 때
- ★ Bagging Predictors (Technical Report 421 · Machine Learning 24(2) 123-140, 1996) — 붓스트랩 묶기의 정의 · 불안정한 학습기 조건(1절) · 트리 오차 감소(표 1) · 복제 수(6.2절)를 볼 때
- ★ Ensemble Methods in Machine Learning (Multiple Classifier Systems · LNCS 1857 1-15) — 정확하고 다양한 멤버라는 조건과 앙상블이 통하는 세 가지 이유(1 · 2절)를 볼 때
- ★ Explaining AdaBoost (Empirical Inference · Springer 37-52 · 저자 공개판 http://rob.schapire.net/papers/explaining-adaboost.pdf · http 전용) — AdaBoost 의사 코드(그림 1) · 학습 오차 0 뒤에도 시험 오차가 내려가는 마진 설명(3절)을 볼 때
- ★ XGBoost: A Scalable Tree Boosting System (KDD 2016 · arXiv 1603.02754) — 그래디언트 트리 부스팅의 규제 목적 함수(2절) · 축소 · 특성 부분 추출(2.3절)을 볼 때
- 본문 근거
- Connectionist Bench (Sonar, Mines vs. Rocks) (UCI Machine Learning Repository · DOI 10.24432/C5T01Q · CC BY 4.0) — UCI Machine Learning Repository · 1988 ·
archive.ics.uci.edu/dataset/151/connectionist+bench+sonar+mines+vs+rocks· 확인 2026-11-12 - A decision-theoretic generalization of on-line learning and an application to boosting (Journal of Computer and System Sciences 55(1) 119-139) — Elsevier · 1997-08 ·
doi.org/10.1006/jcss.1997.1504· 확인 2026-11-12 - Stacked generalization (Neural Networks 5(2) 241-259) — Elsevier · 1992 ·
doi.org/10.1016/S0893-6080(05)80023-1· 확인 2026-11-12 - Greedy function approximation: A gradient boosting machine (Annals of Statistics 29(5) 1189-1232) — Institute of Mathematical Statistics · 2001-10 ·
doi.org/10.1214/aos/1013203451· 확인 2026-11-12 - Neural network ensembles (IEEE Transactions on Pattern Analysis and Machine Intelligence 12(10) 993-1001) — IEEE · 1990-10 ·
doi.org/10.1109/34.58871· 확인 2026-11-12 - NumPy v2.4 Manual - numpy.random.Generator.integers — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.integers.html· 확인 2026-11-12