AI › 인공지능 개요 › 머신러닝 › 알고리즘

앙상블Ensemble Learning

여러 모델(기초 학습기)의 예측을 투표 · 평균 · 가중 합으로 묶어, 어느 한 모델보다 오차가 작은 예측을 내는 머신러닝 방법이다.

1요약

  1. 앙상블은 머신러닝 알고리즘 가운데 기초 학습기 여러 개를 묶는 방법으로, 배깅(Breiman 1996) · AdaBoost(Freund 1997) · 랜덤 포레스트(Breiman 2001) · 스태킹(Wolpert 1992)이 대표이고, 그 위에서 표 데이터 분류 · 회귀 · 수율 예측 같은 일이 돈다.
  2. 결정 트리 하나는 학습 데이터가 조금만 바뀌어도 모양이 크게 바뀌는 불안정한 학습기라 오차가 크다 — 소나 데이터에서 트리 하나의 시험 오차는 31.7% 였고, 랜덤 포레스트는 15.9%, AdaBoost 는 15.6% 였다(Breiman 2001 표 2).
  3. 「멤버를 늘려도 더 좋아지지 않는다」는 멤버 사이 상관으로 가른다 — 상관이 높으면 멤버 수를 늘려도 흔들림이 바닥 아래로 내려가지 않으므로, 수가 아니라 다양성(특성 무작위 선택 · 다른 알고리즘)을 늘려야 한다.

2등장 배경

통계 모델 하나를 고르면 그 모델이 틀리는 방식에 그대로 묶인다. 1990년 Hansen · Salamon 은 신경망 여러 개를 다수결로 묶으면 하나보다 오차가 줄고, 조건은 멤버가 「우연보다 정확하고 서로 다른 곳에서 틀리는 것」임을 보였다(Hansen 1990 · Dietterich 2000 1절). 오차 0.3 인 멤버 21개가 서로 독립으로 틀리면 11개 이상이 동시에 틀릴 확률, 곧 다수결 오차는 0.026 이다(Dietterich 2000 그림 1).

Breiman 은 1994년 기술 보고서(1996년 논문)에서 학습 표본을 복원 추출한 붓스트랩 50벌로 트리 50개를 만들어 투표하는 배깅을 내놓아, 파형 데이터 오차를 29.0% → 19.4% 로 줄였다(Breiman 1996 표 1). Freund · Schapire 는 1997년 틀린 표본에 가중치를 몰아 약한 학습기를 차례로 쌓는 AdaBoost 를(Freund 1997), Wolpert 는 1992년 멤버 예측을 입력으로 받는 메타 모델 스태킹을, Breiman 은 2001년 분할마다 특성 일부만 보는 랜덤 포레스트를 냈다(Breiman 2001 4절). 같은 해 Friedman 은 부스팅을 손실 함수의 경사 하강으로 다시 썼다(Friedman 2001).

지금 표 데이터에서는 트리 앙상블이 기본 선택이다 — 2015년 한 경진 대회 사이트 블로그에 실린 우승 풀이 29개 가운데 17개가 그래디언트 트리 부스팅 오픈소스 XGBoost 를 썼다(Chen 2016 1절). 남은 약점은 트리 수백 개의 판단 근거를 읽기 어렵다는 것이고, 설명은 SHAP 같은 설명 방법이 맡는다.

3쉽게 이해하기 — 내일 비를 맞히는 기상 동아리

기상 동아리 반장 하은은 「내일 비가 오나」를 혼자 맞히다 자주 틀려서 친구들을 모은다. 첫째 조 친구 셋은 지난 일기장 300일 가운데 제비뽑기로 뽑은 300일(같은 날이 두 번 뽑혀도 됨)만 보고, 구름 · 바람 · 습도 단서도 몇 개씩만 골라 따로 익힌다. 둘째 조 친구 셋은 한 명씩 차례로 익히는데, 앞사람이 틀린 날을 굵게 표시해 다음 사람이 그날을 더 열심히 본다. 하은은 첫째 조는 한 사람 한 표, 둘째 조는 잘 맞힌 사람에게 더 큰 표를 주고 모아 예보를 낸다.

일기장 300일 · 날씨 단서 학습 데이터 첫째 조 · 따로 익히기 1 각자 다른 300일 단서도 몇 개만 제비뽑기 · 같은 날 두 번 가능 붓스트랩 표본 특성 무작위 선택 둘째 조 · 차례로 익히기 3 앞사람이 틀린 날을 굵게 표본 가중치 갱신 다수결 2 투표 결합 무게 투표 4 가중 합 α 하은 예보 내일 비? 최종 예측 데이터 입력 특성 기초 학습기 · 결합 규칙 틀린 표본 출력

그림 1 · 첫째 조는 서로 다른 일기장 묶음으로 따로 익혀 한 표씩, 둘째 조는 앞사람이 틀린 날에 무게를 실어 차례로 익혀 큰 표 작은 표로 묶는다.

일기장 뽑기각자 다른 300일
따로 익히기단서도 몇 개만
한 표씩다수결로 예보
틀린 날 표시앞사람 실수를 굵게
차례로 익히기굵은 날을 더 보며
큰 표 작은 표잘 맞힌 사람이 크게
서로 다른 날 틀림 상관 낮음 · 다양함 같은 날 몰려 틀림 상관 높음 1일 2일 3일 4일 5일 6일 1 2 3 4 5 다수결 2명 2명 1명 1명 2명 2명 1일 2일 3일 4일 5일 6일 1 2 3 4 5 다수결 1명 4명 0명 1명 4명 0명 개인 오답 2/6일 · 다수결 오답 0/6일 개인 오답 2/6일 · 다수결 오답 2/6일 맞힘 틀림 다수결 맞힘 다수결 상자의 숫자 = 그날 틀린 사람 수 · 3명 이상이면 다수결도 틀림

그림 2 · 다섯 명 모두 6일 중 2일을 틀려도, 틀리는 날이 서로 다르면 다수결은 하루도 틀리지 않고 같은 날 몰려 틀리면 다수결도 그날 틀린다.

비유 속 역할실제 이름실제로 하는 일
일기장 300일학습 데이터표본 n 개 · 특성과 레이블
제비뽑기로 뽑은 300일붓스트랩 표본n 개를 복원 추출 · 표본마다 약 36.8% 가 빠진다
단서 몇 개만 보기특성 무작위 선택분할마다 특성 m 개 후보만 본다(랜덤 포레스트)
따로 익힌 친구기초 학습기같은 알고리즘으로 따로 학습한 트리 하나
한 사람 한 표다수결 · 평균분류는 다수결, 회귀는 평균
틀린 날을 굵게표본 가중치 갱신틀린 표본의 가중치를 키워 다음 학습기에 넘긴다(부스팅)
잘 맞힌 사람에게 큰 표학습기 가중치 α가중 오차가 작은 학습기일수록 큰 몫
같은 날 몰려 틀림멤버 사이 상관상관이 높으면 묶어도 오차가 줄지 않는다

⚠ 비유가 맞지 않는 곳: 친구들은 저마다 타고난 감이 다르지만, 배깅 · 랜덤 포레스트의 트리는 같은 알고리즘이라 차이는 뽑힌 표본과 단서에서만 나온다. 둘째 조 친구도 굵게 표시된 날만 보는 것이 아니라 300일을 모두 보되 무게만 다르게 둔다.

4구조 — 멤버를 만드는 법과 묶는 법

배깅 학습 표본 n = 146 붓스트랩 B 벌 n 개 복원 추출 트리 트리 트리 다수결 · 평균 예측 랜덤 포레스트 학습 표본 n = 146 붓스트랩 B 벌 분할마다 특성 m 개 트리 트리 트리 다수결 · 평균 예측 부스팅 학습 표본 n = 146 가중치 D 로 차례로 틀린 표본 무게 ↑ h1 h2 h3 가중 합 Σ α·h 예측 스태킹 학습 표본 n = 146 서로 다른 알고리즘 k 겹 교차 예측 선형 트리 SVM 메타 모델 예측 병렬 · 서로 모른 채 학습 순차 · 앞 멤버에 매임 두 단계 학습 데이터 기초 학습기 · 메타 모델 틀린 표본 가중치 예측 출력 멤버 만들기 · 결합 규칙

그림 3 · 배깅 · 랜덤 포레스트는 표본과 특성을 흔들어 멤버를 따로 만들고, 부스팅은 앞 멤버의 실수로 다음 멤버를 만들며, 스태킹은 다른 알고리즘의 예측을 메타 모델이 묶는다.

요소역할사례 값(그림 4)근거
기초 학습기묶일 멤버 하나가지치기 없는 트리 · 깊이 1 트리(그루터기)Breiman 1996 2절 · Schapire 2013 그림 1
붓스트랩 표본멤버마다 다른 학습 표본146개 복원 추출 · 평균 36.4% 빠짐Breiman 1996 6.3절(빠지지 않을 확률 1 − 1/e ≈ 0.632)
특성 무작위 선택분할마다 볼 특성 후보60개 중 6개 = int(log₂60 + 1)Breiman 2001 4절
표본 가중치 D틀린 표본에 무게1회 뒤 틀린 표본 0.0161 · 맞힌 표본 0.0043Schapire 2013 그림 1
결합 규칙멤버 예측을 하나로다수결 · 가중 합 Σ α·hBreiman 1996 1절 · Schapire 2013 식 1
OOB 추정빠진 표본으로 오차 추정배깅 18.5% · 랜덤 포레스트 16.4%Breiman 2001 3.1절

배깅과 랜덤 포레스트는 멤버를 서로 모른 채 병렬로 만들어 흔들리는 학습기의 분산을 줄이고(Breiman 1996 1절), 부스팅은 앞 멤버가 틀린 표본으로 다음 멤버를 만드는 순차 구조다. 그래디언트 부스팅은 그 「틀린 정도」를 손실의 경사(회귀면 잔차)로 바꿔 트리가 잔차를 맞추게 하고, 축소 계수로 한 걸음을 줄인다(Friedman 2001 · Chen 2016 2.3절). 스태킹은 멤버 예측을 교차 검증으로 만들어 메타 모델의 입력으로 쓴다(Wolpert 1992).

🔑 배깅 · 랜덤 포레스트는 멤버를 서로 떼어 놓아 흔들림을 지우고, 부스팅은 멤버를 앞 멤버의 실수에 묶어 모자란 곳을 메운다.

5동작 — 소나 신호 판별에서 트리 하나와 세 앙상블

공개 데이터로 직접 실행했다(NumPy 로 CART · 배깅 · 랜덤 포레스트 · AdaBoost 를 구현 · default_rng(0)). 각 방식의 멤버는 200개다.

  1. UCI 소나 데이터 208 표본을 읽는다 — 금속 원통 M 111 · 암석 R 97 · 특성 60개(주파수 대역별 에너지 · 0 ~ 1)(UCI 소나).
  2. 클래스마다 30% 를 떼는 층화 분할로 학습 146(M 78) · 시험 62(M 33)를 만든다.
  3. 가지치기 없는 트리 하나는 잎 14개로 학습 오차 0 이지만 시험에서 26개를 틀린다(41.9%).
  4. 배깅은 붓스트랩마다 학습 표본의 평균 36.4% 가 빠지고(NumPy Generator.integers), 트리 200개 다수결의 시험 오차가 32.3%(20개) · OOB 오차가 18.5% 다.
  5. 랜덤 포레스트는 분할마다 특성 6개만 본다. 트리 하나의 평균 시험 오차는 36.3% 로 배깅 트리(34.8%)보다 나쁘지만, 트리 예측 사이 평균 상관이 0.30 → 0.21 로 내려가 시험 오차 29.0%(18개)가 된다.
  6. AdaBoost 는 그루터기를 쌓는다. 첫 그루터기의 가중 오차 ε₁ = 0.212 에서 α₁ = ½ ln((1 − ε₁)/ε₁) = 0.655 를 받고(Schapire 2013 그림 1), 다음 회차에서 틀린 표본의 가중치가 맞힌 표본의 3.7배가 된다. 50회에 학습 오차 0 이 되고 시험 오차는 50회 22.6% → 200회 16.1%(10개)로 계속 내려간다.
  7. 분할 시드를 0 ~ 9 로 바꿔 열 번 돌리면 평균 시험 오차는 트리 29.2% · 배깅 21.0% · 랜덤 포레스트 19.7% · AdaBoost 17.3% 이고, 열 번 모두 랜덤 포레스트의 트리 사이 상관이 배깅보다 낮다(배깅 0.25 ~ 0.35 · 랜덤 포레스트 0.16 ~ 0.27). 시드 0 분할은 시험 오차가 높은 쪽이며, 순서는 Breiman 2001 표 2 와 같다.
0% 10% 20% 30% 40% 50% 1 50 100 150 200 멤버 수(트리 · 그루터기) 시험 오차(시험 62 표본) 50회 · AdaBoost 학습 오차 0 3 트리 하나 41.9% 4 배깅 32.3% 5 랜덤 포레스트 29.0% 6 AdaBoost 16.1% AdaBoost 학습 0%

그림 4 · 시드 0 분할에서 멤버가 늘수록 세 앙상블 모두 트리 하나(41.9%)보다 낮아지고, AdaBoost 는 학습 오차가 0 이 된 50회 뒤에도 시험 오차가 내려간다.

0 0.5 1.0 1 10 25 50 멤버 수 B 분산 비율 = ρ + (1 − ρ) / B ρ 0.30 · 배깅 B 50 = 0.314 ρ 0.21 · 포레스트 B 50 = 0.226 ρ 0 · 독립 0.02 B 25 뒤로는 거의 평평 더 줄이려면 ρ 를 낮춘다 점선 가로줄 = 바닥 ρ

그림 5 · 멤버 사이 상관 ρ 가 있으면 멤버를 늘려도 평균의 분산은 ρ 아래로 내려가지 않는다 — 랜덤 포레스트는 멤버 수가 아니라 ρ 를 0.30 → 0.21 로 낮춰 바닥을 내린다.

🔑 앙상블이 내려갈 수 있는 바닥은 멤버 수가 아니라 멤버 사이 상관이 정한다 — 랜덤 포레스트는 트리 하나를 조금 약하게 만드는 대신 상관을 낮춰 더 깊이 내려간다(Breiman 2001 정리 2.3 · 강도 s 와 상관 ρ̄ 로 PE* ≤ ρ̄(1 − s²)/s²).

6비교 — 배깅 · 랜덤 포레스트 · 부스팅 · 스태킹

기준단일 결정 트리배깅랜덤 포레스트부스팅(AdaBoost · 그래디언트)스태킹
멤버를 만드는 법—붓스트랩 표본붓스트랩 + 분할마다 특성 m 개가중치 · 잔차로 차례로서로 다른 알고리즘 + 메타 모델
학습 순서한 번병렬병렬순차(앞 멤버에 매임)멤버 병렬 · 메타 나중
사례 시험 오차(시드 0 · 10회 평균)41.9% · 29.2%32.3% · 21.0%29.0% · 19.7%16.1% · 17.3%(AdaBoost)—
레이블 잡음 5% 뒤 오차 증가율(소나)——−6.6%+15.1%(AdaBoost)멤버에 따라 다름
손볼 하이퍼파라미터깊이 · 잎 크기멤버 수멤버 수 · m반복 수 · 학습률 · 깊이멤버 구성 · 메타 모델 · 겹 수
따로 떼지 않는 오차 추정없음OOBOOB없음(검증 세트 · 교차 검증)교차 검증 예측

분석레이블이 깨끗하고 튜닝할 시간이 있으면 부스팅을, 레이블에 잡음이 있거나 튜닝 없이 OOB 로 바로 판단하려면 랜덤 포레스트를, 서로 다른 알고리즘이 이미 비슷한 성능으로 있으면 스태킹을 고른다. 근거는 표의 잡음 행(Breiman 2001 8절 표 4)과 OOB 행(Breiman 2001 3.1절)이다.

결정 트리 하나의 분할 기준 · 가지치기는 결정 트리가 맡는다.

7실무 진단 — 앙상블이 기대만큼 줄지 않을 때

분석시험 오차와 OOB 오차를 먼저 나란히 보고(평가 문제인지), 다음에 멤버 사이 상관(다양성 문제인지), 그다음 부스팅이면 가중치가 몰린 표본(레이블 문제인지)을 본다. OOB 는 따로 떼지 않은 오차 추정이라 시험 세트가 작을 때 비교 기준이 된다(Breiman 2001 3.1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1OOB 오차와 시험 오차가 크게 다름시험 세트가 작음 · 같은 대상의 표본이 학습 · 시험에 나뉨평가분할 시드를 바꾼 반복 · 대상별 분할차이가 시드 반복 범위 안이면 분할 운(사례 OOB 18.5% · 시험 32.3% · 10회 배깅 12.9 ~ 32.3%) · 소나는 같은 물체를 여러 각도에서 잰 표본(UCI 소나)
2트리를 늘려도 시험 오차가 그대로멤버 사이 상관이 높음다양화트리 예측 사이 평균 상관 · m 별 OOB 오차상관이 배깅 수준(사례 0.30)이면 m 을 줄이고, OOB 가 나빠지면 int(log₂M + 1) 의 2 ~ 3배로 늘려 비교(Breiman 2001 4 · 6절)
3부스팅 반복이 늘수록 시험 오차가 오름레이블 잡음 · 이상값에 가중치가 몰림데이터반복마다 가중치 상위 표본 목록 · 그 표본의 레이블상위 표본에서 레이블 오류가 나오면 레이블 문제 · 잡음 5% 에 소나 AdaBoost 오차 증가율 +15.1%(Breiman 2001 8절 표 4)
4모델이 크고 예측이 느림멤버 수 과다운영멤버 수별 OOB 곡선곡선이 평평해진 수를 넘으면 줄임 · 파형 데이터 복제 10 · 25 · 50 · 100 에서 21.8 · 19.5 · 19.4 · 19.4%(Breiman 1996 6.2절)

트리 수백 개를 작은 모델 하나로 줄이는 일은 지식 증류가 맡는다.

8시험 대비

출제 정보 정보관리(126회, 120회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 앙상블의 정의 · 원리 · 대표 방식을 쓰는 정의 · 특징형, 그리고 배깅과 부스팅(또는 랜덤 포레스트)의 학습 순서 · 줄이는 오차 · 잡음 내성을 가르는 비교형이 나올 수 있다. 「여러 모델을 합친다」에서 멈추지 않고, 상관 ρ 가 정하는 바닥을 식과 그림으로 보이면 원리를 설명한 답안이 된다.

답안 목차
  1. 개요 — 정의(기초 학습기 여러 개를 투표 · 평균 · 가중 합으로) · 조건 = 정확하고 다양한 멤버(Dietterich 2000) · 독립 21개 · 오차 0.3 → 다수결 0.026
  2. 구조 — 그림 3 네 방식(배깅 · 랜덤 포레스트 · 부스팅 · 스태킹)의 멤버 만드는 법 · 결합 규칙 + 요소 표(붓스트랩 · 특성 m · 가중치 D · OOB)
  3. 원리 — 그림 5 분산 비율 ρ + (1 − ρ)/B · 랜덤 포레스트 상관 0.30 → 0.21 · Breiman 정리 2.3
  4. 동작 사례 — 그림 4 소나 데이터 멤버 수별 시험 오차(트리 41.9% → 배깅 32.3% · 랜덤 포레스트 29.0% · AdaBoost 16.1%) · α = ½ ln((1 − ε)/ε)
  5. 방식 비교 — 학습 순서 · 하이퍼파라미터 · OOB · 레이블 잡음 내성(+15.1% ↔ −6.6%) 표
  6. 한계와 대응 — 해석 어려움(SHAP) · 모델 크기(지식 증류) · 같은 대상 표본 누수(대상별 분할)

꼭 쓸 키워드
기초 학습기붓스트랩배깅OOB 오차특성 무작위 선택랜덤 포레스트AdaBoost그래디언트 부스팅스태킹멤버 사이 상관

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 「다양할수록 좋다」 한 줄 대신 상관 0.30 과 0.21 의 바닥이 멤버 50개에서 0.314 · 0.226 으로 갈리는 것을 식 하나로 보인다.

9오해와 사실

  • 오해멤버를 많이 넣을수록 앙상블은 끝없이 좋아진다.
    사실파형 데이터에서 배깅 복제 수 10 · 25 · 50 · 100 의 오차는 21.8 · 19.5 · 19.4 · 19.4% 로, 25개 뒤로는 거의 같다(Breiman 1996 6.2절).
  • 오해부스팅은 학습 오차가 0 이 되면 거기서 멈춰야 한다.
    사실C4.5 트리 부스팅에서 학습 오차가 5회에 0 이 된 뒤에도 시험 오차는 8.4% 에서 1,000회 3.1% 로 내려갔다(Schapire 2013 3절) — 사례도 50회 22.6% → 200회 16.1% 다.
  • 오해배깅은 어떤 학습기에 걸어도 성능을 올린다.
    사실데이터가 조금 바뀌어도 결과가 거의 같은 최근접 이웃 분류기는 배깅해도 여섯 데이터 모두 오차가 그대로였다(Breiman 1996 6.3절 표 5).

10핵심 정리

구분맡는 일사례 · 기준 값주로 줄이는 것흔한 실패
기초 학습기묶일 멤버가지치기 없는 트리 · 그루터기—안정한 학습기에 배깅
붓스트랩 · 배깅표본을 흔들어 멤버 다양화빠지는 표본 36.4% · 시험 32.3%분산멤버 사이 상관이 높음
특성 무작위 선택분할 후보를 m 개로m = 6(M = 60) · 상관 0.21상관 → 분산m 이 너무 작아 트리가 약함
AdaBoost 가중치틀린 표본에 무게ε₁ 0.212 · α₁ 0.655 · 시험 16.1%편향 · 분산레이블 잡음에 가중치 집중
그래디언트 부스팅손실 경사(잔차)를 트리로 맞춤축소 계수로 한 걸음 줄임편향 · 분산반복 수 · 학습률 과다
스태킹메타 모델이 멤버 예측을 묶음교차 검증 예측을 입력으로멤버별 약점학습 예측을 그대로 써 누수
OOB 추정빠진 표본으로 오차배깅 18.5% · 포레스트 16.4%검증 세트 부담작은 시험 세트와 비교 혼동
멤버 사이 상관 ρ앙상블의 바닥을 정함0.30 → 0.21 · B 50 에서 0.314 · 0.226—멤버 수만 늘림

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Random Forests (Machine Learning 45(1) 5-32 · 저자 기관 공개판 2001-01) — 강도 · 상관으로 쓴 오차 상한(정리 2.3) · 분할마다 특성 F 개(4절) · 소나 데이터 결과(표 2) · 레이블 잡음 실험(8절 표 4)을 볼 때
    L. Breiman · UC Berkeley Department of Statistics · 2001-10 · www.stat.berkeley.edu/~breiman/randomforest2001.pdf · 확인 2026-11-12
  3. ★ Bagging Predictors (Technical Report 421 · Machine Learning 24(2) 123-140, 1996) — 붓스트랩 묶기의 정의 · 불안정한 학습기 조건(1절) · 트리 오차 감소(표 1) · 복제 수(6.2절)를 볼 때
    L. Breiman · UC Berkeley Department of Statistics · 1994-09 · www.stat.berkeley.edu/~breiman/bagging.pdf · 확인 2026-11-12
  4. ★ Ensemble Methods in Machine Learning (Multiple Classifier Systems · LNCS 1857 1-15) — 정확하고 다양한 멤버라는 조건과 앙상블이 통하는 세 가지 이유(1 · 2절)를 볼 때
    T. G. Dietterich · Oregon State University · 2000-06 · web.engr.oregonstate.edu/~tgd/publications/mcs-ensembles.pdf · 확인 2026-11-12
  5. ★ Explaining AdaBoost (Empirical Inference · Springer 37-52 · 저자 공개판 http://rob.schapire.net/papers/explaining-adaboost.pdf · http 전용) — AdaBoost 의사 코드(그림 1) · 학습 오차 0 뒤에도 시험 오차가 내려가는 마진 설명(3절)을 볼 때
    R. E. Schapire · 2013 · 확인 2026-11-12
  6. ★ XGBoost: A Scalable Tree Boosting System (KDD 2016 · arXiv 1603.02754) — 그래디언트 트리 부스팅의 규제 목적 함수(2절) · 축소 · 특성 부분 추출(2.3절)을 볼 때
    arXiv · 2016-06 · arxiv.org/abs/1603.02754 · 확인 2026-11-12
  7. 본문 근거
  8. Connectionist Bench (Sonar, Mines vs. Rocks) (UCI Machine Learning Repository · DOI 10.24432/C5T01Q · CC BY 4.0) — UCI Machine Learning Repository · 1988 · archive.ics.uci.edu/dataset/151/connectionist+bench+sonar+mines+vs+rocks · 확인 2026-11-12
  9. A decision-theoretic generalization of on-line learning and an application to boosting (Journal of Computer and System Sciences 55(1) 119-139) — Elsevier · 1997-08 · doi.org/10.1006/jcss.1997.1504 · 확인 2026-11-12
  10. Stacked generalization (Neural Networks 5(2) 241-259) — Elsevier · 1992 · doi.org/10.1016/S0893-6080(05)80023-1 · 확인 2026-11-12
  11. Greedy function approximation: A gradient boosting machine (Annals of Statistics 29(5) 1189-1232) — Institute of Mathematical Statistics · 2001-10 · doi.org/10.1214/aos/1013203451 · 확인 2026-11-12
  12. Neural network ensembles (IEEE Transactions on Pattern Analysis and Machine Intelligence 12(10) 993-1001) — IEEE · 1990-10 · doi.org/10.1109/34.58871 · 확인 2026-11-12
  13. NumPy v2.4 Manual - numpy.random.Generator.integers — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.integers.html · 확인 2026-11-12