교차 검증Cross-Validation
가진 데이터를 K개 겹(fold)으로 나눠 겹마다 한 번씩 검증에 남기고 나머지로 학습한 점수를 모아, 처음 보는 데이터에서의 성능을 추정하는 절차다.
1요약
- 교차 검증은 머신러닝 모델 평가에서 데이터를 K개 겹으로 돌려 쓰는 재표본 절차로, 1974 ~ 1975년 Stone · Geisser 가 틀을 세웠고(Arlot · Celisse 2010 4.4절) 그 위에서 하이퍼파라미터 튜닝 · 규제 강도 선택 · 모델 비교가 돈다.
- 한 번 나눈 검증 점수는 나누는 운에 따라 크게 흔들린다 — 본문 사례(UCI Parkinsons 녹음 195개)에서 사람 9명을 떼어 낸 홀드아웃을 10번 하면 정확도가 0.537 에서 0.909 까지 갈렸다.
- 교차 검증 점수가 운영 점수보다 높으면 K 보다 나누는 단위를 먼저 본다 — 같은 사람의 녹음이 학습 · 검증 양쪽에 있으면 0.928, 사람 단위로 나누면 0.769 로 다수 클래스 기준선 0.754 와 거의 같다.
2등장 배경
모델을 학습한 데이터로 다시 채점하면 점수가 언제나 좋게 나온다. 1931년 심리학 분야의 Larson 이 이 낙관을 짚었고 표본 일부를 떼어 두는 홀드아웃이 쓰였다(Arlot · Celisse 2010 4.1 · 4.4절). 그러나 홀드아웃은 떼어 둔 만큼 덜 학습해 비관적이고, 점수 자체가 나누는 방법에 달린 우연한 값이다(Kohavi 1995 2.1절).
1968년 Mosteller · Tukey 의 논문에 LOO 의 초기 형태가 나오고, 1974 ~ 1975년 Stone · Allen · Geisser 가 저마다 LOO(하나 빼기) 교차 검증으로 모델을 고르는 틀을 정리했다(Stone 1974). 1995년 Kohavi 는 C4.5 · Naive Bayes 를 50만 번 넘게 돌린 실험으로 «층화 10겹»을 권했고(Kohavi 1995 초록), 2004년 Bengio · Grandvalet 는 K겹 점수의 분산을 치우침 없이 추정하는 일반 식이 없음을 증명했다(Bengio · Grandvalet 2004 정리 6).
지금은 scikit-learn 의 cross_val_score 같은 함수가 기본 5겹(분류기면 층화)으로 몇 줄 만에 돌려 주지만(scikit-learn cross_val_score API), 같은 환자 · 같은 날 · 같은 장비처럼 묶인 데이터를 섞어 나누는 실수가 남아 있어 그룹 · 시계열 분할이 함께 쓰인다(scikit-learn 3.1 교차 검증 안내 3.1.2.4 · 3.1.2.6절).
3쉽게 이해하기 — 지문째 묶어 내는 모의고사
국어 선생님 수아는 기출 문제 195개로 학생 도윤의 실력을 미리 재 보려 한다. 문제는 지문 32개에서 6 ~ 7개씩 나왔다. 수아는 문제를 다섯 묶음으로 나눠, 한 묶음은 시험 · 나머지 넷은 공부로 다섯 번 돌린 뒤 점수를 모은다. 문제를 낱개로 섞으면 시험에 나온 지문을 도윤이 이미 공부해 92.8점이 나오지만, 지문째 묶으면 76.9점 — 답의 75.4%가 「그렇다」라서 모두 「그렇다」로 찍어도 75.4점인 시험이었다.
그림 1 · 문제를 낱개로 섞은 모의고사는 이미 본 지문 덕에 점수가 부풀고, 지문째 묶은 모의고사가 처음 보는 지문의 진짜 시험 점수에 가깝다.
그림 2 · 같은 지문의 문제가 공부와 시험에 갈리면 도윤은 지문을 알아보고, 같은 사람의 녹음이 학습과 검증에 갈리면 모델은 목소리를 알아본다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 기출 문제 195개 | 개발 데이터 | 학습 · 검증에 돌려 쓰는 표본 · 사례는 녹음 195개 |
| 지문 32개 | 그룹(사람) | 서로 닮은 표본의 묶음 · 사람 번호 32개 |
| 학생 도윤 | 모델 | 사례는 1-최근접 이웃 분류기 |
| 다섯 묶음 | K겹 · K = 5 | 겹마다 한 번씩 검증에 쓰고 네 겹으로 학습 |
| 이미 본 지문 | 그룹 누수 | 검증 표본과 닮은 표본이 학습에 들어감 |
| 모두 「그렇다」로 찍기 | 다수 클래스 기준선 | 가장 많은 클래스만 답하는 점수 · 0.754 |
| 진짜 시험 | 운영 · 테스트 데이터 | 처음 보는 사람의 녹음 |
⚠ 비유가 맞지 않는 곳: 지문은 문제지에 적혀 있어 누구나 묶을 수 있지만, 실제 데이터의 묶음(같은 사람 · 같은 날 · 같은 로트)은 표에 열로 없을 때가 많아 수집 기록을 찾아야 한다. 도윤은 지문을 «기억»하지만 모델은 가장 가까운 표본을 «찾아» 같은 결과를 낸다.
4구조 — 겹 · 나누는 단위 · 집계
K겹 교차 검증은 데이터를 겹치지 않는 K개 겹으로 나누고, 겹 하나를 검증에 · 나머지 K − 1개를 학습에 써서 K번 학습한 뒤 검증 결과를 모은다(scikit-learn 3.1 교차 검증 안내 3.1절). 점수를 믿을 수 있는지는 K 보다 «무엇 단위로 겹을 나눴나»와 «전처리를 어디서 맞췄나»가 먼저 정한다.
그림 3 · 다섯 번 모두 검증 겹이 바뀌고 학습 겹 넷은 그 밖에서 오며, 다섯 겹의 맞힌 수를 합쳐 하나의 추정값을 낸다 — 봉인 테스트는 이 고리 밖에 있다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 겹 수 K | 학습 비율 (K − 1)/K 와 학습 횟수를 정함 | K 5 · 학습 80% · 5번 | Kohavi 1995 2.2절 |
| 나누는 단위 | 표본 · 그룹 · 시간 순서 중 무엇을 한 겹에 몰아 넣나 | 사람 32명 단위 | scikit-learn 3.1.2.4절 |
| 층화 | 겹마다 클래스 비율을 전체와 같게 | 겹마다 건강 · 파킨슨 사람 비율 유지 | Kohavi 1995 2.2절 |
| 겹 안 전처리 | 표준화 · 특징 선택을 학습 겹에서만 맞춤 | 평균 · 표준편차 = 학습 겹 값 | scikit-learn 3.1.1절 |
| 집계 | 겹 점수 평균 또는 맞힌 수 합 ÷ 전체 | 150 / 195 = 0.769 | scikit-learn 3.1.1절 |
| 반복 횟수 R | 겹 나누기를 R번 바꿔 흔들림을 줄임 | R 10 · 0.713 ~ 0.779 | Kohavi 1995 2.2절 |
| 봉인 테스트 | 고르는 데 쓰지 않은 마지막 점검 데이터 | 이 사례는 따로 두지 않음 | scikit-learn 3.1절 |
🔑 교차 검증 점수가 믿을 만한지는 K 가 아니라 나누는 단위가 정한다 — 같은 1-최근접 이웃이 녹음 단위 5겹에서 0.928, 사람 단위 5겹에서 0.769 다.
5동작 — 파킨슨 음성 녹음 분류기 평가
사례 값은 1-최근접 이웃 분류기를 NumPy 로 직접 구현해 얻었다(직접 실행 · 겹 나누기 난수는 시드 0 하나로 이어 씀). 거리는 유클리드 거리이고, 특징 표준화는 겹마다 학습 쪽 평균 · 표준편차로만 맞췄다. 점수는 정확도(맞힌 녹음 수 ÷ 전체)다.
- UCI Parkinsons 는 음성 특징 22개 · 녹음 195개(파킨슨 147 · 건강 48)이고, 이름 열의 사람 번호는 32개 · 사람마다 녹음 6 ~ 7개다(UCI 설명은 31명). 모두 「파킨슨」이라 답하는 다수 클래스 기준선은 147 / 195 = 0.754 다.
- 녹음을 클래스 비율대로 섞어 5겹(겹마다 38 ~ 40개)으로 나누면, 학습 겹 네 개에 검증 녹음 주인의 다른 녹음이 거의 다 들어간다.
- 녹음 단위 5겹 정확도는 0.928(겹별 0.850 ~ 0.974)이고, 하나 빼기(LOO · 195번 학습)는 0.954 다.
- 검증 녹음 195개 중 150개(76.9%)는 가장 가까운 학습 녹음이 같은 사람의 다른 녹음이었다 — 모델이 병보다 목소리를 알아본 것이다.
- 사람을 건강 · 파킨슨별로 섞어 5겹(사람 7 · 7 · 7 · 6 · 5명 · 녹음 43 · 42 · 42 · 37 · 31개)으로 나누면 겹별 0.791 · 0.643 · 0.810 · 0.730 · 0.903, 합쳐서 150 / 195 = 0.769 다. 사람 하나 빼기(32번 학습)는 0.744 로 기준선보다 낮다.
- 사람 9명(녹음 약 30%)을 떼어 내는 홀드아웃을 10번 하면 0.537 ~ 0.909 로 갈리고, 사람 단위 5겹을 겹 나누기만 바꿔 10번 하면 0.713 ~ 0.779 이다.
- 사람 단위 K 를 바꿔 10번씩 반복하면 2겹 0.723 ~ 0.821(표준편차 0.029), 10겹 0.744 ~ 0.759(0.005)로 K 가 클수록 덜 흔들린다. 녹음 단위 5겹 10번은 0.928 ~ 0.959 로 좁지만 기준선에서 멀리 떨어져 있다.
그림 4 · 녹음 단위로 나눈 두 점수는 0.9 를 넘지만, 사람 단위로 나누면 다수 클래스 기준선 0.754 근처로 내려온다 — 차이는 모델이 아니라 나누는 단위에서 난다.
그림 5 · 반복과 큰 K 는 점수의 흔들림을 줄이지만, 녹음 단위 누수가 만든 치우침은 반복해도 그대로 남는다.
🔑 반복은 흔들림을 줄이고 그룹 분할은 치우침을 없앤다 — 녹음 단위 5겹을 10번 반복해도 0.928 ~ 0.959 로 좁게 모일 뿐, 사람 단위 점수 0.713 ~ 0.779 쪽으로 오지 않는다.
이 특징 · 모델 조합은 처음 보는 사람에게 기준선을 넘지 못한다. 그래서 다음 일은 K 를 바꾸는 것이 아니라 특징 · 모델을 바꾸는 것이고, 그 비교도 사람 단위 교차 검증으로 한다.
6비교 — 나누는 방식 여섯
| 방식 | 나누는 단위 · 학습 횟수 | 치우침 | 흔들림 | 맞는 데이터 | 사례 값 |
|---|---|---|---|---|---|
| 홀드아웃 | 한 번 나눔 · 1번 | 학습이 적어 비관적 | 가장 큼 | 표본이 아주 많을 때 | 사람 9명 · 0.537 ~ 0.909 |
| K겹 | 표본 · K번 | (K − 1)/K 만 학습해 조금 비관적 | K 2 에서 큼(Kohavi 1995) | 독립 표본 | 녹음 단위 5겹 0.928 |
| 층화 K겹 | 표본 · 클래스 비율 유지 · K번 | K겹보다 작음 | K겹보다 조금 작음(Kohavi 1995) | 클래스 불균형 | 2단계 분할 |
| LOO | 표본 하나 · n번 | 가장 작음 | 크고 반례가 있음(Kohavi 1995 예 1) | 표본이 아주 적을 때 | 녹음 단위 0.954 |
| 그룹 K겹 | 그룹 · K번 | 그룹이 겹을 넘지 않아 낙관이 없음 | 그룹 수가 적으면 큼 | 환자 · 장비 · 로트 | 사람 단위 5겹 0.769 |
| 시계열 분할 | 시간 순서 · 앞으로만 학습 | 미래 정보가 섞이지 않음 | 앞 겹은 학습이 적음 | 센서 · 수요 시계열 | — |
분석먼저 데이터가 무엇으로 묶여 있는지(사람 · 날짜 · 장비)를 보고 그 단위로 나누며, 그 안에서 표본이 수백 개면 층화 5 ~ 10겹을 반복하고 LOO 는 피한다. 근거는 묶인 데이터에서 표본 단위 분할만 0.9 를 넘었다는 사례 행과, 10겹이 LOO 보다 모델 선택에 낫고 계산도 적다는 Kohavi 1995 의 결론, LOO 가 더 흔들린다는 Varoquaux 외 2017 의 지침이다.
하이퍼파라미터까지 함께 고를 때 바깥 · 안쪽 두 겹으로 감싸는 중첩 교차 검증은 하이퍼파라미터 튜닝이 다룬다.
7실무 진단 — 교차 검증 점수를 믿을 수 없을 때
분석나누는 단위 → 전처리 위치 → 겹 사이 흔들림 순서로 본다. 누수가 있으면 반복 · K 조절로는 점수가 내려오지 않으므로(그림 5 녹음 단위 행) 단위부터 확인해야 나머지 점검이 의미를 가진다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 교차 검증은 높은데 새 환자 · 새 장비에서 낮음 | 그룹 누수 | 분할 | 그룹 열로 GroupKFold 다시 실행 · 가장 가까운 학습 표본의 그룹 | 표본 단위와 그룹 단위 점수 차가 크면 누수(사례 0.928 대 0.769 · scikit-learn 3.1.2.4절) |
| 2 | 특징 선택 · 표준화를 한 뒤 교차 검증함 | 전처리 누수 | 전처리 | 코드에서 fit 이 겹 루프 밖에 있는지 · Pipeline 사용 여부 | 전처리는 학습 겹에서만 맞춘다(scikit-learn 3.1.1절) |
| 3 | 시간순 데이터인데 섞어 나눔 | 미래 정보 누수 | 분할 | 겹별 학습 · 검증 기간 | 검증 기간이 학습 기간 뒤에만 있어야 함(TimeSeriesSplit · scikit-learn 3.1.2.6절) |
| 4 | 겹별 점수가 0.643 ~ 0.903 처럼 넓게 갈림 | 검증 겹이 작음 · 그룹 수 적음 | 평가 | 겹 나누기를 바꾼 반복 결과의 범위 | 겹 점수 표준편차로 만든 구간은 실제 흔들림보다 작게 나올 수 있음(Bengio · Grandvalet 2004 정리 6) · 표본이 적으면 위아래 10%p 넘게 벌어짐(Varoquaux 외 2017) |
| 5 | 겹마다 한 클래스가 거의 없음 | 층화 안 함 | 분할 | 겹별 클래스 개수 | 겹 비율을 전체와 맞춘다(Kohavi 1995 2.2절) |
누수 행 셋은 점수를 «높게» 치우치게 하고 흔들림 행은 «넓게» 만든다. 치우침은 반복으로 사라지지 않으므로 1 ~ 3행을 먼저 닫고 4행을 본다.
8시험 대비
www.q-net.or.kr시험에서는 교차 검증의 정의 · 목적 · 절차를 묻는 정의 · 특징형과, 홀드아웃 · K겹 · LOO · 층화 · 그룹 분할을 견주는 비교형이 나올 수 있다. 「데이터를 K개로 나눠 돌린다」에서 멈추지 않고, 나누는 단위가 틀렸을 때 점수가 얼마나 부푸는지를 수치로 보이면 답안이 갈린다.
- 개요 — 정의(겹마다 한 번 검증 · 점수 집계) · 목적(일반화 성능 추정 · 모델 선택) · 과적합 판정과의 관계
- 구조 — 그림 3 겹 회전도(검증 겹 · 학습 겹 · 집계 · 봉인 테스트) · 요소 표(K · 나누는 단위 · 층화 · 겹 안 전처리)
- 방식 비교 — 홀드아웃 · K겹 · 층화 · LOO · 그룹 · 시계열 분할 비교표(치우침 · 흔들림 · 맞는 데이터)
- 적용 사례 — 그림 4 녹음 단위 0.928 대 사람 단위 0.769 · 기준선 0.754
- 신뢰성 — 그림 5 반복 · K 에 따른 흔들림과 누수 치우침 · 분산 추정의 한계(Bengio · Grandvalet 2004)
- 실무 지침 — 그룹 단위 분할 · 겹 안 전처리 · 봉인 테스트 · 튜닝은 중첩 교차 검증
꼭 쓸 키워드
K겹 교차 검증홀드아웃LOO층화그룹 K겹시계열 분할데이터 누수다수 클래스 기준선반복 교차 검증일반화 성능
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 반복이 줄이는 «흔들림»과 그룹 분할이 없애는 «치우침»을 같은 축에 나란히 둔다.
9오해와 사실
- 오해LOO 는 학습 데이터를 가장 많이 쓰니 언제나 가장 정확한 추정이다.사실클래스가 같은 비율인 Iris 에 다수 클래스 분류기를 쓰면 LOO 정확도는 0% 로, 기대값 33% 와 멀다(Kohavi 1995 예 1). 이 사례에서도 녹음 단위 LOO 0.954 가 가장 부푼 값이었다.
- 오해교차 검증을 했으니 과적합 걱정은 끝났다.사실교차 검증은 모델을 바꾸지 않고 성능을 잴 뿐이며, 같은 점수로 후보 수백 개를 고르면 그 최고 점수도 낙관적이 된다 — 줄이는 것은 규제 · 조기 종료 · 드롭아웃이고 선택 편향은 중첩 교차 검증으로 잰다.
- 오해겹 점수의 평균 ± 표준편차가 곧 신뢰 구간이다.사실겹끼리 학습 데이터를 (K − 2)/(K − 1) 만큼 공유해 점수가 서로 엮이므로, 그 표준편차는 실제 흔들림을 작게 보일 수 있다(Bengio · Grandvalet 2004 정리 6).
10핵심 정리
| 방식 | 나누는 단위 | 학습 횟수 | 사례 정확도 | 주의할 점 | 쓰는 곳 |
|---|---|---|---|---|---|
| 홀드아웃 | 표본 또는 그룹 · 한 번 | 1 | 0.537 ~ 0.909(10번) | 나누는 운 | 데이터가 아주 많을 때 |
| K겹 | 표본 · K개 겹 | K | 0.928(녹음 단위) | 묶인 데이터면 누수 | 독립 표본 기본값 |
| 층화 K겹 | 클래스 비율 유지 | K | 2단계 분할 | 불균형에서 쓴다 | 분류 문제 |
| LOO | 표본 하나 | n | 0.954(녹음 단위) | 흔들림 · 반례 | 표본 수십 개 |
| 그룹 K겹 | 사람 · 장비 · 로트 | K | 0.769(사람 단위) | 그룹 수가 적으면 흔들림 | 의료 · 제조 데이터 |
| 시계열 분할 | 시간 순서 | K | — | 앞 겹은 학습이 적음 | 센서 · 수요 예측 |
| 반복 교차 검증 | 겹 나누기를 R번 | K × R | 0.713 ~ 0.779(5겹 10번) | 치우침은 못 고침 | 점수 흔들림 보고 |
11참고 문헌
- 먼저 볼 문헌
- ★ A survey of cross-validation procedures for model selection (Statistics Surveys 4 40-79 · arXiv 0907.4728) — 홀드아웃 · K겹 · LOO 의 치우침과 흔들림, 역사(4.4절)를 한 번에 훑을 때
- ★ A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection (IJCAI-95 1137-1143) — 층화 10겹 권고와 LOO 가 0% 를 내는 반례(예 1)를 볼 때
- ★ No Unbiased Estimator of the Variance of K-Fold Cross-Validation (Journal of Machine Learning Research 5 1089-1105) — 겹 점수의 표준편차가 추정 오차를 작게 보이는 이유(정리 6)를 볼 때
- ★ scikit-learn 1.9.1 User Guide 3.1 Cross-validation: evaluating estimator performance — GroupKFold · StratifiedKFold · TimeSeriesSplit 을 고르고 전처리를 겹 안에 넣을 때
- 본문 근거
- scikit-learn 1.9.1 API Reference - sklearn.model_selection.cross_val_score — scikit-learn developers · 2026-11 ·
scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_score.html· 확인 2026-11-13 - Assessing and tuning brain decoders: cross-validation, caveats, and guidelines (NeuroImage 145 166-179 · arXiv 1606.05201) — Elsevier · arXiv · 2017-01 ·
arxiv.org/abs/1606.05201· 확인 2026-11-13 - Cross-Validatory Choice and Assessment of Statistical Predictions (Journal of the Royal Statistical Society Series B 36(2) 111-147) — Royal Statistical Society · 1974-01 ·
doi.org/10.1111/j.2517-6161.1974.tb00994.x· 확인 2026-11-13 - UCI Machine Learning Repository - Parkinsons (Little 외 · CC BY 4.0) — UC Irvine · 2007-06 ·
archive.ics.uci.edu/dataset/174/parkinsons· 확인 2026-11-13