AI › 인공지능 개요 › 머신러닝 › 모델 평가 › 과적합

교차 검증Cross-Validation

가진 데이터를 K개 겹(fold)으로 나눠 겹마다 한 번씩 검증에 남기고 나머지로 학습한 점수를 모아, 처음 보는 데이터에서의 성능을 추정하는 절차다.

1요약

  1. 교차 검증은 머신러닝 모델 평가에서 데이터를 K개 겹으로 돌려 쓰는 재표본 절차로, 1974 ~ 1975년 Stone · Geisser 가 틀을 세웠고(Arlot · Celisse 2010 4.4절) 그 위에서 하이퍼파라미터 튜닝 · 규제 강도 선택 · 모델 비교가 돈다.
  2. 한 번 나눈 검증 점수는 나누는 운에 따라 크게 흔들린다 — 본문 사례(UCI Parkinsons 녹음 195개)에서 사람 9명을 떼어 낸 홀드아웃을 10번 하면 정확도가 0.537 에서 0.909 까지 갈렸다.
  3. 교차 검증 점수가 운영 점수보다 높으면 K 보다 나누는 단위를 먼저 본다 — 같은 사람의 녹음이 학습 · 검증 양쪽에 있으면 0.928, 사람 단위로 나누면 0.769 로 다수 클래스 기준선 0.754 와 거의 같다.

2등장 배경

모델을 학습한 데이터로 다시 채점하면 점수가 언제나 좋게 나온다. 1931년 심리학 분야의 Larson 이 이 낙관을 짚었고 표본 일부를 떼어 두는 홀드아웃이 쓰였다(Arlot · Celisse 2010 4.1 · 4.4절). 그러나 홀드아웃은 떼어 둔 만큼 덜 학습해 비관적이고, 점수 자체가 나누는 방법에 달린 우연한 값이다(Kohavi 1995 2.1절).

1968년 Mosteller · Tukey 의 논문에 LOO 의 초기 형태가 나오고, 1974 ~ 1975년 Stone · Allen · Geisser 가 저마다 LOO(하나 빼기) 교차 검증으로 모델을 고르는 틀을 정리했다(Stone 1974). 1995년 Kohavi 는 C4.5 · Naive Bayes 를 50만 번 넘게 돌린 실험으로 «층화 10겹»을 권했고(Kohavi 1995 초록), 2004년 Bengio · Grandvalet 는 K겹 점수의 분산을 치우침 없이 추정하는 일반 식이 없음을 증명했다(Bengio · Grandvalet 2004 정리 6).

지금은 scikit-learn 의 cross_val_score 같은 함수가 기본 5겹(분류기면 층화)으로 몇 줄 만에 돌려 주지만(scikit-learn cross_val_score API), 같은 환자 · 같은 날 · 같은 장비처럼 묶인 데이터를 섞어 나누는 실수가 남아 있어 그룹 · 시계열 분할이 함께 쓰인다(scikit-learn 3.1 교차 검증 안내 3.1.2.4 · 3.1.2.6절).

3쉽게 이해하기 — 지문째 묶어 내는 모의고사

국어 선생님 수아는 기출 문제 195개로 학생 도윤의 실력을 미리 재 보려 한다. 문제는 지문 32개에서 6 ~ 7개씩 나왔다. 수아는 문제를 다섯 묶음으로 나눠, 한 묶음은 시험 · 나머지 넷은 공부로 다섯 번 돌린 뒤 점수를 모은다. 문제를 낱개로 섞으면 시험에 나온 지문을 도윤이 이미 공부해 92.8점이 나오지만, 지문째 묶으면 76.9점 — 답의 75.4%가 「그렇다」라서 모두 「그렇다」로 찍어도 75.4점인 시험이었다.

기출 문제 195개 지문 32개 · 6 ~ 7문제씩 1 녹음 195 · 사람 32명 선생님 수아 다섯 묶음을 돌려 봄 K겹 교차 검증 · K 5 낱개 섞기 · 92.8점 지문이 양쪽에 갈림 2 녹음 단위 5겹 · 0.928 지문째 묶기 · 76.9점 시험 지문은 처음 봄 3 사람 단위 5겹 · 0.769 진짜 시험 날 처음 보는 지문 4 92.8 예상 → 빗나감 76.9 예상 → 가까움 찍기만 해도 75.4 모두 「그렇다」 기준선 0.754 새 사람의 녹음 데이터 나누기 · 판정 규칙 평가 · 검증 누수 · 실패

그림 1 · 문제를 낱개로 섞은 모의고사는 이미 본 지문 덕에 점수가 부풀고, 지문째 묶은 모의고사가 처음 보는 지문의 진짜 시험 점수에 가깝다.

문제 모으기195문제 · 지문 32개
묶음 나누기지문째 다섯 묶음
돌려 보기한 묶음씩 시험
점수 모으기다섯 번을 합침
찍기와 견주기75.4점보다 나은가
진짜 시험처음 보는 지문
비유 — 지문 A 의 문제 6개 실제 — 사람 S01 의 녹음 6개 낱개로 섞을 때 A A A A A A 공부 묶음 시험 묶음 알아봄 이미 본 지문 · 92.8점 녹음 단위 5겹 S1 S1 S1 S1 S1 S1 학습 겹 검증 겹 이웃이 같은 사람 · 150 / 195 지문째 묶을 때 A A A A A A 시험 묶음 하나 처음 봄 처음 보는 지문 · 76.9점 사람 단위 5겹 S1 S1 S1 S1 S1 S1 검증 겹 하나 같은 사람이 학습에 없음 · 0.769 공부 묶음 · 학습 겹 시험 묶음 · 검증 겹 A = 지문 A 의 문제 · S1 = 사람 S01 의 녹음

그림 2 · 같은 지문의 문제가 공부와 시험에 갈리면 도윤은 지문을 알아보고, 같은 사람의 녹음이 학습과 검증에 갈리면 모델은 목소리를 알아본다.

비유 속 역할실제 이름실제로 하는 일
기출 문제 195개개발 데이터학습 · 검증에 돌려 쓰는 표본 · 사례는 녹음 195개
지문 32개그룹(사람)서로 닮은 표본의 묶음 · 사람 번호 32개
학생 도윤모델사례는 1-최근접 이웃 분류기
다섯 묶음K겹 · K = 5겹마다 한 번씩 검증에 쓰고 네 겹으로 학습
이미 본 지문그룹 누수검증 표본과 닮은 표본이 학습에 들어감
모두 「그렇다」로 찍기다수 클래스 기준선가장 많은 클래스만 답하는 점수 · 0.754
진짜 시험운영 · 테스트 데이터처음 보는 사람의 녹음

⚠ 비유가 맞지 않는 곳: 지문은 문제지에 적혀 있어 누구나 묶을 수 있지만, 실제 데이터의 묶음(같은 사람 · 같은 날 · 같은 로트)은 표에 열로 없을 때가 많아 수집 기록을 찾아야 한다. 도윤은 지문을 «기억»하지만 모델은 가장 가까운 표본을 «찾아» 같은 결과를 낸다.

4구조 — 겹 · 나누는 단위 · 집계

K겹 교차 검증은 데이터를 겹치지 않는 K개 겹으로 나누고, 겹 하나를 검증에 · 나머지 K − 1개를 학습에 써서 K번 학습한 뒤 검증 결과를 모은다(scikit-learn 3.1 교차 검증 안내 3.1절). 점수를 믿을 수 있는지는 K 보다 «무엇 단위로 겹을 나눴나»와 «전처리를 어디서 맞췄나»가 먼저 정한다.

사람 단위 5겹 — 녹음 195개 · 사람 32명(겹마다 7 · 7 · 7 · 6 · 5명) 겹 1 · 43개 겹 2 · 42개 겹 3 · 42개 겹 4 · 37개 겹 5 · 31개 1회 검증 0.791 학습 학습 학습 학습 2회 학습 검증 0.643 학습 학습 학습 3회 학습 학습 검증 0.810 학습 학습 4회 학습 학습 학습 검증 0.730 학습 5회 학습 학습 학습 학습 검증 0.903 집계 겹마다 맞힌 녹음 수 34 + 27 + 34 + 27 + 28 = 150 / 195 = 0.769 봉인 테스트 — 고른 모델을 마지막에 한 번만 잰다(이 고리 밖 · 이 사례는 두지 않음) 학습 겹(K − 1 = 4) 검증 겹(1) 집계 · 봉인 테스트

그림 3 · 다섯 번 모두 검증 겹이 바뀌고 학습 겹 넷은 그 밖에서 오며, 다섯 겹의 맞힌 수를 합쳐 하나의 추정값을 낸다 — 봉인 테스트는 이 고리 밖에 있다.

요소역할사례 값근거
겹 수 K학습 비율 (K − 1)/K 와 학습 횟수를 정함K 5 · 학습 80% · 5번Kohavi 1995 2.2절
나누는 단위표본 · 그룹 · 시간 순서 중 무엇을 한 겹에 몰아 넣나사람 32명 단위scikit-learn 3.1.2.4절
층화겹마다 클래스 비율을 전체와 같게겹마다 건강 · 파킨슨 사람 비율 유지Kohavi 1995 2.2절
겹 안 전처리표준화 · 특징 선택을 학습 겹에서만 맞춤평균 · 표준편차 = 학습 겹 값scikit-learn 3.1.1절
집계겹 점수 평균 또는 맞힌 수 합 ÷ 전체150 / 195 = 0.769scikit-learn 3.1.1절
반복 횟수 R겹 나누기를 R번 바꿔 흔들림을 줄임R 10 · 0.713 ~ 0.779Kohavi 1995 2.2절
봉인 테스트고르는 데 쓰지 않은 마지막 점검 데이터이 사례는 따로 두지 않음scikit-learn 3.1절

🔑 교차 검증 점수가 믿을 만한지는 K 가 아니라 나누는 단위가 정한다 — 같은 1-최근접 이웃이 녹음 단위 5겹에서 0.928, 사람 단위 5겹에서 0.769 다.

5동작 — 파킨슨 음성 녹음 분류기 평가

사례 값은 1-최근접 이웃 분류기를 NumPy 로 직접 구현해 얻었다(직접 실행 · 겹 나누기 난수는 시드 0 하나로 이어 씀). 거리는 유클리드 거리이고, 특징 표준화는 겹마다 학습 쪽 평균 · 표준편차로만 맞췄다. 점수는 정확도(맞힌 녹음 수 ÷ 전체)다.

  1. UCI Parkinsons 는 음성 특징 22개 · 녹음 195개(파킨슨 147 · 건강 48)이고, 이름 열의 사람 번호는 32개 · 사람마다 녹음 6 ~ 7개다(UCI 설명은 31명). 모두 「파킨슨」이라 답하는 다수 클래스 기준선은 147 / 195 = 0.754 다.
  2. 녹음을 클래스 비율대로 섞어 5겹(겹마다 38 ~ 40개)으로 나누면, 학습 겹 네 개에 검증 녹음 주인의 다른 녹음이 거의 다 들어간다.
  3. 녹음 단위 5겹 정확도는 0.928(겹별 0.850 ~ 0.974)이고, 하나 빼기(LOO · 195번 학습)는 0.954 다.
  4. 검증 녹음 195개 중 150개(76.9%)는 가장 가까운 학습 녹음이 같은 사람의 다른 녹음이었다 — 모델이 병보다 목소리를 알아본 것이다.
  5. 사람을 건강 · 파킨슨별로 섞어 5겹(사람 7 · 7 · 7 · 6 · 5명 · 녹음 43 · 42 · 42 · 37 · 31개)으로 나누면 겹별 0.791 · 0.643 · 0.810 · 0.730 · 0.903, 합쳐서 150 / 195 = 0.769 다. 사람 하나 빼기(32번 학습)는 0.744 로 기준선보다 낮다.
  6. 사람 9명(녹음 약 30%)을 떼어 내는 홀드아웃을 10번 하면 0.537 ~ 0.909 로 갈리고, 사람 단위 5겹을 겹 나누기만 바꿔 10번 하면 0.713 ~ 0.779 이다.
  7. 사람 단위 K 를 바꿔 10번씩 반복하면 2겹 0.723 ~ 0.821(표준편차 0.029), 10겹 0.744 ~ 0.759(0.005)로 K 가 클수록 덜 흔들린다. 녹음 단위 5겹 10번은 0.928 ~ 0.959 로 좁지만 기준선에서 멀리 떨어져 있다.
녹음 단위 LOO 195번 학습 3 0.954 녹음 단위 5겹 5번 학습 3 0.928 4 이웃이 같은 사람 150 / 195 사람 단위 5겹 5번 학습 5 0.769 사람 하나 빼기 32번 학습 5 0.744 다수 클래스 기준선 0.754 0.5 0.6 0.7 0.8 0.9 1.0 정확도(맞힌 녹음 수 ÷ 195) 녹음 단위 분할(같은 사람이 양쪽에) 사람 단위 분할 다수 클래스 기준선

그림 4 · 녹음 단위로 나눈 두 점수는 0.9 를 넘지만, 사람 단위로 나누면 다수 클래스 기준선 0.754 근처로 내려온다 — 차이는 모델이 아니라 나누는 단위에서 난다.

같은 방식을 10번 — 점 하나 = 겹 나누기 한 번 홀드아웃 · 사람 9명 0.537 ~ 0.909 6 사람 단위 2겹 0.723 ~ 0.821 7 사람 단위 5겹 0.713 ~ 0.779 6 사람 단위 10겹 0.744 ~ 0.759 7 녹음 단위 5겹 0.928 ~ 0.959 7 기준선 0.754 10번 모두 0.9 위 → ← K 가 클수록 좁아짐 0.5 0.6 0.7 0.8 0.9 1.0 정확도 홀드아웃 1번 사람 단위 교차 검증 1번 녹음 단위 교차 검증 1번 다수 클래스 기준선

그림 5 · 반복과 큰 K 는 점수의 흔들림을 줄이지만, 녹음 단위 누수가 만든 치우침은 반복해도 그대로 남는다.

🔑 반복은 흔들림을 줄이고 그룹 분할은 치우침을 없앤다 — 녹음 단위 5겹을 10번 반복해도 0.928 ~ 0.959 로 좁게 모일 뿐, 사람 단위 점수 0.713 ~ 0.779 쪽으로 오지 않는다.

이 특징 · 모델 조합은 처음 보는 사람에게 기준선을 넘지 못한다. 그래서 다음 일은 K 를 바꾸는 것이 아니라 특징 · 모델을 바꾸는 것이고, 그 비교도 사람 단위 교차 검증으로 한다.

6비교 — 나누는 방식 여섯

방식나누는 단위 · 학습 횟수치우침흔들림맞는 데이터사례 값
홀드아웃한 번 나눔 · 1번학습이 적어 비관적가장 큼표본이 아주 많을 때사람 9명 · 0.537 ~ 0.909
K겹표본 · K번(K − 1)/K 만 학습해 조금 비관적K 2 에서 큼(Kohavi 1995)독립 표본녹음 단위 5겹 0.928
층화 K겹표본 · 클래스 비율 유지 · K번K겹보다 작음K겹보다 조금 작음(Kohavi 1995)클래스 불균형2단계 분할
LOO표본 하나 · n번가장 작음크고 반례가 있음(Kohavi 1995 예 1)표본이 아주 적을 때녹음 단위 0.954
그룹 K겹그룹 · K번그룹이 겹을 넘지 않아 낙관이 없음그룹 수가 적으면 큼환자 · 장비 · 로트사람 단위 5겹 0.769
시계열 분할시간 순서 · 앞으로만 학습미래 정보가 섞이지 않음앞 겹은 학습이 적음센서 · 수요 시계열—

분석먼저 데이터가 무엇으로 묶여 있는지(사람 · 날짜 · 장비)를 보고 그 단위로 나누며, 그 안에서 표본이 수백 개면 층화 5 ~ 10겹을 반복하고 LOO 는 피한다. 근거는 묶인 데이터에서 표본 단위 분할만 0.9 를 넘었다는 사례 행과, 10겹이 LOO 보다 모델 선택에 낫고 계산도 적다는 Kohavi 1995 의 결론, LOO 가 더 흔들린다는 Varoquaux 외 2017 의 지침이다.

하이퍼파라미터까지 함께 고를 때 바깥 · 안쪽 두 겹으로 감싸는 중첩 교차 검증은 하이퍼파라미터 튜닝이 다룬다.

7실무 진단 — 교차 검증 점수를 믿을 수 없을 때

분석나누는 단위 → 전처리 위치 → 겹 사이 흔들림 순서로 본다. 누수가 있으면 반복 · K 조절로는 점수가 내려오지 않으므로(그림 5 녹음 단위 행) 단위부터 확인해야 나머지 점검이 의미를 가진다.

#증상의심 원인단계확인 자료판정 기준(근거)
1교차 검증은 높은데 새 환자 · 새 장비에서 낮음그룹 누수분할그룹 열로 GroupKFold 다시 실행 · 가장 가까운 학습 표본의 그룹표본 단위와 그룹 단위 점수 차가 크면 누수(사례 0.928 대 0.769 · scikit-learn 3.1.2.4절)
2특징 선택 · 표준화를 한 뒤 교차 검증함전처리 누수전처리코드에서 fit 이 겹 루프 밖에 있는지 · Pipeline 사용 여부전처리는 학습 겹에서만 맞춘다(scikit-learn 3.1.1절)
3시간순 데이터인데 섞어 나눔미래 정보 누수분할겹별 학습 · 검증 기간검증 기간이 학습 기간 뒤에만 있어야 함(TimeSeriesSplit · scikit-learn 3.1.2.6절)
4겹별 점수가 0.643 ~ 0.903 처럼 넓게 갈림검증 겹이 작음 · 그룹 수 적음평가겹 나누기를 바꾼 반복 결과의 범위겹 점수 표준편차로 만든 구간은 실제 흔들림보다 작게 나올 수 있음(Bengio · Grandvalet 2004 정리 6) · 표본이 적으면 위아래 10%p 넘게 벌어짐(Varoquaux 외 2017)
5겹마다 한 클래스가 거의 없음층화 안 함분할겹별 클래스 개수겹 비율을 전체와 맞춘다(Kohavi 1995 2.2절)

누수 행 셋은 점수를 «높게» 치우치게 하고 흔들림 행은 «넓게» 만든다. 치우침은 반복으로 사라지지 않으므로 1 ~ 3행을 먼저 닫고 4행을 본다.

8시험 대비

출제 정보 정보관리(105회) · 컴퓨터시스템응용(128회, 122회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 교차 검증의 정의 · 목적 · 절차를 묻는 정의 · 특징형과, 홀드아웃 · K겹 · LOO · 층화 · 그룹 분할을 견주는 비교형이 나올 수 있다. 「데이터를 K개로 나눠 돌린다」에서 멈추지 않고, 나누는 단위가 틀렸을 때 점수가 얼마나 부푸는지를 수치로 보이면 답안이 갈린다.

답안 목차
  1. 개요 — 정의(겹마다 한 번 검증 · 점수 집계) · 목적(일반화 성능 추정 · 모델 선택) · 과적합 판정과의 관계
  2. 구조 — 그림 3 겹 회전도(검증 겹 · 학습 겹 · 집계 · 봉인 테스트) · 요소 표(K · 나누는 단위 · 층화 · 겹 안 전처리)
  3. 방식 비교 — 홀드아웃 · K겹 · 층화 · LOO · 그룹 · 시계열 분할 비교표(치우침 · 흔들림 · 맞는 데이터)
  4. 적용 사례 — 그림 4 녹음 단위 0.928 대 사람 단위 0.769 · 기준선 0.754
  5. 신뢰성 — 그림 5 반복 · K 에 따른 흔들림과 누수 치우침 · 분산 추정의 한계(Bengio · Grandvalet 2004)
  6. 실무 지침 — 그룹 단위 분할 · 겹 안 전처리 · 봉인 테스트 · 튜닝은 중첩 교차 검증

꼭 쓸 키워드
K겹 교차 검증홀드아웃LOO층화그룹 K겹시계열 분할데이터 누수다수 클래스 기준선반복 교차 검증일반화 성능

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 반복이 줄이는 «흔들림»과 그룹 분할이 없애는 «치우침»을 같은 축에 나란히 둔다.

9오해와 사실

  • 오해LOO 는 학습 데이터를 가장 많이 쓰니 언제나 가장 정확한 추정이다.
    사실클래스가 같은 비율인 Iris 에 다수 클래스 분류기를 쓰면 LOO 정확도는 0% 로, 기대값 33% 와 멀다(Kohavi 1995 예 1). 이 사례에서도 녹음 단위 LOO 0.954 가 가장 부푼 값이었다.
  • 오해교차 검증을 했으니 과적합 걱정은 끝났다.
    사실교차 검증은 모델을 바꾸지 않고 성능을 잴 뿐이며, 같은 점수로 후보 수백 개를 고르면 그 최고 점수도 낙관적이 된다 — 줄이는 것은 규제 · 조기 종료 · 드롭아웃이고 선택 편향은 중첩 교차 검증으로 잰다.
  • 오해겹 점수의 평균 ± 표준편차가 곧 신뢰 구간이다.
    사실겹끼리 학습 데이터를 (K − 2)/(K − 1) 만큼 공유해 점수가 서로 엮이므로, 그 표준편차는 실제 흔들림을 작게 보일 수 있다(Bengio · Grandvalet 2004 정리 6).

10핵심 정리

방식나누는 단위학습 횟수사례 정확도주의할 점쓰는 곳
홀드아웃표본 또는 그룹 · 한 번10.537 ~ 0.909(10번)나누는 운데이터가 아주 많을 때
K겹표본 · K개 겹K0.928(녹음 단위)묶인 데이터면 누수독립 표본 기본값
층화 K겹클래스 비율 유지K2단계 분할불균형에서 쓴다분류 문제
LOO표본 하나n0.954(녹음 단위)흔들림 · 반례표본 수십 개
그룹 K겹사람 · 장비 · 로트K0.769(사람 단위)그룹 수가 적으면 흔들림의료 · 제조 데이터
시계열 분할시간 순서K—앞 겹은 학습이 적음센서 · 수요 예측
반복 교차 검증겹 나누기를 R번K × R0.713 ~ 0.779(5겹 10번)치우침은 못 고침점수 흔들림 보고

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ A survey of cross-validation procedures for model selection (Statistics Surveys 4 40-79 · arXiv 0907.4728) — 홀드아웃 · K겹 · LOO 의 치우침과 흔들림, 역사(4.4절)를 한 번에 훑을 때
    Institute of Mathematical Statistics · arXiv · 2010-01 · arxiv.org/abs/0907.4728 · 확인 2026-11-13
  3. ★ A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection (IJCAI-95 1137-1143) — 층화 10겹 권고와 LOO 가 0% 를 내는 반례(예 1)를 볼 때
    IJCAI · 1995-08 · www.ijcai.org/Proceedings/95-2/Papers/016.pdf · 확인 2026-11-13
  4. ★ No Unbiased Estimator of the Variance of K-Fold Cross-Validation (Journal of Machine Learning Research 5 1089-1105) — 겹 점수의 표준편차가 추정 오차를 작게 보이는 이유(정리 6)를 볼 때
    JMLR · 2004-09 · jmlr.org/papers/v5/grandvalet04a.html · 확인 2026-11-13
  5. ★ scikit-learn 1.9.1 User Guide 3.1 Cross-validation: evaluating estimator performance — GroupKFold · StratifiedKFold · TimeSeriesSplit 을 고르고 전처리를 겹 안에 넣을 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/cross_validation.html · 확인 2026-11-13
  6. 본문 근거
  7. scikit-learn 1.9.1 API Reference - sklearn.model_selection.cross_val_score — scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/generated/sklearn.model_selection.cross_val_score.html · 확인 2026-11-13
  8. Assessing and tuning brain decoders: cross-validation, caveats, and guidelines (NeuroImage 145 166-179 · arXiv 1606.05201) — Elsevier · arXiv · 2017-01 · arxiv.org/abs/1606.05201 · 확인 2026-11-13
  9. Cross-Validatory Choice and Assessment of Statistical Predictions (Journal of the Royal Statistical Society Series B 36(2) 111-147) — Royal Statistical Society · 1974-01 · doi.org/10.1111/j.2517-6161.1974.tb00994.x · 확인 2026-11-13
  10. UCI Machine Learning Repository - Parkinsons (Little 외 · CC BY 4.0) — UC Irvine · 2007-06 · archive.ics.uci.edu/dataset/174/parkinsons · 확인 2026-11-13