지도 학습Supervised Learning
정답(레이블)이 붙은 예에서 입력을 출력으로 바꾸는 함수를 배워, 처음 보는 입력의 정답을 예측하는 머신러닝 방식이다.
1요약
- 지도 학습은 머신러닝의 세 학습 방식 가운데 입력 X 와 정답 레이블 y 의 쌍으로 함수 f 를 맞추는 방식으로(ESL 2장), 그 위에서 분류(스팸 거르기 · 종양 판정)와 회귀(가격 · 수요 예측)가 돈다.
- 정답이 있어야 배우므로 레이블 비용이 병목이다 — 음성을 음소 단위로 레이블하면 녹음 길이의 400배 시간이 들고(Settles 2010 1.1절), 널리 쓰는 시험 데이터 10종에도 평균 3.3% 이상의 레이블 오류가 있다(Northcutt 2021).
- 「정확도는 높은데 쓸모가 없다」는 혼동 행렬의 거짓 음성 셀로 가른다 — 사례에서 모든 표본을 양성 종양으로 판정해도 정확도는 0.628 이지만 악성은 하나도 찾지 못한다.
2등장 배경
손으로 규칙을 쓰는 분류는 측정값이 늘수록 경계를 정하기 어려웠다. Fisher 는 1936년 붓꽃 세 종 150개체의 꽃받침 · 꽃잎 길이 · 너비 네 측정값에 종 이름을 붙여 두고, 종을 가장 잘 가르는 측정값의 선형 결합을 데이터에서 계산했다(Fisher 1936).
Rosenblatt 는 1958년 퍼셉트론에서 예측이 정답과 다를 때만 가중치를 고치는 오차 수정 규칙을 내놓아(Rosenblatt 1958), 「정답과의 차이로 파라미터를 고친다」는 학습 고리를 만들었다. 1993년 Street · Wolberg · Mangasarian 은 세침 흡인 세포 영상에서 핵 특징 30개를 뽑아 진단 결과를 레이블로 단 데이터를 공개했고(Street 1993 · UCI WDBC), 2001년 Breiman 은 무작위로 만든 결정 나무 여러 개의 투표로 예측하는 랜덤 포레스트를 발표했다(Breiman 2001).
지금도 스팸 필터 · 의료 영상 판정 · 수요 예측은 지도 학습이고, 대규모 언어 모델의 지시 따르기 미세 조정도 「질문 · 모범 답」 쌍으로 배운다. 남은 병목은 레이블이다 — 능동 학습 · 준지도 학습은 레이블을 덜 쓰려는 방법이다(Settles 2010 1.1절).
3쉽게 이해하기 — 수박 고르기를 배우는 수아
과일 가게 신입 수아는 사장님에게 수박 고르기를 배운다. 사장님은 지난주 수박 300통의 두드리는 소리 · 무늬 · 무게를 적고, 한 통씩 잘라 본 결과를 「덜 익음」 · 「잘 익음」 꼬리표로 달아 두었다. 수아는 꼬리표와 자기 짐작이 다르면 판단 기준을 고치고, 사장님이 따로 빼 둔 수박 60통으로 실력을 잰다. 덜 익은 수박을 팔면 손님 항의가 오므로, 애매한 수박은 「덜 익음」 쪽으로 거른다.
그림 1 · 사장님이 잘라 보고 단 꼬리표로 수아가 판단 기준을 고치고, 빼 둔 수박과 거르는 기준으로 실력을 잰다.
그림 2 · 같은 짐작 순서라도 자르는 선을 왼쪽으로 옮기면 놓치는 수박은 줄고 헛걸음은 는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 사장님의 꼬리표 | 레이블 작성 | 사람 · 검사 결과가 표본마다 정답 y 를 붙인다 |
| 꼬리표 단 수박 300통 | 학습 데이터(X, y) | 특징 X 와 레이블 y 의 쌍 |
| 두드려 보고 짐작 | 모델 · 예측 | 파라미터 θ 로 X 에서 확률 · 값을 낸다 |
| 틀린 만큼 벌점 | 손실 함수 | 예측과 레이블의 차이를 숫자 하나로 잰다 |
| 기준 고치기 | 최적화 | 손실이 줄어드는 쪽으로 θ 를 바꾼다 |
| 빼 둔 60통 | 테스트 세트 | 학습 · 설정에 쓰지 않은 표본으로 마지막에 한 번 잰다 |
| 애매하면 거름 | 임계값 | 확률을 클래스로 바꾸는 선 · 놓침과 헛경보의 비중을 정한다 |
| 덜 익은 걸 놓침 | 거짓 음성 · 재현율 | 찾을 클래스를 놓친 수 · 재현율을 깎는다 |
⚠ 비유가 맞지 않는 곳: 수아는 「소리가 맑으면 익음」처럼 이유를 말할 수 있지만, 모델은 수십 ~ 수백만 개 숫자(파라미터)를 맞출 뿐 이유를 스스로 설명하지 않는다. 사장님의 꼬리표도 틀릴 수 있다는 점은 비유와 같다.
4구조 — 레이블 · 모델 · 손실 · 최적화의 학습 고리
그림 3 · 레이블은 사람이 붙이고, 학습 세트만 손실 고리를 돌며, 검증 · 테스트 세트는 고리 밖에서 설정 선택과 최종 보고에만 쓰인다.
| 요소 | 역할 | 사례 값(그림 4) | 근거 |
|---|---|---|---|
| 레이블 y | 표본마다 붙은 정답 · 사람 · 검사가 만든다 | 진단 결과 악성(M) · 양성 종양(B) | UCI WDBC |
| 특징 X | 모델이 보는 입력 측정값 | 세포 핵 측정값 30개 | Street 1993 |
| 모델 f(x; θ) | 파라미터 θ 로 X 를 ŷ 로 바꾼다 | 로지스틱 회귀 · θ = 가중치 30 + 절편 1 | ESL 4.4절 |
| 손실 함수 | 예측과 레이블의 차이 | 로그 손실 · 시작 0.693 | ESL 4.4절 |
| 최적화 | 손실을 줄이는 방향으로 θ 갱신 | 경사 하강 · 학습률 0.1 · 2,000회 | ESL 4.4절 |
| 검증 · 테스트 세트 | 설정 고르기 · 최종 보고 | 각 113 표본 · 층화 | NumPy Random Generator |
분류와 회귀는 같은 고리를 쓰고 출력 · 손실 · 지표만 다르다. 분류는 확률을 임계값으로 잘라 클래스를 내고 로그 손실 · 정밀도 · 재현율로 재며, 회귀는 실수 값을 내고 제곱 오차 · 절대 오차로 잰다(ESL 2.4절 · scikit-learn 3.4).
| 대표 모델 | 경계 · 함수 모양 | 강점 | 약점 |
|---|---|---|---|
| 선형(선형 회귀 · 로지스틱 회귀) | 특징의 가중 합 · 직선 · 평면 | 계수로 판단 근거가 읽힘 | 특징 사이 상호작용을 직접 못 잡음 |
| 결정 나무 | 특징 하나씩 묻는 분기 | 규칙 그대로 읽힘 · 표준화 불필요 | 깊어지면 학습 데이터에 쉽게 맞춤 |
| 앙상블(랜덤 포레스트 · 그래디언트 부스팅) | 나무 여러 개의 투표 · 합 | 표 데이터에서 높은 정확도(Breiman 2001) | 나무가 많아 근거 읽기 어려움 |
| 신경망 | 여러 층의 비선형 변환 | 이미지 · 음성 · 문장 원자료 | 표본 · 계산이 많이 듦 |
🔑 지도 학습의 성능 상한은 레이블이 정한다 — 손실은 레이블과의 차이만 재므로, 레이블이 틀리면 모델은 틀린 쪽으로 정확하게 배운다.
5동작 — 유방 종양 진단 데이터로 로지스틱 회귀 한 번
Python 3.14.0 · NumPy 2.4.3 으로 로지스틱 회귀를 직접 구현해 실행한 사례다(scikit-learn 없이 · default_rng(0)). 찾을 클래스는 악성(M)이다.
- UCI 의 유방 종양 진단 데이터 569 표본을 읽는다 — 특징 30개 · 악성(M) 212(37.3%) · 양성 종양(B) 357(UCI WDBC).
- 클래스마다 섞어 20% · 20% · 60% 로 자르는 층화 분할로 학습 343(M 128) · 검증 113(M 42) · 테스트 113(M 42)을 만든다(NumPy Random Generator).
- 학습 세트의 평균 · 표준편차만으로 30 특징을 표준화하고, 같은 값을 검증 · 테스트에 그대로 쓴다.
- 가중치 30개 + 절편을 0 에서 시작해 로그 손실을 경사 하강(학습률 0.1 · L2 계수 0.01)으로 2,000회 줄이면 학습 손실이 0.693 → 0.079, 검증 손실이 0.090 이 된다(ESL 4.4절).
- 기본 임계값 0.5 에서 검증 M 42개 중 3개를 놓친다(재현율 0.929 · 정밀도 1.000). 「재현율 0.97 이상 중 정밀도 최대」 기준으로 검증에서 0.2 를 고르면 놓침 1 · 헛경보 5(재현율 0.976 · 정밀도 0.891)다.
- 테스트 113 표본에 0.2 를 한 번 적용해 TP 41 · FN 1 · FP 2 · TN 69, 정확도 0.973 · 정밀도 0.953 · 재현율 0.976 · F1 0.965 를 얻는다(scikit-learn 3.4.4.9 식).
같은 테스트 세트에서 모든 표본을 B 로 판정하는 기준선은 정확도 0.628(71/113)이지만 재현율 0 이다. 0.5 → 0.2 로 바꾸면 검증 정확도는 0.973 → 0.947 로 내려간다 — 임계값은 정확도가 아니라 놓침 한 건의 비용으로 고른다.
그림 4 · 레이블 붙은 569 표본을 셋으로 나눠 학습 세트로만 θ 를 맞추고, 검증으로 임계값을 고른 뒤, 테스트는 ⑥ 에서 한 번만 연다.
그림 5 · 임계값을 내리면 재현율은 오르고 정밀도는 내린다 — 검증에서 놓침 한 건이 헛경보보다 비싸면 0.5 대신 0.2 를 고른다.
🔑 학습은 손실을 줄이는 θ 를 정하지만 임계값은 정하지 않는다 — 놓침과 헛경보 중 무엇이 더 비싼지는 사람이 정하고, 그 선택은 검증 세트에서 한다.
6비교 — 비지도 학습 · 강화 학습과의 차이
| 기준 | 지도 학습 | 비지도 학습 | 강화 학습 |
|---|---|---|---|
| 사람 손이 드는 곳 | 표본마다 레이블 작성 | 결과 해석(군집에 이름 붙이기) | 보상 설계 · 환경 구축 |
| 정답과 대조한 평가 | 테스트 세트로 바로(사례 F1 0.965) | 레이블이 따로 있을 때만 · 대개 간접 지표 | 에피소드 누적 보상 |
| 데이터를 늘리는 비용 | 레이블 비용에 비례(음소 레이블 400배 · Settles 2010) | 원자료 수집만 | 시뮬레이션 · 실제 시도 횟수 |
| 대표 실패 | 레이블 오류 · 클래스 불균형 | 쓸모없는 군집 · 축 | 보상의 허점을 노린 행동 |
| 맞는 문제 | 정답이 정해진 판정 · 예측 | 구조 탐색 · 전처리 · 이상 후보 | 연속 결정 · 제어 |
분석정답이 정해져 있고 수백 건 이상 레이블을 만들 수 있으면 지도 학습을, 레이블 비용이 너무 크면 비지도 학습으로 구조를 먼저 보거나 레이블을 일부만 쓰는 준지도 · 능동 학습을, 정답 대신 결과의 좋고 나쁨만 매길 수 있는 연속 결정이면 강화 학습을 고른다. 근거는 표의 「데이터를 늘리는 비용」 · 「정답과 대조한 평가」 행이다.
7실무 진단 — 지도 학습 모델의 문제 가르기
분석혼동 행렬부터 보고, 다음에 레이블, 손실, 운영 데이터 순으로 내려간다. 지표를 잘못 고르면 나머지 단계의 판단이 모두 틀리고(scikit-learn 3.4.4.4), 레이블이 틀리면 모델을 바꿔도 상한이 그대로다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 정확도는 높은데 찾을 클래스를 놓침 | 클래스 불균형 · 임계값 0.5 고정 | 평가 | 혼동 행렬 · 다수 클래스 기준선 · 정밀도-재현율 곡선 | 정확도가 기준선(사례 0.628)에 가깝거나 재현율이 목표 미달이면 지표 · 임계값 문제(scikit-learn 3.4.4.9 · Saito 2015) |
| 2 | 학습 손실이 높게 머묾 | 레이블 오류 · 특징 부족 | 데이터 · 레이블 | 손실이 큰 표본 상위 목록을 사람이 다시 판정 | 다시 판정한 표본에서 레이블 오류가 나오면 레이블 문제 · 이름난 시험 데이터도 3.3% 이상(Northcutt 2021) |
| 3 | 회귀 평균 오차는 작은데 큰 값에서 크게 틀림 | 제곱 오차가 이상값에 끌림 | 학습 | 목표 값 구간별 잔차 | 큰 값 구간 잔차만 크면 절대 오차 · Huber 손실로 바꿔 비교(ESL 10.6절) |
| 4 | 검증 · 테스트는 좋은데 운영에서 떨어짐 | 입력 분포 변화 · 레이블 정의 변경 | 운영 | 운영 입력을 학습 세트 평균 · 표준편차로 표준화한 평균 | 표준화 평균이 0 에서 크게 벗어난 특징이 있으면 분포 변화(사례 3단계 표준화) |
학습 점수만 높고 검증 점수가 낮은 경우는 과적합의 진단 순서를 따른다. 사례는 검증 손실 0.090 이 학습 손실 0.079 와 가까워 1행(임계값)만 손봤다.
8시험 대비
www.q-net.or.kr시험에서는 지도 학습의 정의 · 구성 요소 · 분류와 회귀를 쓰는 정의 · 특징형, 그리고 비지도 · 강화 학습과 레이블 · 평가 · 비용을 가르는 비교형이 나올 수 있다. 평가 지표를 혼동 행렬과 임계값 곡선으로 함께 보이면 답안이 정의 수준을 넘는다.
- 개요 — 정의(X, y 쌍으로 f 를 맞춤 · ESL 2장) · 분류 ↔ 회귀 · 비지도 · 강화와의 차이 한 줄
- 구성 요소 — 그림 3 학습 고리(레이블 · 모델 · 손실 · 최적화) + 학습 · 검증 · 테스트 역할
- 학습 절차 — 그림 4 사례(569 표본 · 층화 분할 · 손실 0.693 → 0.079 · 테스트 F1 0.965)
- 평가 지표 — 혼동 행렬 + 정밀도 · 재현율 · F1 식 · 그림 5 임계값 곡선(0.5 → 0.2 · 놓침 3 → 1)
- 대표 모델 — 선형 · 결정 나무 · 앙상블 · 신경망 표(경계 모양 · 강점 · 약점)
- 한계와 대응 — 레이블 비용(400배) · 레이블 오류 3.3% · 클래스 불균형 · 준지도 · 능동 학습
꼭 쓸 키워드
레이블분류회귀손실 함수층화 분할혼동 행렬정밀도재현율F1임계값
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 실제 값으로 그린 임계값 곡선이다 — 「정밀도와 재현율은 상충한다」 한 줄 대신 임계값 0.5 → 0.2 에서 놓침 3 → 1 · 헛경보 0 → 5 를 숫자로 보인다.
9오해와 사실
- 오해정확도가 높으면 쓸 만한 분류기다.사실사례 테스트에서 모두 B 로 판정해도 정확도는 0.628 이지만 악성을 하나도 찾지 못하며, 이때 균형 정확도는 0.5 다(scikit-learn 3.4.4.4).
- 오해레이블은 정답이므로 틀리지 않는다.사실널리 쓰는 시험 데이터 10종에 평균 3.3% 이상, ImageNet 검증 세트에 6% 이상의 레이블 오류가 있다(Northcutt 2021).
- 오해임계값 0.5 는 학습이 정한 값이다.사실0.5 는 확률을 클래스로 바꾸는 관례일 뿐이고, 사례에서 검증으로 0.2 를 고르자 놓친 악성이 3 → 1 로 줄었다.
10핵심 정리
| 구분 | 맡는 일 | 사례 값 | 확인 지표 · 식 | 흔한 실패 |
|---|---|---|---|---|
| 레이블 y | 정답 제공 | M 212 · B 357 | 다시 판정한 오류율 | 레이블 오류 |
| 특징 X | 모델 입력 | 핵 측정값 30 | 학습 세트 기준 표준화 | 운영 분포 변화 |
| 모델 · 손실 | θ 를 맞춤 | 로지스틱 회귀 · 로그 손실 0.079 | 학습 · 검증 손실 | 손실 선택 잘못 |
| 검증 세트 | 설정 · 임계값 고름 | 113 표본 · 임계값 0.2 | 재현율 · 정밀도 | 테스트로 고르기 |
| 테스트 세트 | 최종 보고 한 번 | 113 표본 · F1 0.965 | 혼동 행렬 | 여러 번 열어 봄 |
| 임계값 | 확률 → 클래스 | 0.5 → 0.2 | 놓침 · 헛경보 수 | 0.5 고정 |
| 클래스 불균형 | 소수 클래스 위험 | 기준선 정확도 0.628 | 정밀도 · 재현율 · F1 | 정확도만 봄 |
11참고 문헌
- 먼저 볼 문헌
- ★ The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman · corrected 12th printing) — 지도 학습의 틀(2장) · 로지스틱 회귀(4.4절) · 손실 함수와 견고성(10.6절)을 볼 때
- ★ Breast Cancer Wisconsin (Diagnostic) Data Set (UCI Machine Learning Repository · DOI 10.24432/C5DW2B · CC BY 4.0) — 사례 데이터 569 표본 · 특징 30개를 내려받아 따라 해 볼 때
- ★ scikit-learn 1.9.1 User Guide 3.4 Metrics and scoring: quantifying the quality of predictions — 정밀도 · 재현율 · F1 식(3.4.4.9)과 균형 정확도(3.4.4.4)를 볼 때
- ★ The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets (PLOS ONE 10(3) e0118432) — 클래스 불균형에서 정밀도-재현율 곡선을 먼저 보는 이유를 볼 때
- ★ Active Learning Literature Survey (Computer Sciences Technical Report 1648 · University of Wisconsin-Madison · updated 2010-01-26) — 레이블 비용의 실제 예와 능동 학습을 볼 때
- 본문 근거
- Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks (NeurIPS 2021 Datasets and Benchmarks · arXiv 2103.14749) — arXiv · 2021-03 ·
arxiv.org/abs/2103.14749· 확인 2026-11-04 - The Use of Multiple Measurements in Taxonomic Problems (Annals of Eugenics 7(2) 179-188) — Wiley · 1936-09 ·
doi.org/10.1111/j.1469-1809.1936.tb02137.x· 확인 2026-11-04 - The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain (Psychological Review 65(6) 386-408) — American Psychological Association · 1958-11 ·
doi.org/10.1037/h0042519· 확인 2026-11-04 - Random Forests (Machine Learning 45 5-32) — Springer · 2001-10 ·
doi.org/10.1023/A:1010933404324· 확인 2026-11-04 - Nuclear Feature Extraction for Breast Tumor Diagnosis (Proc. SPIE 1905 Biomedical Image Processing and Biomedical Visualization 861-870) — SPIE · 1993-07 ·
doi.org/10.1117/12.148698· 확인 2026-11-04 - NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-04