AI › 인공지능 개요 › 머신러닝 › 학습 방식

지도 학습Supervised Learning

정답(레이블)이 붙은 예에서 입력을 출력으로 바꾸는 함수를 배워, 처음 보는 입력의 정답을 예측하는 머신러닝 방식이다.

1요약

  1. 지도 학습은 머신러닝의 세 학습 방식 가운데 입력 X 와 정답 레이블 y 의 쌍으로 함수 f 를 맞추는 방식으로(ESL 2장), 그 위에서 분류(스팸 거르기 · 종양 판정)와 회귀(가격 · 수요 예측)가 돈다.
  2. 정답이 있어야 배우므로 레이블 비용이 병목이다 — 음성을 음소 단위로 레이블하면 녹음 길이의 400배 시간이 들고(Settles 2010 1.1절), 널리 쓰는 시험 데이터 10종에도 평균 3.3% 이상의 레이블 오류가 있다(Northcutt 2021).
  3. 「정확도는 높은데 쓸모가 없다」는 혼동 행렬의 거짓 음성 셀로 가른다 — 사례에서 모든 표본을 양성 종양으로 판정해도 정확도는 0.628 이지만 악성은 하나도 찾지 못한다.

2등장 배경

손으로 규칙을 쓰는 분류는 측정값이 늘수록 경계를 정하기 어려웠다. Fisher 는 1936년 붓꽃 세 종 150개체의 꽃받침 · 꽃잎 길이 · 너비 네 측정값에 종 이름을 붙여 두고, 종을 가장 잘 가르는 측정값의 선형 결합을 데이터에서 계산했다(Fisher 1936).

Rosenblatt 는 1958년 퍼셉트론에서 예측이 정답과 다를 때만 가중치를 고치는 오차 수정 규칙을 내놓아(Rosenblatt 1958), 「정답과의 차이로 파라미터를 고친다」는 학습 고리를 만들었다. 1993년 Street · Wolberg · Mangasarian 은 세침 흡인 세포 영상에서 핵 특징 30개를 뽑아 진단 결과를 레이블로 단 데이터를 공개했고(Street 1993 · UCI WDBC), 2001년 Breiman 은 무작위로 만든 결정 나무 여러 개의 투표로 예측하는 랜덤 포레스트를 발표했다(Breiman 2001).

지금도 스팸 필터 · 의료 영상 판정 · 수요 예측은 지도 학습이고, 대규모 언어 모델의 지시 따르기 미세 조정도 「질문 · 모범 답」 쌍으로 배운다. 남은 병목은 레이블이다 — 능동 학습 · 준지도 학습은 레이블을 덜 쓰려는 방법이다(Settles 2010 1.1절).

3쉽게 이해하기 — 수박 고르기를 배우는 수아

과일 가게 신입 수아는 사장님에게 수박 고르기를 배운다. 사장님은 지난주 수박 300통의 두드리는 소리 · 무늬 · 무게를 적고, 한 통씩 잘라 본 결과를 「덜 익음」 · 「잘 익음」 꼬리표로 달아 두었다. 수아는 꼬리표와 자기 짐작이 다르면 판단 기준을 고치고, 사장님이 따로 빼 둔 수박 60통으로 실력을 잰다. 덜 익은 수박을 팔면 손님 항의가 오므로, 애매한 수박은 「덜 익음」 쪽으로 거른다.

사장님 잘라 보고 꼬리표 1 레이블 작성 · 사람 손 꼬리표 단 수박 300통 · 소리 · 무게 특징 X + 레이블 y 덜 익음은 드묾 300통 중 90통 클래스 불균형 수아 모델 2 두드려 보고 짐작 덜 익었을 확률 꼬리표와 대조 틀린 만큼 벌점 기준 고치기 300통을 여러 번 손실 → 파라미터 갱신 빼 둔 수박 60통 · 꼬리표 숨김 3 테스트 세트 거르는 기준 애매하면 거름 4 임계값 덜 익은 걸 놓침 손님 항의 · 가장 비쌈 거짓 음성(FN) 레이블 사람 모델 · 판정 규칙 평가 위험 · 실패

그림 1 · 사장님이 잘라 보고 단 꼬리표로 수아가 판단 기준을 고치고, 빼 둔 수박과 거르는 기준으로 실력을 잰다.

잘라 보기사장님이 꼬리표를 닮
두드려 짐작소리 · 무게로 확률
꼬리표 대조틀리면 벌점
기준 고치기300통을 여러 번
빼 둔 수박처음 보는 60통
애매하면 거름놓침을 줄임
비유 — 수박 12통을 한 줄로 실제 — 임계값과 두 지표 느슨한 기준 엄격한 기준 덜 익었을 확률 낮음 높음 엄격한 기준 — 오른쪽 3통만 거름 거른 3통 모두 덜 익음 · 덜 익은 2통 놓침 느슨한 기준 — 오른쪽 8통을 거름 놓침 0 · 대신 잘 익은 3통도 거름 정밀도 거른 것 중 진짜 엄격 3/3 = 1.00 느슨 5/8 = 0.63 재현율 진짜 중 거른 것 엄격 3/5 = 0.60 느슨 5/5 = 1.00 임계값 자르는 선의 위치 무엇이 더 비싼지로 사람이 정함 실제 덜 익음(찾을 쪽) 실제 잘 익음 엄격한 선 느슨한 선

그림 2 · 같은 짐작 순서라도 자르는 선을 왼쪽으로 옮기면 놓치는 수박은 줄고 헛걸음은 는다.

비유 속 역할실제 이름실제로 하는 일
사장님의 꼬리표레이블 작성사람 · 검사 결과가 표본마다 정답 y 를 붙인다
꼬리표 단 수박 300통학습 데이터(X, y)특징 X 와 레이블 y 의 쌍
두드려 보고 짐작모델 · 예측파라미터 θ 로 X 에서 확률 · 값을 낸다
틀린 만큼 벌점손실 함수예측과 레이블의 차이를 숫자 하나로 잰다
기준 고치기최적화손실이 줄어드는 쪽으로 θ 를 바꾼다
빼 둔 60통테스트 세트학습 · 설정에 쓰지 않은 표본으로 마지막에 한 번 잰다
애매하면 거름임계값확률을 클래스로 바꾸는 선 · 놓침과 헛경보의 비중을 정한다
덜 익은 걸 놓침거짓 음성 · 재현율찾을 클래스를 놓친 수 · 재현율을 깎는다

⚠ 비유가 맞지 않는 곳: 수아는 「소리가 맑으면 익음」처럼 이유를 말할 수 있지만, 모델은 수십 ~ 수백만 개 숫자(파라미터)를 맞출 뿐 이유를 스스로 설명하지 않는다. 사장님의 꼬리표도 틀릴 수 있다는 점은 비유와 같다.

4구조 — 레이블 · 모델 · 손실 · 최적화의 학습 고리

특징 X · 측정값 레이블 y 레이블 작성 · 사람 표본마다 한 쌍(X, y) 학습 60% θ 를 맞춤 검증 20% 설정 · 임계값 테스트 20% 마지막에 한 번 층화 분할 — 클래스 비율을 세 세트에 같게 모델 f(x; θ) 예측 ŷ 분류 = 확률 · 회귀 = 실수 손실 L(ŷ, y) 최적화 · θ 갱신 손실이 더 줄지 않을 때까지 반복 데이터 · 학습 세트 레이블 사람 모델 · 학습 규칙 평가 세트 학습 고리

그림 3 · 레이블은 사람이 붙이고, 학습 세트만 손실 고리를 돌며, 검증 · 테스트 세트는 고리 밖에서 설정 선택과 최종 보고에만 쓰인다.

요소역할사례 값(그림 4)근거
레이블 y표본마다 붙은 정답 · 사람 · 검사가 만든다진단 결과 악성(M) · 양성 종양(B)UCI WDBC
특징 X모델이 보는 입력 측정값세포 핵 측정값 30개Street 1993
모델 f(x; θ)파라미터 θ 로 X 를 ŷ 로 바꾼다로지스틱 회귀 · θ = 가중치 30 + 절편 1ESL 4.4절
손실 함수예측과 레이블의 차이로그 손실 · 시작 0.693ESL 4.4절
최적화손실을 줄이는 방향으로 θ 갱신경사 하강 · 학습률 0.1 · 2,000회ESL 4.4절
검증 · 테스트 세트설정 고르기 · 최종 보고각 113 표본 · 층화NumPy Random Generator

분류와 회귀는 같은 고리를 쓰고 출력 · 손실 · 지표만 다르다. 분류는 확률을 임계값으로 잘라 클래스를 내고 로그 손실 · 정밀도 · 재현율로 재며, 회귀는 실수 값을 내고 제곱 오차 · 절대 오차로 잰다(ESL 2.4절 · scikit-learn 3.4).

대표 모델경계 · 함수 모양강점약점
선형(선형 회귀 · 로지스틱 회귀)특징의 가중 합 · 직선 · 평면계수로 판단 근거가 읽힘특징 사이 상호작용을 직접 못 잡음
결정 나무특징 하나씩 묻는 분기규칙 그대로 읽힘 · 표준화 불필요깊어지면 학습 데이터에 쉽게 맞춤
앙상블(랜덤 포레스트 · 그래디언트 부스팅)나무 여러 개의 투표 · 합표 데이터에서 높은 정확도(Breiman 2001)나무가 많아 근거 읽기 어려움
신경망여러 층의 비선형 변환이미지 · 음성 · 문장 원자료표본 · 계산이 많이 듦

🔑 지도 학습의 성능 상한은 레이블이 정한다 — 손실은 레이블과의 차이만 재므로, 레이블이 틀리면 모델은 틀린 쪽으로 정확하게 배운다.

5동작 — 유방 종양 진단 데이터로 로지스틱 회귀 한 번

Python 3.14.0 · NumPy 2.4.3 으로 로지스틱 회귀를 직접 구현해 실행한 사례다(scikit-learn 없이 · default_rng(0)). 찾을 클래스는 악성(M)이다.

  1. UCI 의 유방 종양 진단 데이터 569 표본을 읽는다 — 특징 30개 · 악성(M) 212(37.3%) · 양성 종양(B) 357(UCI WDBC).
  2. 클래스마다 섞어 20% · 20% · 60% 로 자르는 층화 분할로 학습 343(M 128) · 검증 113(M 42) · 테스트 113(M 42)을 만든다(NumPy Random Generator).
  3. 학습 세트의 평균 · 표준편차만으로 30 특징을 표준화하고, 같은 값을 검증 · 테스트에 그대로 쓴다.
  4. 가중치 30개 + 절편을 0 에서 시작해 로그 손실을 경사 하강(학습률 0.1 · L2 계수 0.01)으로 2,000회 줄이면 학습 손실이 0.693 → 0.079, 검증 손실이 0.090 이 된다(ESL 4.4절).
  5. 기본 임계값 0.5 에서 검증 M 42개 중 3개를 놓친다(재현율 0.929 · 정밀도 1.000). 「재현율 0.97 이상 중 정밀도 최대」 기준으로 검증에서 0.2 를 고르면 놓침 1 · 헛경보 5(재현율 0.976 · 정밀도 0.891)다.
  6. 테스트 113 표본에 0.2 를 한 번 적용해 TP 41 · FN 1 · FP 2 · TN 69, 정확도 0.973 · 정밀도 0.953 · 재현율 0.976 · F1 0.965 를 얻는다(scikit-learn 3.4.4.9 식).

같은 테스트 세트에서 모든 표본을 B 로 판정하는 기준선은 정확도 0.628(71/113)이지만 재현율 0 이다. 0.5 → 0.2 로 바꾸면 검증 정확도는 0.973 → 0.947 로 내려간다 — 임계값은 정확도가 아니라 놓침 한 건의 비용으로 고른다.

1 데이터 569 표본 · 특징 30 M 212 · B 357 찾을 클래스 = M 2 층화 분할 학습 343 · 검증 113 테스트 113 봉인 세 세트 모두 M 37% 3 표준화 학습 세트 평균 · 표준편차 30 특징 → 평균 0 · 분산 1 검증 · 테스트도 같은 값 4 로지스틱 회귀 학습 로그 손실 · 경사 하강 손실 0.693 → 0.079 2,000회 · 검증 손실 0.090 5 검증으로 임계값 0.5 → 0.2 놓친 M 3 → 1 정밀도 1.000 → 0.891 6 테스트 한 번 · 113 판정 M 판정 B 실제 M 실제 B 41 1 2 69 정밀도 0.953 · 재현율 0.976 F1 0.965 · 정확도 0.973 TP · 분할 · 평가 FN(놓침) FP(헛경보) 학습 규칙 기준선 · 모두 B 로 판정 정확도 0.628 · 재현율 0

그림 4 · 레이블 붙은 569 표본을 셋으로 나눠 학습 세트로만 θ 를 맞추고, 검증으로 임계값을 고른 뒤, 테스트는 ⑥ 에서 한 번만 연다.

검증 113 표본 — 임계값별 정밀도 · 재현율 · F1 1.0 0.9 0.8 0.7 0.6 0 0.2 0.4 0.6 0.8 1.0 임계값 — 악성 확률이 이 값 이상이면 M 으로 판정 고른 값 0.2 기본값 0.5 정밀도 0.891 · 헛경보 5 재현율 0.976 · 놓침 1 재현율 0.929 · 놓침 3 정밀도 1.000 0.7 넘으면 재현율 급락 정밀도 재현율 F1 고른 임계값

그림 5 · 임계값을 내리면 재현율은 오르고 정밀도는 내린다 — 검증에서 놓침 한 건이 헛경보보다 비싸면 0.5 대신 0.2 를 고른다.

🔑 학습은 손실을 줄이는 θ 를 정하지만 임계값은 정하지 않는다 — 놓침과 헛경보 중 무엇이 더 비싼지는 사람이 정하고, 그 선택은 검증 세트에서 한다.

6비교 — 비지도 학습 · 강화 학습과의 차이

기준지도 학습비지도 학습강화 학습
사람 손이 드는 곳표본마다 레이블 작성결과 해석(군집에 이름 붙이기)보상 설계 · 환경 구축
정답과 대조한 평가테스트 세트로 바로(사례 F1 0.965)레이블이 따로 있을 때만 · 대개 간접 지표에피소드 누적 보상
데이터를 늘리는 비용레이블 비용에 비례(음소 레이블 400배 · Settles 2010)원자료 수집만시뮬레이션 · 실제 시도 횟수
대표 실패레이블 오류 · 클래스 불균형쓸모없는 군집 · 축보상의 허점을 노린 행동
맞는 문제정답이 정해진 판정 · 예측구조 탐색 · 전처리 · 이상 후보연속 결정 · 제어

분석정답이 정해져 있고 수백 건 이상 레이블을 만들 수 있으면 지도 학습을, 레이블 비용이 너무 크면 비지도 학습으로 구조를 먼저 보거나 레이블을 일부만 쓰는 준지도 · 능동 학습을, 정답 대신 결과의 좋고 나쁨만 매길 수 있는 연속 결정이면 강화 학습을 고른다. 근거는 표의 「데이터를 늘리는 비용」 · 「정답과 대조한 평가」 행이다.

7실무 진단 — 지도 학습 모델의 문제 가르기

분석혼동 행렬부터 보고, 다음에 레이블, 손실, 운영 데이터 순으로 내려간다. 지표를 잘못 고르면 나머지 단계의 판단이 모두 틀리고(scikit-learn 3.4.4.4), 레이블이 틀리면 모델을 바꿔도 상한이 그대로다.

#증상의심 원인단계확인 자료판정 기준(근거)
1정확도는 높은데 찾을 클래스를 놓침클래스 불균형 · 임계값 0.5 고정평가혼동 행렬 · 다수 클래스 기준선 · 정밀도-재현율 곡선정확도가 기준선(사례 0.628)에 가깝거나 재현율이 목표 미달이면 지표 · 임계값 문제(scikit-learn 3.4.4.9 · Saito 2015)
2학습 손실이 높게 머묾레이블 오류 · 특징 부족데이터 · 레이블손실이 큰 표본 상위 목록을 사람이 다시 판정다시 판정한 표본에서 레이블 오류가 나오면 레이블 문제 · 이름난 시험 데이터도 3.3% 이상(Northcutt 2021)
3회귀 평균 오차는 작은데 큰 값에서 크게 틀림제곱 오차가 이상값에 끌림학습목표 값 구간별 잔차큰 값 구간 잔차만 크면 절대 오차 · Huber 손실로 바꿔 비교(ESL 10.6절)
4검증 · 테스트는 좋은데 운영에서 떨어짐입력 분포 변화 · 레이블 정의 변경운영운영 입력을 학습 세트 평균 · 표준편차로 표준화한 평균표준화 평균이 0 에서 크게 벗어난 특징이 있으면 분포 변화(사례 3단계 표준화)

학습 점수만 높고 검증 점수가 낮은 경우는 과적합의 진단 순서를 따른다. 사례는 검증 손실 0.090 이 학습 손실 0.079 와 가까워 1행(임계값)만 손봤다.

8시험 대비

출제 정보 컴퓨터시스템응용(120회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 지도 학습의 정의 · 구성 요소 · 분류와 회귀를 쓰는 정의 · 특징형, 그리고 비지도 · 강화 학습과 레이블 · 평가 · 비용을 가르는 비교형이 나올 수 있다. 평가 지표를 혼동 행렬과 임계값 곡선으로 함께 보이면 답안이 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의(X, y 쌍으로 f 를 맞춤 · ESL 2장) · 분류 ↔ 회귀 · 비지도 · 강화와의 차이 한 줄
  2. 구성 요소 — 그림 3 학습 고리(레이블 · 모델 · 손실 · 최적화) + 학습 · 검증 · 테스트 역할
  3. 학습 절차 — 그림 4 사례(569 표본 · 층화 분할 · 손실 0.693 → 0.079 · 테스트 F1 0.965)
  4. 평가 지표 — 혼동 행렬 + 정밀도 · 재현율 · F1 식 · 그림 5 임계값 곡선(0.5 → 0.2 · 놓침 3 → 1)
  5. 대표 모델 — 선형 · 결정 나무 · 앙상블 · 신경망 표(경계 모양 · 강점 · 약점)
  6. 한계와 대응 — 레이블 비용(400배) · 레이블 오류 3.3% · 클래스 불균형 · 준지도 · 능동 학습

꼭 쓸 키워드
레이블분류회귀손실 함수층화 분할혼동 행렬정밀도재현율F1임계값

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 실제 값으로 그린 임계값 곡선이다 — 「정밀도와 재현율은 상충한다」 한 줄 대신 임계값 0.5 → 0.2 에서 놓침 3 → 1 · 헛경보 0 → 5 를 숫자로 보인다.

9오해와 사실

  • 오해정확도가 높으면 쓸 만한 분류기다.
    사실사례 테스트에서 모두 B 로 판정해도 정확도는 0.628 이지만 악성을 하나도 찾지 못하며, 이때 균형 정확도는 0.5 다(scikit-learn 3.4.4.4).
  • 오해레이블은 정답이므로 틀리지 않는다.
    사실널리 쓰는 시험 데이터 10종에 평균 3.3% 이상, ImageNet 검증 세트에 6% 이상의 레이블 오류가 있다(Northcutt 2021).
  • 오해임계값 0.5 는 학습이 정한 값이다.
    사실0.5 는 확률을 클래스로 바꾸는 관례일 뿐이고, 사례에서 검증으로 0.2 를 고르자 놓친 악성이 3 → 1 로 줄었다.

10핵심 정리

구분맡는 일사례 값확인 지표 · 식흔한 실패
레이블 y정답 제공M 212 · B 357다시 판정한 오류율레이블 오류
특징 X모델 입력핵 측정값 30학습 세트 기준 표준화운영 분포 변화
모델 · 손실θ 를 맞춤로지스틱 회귀 · 로그 손실 0.079학습 · 검증 손실손실 선택 잘못
검증 세트설정 · 임계값 고름113 표본 · 임계값 0.2재현율 · 정밀도테스트로 고르기
테스트 세트최종 보고 한 번113 표본 · F1 0.965혼동 행렬여러 번 열어 봄
임계값확률 → 클래스0.5 → 0.2놓침 · 헛경보 수0.5 고정
클래스 불균형소수 클래스 위험기준선 정확도 0.628정밀도 · 재현율 · F1정확도만 봄

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman · corrected 12th printing) — 지도 학습의 틀(2장) · 로지스틱 회귀(4.4절) · 손실 함수와 견고성(10.6절)을 볼 때
    Springer · 2017-01 · hastie.su.domains/ElemStatLearn/ · 확인 2026-11-04
  3. ★ Breast Cancer Wisconsin (Diagnostic) Data Set (UCI Machine Learning Repository · DOI 10.24432/C5DW2B · CC BY 4.0) — 사례 데이터 569 표본 · 특징 30개를 내려받아 따라 해 볼 때
    UCI Machine Learning Repository · 1995-10 · archive.ics.uci.edu/dataset/17/breast+cancer+wisconsin+diagnostic · 확인 2026-11-04
  4. ★ scikit-learn 1.9.1 User Guide 3.4 Metrics and scoring: quantifying the quality of predictions — 정밀도 · 재현율 · F1 식(3.4.4.9)과 균형 정확도(3.4.4.4)를 볼 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/model_evaluation.html · 확인 2026-11-04
  5. ★ The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets (PLOS ONE 10(3) e0118432) — 클래스 불균형에서 정밀도-재현율 곡선을 먼저 보는 이유를 볼 때
    PLOS · 2015-03 · doi.org/10.1371/journal.pone.0118432 · 확인 2026-11-04
  6. ★ Active Learning Literature Survey (Computer Sciences Technical Report 1648 · University of Wisconsin-Madison · updated 2010-01-26) — 레이블 비용의 실제 예와 능동 학습을 볼 때
    University of Wisconsin-Madison · 2010-01 · burrsettles.com/pub/settles.activelearning.pdf · 확인 2026-11-04
  7. 본문 근거
  8. Pervasive Label Errors in Test Sets Destabilize Machine Learning Benchmarks (NeurIPS 2021 Datasets and Benchmarks · arXiv 2103.14749) — arXiv · 2021-03 · arxiv.org/abs/2103.14749 · 확인 2026-11-04
  9. The Use of Multiple Measurements in Taxonomic Problems (Annals of Eugenics 7(2) 179-188) — Wiley · 1936-09 · doi.org/10.1111/j.1469-1809.1936.tb02137.x · 확인 2026-11-04
  10. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain (Psychological Review 65(6) 386-408) — American Psychological Association · 1958-11 · doi.org/10.1037/h0042519 · 확인 2026-11-04
  11. Random Forests (Machine Learning 45 5-32) — Springer · 2001-10 · doi.org/10.1023/A:1010933404324 · 확인 2026-11-04
  12. Nuclear Feature Extraction for Breast Tumor Diagnosis (Proc. SPIE 1905 Biomedical Image Processing and Biomedical Visualization 861-870) — SPIE · 1993-07 · doi.org/10.1117/12.148698 · 확인 2026-11-04
  13. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-04