SVM서포트 벡터 머신 · Support Vector Machine
두 클래스 사이의 마진(경계에서 가장 가까운 표본까지의 거리)이 가장 넓은 초평면을 찾아 분류하는 지도 학습 모델이다. 경계는 서포트 벡터라는 일부 표본만으로 정해지고, 커널로 내적을 바꾸어 비선형 경계까지 다룬다.
1요약
- SVM 은 지도 학습에서 두 클래스 사이 마진을 최대로 하는 초평면을 이차 계획 문제로 구하는 모델이고(Cortes 1995), 같은 해법 위에서 회귀(SVR)와 이상 탐지(단일 클래스 SVM)가 돌며 scikit-learn 의 SVC 도 LIBSVM 을 감싼 구현이다(scikit-learn SVC 문서).
- 가르는 경계가 여럿일 때 아무것이나 고르면 새 표본에서 틀리기 쉬운데, 1995년 우편 숫자 7,300장 학습 · 2,000장 시험에서 3차 다항 커널 SVM 은 오류 4.4% 로 결정 트리 C4.5 의 16% · 숫자 전용 신경망 5.1% 보다 낮았다(Cortes 1995 표 1 · 2).
- 「SVM 정확도가 낮다」는 특징 스케일 → C · γ 값 → 커널 선택 순으로 가른다 — 서포트 벡터가 학습 표본의 대부분이면 γ 나 C 가 어긋난 것이다(Hsu 실무 안내서 2.2 · 3.2절).
2등장 배경
두 클래스를 가르는 직선은 하나가 아니어서, 퍼셉트론처럼 처음 찾은 직선에서 멈추면 경계가 한쪽 표본에 바짝 붙는다. Vapnik 은 1965년 두 클래스까지의 여유가 가장 큰 최적 초평면을 정의했고, 이 초평면이 소수의 서포트 벡터로만 정해지며 시험 오류의 기댓값이 «서포트 벡터 수 / 학습 표본 수»를 넘지 않음을 보였다(Cortes 1995 1절 식 5).
1964년 Aizerman 등의 퍼텐셜 함수에서 온 «내적 바꾸기»를 1992년 Boser · Guyon · Vapnik 이 최적 마진에 붙였고, 1995년 Cortes · Vapnik 은 학습 오류를 허용하는 소프트 마진을 더해 분리되지 않는 데이터에도 해가 늘 있게 했다(Cortes 1995 1 · 3절). 1997년 Drucker 등은 ε 안의 오차를 무시하는 회귀(SVR)를, 1999년 Schölkopf 등은 레이블 없는 데이터의 분포 범위를 추정하는 단일 클래스 SVM 을 냈다(Drucker 1997 · Schölkopf TR-99-87).
1998년 Platt 의 SMO 는 큰 이차 계획 문제를 두 변수짜리 문제의 반복으로 풀어 희소 데이터에서 기존 분할 방식보다 1,000배 넘게 빨랐고(Platt 1998), 2000년부터 개발된 LIBSVM 이 이 해법의 대표 구현이 됐다(LIBSVM 구현 문서 1절). 지금은 표 데이터 · 표본이 적은 고차원 데이터의 기준선 모델이지만, 학습 시간이 표본 수의 제곱 이상으로 늘어 수만 건을 넘으면 선형 전용 해법이나 커널 근사로 바꾼다(scikit-learn SVC 문서).
3쉽게 이해하기 — 두 마을 사이에 가장 넓은 도로 내기
도로 설계자 하람은 서쪽 마을과 동쪽 마을 사이에 경계 도로를 낸다. 양쪽 집에서 똑같이 멀도록 도로 폭을 가장 넓게 잡으면, 도로 가장자리에 닿는 집 몇 채가 도로 위치를 정하고 멀리 있는 집은 아무 영향이 없다. 상대 마을 쪽으로 넘어와 지은 집이 있으면 도로 안까지 들어온 만큼 벌금을 매기는데, 벌금 단가를 높일수록 하람은 그 집을 피하려고 도로를 좁힌다. 한 마을이 다른 마을 한가운데를 둘러싸고 있으면, 지도에 높이를 더해 언덕 위 마을과 아래 마을을 평평한 판 하나로 가른다.
그림 1 · 도로 위치는 길가에 닿은 집과 도로 안으로 들어온 집(벌금 · 슬랙)만으로 정해지고, 멀리 있는 집은 영향이 없다.
그림 2 · 둘러싸인 마을은 평지에서는 직선 도로로 갈리지 않지만, 높이를 더하면 평평한 판 하나로 갈리고 그 판이 평지에서는 둥근 경계가 된다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 두 마을의 집 | 학습 표본 xᵢ · 레이블 yᵢ = ±1 | 특징 벡터와 클래스 값 |
| 도로 가운데 선 | 결정 경계(초평면) w·x + b = 0 | f(x) = w·x + b 의 부호로 클래스를 판정 |
| 도로 폭 | 마진 2/‖w‖ | ½‖w‖² 를 줄여 폭을 최대로 |
| 길가에 닿은 집 | 서포트 벡터(αᵢ > 0) | w = Σαᵢyᵢxᵢ 를 이루는 표본 |
| 멀리 있는 집 | αᵢ = 0 인 표본 | 지우거나 옮겨도 경계가 그대로 |
| 벌금 · 벌금 단가 | 슬랙 ξᵢ · 비용 C | 마진을 어긴 정도와 그 무게 |
| 높이 더하기 | 커널 K(x, x′) | 내적을 바꿔 특징 공간에서 선형 분리 |
| 설계자 하람 | SMO 해법 | 쌍대 문제를 두 변수씩 풀어 α 를 구함 |
⚠ 비유가 맞지 않는 곳: 실제 표본은 지도처럼 2차원이 아니라 특징 수만큼의 차원에 있고, 커널은 높이 좌표를 실제로 만들지 않고 두 점 사이 값 K 만 계산한다. 하람이 도로를 조금씩 넓히는 것과 달리, SVM 은 폭과 벌금을 한 식(이차 계획 문제)으로 한꺼번에 푼다.
4구조 — 마진 · 서포트 벡터 · 커널
그림 3 · 경계는 마진 위(0 < α < C)와 마진 안 · 틀린 쪽(α = C) 표본으로만 정해지고, 판정은 서포트 벡터와의 커널 값을 더한 부호다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 초평면 | w: 특징 수 p · b: 1 | f(x) = w·x + b 의 부호로 판정 | Cortes 1995 2.1절 |
| 마진 | 1 | f = ±1 사이 폭 2/‖w‖ · ½‖w‖² 최소 = 폭 최대 | Cortes 1995 2.1절 |
| 서포트 벡터 | m ≤ n | αᵢ > 0 인 표본 · w = Σαᵢyᵢxᵢ | Cortes 1995 2.1절 |
| 슬랙 ξᵢ | n | yᵢf(xᵢ) ≥ 1 − ξᵢ · 0 < ξ ≤ 1 마진 안 · ξ > 1 틀림 | scikit-learn SVM 안내 1.4.7.1절 |
| C | 1 | ½‖w‖² + CΣξᵢ 의 저울 · 0 ≤ αᵢ ≤ C · 기본 1.0 | scikit-learn SVC 문서 |
| 커널 K | n × n | 선형 x·x′ · 다항 (γx·x′ + r)ᵈ · RBF exp(−γ‖x − x′‖²) | scikit-learn SVM 안내 1.4.6절 |
| γ | 1 | 표본 하나가 영향을 주는 범위 · 기본 'scale' = 1 / (특징 수 × 분산) | scikit-learn SVC 문서 |
| 쌍대 문제 · SMO | α: n | ½αᵀQα − Σα 최소 · Σyᵢαᵢ = 0 · 두 변수씩 풂 | LIBSVM 구현 문서 2.1 · 4.1절 |
소프트 마진 문제는 «½‖w‖² + C Σ max(0, 1 − yᵢf(xᵢ))», 곧 L2 규제에 힌지 손실을 더한 식과 같아서 마진 밖 표본은 손실이 0 이다(scikit-learn SVM 안내 1.4.7.1절). 쌍대 문제에는 표본이 내적 K(xᵢ, xⱼ) 로만 나오므로 내적을 커널로 바꾸면 해법은 그대로 두고 경계 모양만 바뀐다(Cortes 1995 4절).
🔑 경계는 서포트 벡터만으로 정해진다 — 마진 밖(α = 0) 표본은 지우거나 더 멀리 옮겨도 w 와 b 가 그대로다.
5동작 — 건포도 두 품종 900알 분류
UCI Raisin 으로 직접 실행한 사례다(공개 데이터 · SMO 를 NumPy 로 구현 · 분할 시드 0). 두 건포도 품종(Kecimen · Besni) 각 450알을 카메라로 찍어 뽑은 모양 특징 7개가 들어 있다(UCI Raisin).
- 데이터 — 900알 · 품종마다 450알 · 특징은 면적 · 둘레 · 장축 길이 · 단축 길이 · 이심률 · 볼록 껍질 면적 · 범위 비율 7개다.
- 분할 · 표준화 — 시드 0 으로 학습 630알 · 시험 270알로 나누고, 학습 쪽 평균 · 표준편차로 두 쪽을 모두 표준화한다(시험 쪽 통계는 쓰지 않음 · Hsu 실무 안내서 2.2절).
- 선형 SVM(C = 1) — 멈춤 조건 m(α) − M(α) ≤ 10⁻³ 까지 두 변수 갱신 2,447회(LIBSVM 구현 문서 4.1절 식 19). 서포트 벡터 247개(마진 위 4 · α = C 243) · 마진 폭 2/‖w‖ = 0.940 이고, 가중치는 둘레(1.62) · 단축 길이(−0.95) 순으로 크다.
- 하드 마진 확인 — C 를 1,000 까지 올려도 학습 오류 92개(14.6%)가 남는다. 특징 7개 공간에서 초평면 하나로 다 갈리지 않으므로 오류 0 을 요구하는 하드 마진 문제는 이 데이터에서 해가 없다.
- 서포트 벡터만 다시 — 247개만으로 다시 학습해도 w 가 소수 셋째 자리까지 같고, 서포트 벡터가 아닌 383개 중 300개를 빼고 학습해도 같다.
- 시험(선형) — 270알 중 238알을 맞혀 88.15% 이고, 틀린 32알은 Kecimen → Besni 13알 · Besni → Kecimen 19알이다.
- RBF 커널(C = 1 · γ = 1/7) — 표준화한 특징 7개면 scikit-learn 기본 'scale' 식이 γ = 1 / (7 × 1) 이 된다. 서포트 벡터 252개로 시험 240알(88.89%)을 맞혀 선형보다 2알 많을 뿐이고, 분할 시드 0 ~ 9 에서도 선형 84.8 ~ 88.9% · RBF 85.2 ~ 88.9% 로 범위가 겹친다.
그림 4 · 선형 SVM 은 C 를 1,000 까지 올려도 학습 오류 92개가 남고, RBF 커널로 바꿔도 시험에서 2알만 더 맞혀 두 품종은 특징 공간에서 겹쳐 있다.
그림 5 · C 를 0.01 에서 100 으로 키우면 마진 폭은 2.541 → 0.137 로 줄고 SMO 갱신은 1,000배 넘게 늘지만, 서포트 벡터는 320 → 240 · 시험 오류는 30 ~ 33 에 머문다.
C 가 작으면 폭 2.541 을 지키려고 학습 표본 316개를 마진 안에 두고, C = 100 이면 마진 안 표본은 233개로 조금 줄 뿐 폭이 1/18 로 좁아진다. 두 품종이 겹친 표본이 많아 C 를 바꿔도 시험 오류는 30 ~ 33 이고, SMO 갱신만 193 → 216,154회로 늘어난다.
🔑 C 는 «마진 폭»과 «마진을 어기는 표본»을 맞바꾸는 값이다 — 클래스가 겹친 데이터에서는 C 를 아무리 키워도 학습 오류가 0 이 되지 않고 갱신 수만 는다.
6비교 — 하드 · 소프트 마진 · 커널 SVM · SVR · 단일 클래스 SVM
로지스틱 회귀 · 퍼셉트론과 선형 SVM 의 비교는 퍼셉트론의 표가 맡고, 여기서는 SVM 안의 방식끼리 견준다.
| 기준 | 하드 마진 | 소프트 마진(C-SVC) | 커널 SVM | SVR(ε) | 단일 클래스 SVM(ν) |
|---|---|---|---|---|---|
| 푸는 문제 | 갈리는 두 클래스 분류 | 겹치는 두 클래스 분류 | 굽은 경계 분류 | 실수 값 회귀 | 정상 표본만으로 벗어남 판정 |
| 목적 · 제약 | ½‖w‖² · yᵢf(xᵢ) ≥ 1 | + CΣξᵢ · yᵢf(xᵢ) ≥ 1 − ξᵢ | 같은 식 · 내적 → K | ε 안 오차는 무시 · 밖만 벌점 | 원점과의 거리 최대 · ν = 벗어남 비율 상한 |
| 조정 값 | 없음 | C | C · γ(다항은 차수 d) | C · ε | ν · γ |
| 서포트 벡터 | 마진 위 표본만 | 마진 위 · 안 · 틀린 표본 | 특징 공간에서 같음 | ε 관 위 · 밖 표본 | 경계 위 · 밖 · ν 비율 이상 |
| 사례 값 | 해 없음(C 1,000 에도 학습 오류 92) | SV 247 · 시험 88.15% | RBF SV 252 · 88.89% · 3차 다항 SV 229 · 89.26% | Boston Housing 오차 7.2 · bagging 12.4(Drucker 1997) | Kecimen 학습 318알 · ν 0.05 → 벗어남 학습 5.0% · 시험 Kecimen 10/132 · Besni 105/138 |
분석굽은 경계가 의심되면 RBF 커널을 C · γ 와 함께 고르되, 사례처럼 선형과 차이가 1%p 안이면 해석과 학습 속도가 나은 소프트 마진 선형을 쓴다. 근거는 표의 「사례 값」 행(선형 88.15% · RBF 88.89%)과 RBF 가 C · γ 를 맞추면 선형 커널을 포함한다는 결과다(Hsu 실무 안내서 3.1절).
레이블이 실수면 SVR, 이상 표본 레이블이 거의 없으면 단일 클래스 SVM 이다. 단일 클래스 SVM 에서 ν 는 벗어남 비율의 상한이자 서포트 벡터 비율의 하한이라(Schölkopf TR-99-87 명제 4), 사례에서 Kecimen 318알에 ν 0.05 를 주자 학습 표본의 5.0%(16알)가 벗어났고 서포트 벡터는 21개로 15.9개(0.05 × 318)보다 많았다. 이상 탐지 방법 전체의 비교는 이상 탐지가 맡는다.
7실무 진단 — SVM 결과가 이상할 때
분석스케일부터 보고, 다음에 서포트 벡터 비율로 C · γ 를, 그다음 C 를 키워도 학습 오류가 그대로인지로 커널을, 마지막에 표본 수로 해법을 고른다. 스케일이 틀리면 거리 · 내적을 쓰는 커널 값이 한 특징에 쏠려 그 뒤의 C · γ 탐색이 모두 틀린 값 위에서 돌기 때문이다(Hsu 실무 안내서 2.2절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 정확도가 기대보다 크게 낮음 | 특징 스케일 차이 | 전처리 | 특징별 범위 · 표준편차 · 시험 쪽에 쓴 통계 | 각 특징 [−1, +1] 또는 표준화 · 시험은 학습 통계로 · 사례 표준화 없이 RBF 면 SV 630 / 630 · 시험 48.89%(표준화 88.89%) · 안내서 예 66.925% → 96.15%(Hsu 실무 안내서 2.2절 · 부록 A) |
| 2 | 학습 100% · 시험 하락 · SV 가 학습의 대부분 | γ 가 너무 큼 | 하이퍼파라미터 | n_support_ · SV 수 / 학습 수 | 오류 기댓값 상한 = SV 비율(Cortes 1995 식 5) · 사례 γ 30 이면 학습 99.84% · 시험 78.15% · SV 629 / 630(γ 1/7 은 SV 252 · 88.89%) |
| 3 | C 를 키워도 학습 오류가 그대로 · 갱신 수만 늘어남 | 초평면으로 안 갈림 | 모델 | C 별 학습 오류 · 반복 수 | 사례 C 100 → 1,000: 오류 91 → 92 · 갱신 216,154 → 2,250,217회 · 커널 · 특징을 바꿈 |
| 4 | 학습이 끝나지 않을 만큼 느림 | 표본 수만 건 이상 + 커널 SVC | 규모 | 표본 수 · cache_size(기본 200 MB) | fit 시간 표본 수의 제곱 이상 · LinearSVC 또는 근사 커널로(scikit-learn SVC 문서) |
| 5 | 확률이 필요한데 값이 없음 | 출력이 경계까지의 부호 거리 | 출력 | decision_function | 확률은 5겹 교차 검증 보정으로 따로 계산(scikit-learn SVM 안내 1.4절) |
사례는 학습 통계로 표준화했고 학습 정확도가 86% 대라 1 · 2행은 해당하지 않으며, 남은 문제는 3행이다 — 모양 특징 7개로는 두 품종이 겹쳐 커널을 바꿔도 2알만 달라진다.
8시험 대비
www.q-net.or.kr시험에서는 마진 · 서포트 벡터 · 커널 트릭을 쓰는 정의 · 특징형, 그리고 하드 · 소프트 마진이나 커널 종류를 가르는 비교형이 나올 수 있다. 쌍대 문제의 α 세 범위(0 · 0 과 C 사이 · C)로 표본을 나눠 보이면 정의 수준을 넘는다.
- 개요 — 정의(마진 최대 초평면) · 지도 학습 분류 · 회귀 · 이상 탐지로 넓힌 계열
- 구조 — 그림 3 마진 2/‖w‖ · 서포트 벡터 · 슬랙 ξ + 판정 함수 Σ αᵢyᵢK(xᵢ, x) + b
- 학습 — 원 문제(½‖w‖² + CΣξ) → 쌍대 문제 → SMO · 그림 4 사례(SV 247 · 시험 88.15%)
- 커널 트릭 — 선형 · 다항 · RBF 식 · 쌍대 문제의 내적만 바꿈 · RBF SV 252 · 시험 88.89%
- C · γ 와 일반화 — 그림 5(C 0.01 → 100: 폭 2.541 → 0.137 · 갱신 193 → 216,154) · 격자 탐색
- 비교 · 한계 — 하드 · 소프트 · SVR · 단일 클래스 표 · 표본 수 제곱 이상 학습 시간 · 확률 없음
꼭 쓸 키워드
마진서포트 벡터초평면소프트 마진슬랙 변수힌지 손실쌍대 문제커널 트릭RBFSMO
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 C 를 바꿀 때 마진 폭 · 서포트 벡터 수 · 시험 오류 · 갱신 수를 숫자로 나란히 보이는 것이다 — 「C 가 크면 과적합」이라는 한 줄 대신 겹친 데이터에서는 폭만 줄고 오류는 그대로라는 것을 쓴다.
9오해와 사실
- 오해SVM 경계는 학습 데이터 전부를 보고 정해진다.사실α > 0 인 서포트 벡터만 w = Σαᵢyᵢxᵢ 에 들어가고(Cortes 1995 2.1절), 사례에서 서포트 벡터 247개만으로 다시 학습해도 w 가 같았다.
- 오해커널을 쓰면 특징을 고차원으로 실제로 바꿔 계산한다.사실해법은 내적 K 값만 쓰고, 1995년 실험의 7차 다항 커널은 특징 공간이 약 10¹⁶ 차원인데도 서포트 벡터 190개로 풀렸다(Cortes 1995 표 2).
- 오해C 를 충분히 키우면 학습 오류는 0 이 된다.사실초평면으로 갈리지 않는 데이터면 C 가 커도 오류가 남는다 — 사례의 선형 SVM 은 C 1,000 에서도 학습 오류 92개다.
10핵심 정리
| 구분 | 맡는 일 | 식 · 기준 | 사례 값(건포도 학습 630알) | 흔한 실패 |
|---|---|---|---|---|
| 마진 | 경계의 여유 | 2/‖w‖ 최대 = ½‖w‖² 최소 | 0.940(선형 · C = 1) | 폭과 정확도를 같은 뜻으로 봄 |
| 서포트 벡터 | 경계를 정하는 표본 | αᵢ > 0 · w = Σαᵢyᵢxᵢ | 247개 · 이것만으로 w 같음 | 전체 데이터가 필요하다고 봄 |
| 슬랙 ξ | 마진을 어긴 정도 | yᵢf(xᵢ) ≥ 1 − ξᵢ | 합 240.7(C = 1) | 틀린 표본만 센다고 봄 |
| C | 폭과 어김의 저울 | ½‖w‖² + CΣξᵢ | 0.01 → 100: 폭 2.541 → 0.137 | 키우면 오류 0 이라 봄 |
| 커널 · γ | 굽은 경계 | RBF exp(−γ‖x − x′‖²) · 'scale' | γ 1/7 · SV 252 · 시험 88.89% | 스케일 없이 γ 탐색(사례 48.89%) |
| SMO | 쌍대 문제 해법 | 두 변수씩 · m(α) − M(α) ≤ 10⁻³ | 2,447회(C = 1) | 큰 C 에서 갱신 폭증 |
| 단일 클래스 SVM | 벗어남 판정 | ν = 벗어남 상한 · SV 하한 | ν 0.05 → 5.0% · Besni 105/138 | ν 를 임계 확률로 읽음 |
| SVR | 회귀 | ε 안 오차 무시 | — | ε 를 0 으로 둠 |
11참고 문헌
- 먼저 볼 문헌
- ★ Support-Vector Networks (Machine Learning 20(3) 273-297) — 최적 초평면 · 소프트 마진 · 다항 커널과 우편 숫자 실험 결과를 원문으로 볼 때
- ★ LIBSVM: A Library for Support Vector Machines (구현 문서 · 처음 실린 곳 ACM Transactions on Intelligent Systems and Technology 2(3) 2011) — C-SVC · 단일 클래스 SVM · ε-SVR 의 식과 SMO 멈춤 조건(4.1절)을 볼 때
- ★ A Practical Guide to Support Vector Classification — 스케일 맞추기 · RBF 먼저 · C 와 γ 격자 탐색 순서를 따라 할 때
- ★ scikit-learn 1.9.1 User Guide 1.4 Support Vector Machines — 커널 식(1.4.6절) · SVC · SVR 원 문제와 쌍대 문제(1.4.7절)를 볼 때
- ★ UCI Machine Learning Repository - Raisin (DOI 10.24432/C5660T · CC BY 4.0) — 사례 데이터(건포도 두 품종 900알 · 모양 특징 7개)를 내려받아 따라 해 볼 때
- 본문 근거
- scikit-learn 1.9.1 API Reference - sklearn.svm.SVC — scikit-learn developers · 2026-11 ·
scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html· 확인 2026-11-12 - Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines (Microsoft Research MSR-TR-98-14) — J. C. Platt · Microsoft Research · 1998-04 ·
www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-98-14.pdf· 확인 2026-11-12 - Estimating the Support of a High-Dimensional Distribution (Microsoft Research MSR-TR-99-87 · 줄인 글 Neural Computation 13(7) 2001) — B. Schölkopf 외 · Microsoft Research · 2000-09 ·
www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-99-87.pdf· 확인 2026-11-12 - Support Vector Regression Machines (Advances in Neural Information Processing Systems 9) — H. Drucker 외 · MIT Press · 1997 ·
proceedings.neurips.cc/paper_files/paper/1996/file/d38901788c533e8286cb6400b40b386d-Paper.pdf· 확인 2026-11-12