차원 축소(PCA)Principal Component Analysis
서로 상관된 변수들을 분산이 큰 순서의 직교 축(주성분) 몇 개로 바꿔, 적은 수의 좌표로 자료의 퍼짐 대부분을 나타내는 선형 차원 축소 방법이다.
1요약
- 차원 축소(PCA)는 공분산 또는 상관 행렬의 고유 벡터를 축, 고윳값을 그 축의 분산으로 삼는 선형 방법으로(Jolliffe 2016 2절), 그 위에서 산점도 시각화 · 군집 · 회귀 입력 줄이기 · T² 감시가 돈다.
- 변수끼리 0.9 넘게 상관되면 같은 정보를 여러 열이 되풀이한다 — 사례의 자동차 392대 7변수는 성분 3개가 분산의 94.4% 를 담았다.
- 「PC1 하나가 거의 전부를 설명한다」는 먼저 단위 차이인가 실제 상관인가로 가른다 — 원 단위에서는 파운드 단위 무게 한 열이 PC1 몫 99.75% 를 만들었고, 표준화 뒤 PC1 몫은 71.6% 였다.
2등장 배경
변수가 7개만 돼도 둘씩 짝지은 산점도가 21장이고, 배기량 · 실린더 · 무게처럼 서로 0.9 넘게 상관된 열은 같은 정보를 되풀이한다. 사람은 21장을 머릿속에서 합쳐 하나의 모양으로 보지 못하고, 회귀 모델은 겹친 열 때문에 계수가 흔들린다.
Pearson(1901)은 점들에서 직각 거리 제곱합이 가장 작은 직선 · 평면을 찾는 문제를 풀었고(Pearson 1901), Hotelling(1933)은 상관된 여러 변수를 분산이 큰 순서의 서로 상관없는 성분으로 나누는 방법에 «주성분»이라는 이름을 붙였다(Hotelling 1933). 계산은 전자 계산기가 널리 쓰인 뒤에야 큰 자료에 쓸 만해졌고(Jolliffe 2016 1절), 남길 성분 수를 정하는 고윳값 1 기준(Kaiser 1960) · 스크리 그림(Cattell 1966)이 그 시기에 나왔다.
지금 PCA 는 비선형 방법의 앞 단계로도 쓰인다 — t-SNE 원 논문은 모든 실험에서 PCA 로 30차원까지 먼저 줄였다(van der Maaten 2008 4.2절). 모형 평면 위 T² · SPE 감시는 다변량 통계(T² · PCA), 굽은 관계를 신경망으로 담는 방식은 오토인코더가 맡는다.
3쉽게 이해하기 — 전시 담당 윤서의 그림자 사진
전시 담당 윤서는 철사 끝마다 구슬을 단 입체 조형물을 도록 한 쪽에 그림자 사진 한 장으로 실어야 한다. 치수표가 가로는 cm, 높이는 mm 로 적혀 있어 먼저 같은 눈금으로 고쳐 그린 뒤, 조명을 여러 각도에서 비추며 구슬 그림자가 벽에 가장 길게 퍼지는 방향을 첫 기준선으로 정한다. 그와 직각이면서 그다음으로 길게 퍼지는 방향을 둘째 기준선으로 잡아 사진을 찍으면 벽에 담기지 않은 깊이만 잃는다. 윤서는 사진 옆에 «두 방향이 전체 퍼짐의 84% 를 담는다»고 적는다.
그림 1 · 윤서는 눈금을 맞춘 뒤 가장 길게 퍼지는 그림자 방향과 그 직각 방향 둘로 사진을 찍고, 담긴 퍼짐의 비율과 잃은 깊이를 함께 적는다.
그림 2 · 같은 조형물도 비추는 각도마다 그림자 폭이 다르고, 실제 자료에서도 방향마다 분산이 달라 가장 큰 값 5.011 을 주는 방향이 제1 주성분이다.
| 비유 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 구슬 조형물 | 자료 행렬 X | 표본 n 개 × 변수 p 개의 점 구름(사례 392 × 7) |
| 같은 눈금으로 다시 그림 | 표준화 · 상관 행렬 | 열마다 평균 0 · 표준편차 1 로 맞춰 단위 영향을 뺀다 |
| 조명 각도 | 단위 방향 벡터 v | 길이 1 인 후보 축 · 사영 분산 = vᵀRv |
| 가장 긴 그림자 | 제1 주성분 · λ₁ | 사영 분산이 최대인 방향과 그 분산 |
| 직각 다음 그림자 | 제2 주성분 이후 | 앞 축과 직교하면서 남은 분산이 최대인 방향 |
| 도록 사진 | 주성분 점수 T | 표본마다 k 개 축 위 좌표 |
| 담기지 않은 깊이 | 잔차 · 재구성 오차 | 버린 축 방향의 성분 · 그 제곱합 |
| 「84% 를 담는다」 | 설명 분산 비율 | 남긴 고윳값 합 ÷ 전체 고윳값 합 → 성분 수 판단 |
⚠ 비유가 맞지 않는 곳: 그림자는 3차원을 2차원으로 줄이지만 PCA 는 7차원이든 700차원이든 같은 계산을 하고, 남길 축 수도 고윳값을 보고 정한다. 눈금 맞추기는 단위 통일이지만 표준화는 열마다 표준편차로 나눠 퍼짐까지 1 로 맞추므로, 같은 단위 변수끼리 퍼짐 차이에 뜻이 있으면 공분산 PCA 를 그대로 쓰기도 한다(Jolliffe 2016 2c절).
4구조 — 표준화 · 고윳값 분해 · 성분 선택 · 점수
PCA 는 «단위 벡터 v 중 사영 분산 vᵀRv 가 가장 큰 것»을 찾는 문제이고, 길이 1 조건을 라그랑주 승수로 풀면 Rv = λv 가 나온다(Jolliffe 2016 식 2.1). 그래서 축은 고유 벡터, 그 축의 분산은 고윳값이며, 다음 축은 앞 축과 직교한다는 조건 아래 같은 문제를 다시 푼 답이다. 같은 결과를 중심화한 자료 행렬의 SVD 로도 얻는다(Jolliffe 2016 2절).
그림 3 · 원 자료는 표준화와 상관 행렬을 거쳐 고윳값 분해되고, 고윳값으로 성분 수 k 를 정한 뒤 첫 k 개 부하로 점수와 잔차를 만든다.
| 요소 | 크기 | 역할 | 사례 값 · 근거 |
|---|---|---|---|
| 표준화 Z | n × p | 단위 영향 제거 · 공분산 = 상관 행렬 | 열마다 평균 0 · 표준편차 1(Jolliffe 2016 식 2.7) |
| 상관 행렬 R | p × p | 변수 사이 선형 관계 | 배기량–실린더 0.95 · 대각합 7 = 고윳값 합(NIST 6.5.5.2) |
| 부하 V | p × p | 축 방향 · 변수별 가중치 | 직교 단위 벡터 · 부호 바꿔도 같은 해(Jolliffe 2016 2절) |
| 고윳값 λ | p 개 | 축이 담은 분산 | 5.011 · 0.866 · 0.728 · 0.184 … |
| 성분 수 k | 1 개 | 남길 축 수 | 누적 비율 · 꺾임 · λ > 1(Kaiser 1960 · Cattell 1966) |
| 점수 T | n × k | 새 좌표 · 열끼리 상관 0 | 392 × 3 |
| 잔차 E | n × p | 버린 축 성분 | 제곱 평균 0.056 = 1 − 0.944 |
5동작 — 자동차 392대 7변수의 주성분 분석
공개 데이터 UCI Auto MPG 로 직접 실행한 사례다(NumPy 로 고윳값 분해 · SVD 를 함께 돌려 같은 값 확인). 차 이름 열은 쓰지 않았다.
- 398대 가운데 마력이 빈 6대를 빼고 392대 × 7변수(연비 · 실린더 · 배기량 · 마력 · 무게 · 가속 · 연식)를 쓴다. 범주형인 원산지 열은 뺀다(UCI Auto MPG).
- 원 단위 그대로 공분산 PCA 를 하면 PC1 몫이 99.75% 이고 무게 부하가 0.993 이다 — 파운드 단위 무게의 분산 721,485 가 일곱 분산 합 734,002 의 98.3% 라서다.
- 열마다 표준화해 상관 행렬로 바꾼다. 배기량–실린더 0.95 · 배기량–무게 0.93 · 마력–배기량 0.90 처럼 크기 관련 넷이 서로 0.84 이상 상관된다.
- 고윳값 분해 결과는 5.011 · 0.866 · 0.728 · 0.184 · 0.122 · 0.054 · 0.035 이고 합은 7 이다. SVD 의 특이값 제곱 ÷ (n − 1) 도 같은 일곱 값이다.
- 성분 수를 정한다 — 고윳값 1 기준은 1개, 누적 90% 기준은 3개(94.4%), 스크리 그림은 0.728 → 0.184 에서 꺾여 3개다. 셋을 맞춰 보고 k = 3 을 고른다.
- 부하로 뜻을 읽는다 — PC1 은 실린더 0.416 · 배기량 0.429 · 마력 0.423 · 무게 0.414 와 연비 −0.398 · 가속 −0.285 로 «차 크기 · 힘» 축, PC2 는 연식 0.91, PC3 은 가속 0.893 에 거의 혼자 실린다.
- 첫 표본(8기통 · 배기량 307 · 마력 130 · 무게 3,504 · 가속 12 · 1970년식 · 연비 18)의 점수는 (2.632, −0.928, −0.534) 다. 세 성분으로 되돌리면 연비 14.8 · 무게 3,601 로 복원되고 잔차 제곱합은 0.876 이다.
- 시드 0 으로 학습 294대 · 시험 98대로 나눠 평균 · 표준편차 · 성분을 학습 세트로만 맞추면, k = 3 재구성 오차(제곱 평균)는 학습 0.059 · 시험 0.050 이다. 시드 0 ~ 9 에서 시험 값은 0.047 ~ 0.070 이었다.
그림 4 · 원 단위에서는 무게 한 열이 PC1 을 독차지하고, 표준화 뒤에는 고윳값 1 기준이 1개 · 누적 90% 와 꺾임 기준이 3개를 골라 기준마다 답이 갈린다.
그림 5 · 마력 · 가속 두 변수에서 PC1 축은 사영 분산 1.689 를 담고 직각 잔차 분산 0.311 을 남긴다 — 분산을 가장 크게 하는 축이 직각 거리 제곱합을 가장 작게 하는 축이다.
🔑 주성분 축은 «사영 분산이 가장 큰 방향»이자 «직각 거리 제곱합이 가장 작은 방향»이다 — 전체 분산이 고정이라 두 기준이 같은 축을 고른다.
🔑 PCA 는 단위를 본다 — 같은 자료라도 공분산 PCA 와 상관 PCA 는 서로 다른 축과 다른 성분 수를 낸다(사례 1개 99.75% ↔ 3개 94.4%).
6비교 — PCA · 커널 PCA · LDA · t-SNE · UMAP
| 기준 | PCA | 커널 PCA | LDA | t-SNE | UMAP |
|---|---|---|---|---|---|
| 레이블 | 안 씀 | 안 씀 | 클래스 레이블 씀 | 안 씀 | 안 씀 |
| 남기는 것 | 전체 분산(전역 모양) | 커널 공간의 분산(Schölkopf 1998) | 클래스 사이 ÷ 클래스 안 분산 비(Fisher 1936) | 가까운 이웃 관계 · perplexity 5 ~ 50 | 이웃 관계 + 전역 모양 일부 |
| 축의 모양 | 원 변수의 선형 결합 | 원 공간에서 굽은 축 | 선형 · 최대 클래스 수 − 1 축 | 비선형 2 ~ 3차원 지도 | 비선형 · 출력 차원 제한 없음 |
| 새 표본 | 부하 행렬 곱 한 번 | 학습 표본 n 개와 커널 계산 | 판별 행렬 곱 | 비매개 방식 · 변환식 없음 | 새 점 추가는 논문의 앞으로 과제 |
| 계산 부담 | p × p 분해 또는 SVD | n × n 커널 행렬 | p × p 행렬 둘 | 표본 수의 제곱(van der Maaten 2008 5절) | t-SNE 보다 빠름(McInnes 2018) |
| 축의 뜻 | 부하로 변수 뜻을 읽음 | 원 변수 부하 없음 | 판별 계수로 읽음 | 축에 뜻 없음 | 축에 뜻 없음(McInnes 2018 6절) |
분석열이 표 형태이고 축의 뜻을 설명해야 하면 PCA 를 먼저 쓰고, 클래스를 가르는 방향이 목적이면 LDA, 굽은 관계를 축으로 남겨야 하면 커널 PCA 를 쓴다. t-SNE · UMAP 은 군집을 눈으로 보는 지도용이라 그 출력을 다음 모델 입력으로 쓰기 전에 표의 「새 표본」 · 「축의 뜻」 행을 확인한다.
신경망으로 굽은 축을 배우는 방식과 PCA 의 관계는 오토인코더, PCA 모형 위 T² · SPE 감시는 다변량 통계(T² · PCA)가 맡는다.
7실무 진단 — 주성분 결과 이상의 원인 가르기
분석결과가 이상하면 전처리(단위 · 이상치) → 학습 절차(fit 범위) → 해석(부호 · 고윳값 간격) → 목적(분산 ↔ 예측) 순으로 본다. 앞 단계 문제는 고윳값 자체를 바꾸므로(Jolliffe 2016 2c절 · 3c절) 해석을 먼저 고쳐도 결과가 그대로다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준 |
|---|---|---|---|---|---|
| 1 | PC1 몫이 90% 넘고 부하 하나가 1 에 가까움 | 단위 · 척도 차이 | 전처리 | 열별 분산 몫 · PC1 부하 | 한 열 분산 몫 ≈ PC1 몫이면 단위 탓 → 상관 PCA(사례 98.3% ↔ 99.75%) |
| 2 | 표본 몇 개를 빼고 넣을 때마다 PC1 이 바뀜 | 이상치 | 전처리 | 점수 · 잔차 상위 표본 | 무게 10배 1대를 더하면 PC1 몫 71.6% → 63.7% · 무게 부하 0.414 → 0.268 → 강건 PCA(Jolliffe 2016 3c절) |
| 3 | 시험 재구성 오차가 학습보다 훨씬 큼 | 분포 이동 · 시험 세트로 fit | 학습 절차 | 학습 · 시험 재구성 오차 | 학습 세트로만 fit · 차이가 시드 범위(0.047 ~ 0.070) 밖이면 자료 변화 |
| 4 | 재학습마다 부하 부호 · PC2 와 PC3 순서가 바뀜 | 부호 임의 · 고윳값이 가까움 | 해석 | 이웃 고윳값 간격 · 부하 부호 | 부호만 바뀌면 같은 해(Jolliffe 2016 2절) · 0.866 ↔ 0.728 처럼 가까우면 두 축을 묶어 해석 |
| 5 | 축소 뒤 분류 · 회귀 성능이 떨어짐 | 분산 큰 방향 ≠ 목표를 가르는 방향 | 목적 | 성분별 목표 상관 | 연비를 뺀 6변수 PCA 에서 연비 상관 PC2 0.13 · PC3 −0.24 → LDA · 모델 기반 선택과 비교 |
PCA 는 입력을 중심화만 하고 척도는 맞추지 않으므로(scikit-learn PCA) 단위가 다른 열이면 StandardScaler 를 앞에 두고, n_components=0.90 처럼 비율을 주면 누적 분산 90% 를 넘는 최소 성분 수를 고른다(svd_solver= 일 때).
8시험 대비
www.q-net.or.kr시험에서는 분산 최대화 · 고윳값 · 성분 수 선택 · 표준화를 쓰는 정의 · 특징형, 그리고 LDA · 커널 PCA · t-SNE 와의 차이를 묻는 비교형이 나올 수 있다. 「분산이 큰 축을 찾는다」 한 줄에서 멈추지 말고, 식 Rv = λv 와 사례의 고윳값 · 누적 비율로 성분 수를 정하는 판단까지 쓴다.
- 정의 · 목적 — 상관된 변수 → 직교 축 k 개 · 시각화 · 입력 축소 · 다중 공선성 완화
- 원리 — 그림 5 분산 최대 = 직각 거리 제곱합 최소 · Rv = λv · SVD 와 같음
- 절차 — 그림 3 표준화 → 상관 행렬 → 고윳값 분해 → k 선택 → 점수 · 재구성
- 성분 수 · 표준화 — 그림 4 누적 비율 · 스크리 · λ > 1 이 갈리는 사례 · 원 단위 PC1 99.75%
- 한계와 대안 — 비교표(PCA · 커널 PCA · LDA · t-SNE · UMAP) · 선형 · 이상치 민감 · 레이블 무시
- 실무 유의점 — 학습 세트로만 fit · 부호 임의 · 부하로 해석
꼭 쓸 키워드
주성분고윳값고유 벡터부하설명 분산 비율스크리 그림Kaiser 기준상관 행렬 PCASVD재구성 오차
다른 답안과 차이를 내는 한 가지는 그림 4 처럼 기준마다 성분 수가 갈리는 실제 고윳값(1개 ↔ 3개)과 표준화 전후 PC1 몫(99.75% ↔ 71.6%)을 함께 보이는 것이다.
9오해와 사실
- 오해주성분은 원 변수 가운데 중요한 것을 고른 결과다.사실주성분은 모든 변수의 가중 합이라 사례 PC1 에는 일곱 변수가 모두 부하 0.23 이상으로 들어가며, 열을 고르는 일은 특성 선택의 몫이다.
- 오해고윳값 1 이 넘는 성분만 남기면 된다.사실사례에서 연식 · 가속은 각각 PC2(0.866) · PC3(0.728)에 거의 혼자 실려 1 기준이면 버려지고 누적 비율은 71.6% 에 그친다 — 이 규칙은 누적 비율 · 꺾임과 함께 보는 경험 기준이다(Kaiser 1960 · Cattell 1966).
- 오해분산이 큰 성분일수록 예측에도 쓸모 있다.사실PCA 는 목표 변수를 보지 않는다 — 연비를 뺀 6변수 PCA 에서 분산 몫 11.2% 인 PC3 의 연비 상관(−0.24)이 14.0% 인 PC2(0.13)보다 컸다.
10핵심 정리
| 구분 | 맡는 일 | 식 · 값 | 사례 값 | scikit-learn 속성 | 흔한 실수 |
|---|---|---|---|---|---|
| 표준화 | 단위 영향 제거 | (x − 평균) ÷ 표준편차 | 무게 분산 몫 98.3% → 1/7 | StandardScaler | 단위 다른 열을 그대로 넣음 |
| 부하 | 축 방향 | 고유 벡터 v · ‖v‖ = 1 | PC1 크기 넷 0.41 ~ 0.43 | components_ | 부호로 뜻을 단정 |
| 고윳값 | 축이 담은 분산 | Rv = λv · 합 = p | 5.011 · 0.866 · 0.728 | explained_variance_ | 공분산 · 상관 값을 섞어 비교 |
| 설명 분산 비율 | 성분 수 판단 | λ 합 ÷ 전체 | k = 3 · 94.4% | explained_variance_ratio_ | 기준 하나만 봄 |
| 점수 | 새 좌표 | T = Z V_ | 첫 표본 (2.632, −0.928, −0.534) | transform | 시험 세트로 fit |
| 잔차 | 버린 정보 | E = Z − T V_ | 제곱 평균 0.056 · 시험 0.050 | inverse_transform | 잔차를 보지 않음 |
| 대안 | 비선형 · 지도 축소 | 커널 · 판별 · 이웃 보존 | 비교표 | KernelPCA 등 | t-SNE 출력을 모델 입력으로 |
11참고 문헌
- 먼저 볼 문헌
- ★ Principal Component Analysis: A Review and Recent Developments (Philosophical Transactions of the Royal Society A 374(2065) 20150202) — 분산 최대화 · 고윳값 · SVD · 공분산과 상관 행렬 선택 · 강건 PCA 를 한 편에서 볼 때
- ★ Auto MPG (UCI Machine Learning Repository · DOI 10.24432/C5859H · CC BY 4.0) — 사례 데이터 398대 · 변수 8개를 내려받아 따라 해 볼 때
- ★ scikit-learn 1.9.1 API sklearn.decomposition.PCA — n_components 에 비율을 주는 법 · 중심화만 하고 척도는 맞추지 않는 동작을 볼 때
- ★ Visualizing Data using t-SNE (Journal of Machine Learning Research 9 2579-2605) — 선형 PCA 와 비선형 이웃 보존 방식이 무엇을 다르게 남기는지 볼 때
- 본문 근거
- NIST/SEMATECH e-Handbook of Statistical Methods 6.5.5 Principal Components — NIST · 2026-11 ·
www.itl.nist.gov/div898/handbook/pmc/section5/pmc55.htm· 확인 2026-11-12 - NIST/SEMATECH e-Handbook of Statistical Methods 6.5.5.2 Numerical Example — NIST · 2026-11 ·
www.itl.nist.gov/div898/handbook/pmc/section5/pmc552.htm· 확인 2026-11-12 - On Lines and Planes of Closest Fit to Systems of Points in Space (Philosophical Magazine Series 6 2(11) 559-572) — Taylor & Francis · 1901-11 ·
doi.org/10.1080/14786440109462720· 확인 2026-11-12 - Analysis of a Complex of Statistical Variables into Principal Components (Journal of Educational Psychology 24(6) 417-441) — American Psychological Association · 1933-09 ·
doi.org/10.1037/h0071325· 확인 2026-11-12 - The Application of Electronic Computers to Factor Analysis (Educational and Psychological Measurement 20(1) 141-151) — SAGE · 1960-04 ·
doi.org/10.1177/001316446002000116· 확인 2026-11-12 - The Scree Test For The Number Of Factors (Multivariate Behavioral Research 1(2) 245-276) — Taylor & Francis · 1966-04 ·
doi.org/10.1207/s15327906mbr0102_10· 확인 2026-11-12 - Nonlinear Component Analysis as a Kernel Eigenvalue Problem (Neural Computation 10(5) 1299-1319) — MIT Press · 1998-07 ·
doi.org/10.1162/089976698300017467· 확인 2026-11-12 - The Use of Multiple Measurements in Taxonomic Problems (Annals of Eugenics 7(2) 179-188) — Wiley · 1936-09 ·
doi.org/10.1111/j.1469-1809.1936.tb02137.x· 확인 2026-11-12 - UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction (arXiv 1802.03426) — arXiv · 2018-02 ·
arxiv.org/abs/1802.03426· 확인 2026-11-12 - scikit-learn 1.9.1 User Guide 2.5 Decomposing signals in components (2.5.1 PCA · 2.5.2 Kernel PCA) — scikit-learn developers · 2026-11 ·
scikit-learn.org/stable/modules/decomposition.html· 확인 2026-11-12 - NumPy 2.4 Reference numpy.linalg.eigh — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/generated/numpy.linalg.eigh.html· 확인 2026-11-12