특성 공학Feature Engineering
원자료 열을 모델이 받는 입력 열(특성)로 바꾸는 일로, 스케일링 · 인코딩 · 결측 처리 같은 변환, 파생 · 시간 창 같은 생성, 쓸 열을 고르는 선택을 묶는다. 모든 특성이 예측 시점에 알 수 있는 값이 되도록 누수를 막는 일도 여기에 든다.
1요약
- 특성 공학은 데이터 준비 단계에서 원자료 열을 특성 행렬로 바꾸는 변환 · 생성 · 선택을 아우르는 일로, scikit-learn 8.3 · 8.4 같은 전처리 도구와 시간 순 분할 위에서 선형 회귀 · 트리 · k-NN 이 이 행렬을 입력으로 받는다.
- 같은 모델이라도 특성이 성능을 정한다 — 본문 사례에서 선형 회귀 하나의 검증 MAE 가 원값 6.32 kWh 에서 주기 변환 · 원-핫 · 결측 처리 · 과거 창 특성을 더한 뒤 2.58 kWh 로 줄었다.
- 「검증은 좋은데 운영에서 무너진다」는 특성 값이 확정되는 시각이 예측 시각보다 앞서는가로 가른다 — 같은 날 하루 평균 열은 검증 1.85 · 운영 재현 8.67 kWh 였다.
2등장 배경
원자료 열을 그대로 넣으면 모델의 가정과 어긋난다. 요일 번호 0 ~ 6 을 숫자로 넣으면 일요일이 월요일보다 «6만큼 큰» 값이 되고, 거리로 이웃을 찾는 모델은 단위가 큰 열 하나에 끌려가며, 빈칸이 있는 행은 예측을 못 한다(scikit-learn 8.3 · 8.4).
Rubin(1976)은 결측이 생기는 방식에 따라 빈칸을 무시해도 되는 조건을 정리했고, Guyon · Elisseeff(2003)는 JMLR 특집에서 특성 구성 · 순위 · 선택을 한 틀로 묶었다. Kaufman 외(2011)는 예측 시점에 정당하게 쓸 수 없는 목표 정보가 특성에 들어오는 것을 누수로 정의했고, Domingos(2012)는 머신러닝 교훈의 하나로 「특성 공학이 열쇠」를 들었다.
지금은 이미지 · 문장에서 신경망이 표현을 스스로 배우면서 손으로 짜는 몫이 줄었지만, 표 · 시계열 데이터에서는 여전히 성능을 가르는 단계다. 변환은 Pipeline 으로 학습 구간에만 맞추고(scikit-learn 12.2), 만든 특성을 저장 · 공유하는 일은 피처 스토어가 맡는다.
3쉽게 이해하기 — 도시락 가게의 준비 장부
도시락 가게 사장 수민은 매시 다음 시간에 쌀 도시락 수를 정한다. 장부에는 시각 · 요일 · 기온 · 판매 수가 날것으로 적혀 있어, 수민은 요일마다 칸을 나누고 시각은 벽시계 위에 놓고 본다. 기온이 빈 날은 보통 기온을 적고 「빈칸」 도장을 찍으며, 지난 한 시간과 어제 같은 시각 판매를 메모해 둔다. 마감 뒤에야 아는 하루 총판매는 아무리 맞아 보여도 준비량을 정할 때 쓰지 않는다.
그림 1 · 날것 장부를 다섯 가지로 손질한 장부가 준비량 판단의 재료가 되고, 마감 뒤에야 아는 하루 총판매는 판단에 들어가지 못한다.
그림 2 · 시각을 숫자 하나로 두면 밤 11시와 자정이 23만큼 떨어지지만, 벽시계 원 위의 두 좌표로 두면 11시 ↔ 12시와 같은 거리 0.26 이 된다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 날것 장부 | 원자료 열 | 시각 · 요일 · 기온 · 전력량을 기록된 그대로 둔다 |
| 요일 칸 나누기 | 범주 인코딩(원-핫) | 범주마다 0 · 1 열을 하나씩 만든다 |
| 벽시계로 보기 | 주기 변환 | 순환하는 값을 sin · cos 두 열로 바꾼다 |
| 빈칸 + 도장 | 결측 대치 · 결측 표시 | 학습 구간 중앙값으로 채우고 빈칸이었음을 0 · 1 열로 남긴다 |
| 지난 판매 메모 | 과거 창 특성(지연 · 이동 평균) | 예측 시각 앞의 값만으로 시간 문맥을 만든다 |
| 저울 단위 맞춤 | 스케일링(표준화) | 열마다 평균 0 · 표준편차 1 로 맞춘다 |
| 마감 장부 금지 | 누수 방지 | 예측 시각 뒤에 확정되는 값을 특성에서 뺀다 |
| 사장님 판단 | 모델 | 손질한 특성 행렬로 다음 값을 예측한다 |
⚠ 비유가 맞지 않는 곳: 사장은 빈칸을 보고 이유를 짐작하지만 모델은 표시 열이 없으면 빈칸이었는지 알 수 없다. 또 저울 맞춤(스케일링)은 사람에게는 필요 없고, 거리 · 규제 · 경사 하강을 쓰는 모델에만 결과를 바꾼다(scikit-learn 8.3).
4구조 — 원자료 열에서 특성 행렬까지
특성 공학의 산출물은 열 하나하나가 이름 · 확정 시각 · 변환 통계를 가진 특성 행렬이다. 변환에 쓰는 통계(평균 · 중앙값 · 범주 목록)는 학습 구간에서만 정해 저장하고, 검증 · 시험 · 운영에는 저장한 값으로 transform 만 한다(scikit-learn 12.2).
그림 3 · 원자료 네 열이 변환 규칙 넷을 거쳐 13열 특성 행렬이 되고, 모든 열은 예측 시각 전에 확정된 값이며 변환 통계는 학습 구간에서만 정한다.
| 요소 | 하는 일 | 사례 값 | 근거 |
|---|---|---|---|
| 스케일링 | 열 단위를 맞춤(표준화 · 최소-최대) | 거리 모델에서만 결과가 바뀜 | scikit-learn 8.3.1 |
| 범주 인코딩 | 범주 → 0 · 1 열(n - 1 열은 drop) | 요일 7 → 6열 | scikit-learn 8.3.4 |
| 파생 · 주기 변환 | 기존 열로 새 열을 계산 | 시각 → sin · cos | 원문 식 |
| 결측 처리 | 채움 + 결측 표시 열 | 중앙값 12.11 · 결측 7.6% | scikit-learn 8.4 |
| 시간 창 특성 | 지연 · 이동 평균 | 1 · 3 · 24시간 | FPP3 5.10 |
| 특성 선택 | 쓸모없는 열을 뺌 | 누적 운전 시간 열 | Guyon 2003 |
| 누수 점검 | 열마다 확정 시각을 대조 | 하루 평균 열 제거 | scikit-learn 12.2 |
5동작 — 설비 전력량 예측 특성 만들기
직접 실행(합성 데이터) — Python 3.14.0 · NumPy 2.4.3 · default_rng(2026) · 모델은 numpy.linalg.lstsq 선형 회귀 하나로 고정했다. 데이터는 설명용 가정 설비(공장 압축 공기 설비)의 시간당 전력량 12주 2,016행이고 기온 센서 빈칸이 153행(7.6%)이다. 시간 순으로 학습 2 ~ 56일 1,320행 · 검증 57 ~ 70일 336행 · 시험 71 ~ 84일 336행을 나눴다(FPP3 5.10).
- 원값 그대로(시각 0 ~ 23 · 요일 번호 0 ~ 6 · 기온)를 넣으면 기온이 빈 행은 예측하지 못해 검증 336행 중 312행(92.9%)만 덮고, MAE 는 6.32 kWh 다.
- 시각을 sin · cos 두 열로 바꾸면 MAE 4.59 — 23시와 0시가 이웃 값이 된다.
- 요일을 원-핫 6열(월요일 기준 · drop first)로 바꾸면 4.22 — 번호 5 · 6 이 «큰 값»이 아니라 토 · 일 각자의 열이 된다(scikit-learn 8.3.4).
- 기온 빈칸을 학습 구간 중앙값 12.11 °C 로 채우고 결측 표시 열을 더하면 336행을 모두 덮는다 — 전체 MAE 4.41 · 결측 24행만 4.87.
- 과거 창 특성 셋(1시간 전 · 직전 3시간 평균 · 24시간 전 전력량)을 더해 13열이 되면 MAE 2.58 이다.
- 같은 날 24시간 평균 전력량 열을 더하면 검증 MAE 가 1.85 로 내려가지만, 예측 시각까지의 값으로만 다시 계산하면(운영 재현) 8.67 — 1번보다 나빠서 이 열을 뺀다.
- 5번 특성으로 학습 구간에서 맞춘 모델을 시험 336행에 한 번 넣어 MAE 2.46 kWh 를 얻는다.
같은 13열을 표준화해도 선형 회귀 MAE 는 2.578 그대로다. k-NN(k = 10)에 누적 운전 시간 열(표준편차 381 h)을 더하면 표준화 전 16.28 · 뒤 3.79 이고, 그 열을 빼면 3.44 로 더 낮아진다 — 스케일링과 선택은 거리 모델에서 결과를 바꾼다.
그림 4 · 특성을 단계마다 더하자 같은 선형 회귀의 검증 MAE 가 6.32 에서 2.58 로 줄었고, 하루 평균 열은 검증 1.85 와 운영 재현 8.67 로 갈려 빠졌다.
그림 5 · 특성마다 값이 확정되는 시각을 예측 시각과 견주면, 하루 평균 열은 예측 뒤 12시간을 담아 검증에서는 52.82 · 운영에서는 43.44 로 다른 값이 된다.
🔑 특성의 값어치는 검증 점수가 아니라 «예측 시각에 그 값이 이미 있는가»로 먼저 정해진다 — 확정 시각이 예측 시각 뒤인 열은 점수가 아무리 좋아도 운영에서 다른 값이 된다.
6비교 — 특성을 만드는 세 방식
| 기준 | 특성 공학(손으로 설계) | 차원 축소(PCA) | 표현 학습(딥러닝 · 임베딩) |
|---|---|---|---|
| 특성을 만드는 주체 | 사람이 업무 지식으로 정의 | 열 사이 분산 구조(선형 결합) | 신경망이 손실을 줄이며 배움 |
| 결과 열의 뜻 | 이름이 있음(1시간 전 전력량) | 주성분 = 여러 열의 가중 합 | 벡터 성분이라 뜻을 바로 읽기 어려움 |
| 시간 · 순서 정보 | 지연 · 창 열을 직접 넣음 | 행 순서를 보지 않음 | 순환 · 어텐션 구조가 입력 창에서 배움 |
| 필요한 표본 | 사례 1,320행으로 충분 | 열 수보다 많은 행 | 대개 훨씬 많은 표본 · 사전 학습 모델 |
| 누수가 숨는 곳 | 특성 정의(확정 시각) | fit 범위(학습 구간만) | 입력 창 · 사전 학습 데이터 |
분석표 · 시계열 데이터가 수천 행 수준이고 열마다 뜻을 설명해야 하면 특성 공학을 먼저 쓰고, 만든 열이 수백 개로 서로 겹치면 그 뒤에 차원 축소를 붙이며, 원자료가 이미지 · 문장이면 표현 학습을 고른다. 근거는 표의 「결과 열의 뜻」 · 「필요한 표본」 행이고, 사례에서는 13열 선형 회귀로 시험 MAE 2.46 이 나왔다.
7실무 진단 — 특성 문제의 단계 가르기
분석성능이 어긋나면 «확정 시각 → fit 범위 → 범주 · 결측 처리 → 단위 · 선택» 순서로 본다. 앞 두 단계의 잘못은 검증 점수를 부풀려 뒤 단계의 판단까지 틀리게 만들기 때문이다(scikit-learn 12.2 · Kaufman 2011).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 검증은 좋은데 운영에서 급락 | 예측 시각 뒤에 확정되는 열 | 특성 정의 | 열마다 «값 확정 시각» 표 | 확정 시각 > 예측 시각이면 누수(scikit-learn 12.2 · 사례 1.85 ↔ 8.67) |
| 2 | 시험 점수만 유난히 높음 | 전체 데이터로 변환 통계를 fit | fit 범위 | 스케일러 · 대치기 · 선택기의 fit 데이터 | 학습 구간만으로 fit(scikit-learn 12.2) |
| 3 | 운영에서 변환 오류 · 0 열 | 학습 때 없던 범주 | 인코딩 | OneHotEncoder 의 handle_unknown | 기본값 'error' · 운영은 'ignore' 또는 'infrequent_if_exist'(OneHotEncoder API) |
| 4 | 센서 빈칸이 몰린 기간에 오차 급증 | 결측이 고장 · 정지와 함께 생김 | 결측 처리 | 결측 표시 열과 오차의 관계 | 표시 열을 남김(scikit-learn 8.4 · Rubin 1976) |
| 5 | 거리 모델만 성능이 나쁨 | 단위 큰 열이 거리를 지배 · 쓸모없는 열 | 단위 · 선택 | 열별 표준편차 · 열 하나씩 뺀 검증 점수 | 사례 k-NN 16.28 → 3.79 → 3.44(scikit-learn 8.3.1) |
시계열 데이터는 진단 전에 분할부터 확인한다 — 무작위로 섞어 나누면 검증 행의 바로 앞뒤 시각이 학습에 들어가 과거 창 특성이 미래 값을 본다(FPP3 5.10).
8시험 대비
시험에서는 특성 공학의 정의와 기법(스케일링 · 인코딩 · 결측 · 파생 · 선택)을 쓰는 정의 · 특징형, 그리고 시계열 예측 모델의 특성 처리 단계를 누수 없이 짜는 구현 · 설계형이 나올 수 있다. 정의형이면 기법 표에 사례 값을 붙이고, 설계형이면 그림 3 의 단계마다 «fit 구간 · 확정 시각»을 적는다.
- 개요 — 정의(원자료 열 → 특성 행렬) · 데이터 준비 단계에서의 위치 · Domingos 2012 · Guyon 2003
- 기법 분류 — 변환(스케일링 · 원-핫 · 결측 대치 · 표시) · 생성(파생 · 주기 · 시간 창) · 선택 표
- 처리 구조 — 그림 3 원자료 4열 → 변환 규칙 → 13열 특성 행렬 · 학습 구간 fit
- 적용 사례 — 그림 4 단계별 MAE 6.32 → 4.59 → 4.22 → 4.41 → 2.58 · 시험 2.46
- 누수 방지 — 그림 5 확정 시각 ↔ 예측 시각 · 하루 평균 열 1.85 ↔ 8.67 · 시간 순 분할 · Pipeline
- 비교 · 한계 — 차원 축소 · 표현 학습과의 비교표 · 모델별 스케일링 영향 · 피처 스토어로 넘기는 일
꼭 쓸 키워드
특성 행렬표준화원-핫 인코딩결측 대치결측 표시주기 변환지연이동 평균특성 선택데이터 누수시간 순 분할Pipeline
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 특성마다 «값 확정 시각»을 예측 시각과 나란히 그려 보이는 것이다 — 누수를 «테스트 데이터를 보면 안 된다» 한 줄이 아니라 열 단위 점검 규칙으로 쓴다.
9오해와 사실
- 오해스케일링은 모든 모델의 성능을 올린다.사실사례의 선형 회귀는 표준화 전후 MAE 가 2.578 로 같았고, 큰 단위 열이 없는 13열 k-NN 은 표준화 전 3.13 · 뒤 3.44 로 오히려 나빠졌다 — 스케일링은 열 무게를 같게 만들 뿐이며 RBF 커널 · l1 · l2 규제처럼 단위를 가정하는 모델에서 필요하다(scikit-learn 8.3).
- 오해결측 값은 평균으로 채우면 끝난다.사실채운 값만 남기면 빈칸이었다는 사실이 사라진다(scikit-learn 8.4) — 사례는 결측이 무작위라 표시 열의 효과가 없었지만, 빈칸이 고장 · 정지와 함께 생기면 그 정보를 표시 열만 나른다.
- 오해검증 점수를 올리는 특성은 모두 넣어도 된다.사실사례의 하루 평균 열은 검증 MAE 를 2.58 에서 1.85 로 낮췄지만 예측 시각에는 그 값이 없어 운영 재현에서 8.67 이 됐다 — 예측 시점에 쓸 수 없는 정보는 누수다(scikit-learn 12.2).
10핵심 정리
| 구분 | 맡는 일 | 사례 처리 | 사례 효과 | 근거 | 흔한 실패 |
|---|---|---|---|---|---|
| 주기 변환 | 순환 값의 이웃 보존 | 시각 → sin · cos | 6.32 → 4.59 | 원문 식 | 23시 · 0시가 멀어짐 |
| 범주 인코딩 | 범주 → 0 · 1 열 | 요일 원-핫 6열 | 4.59 → 4.22 | scikit-learn 8.3.4 | 처음 보는 범주 오류 |
| 결측 처리 | 채움 + 표시 열 | 중앙값 12.11 + 표시 | 덮는 행 92.9% → 100% | scikit-learn 8.4 | 표시 없이 채움 |
| 시간 창 특성 | 과거 문맥 | 1 · 3 · 24시간 전 | 4.41 → 2.58 | FPP3 5.10 | 현재 · 미래 값 포함 |
| 스케일링 | 열 단위 맞춤 | 학습 평균 · 표준편차 | k-NN 16.28 → 3.79 | scikit-learn 8.3.1 | 전체 데이터로 fit |
| 특성 선택 | 쓸모없는 열 빼기 | 누적 운전 시간 열 | k-NN 3.79 → 3.44 | Guyon 2003 | 시험 데이터로 고름 |
| 누수 점검 | 확정 시각 대조 | 하루 평균 열 제거 | 1.85 ↔ 8.67 | scikit-learn 12.2 | 검증 점수만 봄 |
11참고 문헌
- 먼저 볼 문헌
- ★ scikit-learn 1.9.1 User Guide 8.3 Preprocessing data — 표준화 · 원-핫 인코딩을 학습 세트 기준으로 거는 법을 볼 때
- ★ scikit-learn 1.9.1 User Guide 8.4 Imputation of missing values — 결측 채움 방식과 결측 표시 열을 고를 때
- ★ scikit-learn 1.9.1 User Guide 12 Common pitfalls and recommended practices (12.2 Data leakage) — 전처리 · 특성 선택에서 생기는 누수를 막는 규칙을 볼 때
- ★ Forecasting: Principles and Practice, 3rd edition (Hyndman · Athanasopoulos) 5.10 Time series cross-validation — 시계열을 시간 순으로 나눠 평가하는 법을 볼 때
- ★ An Introduction to Variable and Feature Selection (Journal of Machine Learning Research 3 1157-1182) — 특성 구성 · 순위 · 선택의 전체 틀을 볼 때
- 본문 근거
- scikit-learn 1.9.1 API sklearn.preprocessing.OneHotEncoder — scikit-learn developers · 2026-11 ·
scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html· 확인 2026-11-12 - Leakage in Data Mining: Formulation, Detection, and Avoidance (KDD 2011 556-563 · DOI 10.1145/2020408.2020496) — ACM · 2011-08 ·
doi.org/10.1145/2020408.2020496· 확인 2026-11-12 - A Few Useful Things to Know about Machine Learning (Communications of the ACM 55(10) 78-87) — ACM · 2012-10 ·
doi.org/10.1145/2347736.2347755· 확인 2026-11-12 - Inference and Missing Data (Biometrika 63(3) 581-592) — Biometrika Trust · 1976-12 ·
doi.org/10.1093/biomet/63.3.581· 확인 2026-11-12 - NumPy numpy.linalg.lstsq — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html· 확인 2026-11-12