AI › AI 엔지니어링(AI 시스템 운영) › 데이터 준비

특성 공학Feature Engineering

원자료 열을 모델이 받는 입력 열(특성)로 바꾸는 일로, 스케일링 · 인코딩 · 결측 처리 같은 변환, 파생 · 시간 창 같은 생성, 쓸 열을 고르는 선택을 묶는다. 모든 특성이 예측 시점에 알 수 있는 값이 되도록 누수를 막는 일도 여기에 든다.

1요약

  1. 특성 공학은 데이터 준비 단계에서 원자료 열을 특성 행렬로 바꾸는 변환 · 생성 · 선택을 아우르는 일로, scikit-learn 8.3 · 8.4 같은 전처리 도구와 시간 순 분할 위에서 선형 회귀 · 트리 · k-NN 이 이 행렬을 입력으로 받는다.
  2. 같은 모델이라도 특성이 성능을 정한다 — 본문 사례에서 선형 회귀 하나의 검증 MAE 가 원값 6.32 kWh 에서 주기 변환 · 원-핫 · 결측 처리 · 과거 창 특성을 더한 뒤 2.58 kWh 로 줄었다.
  3. 「검증은 좋은데 운영에서 무너진다」는 특성 값이 확정되는 시각이 예측 시각보다 앞서는가로 가른다 — 같은 날 하루 평균 열은 검증 1.85 · 운영 재현 8.67 kWh 였다.

2등장 배경

원자료 열을 그대로 넣으면 모델의 가정과 어긋난다. 요일 번호 0 ~ 6 을 숫자로 넣으면 일요일이 월요일보다 «6만큼 큰» 값이 되고, 거리로 이웃을 찾는 모델은 단위가 큰 열 하나에 끌려가며, 빈칸이 있는 행은 예측을 못 한다(scikit-learn 8.3 · 8.4).

Rubin(1976)은 결측이 생기는 방식에 따라 빈칸을 무시해도 되는 조건을 정리했고, Guyon · Elisseeff(2003)는 JMLR 특집에서 특성 구성 · 순위 · 선택을 한 틀로 묶었다. Kaufman 외(2011)는 예측 시점에 정당하게 쓸 수 없는 목표 정보가 특성에 들어오는 것을 누수로 정의했고, Domingos(2012)는 머신러닝 교훈의 하나로 「특성 공학이 열쇠」를 들었다.

지금은 이미지 · 문장에서 신경망이 표현을 스스로 배우면서 손으로 짜는 몫이 줄었지만, 표 · 시계열 데이터에서는 여전히 성능을 가르는 단계다. 변환은 Pipeline 으로 학습 구간에만 맞추고(scikit-learn 12.2), 만든 특성을 저장 · 공유하는 일은 피처 스토어가 맡는다.

3쉽게 이해하기 — 도시락 가게의 준비 장부

도시락 가게 사장 수민은 매시 다음 시간에 쌀 도시락 수를 정한다. 장부에는 시각 · 요일 · 기온 · 판매 수가 날것으로 적혀 있어, 수민은 요일마다 칸을 나누고 시각은 벽시계 위에 놓고 본다. 기온이 빈 날은 보통 기온을 적고 「빈칸」 도장을 찍으며, 지난 한 시간과 어제 같은 시각 판매를 메모해 둔다. 마감 뒤에야 아는 하루 총판매는 아무리 맞아 보여도 준비량을 정할 때 쓰지 않는다.

하루 장부 시각 · 요일 기온 · 판매 수 날것 그대로 원자료 열 1 요일 칸 나누기 원-핫 인코딩 벽시계로 보기 주기 변환 빈칸 + 도장 결측 채움 · 표시 지난 판매 메모 과거 창 특성 저울 단위 맞춤 스케일링 2 사장님 판단 손질한 장부로 다음 시간 준비량 모델 · 예측 3 마감 장부 누수 — 안 씀 예측 시각엔 아직 없는 값 원자료 · 과거 값 표현 바꾸기 처리 규칙 예측 누수(점선 = 막힌 길)

그림 1 · 날것 장부를 다섯 가지로 손질한 장부가 준비량 판단의 재료가 되고, 마감 뒤에야 아는 하루 총판매는 판단에 들어가지 못한다.

장부 펼치기날것 기록
요일 칸요일마다 따로
벽시계밤 11시 옆 자정
빈칸 도장보통 값 + 표시
지난 메모한 시간 전 · 어제
마감 장부 금지아직 모르는 값
숫자 줄에 적은 시각 23시 ↔ 0시 거리 23 11시 ↔ 12시 거리 1 0시 6시 12시 18시 23시 시각 열 하나(0 ~ 23) 원 위에 놓기 벽시계에 놓은 시각 23시 · 0시 거리 0.26 12시 11시 · 거리 0.26 sin · cos 두 열

그림 2 · 시각을 숫자 하나로 두면 밤 11시와 자정이 23만큼 떨어지지만, 벽시계 원 위의 두 좌표로 두면 11시 ↔ 12시와 같은 거리 0.26 이 된다.

비유 속 역할실제 이름실제로 하는 일
날것 장부원자료 열시각 · 요일 · 기온 · 전력량을 기록된 그대로 둔다
요일 칸 나누기범주 인코딩(원-핫)범주마다 0 · 1 열을 하나씩 만든다
벽시계로 보기주기 변환순환하는 값을 sin · cos 두 열로 바꾼다
빈칸 + 도장결측 대치 · 결측 표시학습 구간 중앙값으로 채우고 빈칸이었음을 0 · 1 열로 남긴다
지난 판매 메모과거 창 특성(지연 · 이동 평균)예측 시각 앞의 값만으로 시간 문맥을 만든다
저울 단위 맞춤스케일링(표준화)열마다 평균 0 · 표준편차 1 로 맞춘다
마감 장부 금지누수 방지예측 시각 뒤에 확정되는 값을 특성에서 뺀다
사장님 판단모델손질한 특성 행렬로 다음 값을 예측한다

⚠ 비유가 맞지 않는 곳: 사장은 빈칸을 보고 이유를 짐작하지만 모델은 표시 열이 없으면 빈칸이었는지 알 수 없다. 또 저울 맞춤(스케일링)은 사람에게는 필요 없고, 거리 · 규제 · 경사 하강을 쓰는 모델에만 결과를 바꾼다(scikit-learn 8.3).

4구조 — 원자료 열에서 특성 행렬까지

특성 공학의 산출물은 열 하나하나가 이름 · 확정 시각 · 변환 통계를 가진 특성 행렬이다. 변환에 쓰는 통계(평균 · 중앙값 · 범주 목록)는 학습 구간에서만 정해 저장하고, 검증 · 시험 · 운영에는 저장한 값으로 transform 만 한다(scikit-learn 12.2).

시각(0 ~ 23) 사례 행 = 12 요일(월 ~ 일) 사례 행 = 토 기온(°C) 사례 행 = 빈칸 전력량 기록(kWh) 직전 값 73.81 주기 변환 → 2열 sin 0.000 · cos -1.000 원-핫 → 6열 토 = 1 · 나머지 0 결측 처리 → 2열 12.11 · 표시 1 과거 창 → 3열 73.81 · 66.91 · 78.25 특성 행렬 13열(2 + 6 + 2 + 3) — 모든 열이 예측 시각 전에 확정된 값 선형 회귀(lstsq) 예측 72.14 kWh · 실제 76.78 kWh 변환 통계 = 학습 구간 1,320행에서만 fit 중앙값 12.11 · 범주 7개를 저장해 그대로 씀 원자료 열 변환 규칙 특성 표현 예측 저장한 변환 통계

그림 3 · 원자료 네 열이 변환 규칙 넷을 거쳐 13열 특성 행렬이 되고, 모든 열은 예측 시각 전에 확정된 값이며 변환 통계는 학습 구간에서만 정한다.

요소하는 일사례 값근거
스케일링열 단위를 맞춤(표준화 · 최소-최대)거리 모델에서만 결과가 바뀜scikit-learn 8.3.1
범주 인코딩범주 → 0 · 1 열(n - 1 열은 drop)요일 7 → 6열scikit-learn 8.3.4
파생 · 주기 변환기존 열로 새 열을 계산시각 → sin · cos원문 식
결측 처리채움 + 결측 표시 열중앙값 12.11 · 결측 7.6%scikit-learn 8.4
시간 창 특성지연 · 이동 평균1 · 3 · 24시간FPP3 5.10
특성 선택쓸모없는 열을 뺌누적 운전 시간 열Guyon 2003
누수 점검열마다 확정 시각을 대조하루 평균 열 제거scikit-learn 12.2

5동작 — 설비 전력량 예측 특성 만들기

직접 실행(합성 데이터) — Python 3.14.0 · NumPy 2.4.3 · default_rng(2026) · 모델은 numpy.linalg.lstsq 선형 회귀 하나로 고정했다. 데이터는 설명용 가정 설비(공장 압축 공기 설비)의 시간당 전력량 12주 2,016행이고 기온 센서 빈칸이 153행(7.6%)이다. 시간 순으로 학습 2 ~ 56일 1,320행 · 검증 57 ~ 70일 336행 · 시험 71 ~ 84일 336행을 나눴다(FPP3 5.10).

  1. 원값 그대로(시각 0 ~ 23 · 요일 번호 0 ~ 6 · 기온)를 넣으면 기온이 빈 행은 예측하지 못해 검증 336행 중 312행(92.9%)만 덮고, MAE 는 6.32 kWh 다.
  2. 시각을 sin · cos 두 열로 바꾸면 MAE 4.59 — 23시와 0시가 이웃 값이 된다.
  3. 요일을 원-핫 6열(월요일 기준 · drop first)로 바꾸면 4.22 — 번호 5 · 6 이 «큰 값»이 아니라 토 · 일 각자의 열이 된다(scikit-learn 8.3.4).
  4. 기온 빈칸을 학습 구간 중앙값 12.11 °C 로 채우고 결측 표시 열을 더하면 336행을 모두 덮는다 — 전체 MAE 4.41 · 결측 24행만 4.87.
  5. 과거 창 특성 셋(1시간 전 · 직전 3시간 평균 · 24시간 전 전력량)을 더해 13열이 되면 MAE 2.58 이다.
  6. 같은 날 24시간 평균 전력량 열을 더하면 검증 MAE 가 1.85 로 내려가지만, 예측 시각까지의 값으로만 다시 계산하면(운영 재현) 8.67 — 1번보다 나빠서 이 열을 뺀다.
  7. 5번 특성으로 학습 구간에서 맞춘 모델을 시험 336행에 한 번 넣어 MAE 2.46 kWh 를 얻는다.

같은 13열을 표준화해도 선형 회귀 MAE 는 2.578 그대로다. k-NN(k = 10)에 누적 운전 시간 열(표준편차 381 h)을 더하면 표준화 전 16.28 · 뒤 3.79 이고, 그 열을 빼면 3.44 로 더 낮아진다 — 스케일링과 선택은 거리 모델에서 결과를 바꾼다.

검증 MAE(kWh · 짧을수록 좋음) 1 원값 그대로(92.9% 행) 6.32 2 + 시각 sin · cos 4.59 3 + 요일 원-핫 4.22 4 + 결측 채움 · 표시(100% 행) 4.41 5 + 과거 창 셋 2.58 6 + 하루 평균(검증) 1.85 — 좋아 보임 같은 열 운영 재현 8.67 7 시험 336행(5번 특성) 2.46 0 2 4 6 8 10 특성 단계(검증) 누수 열(점선 = 검증 · 채움 = 운영 재현) 시험 한 번

그림 4 · 특성을 단계마다 더하자 같은 선형 회귀의 검증 MAE 가 6.32 에서 2.58 로 줄었고, 하루 평균 열은 검증 1.85 와 운영 재현 8.67 로 갈려 빠졌다.

예측 때 아는 값 아직 모르는 값 0시 6시 18시 24시 1시간 전 73.81 3시간 평균 66.91 24시간 전 78.25 어제 12시로 거슬러 감 하루 평균(검증) 52.82 뒤 12시간 포함 — 누수 운영 재현 43.44 예측 시각 12시 예측 전 값으로 만든 특성 누수 특성(점선 = 예측 뒤 구간) 예측 시각 · 사례 = 83일(토)

그림 5 · 특성마다 값이 확정되는 시각을 예측 시각과 견주면, 하루 평균 열은 예측 뒤 12시간을 담아 검증에서는 52.82 · 운영에서는 43.44 로 다른 값이 된다.

🔑 특성의 값어치는 검증 점수가 아니라 «예측 시각에 그 값이 이미 있는가»로 먼저 정해진다 — 확정 시각이 예측 시각 뒤인 열은 점수가 아무리 좋아도 운영에서 다른 값이 된다.

6비교 — 특성을 만드는 세 방식

기준특성 공학(손으로 설계)차원 축소(PCA)표현 학습(딥러닝 · 임베딩)
특성을 만드는 주체사람이 업무 지식으로 정의열 사이 분산 구조(선형 결합)신경망이 손실을 줄이며 배움
결과 열의 뜻이름이 있음(1시간 전 전력량)주성분 = 여러 열의 가중 합벡터 성분이라 뜻을 바로 읽기 어려움
시간 · 순서 정보지연 · 창 열을 직접 넣음행 순서를 보지 않음순환 · 어텐션 구조가 입력 창에서 배움
필요한 표본사례 1,320행으로 충분열 수보다 많은 행대개 훨씬 많은 표본 · 사전 학습 모델
누수가 숨는 곳특성 정의(확정 시각)fit 범위(학습 구간만)입력 창 · 사전 학습 데이터

분석표 · 시계열 데이터가 수천 행 수준이고 열마다 뜻을 설명해야 하면 특성 공학을 먼저 쓰고, 만든 열이 수백 개로 서로 겹치면 그 뒤에 차원 축소를 붙이며, 원자료가 이미지 · 문장이면 표현 학습을 고른다. 근거는 표의 「결과 열의 뜻」 · 「필요한 표본」 행이고, 사례에서는 13열 선형 회귀로 시험 MAE 2.46 이 나왔다.

7실무 진단 — 특성 문제의 단계 가르기

분석성능이 어긋나면 «확정 시각 → fit 범위 → 범주 · 결측 처리 → 단위 · 선택» 순서로 본다. 앞 두 단계의 잘못은 검증 점수를 부풀려 뒤 단계의 판단까지 틀리게 만들기 때문이다(scikit-learn 12.2 · Kaufman 2011).

#증상의심 원인단계확인 자료판정 기준(근거)
1검증은 좋은데 운영에서 급락예측 시각 뒤에 확정되는 열특성 정의열마다 «값 확정 시각» 표확정 시각 > 예측 시각이면 누수(scikit-learn 12.2 · 사례 1.85 ↔ 8.67)
2시험 점수만 유난히 높음전체 데이터로 변환 통계를 fitfit 범위스케일러 · 대치기 · 선택기의 fit 데이터학습 구간만으로 fit(scikit-learn 12.2)
3운영에서 변환 오류 · 0 열학습 때 없던 범주인코딩OneHotEncoder 의 handle_unknown기본값 'error' · 운영은 'ignore' 또는 'infrequent_if_exist'(OneHotEncoder API)
4센서 빈칸이 몰린 기간에 오차 급증결측이 고장 · 정지와 함께 생김결측 처리결측 표시 열과 오차의 관계표시 열을 남김(scikit-learn 8.4 · Rubin 1976)
5거리 모델만 성능이 나쁨단위 큰 열이 거리를 지배 · 쓸모없는 열단위 · 선택열별 표준편차 · 열 하나씩 뺀 검증 점수사례 k-NN 16.28 → 3.79 → 3.44(scikit-learn 8.3.1)

시계열 데이터는 진단 전에 분할부터 확인한다 — 무작위로 섞어 나누면 검증 행의 바로 앞뒤 시각이 학습에 들어가 과거 창 특성이 미래 값을 본다(FPP3 5.10).

8시험 대비

시험에서는 특성 공학의 정의와 기법(스케일링 · 인코딩 · 결측 · 파생 · 선택)을 쓰는 정의 · 특징형, 그리고 시계열 예측 모델의 특성 처리 단계를 누수 없이 짜는 구현 · 설계형이 나올 수 있다. 정의형이면 기법 표에 사례 값을 붙이고, 설계형이면 그림 3 의 단계마다 «fit 구간 · 확정 시각»을 적는다.

답안 목차
  1. 개요 — 정의(원자료 열 → 특성 행렬) · 데이터 준비 단계에서의 위치 · Domingos 2012 · Guyon 2003
  2. 기법 분류 — 변환(스케일링 · 원-핫 · 결측 대치 · 표시) · 생성(파생 · 주기 · 시간 창) · 선택 표
  3. 처리 구조 — 그림 3 원자료 4열 → 변환 규칙 → 13열 특성 행렬 · 학습 구간 fit
  4. 적용 사례 — 그림 4 단계별 MAE 6.32 → 4.59 → 4.22 → 4.41 → 2.58 · 시험 2.46
  5. 누수 방지 — 그림 5 확정 시각 ↔ 예측 시각 · 하루 평균 열 1.85 ↔ 8.67 · 시간 순 분할 · Pipeline
  6. 비교 · 한계 — 차원 축소 · 표현 학습과의 비교표 · 모델별 스케일링 영향 · 피처 스토어로 넘기는 일

꼭 쓸 키워드
특성 행렬표준화원-핫 인코딩결측 대치결측 표시주기 변환지연이동 평균특성 선택데이터 누수시간 순 분할Pipeline

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 특성마다 «값 확정 시각»을 예측 시각과 나란히 그려 보이는 것이다 — 누수를 «테스트 데이터를 보면 안 된다» 한 줄이 아니라 열 단위 점검 규칙으로 쓴다.

9오해와 사실

  • 오해스케일링은 모든 모델의 성능을 올린다.
    사실사례의 선형 회귀는 표준화 전후 MAE 가 2.578 로 같았고, 큰 단위 열이 없는 13열 k-NN 은 표준화 전 3.13 · 뒤 3.44 로 오히려 나빠졌다 — 스케일링은 열 무게를 같게 만들 뿐이며 RBF 커널 · l1 · l2 규제처럼 단위를 가정하는 모델에서 필요하다(scikit-learn 8.3).
  • 오해결측 값은 평균으로 채우면 끝난다.
    사실채운 값만 남기면 빈칸이었다는 사실이 사라진다(scikit-learn 8.4) — 사례는 결측이 무작위라 표시 열의 효과가 없었지만, 빈칸이 고장 · 정지와 함께 생기면 그 정보를 표시 열만 나른다.
  • 오해검증 점수를 올리는 특성은 모두 넣어도 된다.
    사실사례의 하루 평균 열은 검증 MAE 를 2.58 에서 1.85 로 낮췄지만 예측 시각에는 그 값이 없어 운영 재현에서 8.67 이 됐다 — 예측 시점에 쓸 수 없는 정보는 누수다(scikit-learn 12.2).

10핵심 정리

구분맡는 일사례 처리사례 효과근거흔한 실패
주기 변환순환 값의 이웃 보존시각 → sin · cos6.32 → 4.59원문 식23시 · 0시가 멀어짐
범주 인코딩범주 → 0 · 1 열요일 원-핫 6열4.59 → 4.22scikit-learn 8.3.4처음 보는 범주 오류
결측 처리채움 + 표시 열중앙값 12.11 + 표시덮는 행 92.9% → 100%scikit-learn 8.4표시 없이 채움
시간 창 특성과거 문맥1 · 3 · 24시간 전4.41 → 2.58FPP3 5.10현재 · 미래 값 포함
스케일링열 단위 맞춤학습 평균 · 표준편차k-NN 16.28 → 3.79scikit-learn 8.3.1전체 데이터로 fit
특성 선택쓸모없는 열 빼기누적 운전 시간 열k-NN 3.79 → 3.44Guyon 2003시험 데이터로 고름
누수 점검확정 시각 대조하루 평균 열 제거1.85 ↔ 8.67scikit-learn 12.2검증 점수만 봄

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ scikit-learn 1.9.1 User Guide 8.3 Preprocessing data — 표준화 · 원-핫 인코딩을 학습 세트 기준으로 거는 법을 볼 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/preprocessing.html · 확인 2026-11-12
  3. ★ scikit-learn 1.9.1 User Guide 8.4 Imputation of missing values — 결측 채움 방식과 결측 표시 열을 고를 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/impute.html · 확인 2026-11-12
  4. ★ scikit-learn 1.9.1 User Guide 12 Common pitfalls and recommended practices (12.2 Data leakage) — 전처리 · 특성 선택에서 생기는 누수를 막는 규칙을 볼 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/common_pitfalls.html · 확인 2026-11-12
  5. ★ Forecasting: Principles and Practice, 3rd edition (Hyndman · Athanasopoulos) 5.10 Time series cross-validation — 시계열을 시간 순으로 나눠 평가하는 법을 볼 때
    OTexts · 2021-05 · otexts.com/fpp3/tscv.html · 확인 2026-11-12
  6. ★ An Introduction to Variable and Feature Selection (Journal of Machine Learning Research 3 1157-1182) — 특성 구성 · 순위 · 선택의 전체 틀을 볼 때
    JMLR · 2003-03 · jmlr.org/papers/v3/guyon03a.html · 확인 2026-11-12
  7. 본문 근거
  8. scikit-learn 1.9.1 API sklearn.preprocessing.OneHotEncoder — scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html · 확인 2026-11-12
  9. Leakage in Data Mining: Formulation, Detection, and Avoidance (KDD 2011 556-563 · DOI 10.1145/2020408.2020496) — ACM · 2011-08 · doi.org/10.1145/2020408.2020496 · 확인 2026-11-12
  10. A Few Useful Things to Know about Machine Learning (Communications of the ACM 55(10) 78-87) — ACM · 2012-10 · doi.org/10.1145/2347736.2347755 · 확인 2026-11-12
  11. Inference and Missing Data (Biometrika 63(3) 581-592) — Biometrika Trust · 1976-12 · doi.org/10.1093/biomet/63.3.581 · 확인 2026-11-12
  12. NumPy numpy.linalg.lstsq — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.linalg.lstsq.html · 확인 2026-11-12