AI

AI 엔지니어링(AI 시스템 운영)AI Engineering

학습한 AI 모델을 실제 서비스로 내고 계속 쓸 수 있게, 데이터 준비 · MLOps · 경량화 · 추론 하드웨어로 이어지는 개발 · 배포 · 운영 체계 전체다. 하위 토픽 「MLOps」는 이 가운데 판 관리 · 배포 · 감시 · 재학습 파이프라인 부분이다.

1요약

  1. AI 엔지니어링은 모델을 «만드는 일» 뒤를 맡으며, 데이터 준비 → MLOps → 경량화 → 추론 · 하드웨어 네 하위 토픽이 이어지고 그 위에서 산업 AI · 생성형 AI 서비스가 돈다(Paleyes 2022 표 1 의 배포 4단계와 같은 흐름).
  2. 실제 시스템에서 모델 코드는 작은 상자 하나이고 둘레의 데이터 · 설정 · 감시 체계가 훨씬 크다(Sculley 2015 그림 1) — AI 엔지니어링의 합성 사례에서 전처리를 빼면 테스트 정확도가 0.891 에서 0.524로 무너졌다.
  3. 「운영 중 AI 가 이상하다」는 값이 틀렸나, 느린가, 점점 나빠지나로 가른다 — 처음부터 틀리면 데이터 준비, 정확도는 그대로인데 느리거나 비싸면 경량화 · 추론, 시간이 지나며 나빠지면 MLOps 의 감시 · 재학습이 맡는다.

2등장 배경

연구실의 모델은 고정된 데이터 세트에서 한 번 점수를 내면 끝나지만, 서비스의 모델은 매일 새 입력을 받고 몇 달씩 돈다. Sculley 등은 2015년 이 차이를 «기술 부채»로 정리하며, 외부 세계는 거의 안정되지 않아 그 변화가 계속 유지 비용을 만든다고 했다(Sculley 2015 7절).

2016년 Han 등은 가지치기 · 양자화 · 부호화로 AlexNet 저장 크기를 240 MB 에서 6.9 MB(35배)로 줄여 정확도 손실 없이 휴대 기기에 올릴 길을 보였다(Han 2016 초록). 2019년 Amershi 등은 요구 · 수집 · 정제 · 레이블링 · 특성 공학 · 학습 · 평가 · 배포 · 감시의 9단계 작업 흐름과, 평가 · 감시가 앞 단계로 되돌아가는 되먹임 고리를 그렸다(Amershi 2019 그림 1).

지금은 LLM 서비스까지 같은 흐름 위에서 운영된다. 프롬프트 판 관리는 LLMOps, 토큰 생성 속도는 추론 최적화가 맡는 식으로 다루는 범위가 넓어졌고, 분야 이름도 «운영»에서 개발부터 운영까지 묶는 «엔지니어링»으로 바뀌었다.

3쉽게 이해하기 — 하루 3,000개를 내는 도시락 센터

하나 씨는 학교 급식용 도시락을 하루 3,000개 만드는 센터를 맡는다. 시장에서 온 재료를 씻고 다듬어 계량하고, 시식을 거친 레시피만 장부에 판 번호를 붙여 주방에 내린다. 배달 상자에 들어가도록 반찬 칸을 줄이고, 트럭 한 대에 32개씩 실어 점심 전에 나른다. 학생들이 남기는 음식이 늘면 그 반찬의 재료부터 다시 고른다.

1 재료 손질 씻기 · 다듬기 계량 · 이름표 데이터 준비 2 레시피 장부 시식 통과만 판 번호 붙임 MLOps 3 칸 줄인 도시락 상자에 맞춤 맛은 다시 확인 경량화 4 주방 · 트럭 오븐 수 · 적재 한 대에 32개 추론 · 하드웨어 5 손님 반응 남긴 음식 입맛 변화 모니터링 남기는 반찬이 늘면 재료부터 다시 — 재학습 데이터 모델 관리 규칙 수 표현 출력 · 실행 사용자 되먹임 고리

그림 1 · 도시락 센터는 손질 · 장부 · 포장 · 배달 네 구역이 차례로 일하고, 손님 반응이 다시 재료 손질로 돌아온다.

재료 손질씻고 계량
장부 올리기시식 통과 레시피만
칸 줄이기상자에 맞춤
배달한 대에 32개
반응 보기남긴 음식
다시 고르기재료부터
비유 — 도시락 센터 실제 — 모델 서비스 반찬 칸 줄이기 도시락 안 내용이 바뀐다 그래서 시식을 다시 한다 트럭에 32개씩 싣기 도시락은 하나도 안 바뀐다 왕복 횟수만 줄어든다 경량화 가중치 값 자체가 바뀜(32 → 8비트) 정확도 · 예측 일치율을 다시 잰다 추론 최적화 가중치 그대로 · 출력도 같음 호출 수 · 지연만 잰다 경계 = 모델의 값을 바꾸는가(경량화) · 실행 방법만 바꾸는가(추론 최적화)

그림 2 · 칸을 줄이면 도시락 자체가 바뀌어 다시 맛봐야 하고, 트럭 싣는 법을 바꾸면 도시락은 그대로이고 왕복만 줄어든다.

비유 속 역할실제 이름실제로 하는 일
재료 손질 · 계량데이터 준비결측 채우기 · 척도 맞추기 · 레이블 붙이기 · 특성 만들기
시식 통과 레시피 장부MLOps · 모델 레지스트리검증을 통과한 모델만 판 번호와 함께 올린다
반찬 칸 줄이기경량화양자화 · 가지치기 · 지식 증류로 모델을 작게 만든다
오븐 수추론 하드웨어GPU · NPU · 엣지 기기의 연산 · 메모리
한 대에 32개추론 최적화 · 배칭요청을 묶어 호출 수를 줄인다
남긴 음식모델 모니터링입력 분포 · 정확도 변화를 잰다
재료부터 다시재학습새 데이터로 다시 학습해 새 판을 낸다

⚠ 비유가 맞지 않는 곳: 도시락은 남긴 음식이 바로 보이지만, 모델은 정답 레이블이 늦게 오거나 오지 않아 입력 분포로 먼저 짐작해야 한다. 또 경량화는 사람이 맛을 보는 대신 원래 모델과 예측을 견주는 숫자로 확인한다.

4구조 — 네 하위 토픽과 넘겨주는 산출물

네 하위 토픽은 앞 단계의 산출물을 받아 다음 단계에 넘긴다. Amershi 2019 의 9단계 가운데 수집 · 정제 · 레이블링은 데이터 쪽, 학습 · 평가 · 배포 · 감시는 모델 쪽이며, AI 엔지니어링은 그 뒤에 «작게 만들기 · 빨리 돌리기»를 더한다.

데이터 준비 MLOps 경량화 추론 · 하드웨어 데이터 레이블링 데이터 증강 합성 데이터 특성 공학 데이터 품질 MLOps(개념) 실험 관리 · 피처 스토어 모델 배포 · 서빙 모델 모니터링 드리프트 LLMOps 양자화 가지치기 지식 증류 온디바이스 AI 추론 최적화 GPU · NPU AI 가속기 · HBM 엣지 AI 학습 세트 승인된 모델 판 작은 모델 요청 → 예측 감시 결과 → 새 데이터 → 재학습 점선 상자 = 다음 단계에 넘기는 산출물(첫 입력 = 원자료) 데이터 모델 관리 규칙 수 표현 출력 · 실행 재학습 고리

그림 3 · 네 하위 토픽은 원자료 → 학습 세트 → 승인된 모델 판 → 작은 모델 → 예측 순으로 산출물을 넘기고, 감시 결과는 데이터 준비로 되돌아간다.

하위 토픽푸는 문제받는 것 → 내는 것대표 지표대표 토픽
데이터 준비원자료가 학습에 쓸 꼴이 아님원자료 → 학습 세트결측 비율 · 레이블 일치도데이터 레이블링 · 특성 공학
MLOps어느 모델이 언제 왜 바뀌었나 모름학습 세트 → 승인된 모델 판재현 여부 · 배포 주기MLOps(개념) · 모델 배포 · 서빙 · 모델 모니터링
경량화모델이 기기 · 비용에 맞지 않음모델 판 → 작은 모델크기 · 예측 일치율양자화 · 지식 증류
추론 · 하드웨어요청이 몰리면 느리고 비쌈작은 모델 + 요청 → 예측지연 · 처리량 · 호출 수추론 최적화 · GPU · NPU

🔑 경량화는 모델의 «값»을 바꾸므로 정확도를 다시 재야 하고, 추론 최적화는 «실행 방법»만 바꾸므로 출력이 같아야 한다 — 이 경계가 둘의 검증 방법을 가른다.

5동작 — 합성 데이터 한 모델의 생애

직접 실행(합성 데이터 · NumPy · 시드 0) 사례다. 특성 8개 이진 분류 문제를 은닉 64개 신경망 하나로 풀며, 네 하위 토픽을 차례로 지난다.

  1. 원자료 학습 2,000건 중 특성 값 481개(3.0%)가 비어 있고 한 열은 단위가 1,000배 크다 — 결측을 학습 세트 중앙값으로 채우고 평균 · 표준편차로 척도를 맞춘다(데이터 준비).
  2. 같은 모델을 전처리 없이 학습하면 테스트 1,000건 정확도 0.524, 전처리 뒤에는 0.891 이다 — 전처리 값(중앙값 · 평균)을 모델과 같은 판으로 묶어 저장한다(MLOps).
  3. 매개변수 641개를 대칭 INT8 로 옮기면 2,564바이트가 641바이트가 되고 정확도는 0.890, 원래 모델과 예측 일치율은 0.999 다(Jacob 2018 의 영점 0 대칭 방식 · 원문 식 직접 계산).
  4. 같은 방법을 2비트까지 줄이면 정확도 0.626 · 일치율 0.609 로 떨어져 배포 후보에서 뺀다 — 4비트는 0.962 였고, 2비트 일치율은 시드 1 ~ 3 에서 0.629 ~ 0.878 로 크게 갈렸다(경량화).
  5. 요청 1,000건을 한 건씩 처리하면 모델 호출 1,000번, 32건씩 묶으면 32번이다 — 가중치는 그대로라 예측은 같다(추론 · 하드웨어).
  6. 입력 세 열의 평균이 0.8 표준편차 옮겨지고 경계도 바뀐 새 데이터 1,000건에서 정확도가 0.754 로 내려가고, 옮겨진 열의 PSI 는 0.586 · 그대로인 열은 0.014 다(모니터링).
  7. 새 데이터 2,000건으로 전처리부터 다시 맞추고 재학습한 INT8 모델은 별도 새 테스트 1,000건에서 0.938, 같은 세트에서 옛 모델은 0.763 이다(재학습).
1 데이터 준비 결측 481개(3.0%) 중앙값 채움 · 척도 맞춤 학습 세트 값으로만 계산 2 학습 · 판 저장 전처리 없음 0.524 전처리 뒤 0.891 전처리 값 + 모델 = 한 판 3 4 경량화 2,564 → 641바이트(INT8) 정확도 0.890 · 일치 0.999 2비트 일치 0.609 → 제외 5 서빙 · 배칭 요청 1,000건 호출 1,000번 → 32번 예측은 그대로 6 감시 · 분포 변화 정확도 0.754 PSI 0.586 ↔ 0.014 옮겨진 열 ↔ 그대로인 열 7 재학습 · 새 판 새 데이터 2,000건 새 판 0.938 같은 세트 옛 판 0.763 다시 처음부터 정확도 = 테스트 1,000건 · 일치 = 원래 모델과 같은 예측 비율 · PSI = 학습 분포와 새 분포의 차이(10구간)

그림 4 · 한 모델이 준비 ① → 학습 ② → 경량화 ③④ → 서빙 ⑤ → 감시 ⑥ → 재학습 ⑦ 을 지나며, 단계마다 다른 숫자로 확인한다.

테스트 정확도 — 단계별 같은 모델 구조 1.0 0.5 0 0.524 0.891 0.890 0.626 0.754 0.938 전처리 없음 전처리 뒤 INT8 2비트 분포 변화 재학습 준비 누락 데이터 준비 경량화 경량화 한계 감시가 잡음 MLOps 재학습 실패 상태 FP32 모델 경량화 모델 재학습 새 판 분포 변화 · 재학습 막대는 새 데이터 테스트

그림 5 · 정확도를 크게 깎는 것은 전처리 누락과 분포 변화이고, 8비트 경량화는 거의 깎지 않는다 — 감시가 없으면 0.754 가 계속 이어진다.

🔑 정확도를 크게 깎는 사건은 모델 안이 아니라 모델 밖(전처리 누락 · 입력 분포 변화)에서 일어난다 — 그래서 AI 엔지니어링의 일 대부분은 모델 둘레에 있다.

6비교 — 관련 기술과의 경계

기술맡는 일AI 엔지니어링과의 경계넘기는 곳
인공지능 개요(AI 기초)학습 방식 · 알고리즘 · 신경망 원리모델을 «어떻게 배우나»는 그쪽, «어떻게 내고 지키나»는 이쪽과적합 · 교차 검증은 AI 기초
생성형 AILLM · 에이전트 · 생성 모델의 구조와 활용모델 자체는 그쪽, 프롬프트 판 · 토큰 서빙 운영은 이쪽LLMOps · 추론 최적화로 받음
신뢰할 수 있는 AI(AI 신뢰)법 · 윤리 · 설명 · 안전 기준기준을 정하는 것은 그쪽, 기준을 파이프라인 관문으로 넣는 것은 이쪽모델 카드 · 가드레일은 AI 신뢰
산업 AI 응용(AI 응용)이상 탐지 · 예지 보전 · 비전 검사 같은 과제무엇을 풀지는 그쪽, 공장 기기에 올리고 감시하는 것은 이쪽엣지 AI · 모델 모니터링으로 받음

분석질문이 «어떤 모델 · 기법을 쓰나»면 AI 기초 · 생성형 AI · AI 응용으로, «그 모델을 언제 · 어디서 · 얼마에 · 얼마나 오래 돌리나»면 AI 엔지니어링으로 보낸다. 근거는 표의 「경계」 열 — 배포 4단계(Paleyes 2022 표 1)는 모델 종류와 상관없이 같다.

7실무 진단 — 운영 문제의 원인 가르기

분석먼저 출력이 틀린지(정확도) · 느린지(지연) 가르고, 틀리면 «처음부터인가 · 점점인가»를 본다. 사례에서 처음부터 틀린 경우(0.524)와 점점 나빠진 경우(0.754)는 고치는 하위 토픽이 달랐다(동작 2 · 6 단계).

#증상의심 원인맡는 쪽확인 자료판정 기준(근거)
1배포 첫날부터 검증보다 크게 낮음학습 · 서빙 전처리 불일치데이터 준비 · MLOps모델 판에 묶인 전처리 값 ↔ 서빙 코드 값값이 다르면 불일치(사례 0.891 ↔ 0.524)
2경량화 뒤 일부 입력에서 답이 바뀜비트 폭이 너무 좁음경량화원래 모델과 예측 일치율일치율이 크게 떨어지면 비트를 올림(사례 4비트 0.962 · 2비트 0.609)
3몇 주에 걸쳐 정확도 하락입력 분포 · 경계 변화MLOps(감시)특성별 PSI · 레이블 도착분 정확도일부 열의 PSI 만 크게 튀면 분포 변화(사례 0.586 ↔ 0.014)
4정확도는 그대로인데 느리고 비쌈배칭 없음 · 메모리 부족추론 · 하드웨어호출 수 · 지연 분위수 · 장치 사용률호출 수가 요청 수와 같으면 배칭 없음(사례 1,000번)

학습 단계 자체의 과적합 · 과소적합은 이 표보다 먼저 AI 기초 쪽에서 확인한다 — 학습 점수가 낮은 모델은 운영 단계를 고쳐도 좋아지지 않는다.

8시험 대비

시험에서는 AI 모델의 개발 · 배포 · 운영 체계를 묻는 정의 · 특징형과, 모델 중심에서 데이터 · 운영 중심으로 옮겨 가는 흐름을 묻는 동향 · 발전형이 나올 수 있다. MLOps 한 토픽만 쓰면 범위가 좁아지므로, 네 하위 토픽의 산출물 흐름과 되먹임 고리를 함께 그려야 한다.

답안 목차
  1. 개요 — 정의 · 등장 배경(기술 부채 · 9단계 작업 흐름) · MLOps 와의 범위 차이(전체 ↔ 부분)
  2. 구성 — 그림 3 하위 지도(데이터 준비 · MLOps · 경량화 · 추론 · 하드웨어) + 받는 것 → 내는 것 표
  3. 운영 흐름 — 그림 4 사례(준비 → 학습 → 경량화 → 서빙 → 감시 → 재학습 · 단계별 확인 숫자)
  4. 핵심 원리 — 그림 5 단계별 정확도(전처리 누락 · 분포 변화가 크게 깎고 INT8 은 거의 안 깎음)
  5. 진단 · 운영 기준 — 정확도 · 일치율 · PSI · 호출 수 · 지연을 하위 토픽별로
  6. 동향 — LLMOps · 추론 최적화 · 온디바이스 AI · 신뢰 기준의 파이프라인 관문화

꼭 쓸 키워드
MLOps모델 레지스트리학습서빙 불일치양자화배칭데이터 드리프트PSI재학습기술 부채온디바이스 AI

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 단계마다 정확도가 어디서 깎이는지 숫자로 보이는 것이다 — 「운영이 중요하다」 대신 모델 밖 사건이 정확도를 더 크게 깎는다는 근거가 된다.

9오해와 사실

  • 오해AI 엔지니어링은 MLOps 의 다른 이름이다.
    사실MLOps 는 판 관리 · 배포 · 감시 · 재학습 파이프라인을 맡는 하위 토픽이고, AI 엔지니어링은 그 앞의 데이터 준비와 뒤의 경량화 · 추론 하드웨어까지 포함한다(그림 3).
  • 오해경량화하면 정확도가 반드시 떨어진다.
    사실사례의 INT8 은 정확도 0.891 → 0.890 · 예측 일치율 0.999 였고, AlexNet 은 35배를 줄이고도 정확도 손실이 없었다(Han 2016 초록) — 다만 2비트처럼 지나치게 좁히면 무너진다.
  • 오해배포한 모델은 코드를 바꾸지 않으면 그대로다.
    사실코드가 같아도 입력 분포가 바뀌면 사례처럼 0.891 이 0.754 로 내려가며, 외부 세계의 변화는 계속 유지 비용을 만든다(Sculley 2015 7절).

10핵심 정리

구성맡는 일산출물확인 지표흔한 실패대표 토픽
데이터 준비정제 · 레이블 · 특성학습 세트결측 비율 · 레이블 일치도학습 · 서빙 전처리 불일치데이터 레이블링 · 특성 공학
MLOps판 관리 · 배포 · 감시 · 재학습승인된 모델 판재현 여부 · PSI감시 없음 · 재현 불가MLOps(개념) · 모델 모니터링
경량화수 표현 · 구조 줄이기작은 모델크기 · 예측 일치율비트 폭 과소양자화 · 지식 증류
추론 · 하드웨어실행 방법 · 장치예측 응답지연 · 처리량 · 호출 수배칭 없음 · 메모리 부족추론 최적화 · GPU · NPU
감시 · 재학습 고리운영 결과를 데이터로 되돌림새 학습 데이터레이블 도착분 정확도점점 나빠짐을 놓침드리프트 · 모델 배포 · 서빙
LLM 서비스 운영프롬프트 판 · 토큰 비용평가 통과한 설정회귀 평가 점수 · 토큰 수공급자 모델 변경을 놓침LLMOps

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Hidden Technical Debt in Machine Learning Systems (Advances in Neural Information Processing Systems 28) — 모델 코드보다 주변 운영 체계가 훨씬 크다는 문제의식을 볼 때
    NeurIPS · 2015-12 · papers.nips.cc/paper/2015/hash/86df7dcfd896fcaf2674f757a2463eba-Abstract.html · 확인 2026-11-13
  3. ★ Software Engineering for Machine Learning: A Case Study (ICSE-SEIP 2019) — 머신러닝 작업 흐름 9단계와 되먹임 고리를 볼 때
    IEEE · ACM · 2019-05 · doi.org/10.1109/ICSE-SEIP.2019.00042 · 확인 2026-11-13
  4. ★ Challenges in Deploying Machine Learning: a Survey of Case Studies (ACM Computing Surveys · arXiv 2011.09926) — 배포 4단계마다 실제로 부딪힌 문제 목록(표 1)을 볼 때
    ACM · 2022-05 · arxiv.org/abs/2011.09926 · 확인 2026-11-13
  5. ★ Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding (ICLR 2016 · arXiv 1510.00149) — 경량화가 모델 크기를 얼마나 줄이는지 첫 수치를 볼 때
    ICLR · 2015-10 · arxiv.org/abs/1510.00149 · 확인 2026-11-13
  6. 본문 근거
  7. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (CVPR 2018 · arXiv 1712.05877) — IEEE · CVF · 2017-12 · arxiv.org/abs/1712.05877 · 확인 2026-11-13
  8. NumPy Random Generator 문서(numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13