AI 엔지니어링(AI 시스템 운영)AI Engineering
학습한 AI 모델을 실제 서비스로 내고 계속 쓸 수 있게, 데이터 준비 · MLOps · 경량화 · 추론 하드웨어로 이어지는 개발 · 배포 · 운영 체계 전체다. 하위 토픽 「MLOps」는 이 가운데 판 관리 · 배포 · 감시 · 재학습 파이프라인 부분이다.
1요약
- AI 엔지니어링은 모델을 «만드는 일» 뒤를 맡으며, 데이터 준비 → MLOps → 경량화 → 추론 · 하드웨어 네 하위 토픽이 이어지고 그 위에서 산업 AI · 생성형 AI 서비스가 돈다(Paleyes 2022 표 1 의 배포 4단계와 같은 흐름).
- 실제 시스템에서 모델 코드는 작은 상자 하나이고 둘레의 데이터 · 설정 · 감시 체계가 훨씬 크다(Sculley 2015 그림 1) — AI 엔지니어링의 합성 사례에서 전처리를 빼면 테스트 정확도가 0.891 에서 0.524로 무너졌다.
- 「운영 중 AI 가 이상하다」는 값이 틀렸나, 느린가, 점점 나빠지나로 가른다 — 처음부터 틀리면 데이터 준비, 정확도는 그대로인데 느리거나 비싸면 경량화 · 추론, 시간이 지나며 나빠지면 MLOps 의 감시 · 재학습이 맡는다.
2등장 배경
연구실의 모델은 고정된 데이터 세트에서 한 번 점수를 내면 끝나지만, 서비스의 모델은 매일 새 입력을 받고 몇 달씩 돈다. Sculley 등은 2015년 이 차이를 «기술 부채»로 정리하며, 외부 세계는 거의 안정되지 않아 그 변화가 계속 유지 비용을 만든다고 했다(Sculley 2015 7절).
2016년 Han 등은 가지치기 · 양자화 · 부호화로 AlexNet 저장 크기를 240 MB 에서 6.9 MB(35배)로 줄여 정확도 손실 없이 휴대 기기에 올릴 길을 보였다(Han 2016 초록). 2019년 Amershi 등은 요구 · 수집 · 정제 · 레이블링 · 특성 공학 · 학습 · 평가 · 배포 · 감시의 9단계 작업 흐름과, 평가 · 감시가 앞 단계로 되돌아가는 되먹임 고리를 그렸다(Amershi 2019 그림 1).
지금은 LLM 서비스까지 같은 흐름 위에서 운영된다. 프롬프트 판 관리는 LLMOps, 토큰 생성 속도는 추론 최적화가 맡는 식으로 다루는 범위가 넓어졌고, 분야 이름도 «운영»에서 개발부터 운영까지 묶는 «엔지니어링»으로 바뀌었다.
3쉽게 이해하기 — 하루 3,000개를 내는 도시락 센터
하나 씨는 학교 급식용 도시락을 하루 3,000개 만드는 센터를 맡는다. 시장에서 온 재료를 씻고 다듬어 계량하고, 시식을 거친 레시피만 장부에 판 번호를 붙여 주방에 내린다. 배달 상자에 들어가도록 반찬 칸을 줄이고, 트럭 한 대에 32개씩 실어 점심 전에 나른다. 학생들이 남기는 음식이 늘면 그 반찬의 재료부터 다시 고른다.
그림 1 · 도시락 센터는 손질 · 장부 · 포장 · 배달 네 구역이 차례로 일하고, 손님 반응이 다시 재료 손질로 돌아온다.
그림 2 · 칸을 줄이면 도시락 자체가 바뀌어 다시 맛봐야 하고, 트럭 싣는 법을 바꾸면 도시락은 그대로이고 왕복만 줄어든다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 재료 손질 · 계량 | 데이터 준비 | 결측 채우기 · 척도 맞추기 · 레이블 붙이기 · 특성 만들기 |
| 시식 통과 레시피 장부 | MLOps · 모델 레지스트리 | 검증을 통과한 모델만 판 번호와 함께 올린다 |
| 반찬 칸 줄이기 | 경량화 | 양자화 · 가지치기 · 지식 증류로 모델을 작게 만든다 |
| 오븐 수 | 추론 하드웨어 | GPU · NPU · 엣지 기기의 연산 · 메모리 |
| 한 대에 32개 | 추론 최적화 · 배칭 | 요청을 묶어 호출 수를 줄인다 |
| 남긴 음식 | 모델 모니터링 | 입력 분포 · 정확도 변화를 잰다 |
| 재료부터 다시 | 재학습 | 새 데이터로 다시 학습해 새 판을 낸다 |
⚠ 비유가 맞지 않는 곳: 도시락은 남긴 음식이 바로 보이지만, 모델은 정답 레이블이 늦게 오거나 오지 않아 입력 분포로 먼저 짐작해야 한다. 또 경량화는 사람이 맛을 보는 대신 원래 모델과 예측을 견주는 숫자로 확인한다.
4구조 — 네 하위 토픽과 넘겨주는 산출물
네 하위 토픽은 앞 단계의 산출물을 받아 다음 단계에 넘긴다. Amershi 2019 의 9단계 가운데 수집 · 정제 · 레이블링은 데이터 쪽, 학습 · 평가 · 배포 · 감시는 모델 쪽이며, AI 엔지니어링은 그 뒤에 «작게 만들기 · 빨리 돌리기»를 더한다.
그림 3 · 네 하위 토픽은 원자료 → 학습 세트 → 승인된 모델 판 → 작은 모델 → 예측 순으로 산출물을 넘기고, 감시 결과는 데이터 준비로 되돌아간다.
| 하위 토픽 | 푸는 문제 | 받는 것 → 내는 것 | 대표 지표 | 대표 토픽 |
|---|---|---|---|---|
| 데이터 준비 | 원자료가 학습에 쓸 꼴이 아님 | 원자료 → 학습 세트 | 결측 비율 · 레이블 일치도 | 데이터 레이블링 · 특성 공학 |
| MLOps | 어느 모델이 언제 왜 바뀌었나 모름 | 학습 세트 → 승인된 모델 판 | 재현 여부 · 배포 주기 | MLOps(개념) · 모델 배포 · 서빙 · 모델 모니터링 |
| 경량화 | 모델이 기기 · 비용에 맞지 않음 | 모델 판 → 작은 모델 | 크기 · 예측 일치율 | 양자화 · 지식 증류 |
| 추론 · 하드웨어 | 요청이 몰리면 느리고 비쌈 | 작은 모델 + 요청 → 예측 | 지연 · 처리량 · 호출 수 | 추론 최적화 · GPU · NPU |
🔑 경량화는 모델의 «값»을 바꾸므로 정확도를 다시 재야 하고, 추론 최적화는 «실행 방법»만 바꾸므로 출력이 같아야 한다 — 이 경계가 둘의 검증 방법을 가른다.
5동작 — 합성 데이터 한 모델의 생애
직접 실행(합성 데이터 · NumPy · 시드 0) 사례다. 특성 8개 이진 분류 문제를 은닉 64개 신경망 하나로 풀며, 네 하위 토픽을 차례로 지난다.
- 원자료 학습 2,000건 중 특성 값 481개(3.0%)가 비어 있고 한 열은 단위가 1,000배 크다 — 결측을 학습 세트 중앙값으로 채우고 평균 · 표준편차로 척도를 맞춘다(데이터 준비).
- 같은 모델을 전처리 없이 학습하면 테스트 1,000건 정확도 0.524, 전처리 뒤에는 0.891 이다 — 전처리 값(중앙값 · 평균)을 모델과 같은 판으로 묶어 저장한다(MLOps).
- 매개변수 641개를 대칭 INT8 로 옮기면 2,564바이트가 641바이트가 되고 정확도는 0.890, 원래 모델과 예측 일치율은 0.999 다(Jacob 2018 의 영점 0 대칭 방식 · 원문 식 직접 계산).
- 같은 방법을 2비트까지 줄이면 정확도 0.626 · 일치율 0.609 로 떨어져 배포 후보에서 뺀다 — 4비트는 0.962 였고, 2비트 일치율은 시드 1 ~ 3 에서 0.629 ~ 0.878 로 크게 갈렸다(경량화).
- 요청 1,000건을 한 건씩 처리하면 모델 호출 1,000번, 32건씩 묶으면 32번이다 — 가중치는 그대로라 예측은 같다(추론 · 하드웨어).
- 입력 세 열의 평균이 0.8 표준편차 옮겨지고 경계도 바뀐 새 데이터 1,000건에서 정확도가 0.754 로 내려가고, 옮겨진 열의 PSI 는 0.586 · 그대로인 열은 0.014 다(모니터링).
- 새 데이터 2,000건으로 전처리부터 다시 맞추고 재학습한 INT8 모델은 별도 새 테스트 1,000건에서 0.938, 같은 세트에서 옛 모델은 0.763 이다(재학습).
그림 4 · 한 모델이 준비 ① → 학습 ② → 경량화 ③④ → 서빙 ⑤ → 감시 ⑥ → 재학습 ⑦ 을 지나며, 단계마다 다른 숫자로 확인한다.
그림 5 · 정확도를 크게 깎는 것은 전처리 누락과 분포 변화이고, 8비트 경량화는 거의 깎지 않는다 — 감시가 없으면 0.754 가 계속 이어진다.
🔑 정확도를 크게 깎는 사건은 모델 안이 아니라 모델 밖(전처리 누락 · 입력 분포 변화)에서 일어난다 — 그래서 AI 엔지니어링의 일 대부분은 모델 둘레에 있다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | AI 엔지니어링과의 경계 | 넘기는 곳 |
|---|---|---|---|
| 인공지능 개요(AI 기초) | 학습 방식 · 알고리즘 · 신경망 원리 | 모델을 «어떻게 배우나»는 그쪽, «어떻게 내고 지키나»는 이쪽 | 과적합 · 교차 검증은 AI 기초 |
| 생성형 AI | LLM · 에이전트 · 생성 모델의 구조와 활용 | 모델 자체는 그쪽, 프롬프트 판 · 토큰 서빙 운영은 이쪽 | LLMOps · 추론 최적화로 받음 |
| 신뢰할 수 있는 AI(AI 신뢰) | 법 · 윤리 · 설명 · 안전 기준 | 기준을 정하는 것은 그쪽, 기준을 파이프라인 관문으로 넣는 것은 이쪽 | 모델 카드 · 가드레일은 AI 신뢰 |
| 산업 AI 응용(AI 응용) | 이상 탐지 · 예지 보전 · 비전 검사 같은 과제 | 무엇을 풀지는 그쪽, 공장 기기에 올리고 감시하는 것은 이쪽 | 엣지 AI · 모델 모니터링으로 받음 |
분석질문이 «어떤 모델 · 기법을 쓰나»면 AI 기초 · 생성형 AI · AI 응용으로, «그 모델을 언제 · 어디서 · 얼마에 · 얼마나 오래 돌리나»면 AI 엔지니어링으로 보낸다. 근거는 표의 「경계」 열 — 배포 4단계(Paleyes 2022 표 1)는 모델 종류와 상관없이 같다.
7실무 진단 — 운영 문제의 원인 가르기
분석먼저 출력이 틀린지(정확도) · 느린지(지연) 가르고, 틀리면 «처음부터인가 · 점점인가»를 본다. 사례에서 처음부터 틀린 경우(0.524)와 점점 나빠진 경우(0.754)는 고치는 하위 토픽이 달랐다(동작 2 · 6 단계).
| # | 증상 | 의심 원인 | 맡는 쪽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 배포 첫날부터 검증보다 크게 낮음 | 학습 · 서빙 전처리 불일치 | 데이터 준비 · MLOps | 모델 판에 묶인 전처리 값 ↔ 서빙 코드 값 | 값이 다르면 불일치(사례 0.891 ↔ 0.524) |
| 2 | 경량화 뒤 일부 입력에서 답이 바뀜 | 비트 폭이 너무 좁음 | 경량화 | 원래 모델과 예측 일치율 | 일치율이 크게 떨어지면 비트를 올림(사례 4비트 0.962 · 2비트 0.609) |
| 3 | 몇 주에 걸쳐 정확도 하락 | 입력 분포 · 경계 변화 | MLOps(감시) | 특성별 PSI · 레이블 도착분 정확도 | 일부 열의 PSI 만 크게 튀면 분포 변화(사례 0.586 ↔ 0.014) |
| 4 | 정확도는 그대로인데 느리고 비쌈 | 배칭 없음 · 메모리 부족 | 추론 · 하드웨어 | 호출 수 · 지연 분위수 · 장치 사용률 | 호출 수가 요청 수와 같으면 배칭 없음(사례 1,000번) |
학습 단계 자체의 과적합 · 과소적합은 이 표보다 먼저 AI 기초 쪽에서 확인한다 — 학습 점수가 낮은 모델은 운영 단계를 고쳐도 좋아지지 않는다.
8시험 대비
시험에서는 AI 모델의 개발 · 배포 · 운영 체계를 묻는 정의 · 특징형과, 모델 중심에서 데이터 · 운영 중심으로 옮겨 가는 흐름을 묻는 동향 · 발전형이 나올 수 있다. MLOps 한 토픽만 쓰면 범위가 좁아지므로, 네 하위 토픽의 산출물 흐름과 되먹임 고리를 함께 그려야 한다.
- 개요 — 정의 · 등장 배경(기술 부채 · 9단계 작업 흐름) · MLOps 와의 범위 차이(전체 ↔ 부분)
- 구성 — 그림 3 하위 지도(데이터 준비 · MLOps · 경량화 · 추론 · 하드웨어) + 받는 것 → 내는 것 표
- 운영 흐름 — 그림 4 사례(준비 → 학습 → 경량화 → 서빙 → 감시 → 재학습 · 단계별 확인 숫자)
- 핵심 원리 — 그림 5 단계별 정확도(전처리 누락 · 분포 변화가 크게 깎고 INT8 은 거의 안 깎음)
- 진단 · 운영 기준 — 정확도 · 일치율 · PSI · 호출 수 · 지연을 하위 토픽별로
- 동향 — LLMOps · 추론 최적화 · 온디바이스 AI · 신뢰 기준의 파이프라인 관문화
꼭 쓸 키워드
MLOps모델 레지스트리학습서빙 불일치양자화배칭데이터 드리프트PSI재학습기술 부채온디바이스 AI
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 단계마다 정확도가 어디서 깎이는지 숫자로 보이는 것이다 — 「운영이 중요하다」 대신 모델 밖 사건이 정확도를 더 크게 깎는다는 근거가 된다.
9오해와 사실
- 오해AI 엔지니어링은 MLOps 의 다른 이름이다.사실MLOps 는 판 관리 · 배포 · 감시 · 재학습 파이프라인을 맡는 하위 토픽이고, AI 엔지니어링은 그 앞의 데이터 준비와 뒤의 경량화 · 추론 하드웨어까지 포함한다(그림 3).
- 오해경량화하면 정확도가 반드시 떨어진다.사실사례의 INT8 은 정확도 0.891 → 0.890 · 예측 일치율 0.999 였고, AlexNet 은 35배를 줄이고도 정확도 손실이 없었다(Han 2016 초록) — 다만 2비트처럼 지나치게 좁히면 무너진다.
- 오해배포한 모델은 코드를 바꾸지 않으면 그대로다.사실코드가 같아도 입력 분포가 바뀌면 사례처럼 0.891 이 0.754 로 내려가며, 외부 세계의 변화는 계속 유지 비용을 만든다(Sculley 2015 7절).
10핵심 정리
| 구성 | 맡는 일 | 산출물 | 확인 지표 | 흔한 실패 | 대표 토픽 |
|---|---|---|---|---|---|
| 데이터 준비 | 정제 · 레이블 · 특성 | 학습 세트 | 결측 비율 · 레이블 일치도 | 학습 · 서빙 전처리 불일치 | 데이터 레이블링 · 특성 공학 |
| MLOps | 판 관리 · 배포 · 감시 · 재학습 | 승인된 모델 판 | 재현 여부 · PSI | 감시 없음 · 재현 불가 | MLOps(개념) · 모델 모니터링 |
| 경량화 | 수 표현 · 구조 줄이기 | 작은 모델 | 크기 · 예측 일치율 | 비트 폭 과소 | 양자화 · 지식 증류 |
| 추론 · 하드웨어 | 실행 방법 · 장치 | 예측 응답 | 지연 · 처리량 · 호출 수 | 배칭 없음 · 메모리 부족 | 추론 최적화 · GPU · NPU |
| 감시 · 재학습 고리 | 운영 결과를 데이터로 되돌림 | 새 학습 데이터 | 레이블 도착분 정확도 | 점점 나빠짐을 놓침 | 드리프트 · 모델 배포 · 서빙 |
| LLM 서비스 운영 | 프롬프트 판 · 토큰 비용 | 평가 통과한 설정 | 회귀 평가 점수 · 토큰 수 | 공급자 모델 변경을 놓침 | LLMOps |
11참고 문헌
- 먼저 볼 문헌
- ★ Hidden Technical Debt in Machine Learning Systems (Advances in Neural Information Processing Systems 28) — 모델 코드보다 주변 운영 체계가 훨씬 크다는 문제의식을 볼 때
- ★ Software Engineering for Machine Learning: A Case Study (ICSE-SEIP 2019) — 머신러닝 작업 흐름 9단계와 되먹임 고리를 볼 때
- ★ Challenges in Deploying Machine Learning: a Survey of Case Studies (ACM Computing Surveys · arXiv 2011.09926) — 배포 4단계마다 실제로 부딪힌 문제 목록(표 1)을 볼 때
- ★ Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding (ICLR 2016 · arXiv 1510.00149) — 경량화가 모델 크기를 얼마나 줄이는지 첫 수치를 볼 때
- 본문 근거
- Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (CVPR 2018 · arXiv 1712.05877) — IEEE · CVF · 2017-12 ·
arxiv.org/abs/1712.05877· 확인 2026-11-13 - NumPy Random Generator 문서(numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13