AI › AI 엔지니어링(AI 시스템 운영) › MLOps

MLOps(개념)Machine Learning Operations

머신러닝 모델을 코드 · 데이터 · 모델 세 가지 판으로 함께 관리하고, 학습 · 검증 · 배포 · 감시 · 재학습을 자동 파이프라인으로 이어 운영 중인 모델의 품질을 지키는 공학 방식이다.

1요약

  1. MLOps 는 머신러닝 · 소프트웨어 공학(DevOps) · 데이터 공학을 잇는 운영 방식으로(Kreuzberger 2023 6절), 지속 학습(CT) 파이프라인 위에서 데이터 검증 · 재학습 · 모델 검증 · 배포 · 감시가 사람 손 없이 돈다.
  2. 코드가 그대로여도 들어오는 데이터가 바뀌면 모델이 낡는다 — 본문의 합성 사례에서 처음 모델을 그대로 둔 운영은 5 ~ 12주차 평균 정확도 0.688, 재학습 파이프라인을 둔 운영은 0.889 였다.
  3. 「모델이 나빠졌다」는 데이터 · 학습 · 승격 · 서빙 가운데 어느 판이 바뀌었는가로 가른다 — 모델 판의 계보(코드 판 · 데이터 묶음 · 학습 설정)를 남겨 두지 않으면 이 질문에 답할 수 없다.

2등장 배경

연구실의 모델은 노트북에서 한 번 학습해 결과표를 내면 끝나지만, 서비스의 모델은 매주 새 데이터를 받고 몇 달씩 돈다. 데이터 과학자가 모델 파일을 엔지니어에게 넘기면, 학습 때와 서비스 때 특징 계산이 달라지는 «학습 · 서빙 불일치»가 생기고 다시 학습할 사람도 정해지지 않았다(Google Cloud MLOps 수준 0).

Sculley 외(2015)는 머신러닝 시스템이 일반 소프트웨어보다 «숨은 기술 부채»를 더 빨리 쌓는다고 정리했고, Breck 외(2017)는 학습을 «소스가 코드와 데이터 둘인 컴파일»로 보고 운영 준비를 시험 28개로 재는 ML Test Score 를 냈다. Amershi 외(2019)는 대규모 개발 조직의 팀들이 9단계 머신러닝 작업 흐름을 기존 애자일 개발 과정에 맞춰 넣는 과정을 사례로 보고했다.

용어가 회사마다 달리 쓰이자 Kreuzberger 외(2023)가 문헌 · 도구 조사와 전문가 8명 면담으로 원칙 9 · 구성 요소 9 · 역할을 묶어 정의를 냈다. 지금은 생성형 모델 운영(LLMOps)이 같은 뼈대 위에 프롬프트 · 평가 관리를 더하는 쪽으로 넓어지고 있다.

3쉽게 이해하기 — 손님 입맛을 따라가는 식당 주방

식당 주방장 민호는 대표 소스를 매주 새로 끓인다. 레시피 노트(코드)와 그 주에 들어온 재료(데이터)로 정해진 순서대로 끓이고, 시식을 통과한 소스만 홀로 낸다. 병마다 «레시피 몇 판 · 어느 주 재료 · 몇 분 끓임»을 적어 기록장에 남긴다. 손님 반응 카드의 점수가 떨어지면, 민호는 새 재료로 소스를 다시 끓여 지금 소스보다 나을 때만 바꾼다.

1 레시피 노트 코드 저장소 이번 주 재료 데이터 2 주방 순서표 재료 확인 → 끓이기 → 맛 점수 재기 늘 같은 순서 파이프라인 3 시식 통과 모델 검증 4 병 기록장 레지스트리 5 손님 테이블 서빙 6 반응 카드 모니터링 점수가 떨어지면 다시 끓이기 = 지속 학습(CT) 판 · 기록 데이터 자동 순서 검증 · 감시 사용자 되돌아가는 길

그림 1 · 레시피와 재료가 주방 순서표를 거쳐 시식을 통과한 소스만 손님에게 가고, 손님 반응이 떨어지면 주방이 같은 순서로 다시 끓인다.

레시피 보기노트의 몇 판
재료 받기이번 주 입고분
순서대로 끓이기늘 같은 순서
시식하기지금 소스보다 나은가
병에 적기판 · 재료 · 시간
반응 보기점수 떨어지면 다시
비유 — 소스 병 레이블 레시피 셋째 판 8주차 재료 20분 끓임 시식 97점 실제 — 모델 판 v3 의 계보 코드 판 · 파이프라인 p1.0 데이터 · 8주차 묶음 학습 800행 학습 설정 · 학습률 0.5 · 반복 2,000회 검증 · 정확도 0.970(200행) 레이블 한 줄이 빠지면 같은 소스를 다시 끓이지 못한다 = 재현성 · 추적성

그림 2 · 소스 병 레이블이 «무엇으로 끓였나»를 남기듯, 모델 판에는 코드 판 · 데이터 묶음 · 학습 설정 · 검증 점수가 함께 묶여야 같은 모델을 다시 만들 수 있다.

비유 속 역할실제 이름실제로 하는 일
레시피 노트코드 저장소특징 계산 · 학습 · 평가 코드를 판으로 남긴다
이번 주 재료데이터 · 피처 스토어학습과 서빙이 같은 특징 값을 쓰게 한다
주방 순서표파이프라인 · 오케스트레이션검증 → 학습 → 평가 단계를 정해진 순서로 돌린다
시식 통과모델 검증 · 승격 기준새 모델이 지금 모델보다 나을 때만 내보낸다
병 기록장모델 레지스트리 · 메타데이터모델 판마다 코드 · 데이터 · 설정 · 점수를 묶는다
손님 테이블서빙실시간 · 일괄 예측으로 모델을 쓰게 한다
반응 카드모니터링예측 성능 · 입력 분포 · 자원을 잰다
다시 끓이기지속 학습(CT)기준을 넘으면 파이프라인을 다시 실행한다

⚠ 비유가 맞지 않는 곳: 주방장은 맛이 왜 떨어졌는지 바로 짐작하지만, 모델의 정답(레이블)은 며칠 · 몇 주 늦게 도착해 성능을 바로 잴 수 없는 때가 많다. 또 소스는 한 번에 한 병을 바꾸지만, 모델은 일부 요청에만 새 판을 내보내 견주어 볼 수 있다.

4구조 — 원칙 9 · 구성 요소 9 · 되먹임 고리

Kreuzberger(2023)는 MLOps 를 원칙(무엇을 지키나) · 구성 요소(무엇으로 하나) · 역할(누가 하나)로 나눈다. 원칙은 CI/CD 자동화 · 작업 흐름 조율 · 재현성 · 판 관리(데이터 · 모델 · 코드) · 협업 · 지속 학습과 평가 · 메타데이터 기록 · 지속 감시 · 되먹임 고리 아홉이다(4.1절).

코드 저장소 CI/CD 빌드 · 시험 · 배포 파이프라인 배포 데이터 피처 스토어 파이프라인(오케스트레이션) 데이터 검증 학습 평가 모델 검증 모델 레지스트리 판 · 계보 서빙 실시간 · 일괄 모니터링 성능 · 분포 · 자원 트리거 메타데이터 저장소 단계마다 입력 · 설정 · 지표 판 · 기록 데이터 · 예측 자동 처리 규칙 평가 · 감시 되먹임(트리거)

그림 3 · 코드와 데이터는 따로 들어오지만 파이프라인 안에서 한 모델 판으로 묶이고, 감시 결과가 트리거로 파이프라인에 되돌아가는 고리가 MLOps 의 뼈대다.

요소맡는 일남기는 것근거
코드 저장소 · CI/CD파이프라인 코드를 빌드 · 시험해 배포코드 판Kreuzberger 2023 C1 · C2
데이터 · 피처 스토어학습용(오프라인) · 서빙용(온라인) 특징을 한곳에서데이터 묶음 · 특징 정의C4
파이프라인 조율단계 순서를 방향 그래프(DAG)로 실행실행 기록C3 · P2
모델 검증기준 모델보다 나을 때만 승격검증 지표Google Cloud 수준 1
레지스트리 · 메타데이터모델 파일과 계보를 함께 저장모델 판 · 계보C6 · C7 · P7
모니터링서빙 성능 · 입력 · 인프라 감시 → 트리거지표 시계열C9 · P8 · P9

역할은 업무 책임자 · 솔루션 설계자 · 데이터 과학자 · 데이터 엔지니어 · 소프트웨어 엔지니어 · DevOps 엔지니어 · ML 엔지니어/MLOps 엔지니어로 나뉘고, 마지막 역할이 파이프라인 전체를 잇는다(Kreuzberger 2023 4.3절). 서빙 방식 · 모니터링 지표 · 실험 기록 · 피처 스토어의 속은 각각 모델 배포 · 서빙, 모델 모니터링, 실험 관리, 피처 스토어에서 다룬다.

5동작 — 합성 데이터로 12주 동안 재학습 파이프라인 돌리기

아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 default_rng(11) · 경사 하강 로지스틱 회귀(학습률 0.5 · 2,000회)를 직접 구현했고, 특징 2개 · 판정 경계 이동 · 결측은 설명용 가정 값이다.

  1. 0주차 — 4,000행(학습 3,200 · 검증 800)으로 v1 을 학습해 검증 정확도 0.944 를 얻고 레지스트리에 등록한다.
  2. 1 ~ 4주차 — 주마다 레이블이 붙은 1,000행이 도착하고 v1 정확도는 0.946 ~ 0.953 이다. 트리거 기준(정확도 0.90 미만 · 가정 값)에 걸리지 않는다.
  3. 5주차 — 판정 경계가 주마다 0.25씩 움직이기 시작해 정확도가 0.898 로 내려간다. 트리거 → 데이터 검증 통과 → 그 주 800행 학습 · 200행 평가에서 후보 0.945 · v1 0.910 이므로 v2 로 승격한다.
  4. 7주차 — 정확도 0.832 로 트리거가 걸리지만 데이터 검증이 특징 x2 결측 10.8%(기준 1% 이하)를 찾아 파이프라인을 멈춘다. v2 가 그대로 서빙되고 데이터 담당에게 알림이 간다.
  5. 8주차 — 정확도 0.772 → 트리거 → 결측 0% 로 통과 → 후보 0.970 · v2 0.775 로 차이 0.195 가 승격 기준(0.01 이상 · 가정 값)을 넘어 v3 가 된다.
  6. v3 를 등록하면서 코드 판 p1.0 · 8주차 묶음 800행 · 학습률 0.5 · 반복 2,000회 · 정확도 0.970 을 한 계보로 묶는다.
  7. 9주차 v3 는 0.952 로 돌아오고, 11주차 0.864 에서 다시 트리거 → 후보 0.975 로 v4 가 된다.
  8. 5 ~ 12주차 평균 정확도는 v1 을 그대로 둔 운영 0.688, 재학습 파이프라인 운영 0.889 이다.
5 8주차 실행 — 승격 모니터링 0.772 기준 0.90 미만 데이터 검증 결측 0.000 기준 0.01 이하 학습 800행 2,000회 반복 평가 200행 후보 0.970 운영 v2 0.775 승격 게이트 +0.195 기준 0.01 이상 레지스트리 v3 등록 6 4 7주차 실행 — 중단 모니터링 0.832 기준 0.90 미만 데이터 검증 결측 0.108 기준 넘음 · 실패 파이프라인 중단 v2 그대로 서빙 데이터 담당 알림 학습 · 평가 · 승격 실행 안 함 평가 · 감시 자동 처리 규칙 판 · 기록 실패 · 중단 점선 = 실행되지 않은 단계

그림 4 · 같은 트리거라도 7주차는 데이터 검증에서 멈춰 v2 를 지키고, 8주차는 모든 관문을 지나 v3 로 바뀐다 — 관문이 «언제 바꾸지 않을지»를 정한다.

주별 정확도 · 합성 데이터 · 주마다 레이블 1,000행 0.5 0.6 0.7 0.8 0.9 1.0 1 3 5 7 9 11 주차 트리거 기준 0.90 0.553 3 v2 5 v3 7 v4 4 7주차 0.832 · 검증 실패 → v2 유지 · 다음 주 0.772 수준 1 · 재학습 파이프라인(점 = 트리거) 수준 0 · v1 고정 승격 시점

그림 5 · 모델을 한 번 배포하고 두면 경계가 움직이는 동안 정확도가 0.553 까지 떨어지지만, 트리거 · 관문 · 승격 고리는 세 번 바꿔 0.77 위를 지킨다.

🔑 코드가 한 줄도 바뀌지 않아도 데이터가 바뀌면 모델은 새 판이 필요하다 — MLOps 가 판으로 묶는 단위는 «코드»가 아니라 «코드 + 데이터 + 학습 설정»이다.

6비교 — Google Cloud 성숙도 수준 0 · 1 · 2

DevOps 와의 차이는 DevOps 의 비교 절이 맡고, 여기서는 MLOps 안의 자동화 정도를 견준다.

기준수준 0 · 수작업수준 1 · 파이프라인 자동화수준 2 · CI/CD 파이프라인 자동화
배포하는 것학습된 모델 파일학습 파이프라인 전체파이프라인 + 그 구성 요소의 빌드 · 시험 체계
재학습사람이 노트북에서 · 드물게일정 · 새 데이터 · 성능 저하 트리거로 자동(CT)수준 1 + 새 파이프라인 코드도 자동 시험 · 배포
데이터 · 모델 검증사람 눈단계마다 자동 관문자동 관문 + 구성 요소 단위 시험
메타데이터거의 없음실행마다 기록기록 + 레지스트리 · 피처 스토어와 연동
감시성능 감시 거의 없음성능 감시가 트리거로 이어짐같은 고리 + 파이프라인 실행 감시
이 사례로 보면5 ~ 12주차 평균 0.6880.889(승격 3 · 중단 1)이 사례에서 실행하지 않음

분석모델이 1년에 몇 번만 바뀌고 데이터가 거의 그대로면 수준 0 으로도 되지만, 입력 분포가 주 단위로 움직이면 수준 1 의 CT 가 먼저이고, 파이프라인 코드 자체를 자주 고치는 팀이면 수준 2 의 CI/CD 를 더한다. 근거는 표의 「재학습」 행과 사례 평균(0.688 ↔ 0.889)이다.

7실무 진단 — 운영 모델 품질 저하의 단계 가르기

분석모니터링 경보가 오면 «데이터 → 파이프라인 관문 → 승격 · 계보 → 서빙» 순서로 본다. 데이터 묶음이 깨졌으면 뒤 단계 지표가 모두 흔들려 원인을 가리고, 계보가 없으면 어느 판이 바뀌었는지부터 알 수 없기 때문이다(Kreuzberger 2023 P4 · P7).

#증상의심 원인단계확인 자료판정 기준(근거)
1검증 점수는 좋은데 서빙 정확도만 낮음학습 · 서빙 특징 계산이 다름데이터 · 특징같은 요청의 학습용 · 서빙용 특징 값 대조두 값이 같아야 함(Breck 2017 Monitor 3 학습 · 서빙 불일치)
2재학습했는데 새 판이 이전보다 나쁨관문 없이 자동 배포모델 검증승격 기록의 후보 · 운영 지표같은 평가 묶음에서 기준 모델 이상일 때만 승격(Google Cloud 수준 1)
3같은 설정으로 다시 학습하면 점수가 다름데이터 묶음 · 난수 시드 미기록판 관리레지스트리 계보(코드 판 · 데이터 · 설정)같은 입력이면 같은 결과(Kreuzberger 2023 P3 재현성)
4트리거가 매주 걸려 파이프라인이 멈춤입력 결측 · 형식 변경데이터 검증검증 단계 로그의 결측 · 범위 위반사례 기준 결측 1% 이하 · 스키마 일치(Breck 2017 Data 1)
5모델이 몇 달째 같은 판트리거 · 재학습 경로 없음성숙도레지스트리 마지막 등록일모델 노후 점검(Breck 2017 Monitor 4)

운영 준비 정도는 Breck(2017)의 시험 28개로 잴 수 있다 — 수동 시행 0.5점 · 자동 반복 1점을 네 영역(데이터 · 모델 · 인프라 · 감시)별로 더하고, 가장 낮은 영역 점수가 최종 점수다(6절 A · 표 V).

8시험 대비

출제 정보 정보관리(130회) · 컴퓨터시스템응용(138회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 MLOps 의 개념 · 필요성 · 원칙을 묻는 정의 · 특징형, 파이프라인 구성 요소와 성숙도를 그려 보이게 하는 구조 · 구성형이 나올 수 있다. 정의 · 특징형이면 «모델 노후 문제 → 정의 → 원칙 → 성숙도» 순서로, 구조 · 구성형이면 그림 3 의 구성 요소마다 «남기는 판»을 붙여 쓴다.

답안 목차
  1. 개요 — 정의(ML · SW 공학 · 데이터 공학의 결합 · Kreuzberger 2023) · DevOps 와 다른 점 = 바뀌는 단위가 코드 + 데이터 + 모델
  2. 필요성 — 학습 · 서빙 불일치 · 숨은 기술 부채(Sculley 2015) · 사례 평균 정확도 0.688 ↔ 0.889
  3. 구성 요소 — 그림 3 코드 저장소 · CI/CD · 피처 스토어 · 파이프라인 · 레지스트리 · 서빙 · 모니터링 · 메타데이터
  4. 동작 — 그림 4 트리거 → 데이터 검증 → 학습 → 평가 → 승격 게이트 → 등록 · 중단 경로
  5. 성숙도 — 수준 0 · 1 · 2 비교표 · 그림 5 정확도 변화 · ML Test Score 최소값 규칙
  6. 고려 사항 — 레이블 지연 · 계보 기록 · LLMOps 로 넓어지는 흐름

꼭 쓸 키워드
지속 학습(CT)CI/CD파이프라인 오케스트레이션모델 레지스트리메타데이터재현성학습서빙 불일치승격 게이트성숙도 수준ML Test Score

다른 답안과 차이를 내는 한 가지는 그림 4 처럼 «트리거가 걸렸지만 바꾸지 않은 경우»를 함께 보이는 것이다 — 자동화를 «자주 바꾸기»가 아니라 «관문을 통과한 것만 바꾸기»로 설명한다.

9오해와 사실

  • 오해MLOps 는 DevOps 도구에 모델 파일을 하나 더 올리는 것이다.
    사실Google Cloud 는 CT 를 머신러닝 시스템에만 있는 새 성질로 두고, 수준 1 부터 배포 단위를 모델이 아니라 학습 파이프라인 전체로 본다.
  • 오해재학습을 자동으로 돌리면 모델은 늘 좋아진다.
    사실사례 7주차처럼 결측 10.8% 묶음으로 학습했다면 나쁜 판이 나갔을 것이고, 관문이 멈춰 v2 를 지켰다.
  • 오해모델 파일만 보관하면 다시 만들 수 있다.
    사실재현에는 코드 판 · 데이터 묶음 · 학습 설정이 함께 필요하다(Kreuzberger 2023 P3 · P4) — 사례 v3 계보 항목은 넷이다.

10핵심 정리

구분맡는 일남기는 판 · 기록사례 값근거
코드 · CI/CD파이프라인 코드 빌드 · 시험 · 배포코드 판p1.0Kreuzberger 2023 C1 · C2
데이터학습 · 서빙에 같은 특징데이터 묶음주마다 1,000행C4
데이터 검증깨진 묶음에서 멈춤검증 로그7주차 결측 0.108 → 중단Breck 2017 Data 1
학습 · 승격후보가 기준 이상일 때만 교체후보 · 운영 지표8주차 0.970 ↔ 0.775Google Cloud 수준 1
레지스트리모델과 계보를 함께 저장모델 판 v1 ~ v4v3 계보 항목 넷C6 · C7
모니터링성능 감시 → 트리거지표 시계열기준 0.90 · 트리거 4번C9 · P8 · P9
성숙도자동화 정도 판단수준 0 · 1 · 2평균 0.688 ↔ 0.889Google Cloud · Breck 2017

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ MLOps: Continuous delivery and automation pipelines in machine learning — 수준 0 · 1 · 2 와 CI · CD · CT 의 차이를 볼 때
    Google Cloud · 2026-11 · docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning · 확인 2026-11-09
  3. ★ Machine Learning Operations (MLOps): Overview, Definition, and Architecture (IEEE Access 11 31866-31879) — 원칙 9 · 구성 요소 9 · 역할과 정의 문장을 볼 때
    IEEE · 2023-03 · doi.org/10.1109/ACCESS.2023.3262138 · 확인 2026-11-09
  4. ★ The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction (IEEE Big Data 2017) — 운영 준비 정도를 시험 28개와 점수로 잴 때
    IEEE · 2017-12 · research.google/pubs/the-ml-test-score-a-rubric-for-ml-production-readiness-and-technical-debt-reduction/ · 확인 2026-11-09
  5. ★ Hidden Technical Debt in Machine Learning Systems (NIPS 2015 2503-2511) — 머신러닝 시스템에 쌓이는 기술 부채의 출발점을 볼 때
    NeurIPS · 2015-12 · research.google/pubs/hidden-technical-debt-in-machine-learning-systems/ · 확인 2026-11-09
  6. 본문 근거
  7. Software Engineering for Machine Learning: A Case Study (ICSE-SEIP 2019) — IEEE · 2019-05 · www.microsoft.com/en-us/research/publication/software-engineering-for-machine-learning-a-case-study/ · 확인 2026-11-09
  8. Machine Learning Operations (MLOps): Overview, Definition, and Architecture (arXiv 2205.02302v3) — arXiv · 2022-05 · arxiv.org/abs/2205.02302 · 확인 2026-11-09
  9. NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-09