AI › AI 엔지니어링(AI 시스템 운영) › MLOps

실험 관리Experiment Tracking

머신러닝 학습을 한 번 돌릴 때마다 매개변수 · 지표 · 산출물 · 코드 판 · 데이터 · 실행 환경을 한 묶음으로 기록해, 실행끼리 견주고 같은 결과를 다시 만들 수 있게 하는 방식이다.

1요약

  1. 실험 관리는 MLOps 의 개발 단계에서 실행(run) 하나를 기록 단위로 삼아 매개변수 · 지표 · 산출물 · 코드 판 · 데이터 지문 · 환경을 묶어 두는 일로, 그 기록 위에서 실행 비교 · 하이퍼파라미터 탐색 · 모델 레지스트리 등록이 돈다.
  2. 기록이 없으면 «어느 설정이 그 점수를 냈나»에 답하지 못한다 — 학회가 코드 제출을 권장하자 최종 원고의 코드 첨부 비율이 2018년 50% 미만에서 2019년 74.4% 로 올랐다(Pineau 2021 표 1).
  3. 「새 설정이 더 낫다」는 판정은 두 실행의 데이터 지문이 같은가, 차이가 시드 사이 흔들림보다 큰가로 가른다 — 본문 사례에서 시드 하나만 보면 은닉 4 와 은닉 16 이 똑같이 0.930 이었다.

2등장 배경

데이터 과학자는 모델 하나를 내기까지 수십 ~ 수백 개를 만들지만, 그 기록은 노트 · 파일 이름 · 기억에 흩어져 있었다. Vartak 외(2016)는 여러 회사 면담에서 이 과정을 «ad hoc» 으로 정리하고, «잘못된 특징으로 만든 모델은 어느 것인가» · «상위 두 모델은 어떻게 달랐나» 같은 질문에 답할 수단이 없다고 보고하며 모델을 원래 학습 환경에서 자동으로 기록하는 ModelDB 를 냈다.

연구 쪽에서도 같은 문제가 드러났다. Henderson 외(2018)는 심층 강화 학습 결과가 환경의 비결정성과 방법 자체의 분산 때문에 다시 얻기 어렵다고 보였고, Raff(2019)의 재현 시도에서는 논문 255편 결과의 63.5% 만 다시 얻었다(Pineau 2021 2절 인용). 2019년 NeurIPS 는 코드 제출 방침 · 재현 도전 · 재현성 점검표 세 가지를 도입했다.

지금은 공개 오픈소스 추적 도구가 실행 · 실험 · 지표 · 산출물을 API 한 줄로 남기고, 등록된 모델 판을 그 판을 만든 실행에 잇는다(MLflow Tracking · MLflow Model Registry). Bouthillier 외(2021)는 데이터 표본 · 초기값 · 하이퍼파라미터 선택이 결과를 크게 흔든다고 보여, 실행 하나가 아니라 «여러 시드의 실행 묶음»을 기록 · 비교하는 쪽으로 관행이 옮겨 가고 있다.

3쉽게 이해하기 — 육상 코치의 훈련 일지

코치 수아는 선수에게 훈련 계획을 바꿔 가며 400 m 를 뛰게 한다. 뛸 때마다 일지 한 쪽에 계획 · 트랙 상태 · 신발과 날씨 · 스톱워치 기록 · 영상 파일 이름을 적는다. 주말에는 일지 쪽을 나란히 펼쳐 같은 트랙 · 같은 날씨에서 뛴 기록끼리만 견주고, 가장 나은 계획을 대회 출전 명단에 일지 쪽 번호와 함께 올린다.

훈련 계획표 1 매개변수 · 코드 판 트랙 상태 데이터 신발 · 날씨 실행 환경 훈련 일지 한 쪽 2 실행(run) 기록 스톱워치 기록 지표 훈련 영상 파일 산출물 일지 나란히 펼치기 3 같은 트랙 · 같은 날씨 쪽끼리만 실행 비교 대회 출전 명단 4 고른 계획 + 일지 쪽 번호 모델 레지스트리 코치 수아 = 데이터 과학자 · 뛸 때마다 1 을 적고, 주말에 3 에서 견준 뒤 4 에 올린다 설정 데이터 기록 · 식별 평가 · 비교 함께 남기는 것(환경 · 파일)

그림 1 · 뛸 때마다 계획 · 트랙 · 날씨와 기록을 일지 한 쪽에 함께 적어 두면, 나중에 조건이 같은 쪽끼리 견주고 고른 계획이 어느 쪽에서 왔는지 명단에 남는다.

계획 정하기반복 수 · 쉬는 시간
트랙 적기젖은 트랙 · 마른 트랙
기록 재기스톱워치 초
일지 한 쪽계획 · 조건 · 기록 한 장
나란히 견주기같은 조건 쪽끼리
명단 올리기일지 쪽 번호와 함께
비유 — 뒷바람 분 날의 일지 3월 2일 계획 B 바람 없음 58.1초 3월 9일 계획 B 뒷바람 4 m/s 56.4초 더 빨라진 것은 계획이 아니라 바람 실제 — 데이터 지문이 다른 실행 실행 r02 은닉 16 · 학습률 0.5 데이터 d659c946 정확도 0.930 실행 r16 은닉 16 · 학습률 0.5 데이터 a9e9e056 정확도 0.963 같은 설정 · 다른 데이터(잡음 0.20) → 비교에서 뺀다 굵은 테두리 = 두 쪽 사이에서 달라진 조건 데이터 지문(SHA-256 앞 8자리)

그림 2 · 뒷바람 분 날의 기록이 빠른 것은 계획 덕이 아니듯, 데이터 지문이 다른 실행의 높은 점수는 설정 덕이 아니라서 비교에서 뺀다.

비유 속 역할실제 이름실제로 하는 일
훈련 계획표매개변수 · 코드 판학습 전에 정한 값과 학습 코드의 커밋을 남긴다
트랙 상태데이터 지문학습 · 검증 데이터의 해시로 같은 데이터인지 가린다
신발 · 날씨실행 환경언어 · 라이브러리 판 · 장치를 남긴다
스톱워치 기록지표정확도 · 손실을 실행마다 · 단계마다 남긴다
훈련 영상산출물가중치 파일 · 그림 · 예측 결과 파일을 보관한다
일지 한 쪽실행(run)위 다섯을 실행 ID 하나로 묶는다
나란히 펼치기실행 비교 · 검색조건으로 거르고 지표로 정렬해 견준다
출전 명단모델 레지스트리고른 실행의 모델을 판으로 올리고 그 실행을 가리킨다

⚠ 비유가 맞지 않는 곳: 선수의 컨디션은 다시 맞출 수 없지만, 학습은 난수 시드 · 데이터 · 코드 · 환경을 모두 같게 하면 같은 결과를 다시 낼 수 있다. 다만 GPU 연산처럼 비결정 연산이 섞이면 시드가 같아도 값이 조금 달라진다(PyTorch Reproducibility).

4구조 — 실험 · 실행 · 기록 묶음

기록의 단위는 실행이다 — 학습 스크립트를 한 번 돌린 것이 실행 하나이고, 같은 과제의 실행들은 실험 하나에 묶인다(MLflow Tracking). 하이퍼파라미터 탐색처럼 실행이 많아지면 부모 실행 아래 자식 실행을 두고 부모 ID 태그(mlflow.parentRunId)로 묶어 찾는다(MLflow 시스템 태그).

실험 · 두 달 분류 부모 실행 · 은닉 16 · 학습률 0.5 · 자식 5개 자식 실행 r02 · 시드 0 매개변수 은닉 16 · 학습률 0.5 · 시드 0 지표 검증 정확도 0.930 코드 판 커밋 c7e1(가정 값) 데이터 지문 SHA-256 앞 8자리 d659c946 실행 환경 Python 3.14.0 · NumPy 2.4.3 산출물 가중치 파일 · 결정 경계 그림 모델 레지스트리 moon-clf 판 1 만든 실행 = r02 실행 비교 · 검색 지문 · 매개변수로 거르고 지표로 정렬 설정 결과 · 비교 식별 · 판 데이터 함께 남기는 것 점선 = 부모 실행(묶음)

그림 3 · 실행 하나는 설정 · 결과 · 출처 · 환경 · 파일 여섯 항목을 실행 ID 하나로 묶고, 레지스트리의 모델 판과 비교 화면은 모두 이 실행 ID 를 거쳐 기록에 이른다.

구성 요소담는 것사례 값근거
실험같은 과제의 실행 묶음「두 달 분류」 하나MLflow Tracking
실행 · 부모 실행한 번 실행의 ID · 탐색 묶음자식 15 + 단독 1 · 부모 3mlflow.parentRunId
매개변수학습 전에 정한 값은닉 16 · 학습률 0.5 · 시드 0log_param
지표실행 결과 수치(단계별 가능)검증 정확도 0.930log_metric
출처 태그코드 커밋 · 원본 파일 · 사용자커밋 c7e1(가정 값)mlflow.source.git.commit
데이터 지문학습 · 검증 데이터의 해시d659c946log_input · hashlib SHA-256
모델 판 연결등록 모델 판 → 만든 실행moon-clf 판 1 → r02MLflow Model Registry

환경(언어 · 라이브러리 판 · 장치)과 산출물(가중치 · 그림)은 태그 · 파일로 함께 남긴다. 무엇을 다음에 돌릴지 고르는 탐색 기법은 하이퍼파라미터 튜닝이, 등록 뒤 배포 · 감시는 모델 배포 · 서빙 · 모델 모니터링이 맡는다.

5동작 — 두 달 모양 데이터로 실행 16개 견주기

아래 값은 직접 실행(합성 데이터) 결과다 — Python 3.14.0 · NumPy 2.4.3 · 은닉층 하나(tanh)인 신경망을 경사 하강 300회로 직접 구현했고, 데이터는 default_rng(2026) 로 만든 두 달 모양 1,200행(잡음 표준편차 0.30)이다. 실행 이름 · 커밋 · 모델 이름은 설명용 가정 값이다.

  1. 데이터를 학습 900 · 검증 300 행으로 나누고, 배열 바이트의 SHA-256 앞 8자리 d659c946 을 데이터 지문으로 남긴다.
  2. r01(은닉 4 · 학습률 0.5 · 시드 0)은 검증 정확도 0.883, r02(은닉 16 · 0.5 · 시드 0)는 0.930, r03(은닉 16 · 2.0 · 시드 0)은 0.917 이다 — 실행마다 매개변수 · 지표 · 가중치 파일 · 커밋 c7e1 · 환경을 함께 남긴다.
  3. r04(은닉 4 · 시드 3)는 0.930 으로 r02 와 같다 — 시드 하나로는 두 설정을 가르지 못한다.
  4. 설정 셋을 부모 실행으로 두고 시드 0 ~ 4 자식 실행을 5개씩, 모두 15개(r01 ~ r04 포함)로 돌린다 — 평균 ± 표준편차는 은닉 4 · 0.5 가 0.900 ± 0.019, 은닉 16 · 0.5 가 0.926 ± 0.006, 은닉 16 · 2.0 이 0.915 ± 0.003 이다.
  5. 실험 전체를 정확도 순으로 정렬하면 맨 위에 r16(0.963)이 온다 — 데이터 지문이 a9e9e056(잡음 0.20 으로 다시 만든 데이터)이라 지문 필터 d659c946 으로 비교에서 뺀다.
  6. 은닉 16 · 0.5 와 은닉 16 · 2.0 의 평균 차이 0.011 은 평균 차이의 표준오차 0.003 의 약 3.6배라, 부모 실행 메모에 «은닉 16 · 0.5 채택» 근거로 남긴다.
  7. r02 의 가중치를 등록 모델 moon-clf 판 1 로 올리면 판 1 이 r02 를 가리키고, 같은 커밋 · 데이터 · 매개변수 · 환경으로 다시 돌린 결과도 0.930 이다.
실행 비교 · 정확도 순 정렬 실행 데이터 지문 매개변수 검증 정확도 r16 a9e9e056 은닉 16 · 0.5 · 시드 0 0.963(1회) 5 지문 다름 → 비교에서 뺌 부모 A d659c946 은닉 16 · 0.5 0.926 ± 0.006 6 B 와 차이 0.011 표준오차 3.6배 부모 B d659c946 은닉 16 · 2.0 0.915 ± 0.003 부모 C d659c946 은닉 4 · 0.5 0.900 ± 0.019 4 설정마다 부모 실행 1 + 시드 0 ~ 4 자식 5 = 자식 실행 15개 · ± = 시드 사이 표준편차 7 레지스트리 moon-clf 판 1 ← 만든 실행 r02(시드 0 · 0.930) 점선 행 = 비교에서 뺀 실행 굵은 테두리 = 고른 설정 다른 데이터 지문

그림 4 · 정렬 맨 위의 0.963 은 지문이 달라 빠지고, 같은 지문 안에서는 시드 5개 평균과 흔들림으로 설정을 고른 뒤 고른 실행이 레지스트리 판 1 로 올라간다.

설정별 검증 정확도 · 시드 0 ~ 4 · 합성 데이터 검증 300행 0.87 0.89 0.91 0.93 0.95 0.930 은닉 4 · 시드 3 은닉 16 · 시드 0 0.900 ± 0.019 0.926 ± 0.006 0.915 ± 0.003 은닉 4 · 0.5 은닉 16 · 0.5 은닉 16 · 2.0 띠 = 평균 ± 표준편차 평균 굵은 테두리 점 = 시드 0 0.930 기준선

그림 5 · 시드 하나씩만 보면 은닉 4 와 은닉 16 이 0.930 으로 같지만, 시드 5개를 겹쳐 보면 은닉 4 는 평균이 0.026 낮고 흔들림(± 0.019)이 가장 커서 시드 3 의 0.930 은 운 좋은 한 번이었다.

🔑 실행 기록이 남기는 것은 점수가 아니라 «그 점수를 낸 조건»이다 — 데이터 지문 · 코드 판 · 시드가 같은 실행끼리만 점수를 견줄 수 있다.

6비교 — 실험 기록 방식 넷

기준수기 표(노트 · 스프레드시트)로그 파일 · 폴더 이름추적 서버 API 기록자동 기록(autolog)
기록 시점실행 뒤 사람이 옮겨 적음실행 중 파일로실행 중 log_param · log_metric 호출지원 라이브러리 학습 함수가 스스로
빠지기 쉬운 것커밋 · 데이터 지문 · 환경매개변수 일부 · 실패한 실행직접 부른 것 밖의 값데이터 지문 · 업무 지표
실행 비교눈으로 · 행 정렬스크립트를 따로 씀조건 검색 · 정렬(search_runs)추적 서버와 같음
모델 판 연결없음(파일 경로만)폴더 이름 규칙등록 모델 판 → 실행 ID추적 서버와 같음
드는 품실행마다 손처음 규칙 정할 때코드 몇 줄한 줄 · 지원 라이브러리 한정

분석실행이 열 개 남짓이고 혼자 쓰면 수기 표로도 되지만, 시드 반복 · 탐색으로 실행이 수십 개를 넘거나 레지스트리에 모델을 올릴 계획이면 추적 서버 API 기록이 먼저이고, 자동 기록은 그 위에 데이터 지문 · 업무 지표를 직접 더해 쓴다. 근거는 표의 「빠지기 쉬운 것」 · 「모델 판 연결」 행과 MLflow Tracking 의 «자동 기록과 직접 기록을 함께 쓰라»는 안내다.

7실무 진단 — 비교 · 재현이 어긋날 때의 기록 가르기

분석점수가 어긋나면 «데이터 지문 → 코드 판 → 시드 · 비결정 연산 → 환경 판» 순서로 본다. 데이터가 다르면 뒤의 어떤 차이도 설정 탓으로 읽히고, 코드 판이 다르면 시드를 맞춰도 같은 계산이 아니기 때문이다(MLflow 시스템 태그 · PyTorch Reproducibility).

#증상의심 원인단계확인 자료판정 기준(근거)
1같은 설정인데 한 실행만 점수가 크게 높음다른 데이터로 학습 · 평가데이터두 실행의 데이터 지문 태그지문이 같아야 비교함(사례 r16)
2최고 점수 실행을 다시 돌리면 점수가 다름커밋 안 된 코드 · 시드 미기록코드 판 · 매개변수mlflow.source.git.commit · 시드 매개변수커밋 · 시드가 기록에 있어야 함(MLflow 시스템 태그)
3시드까지 같은데 소수 셋째 자리가 흔들림GPU 비결정 연산실행 환경장치 · 결정적 알고리즘 설정CPU · GPU 사이 재현은 보장 안 됨(PyTorch Reproducibility)
4새 설정이 한 번은 이기고 한 번은 짐차이가 시드 흔들림 안비교시드 반복 실행의 표준편차차이가 표준오차보다 충분히 커야 함(Bouthillier 2021 · 사례 3.6배)
5운영 모델이 어느 실행에서 왔는지 모름레지스트리 판이 실행을 안 가리킴모델 판 연결등록 모델 판의 원본 실행 ID판마다 만든 실행이 있어야 함(MLflow Model Registry)

검증 세트 하나로 수십 개 실행을 고르면 검증 점수 자체에 맞춰지는 과적합이 생기므로, 마지막 판정은 고른 실행 하나만 따로 둔 시험 세트로 잰다.

8시험 대비

시험에서는 실험 관리의 개념 · 기록 항목 · 필요성을 묻는 정의 · 특징형, 실험 · 실행 · 레지스트리의 관계를 그려 보이게 하는 구조 · 구성형이 나올 수 있다. 정의 · 특징형이면 «기록 없을 때의 문제 → 정의 → 기록 항목 여섯 → 재현성 · 비교»로, 구조 · 구성형이면 그림 3 의 항목마다 사례 값을 붙이고 레지스트리 연결 화살을 넣는다.

답안 목차
  1. 개요 — 정의(실행 단위 기록) · MLOps 개발 단계에서의 위치 · 하이퍼파라미터 튜닝 · 레지스트리와의 관계
  2. 필요성 — ad hoc 모델 개발(Vartak 2016) · 재현 실패(Pineau 2021 · 255편 중 63.5%) · 코드 첨부 50% 미만 → 74.4%
  3. 구성 요소 — 그림 3 실험 · 부모 · 자식 실행 · 매개변수 · 지표 · 출처 태그 · 데이터 지문 · 환경 · 산출물 표
  4. 동작 — 그림 4 기록 → 지문 필터 → 시드 묶음 비교 → 등록 · 실행 16개 사례
  5. 재현성 · 비교 원칙 — 그림 5 시드 흔들림 · 표준오차 · 비결정 연산 · 시험 세트 분리
  6. 기록 방식 비교 — 수기 · 로그 파일 · 추적 서버 · 자동 기록 표와 선택 기준

꼭 쓸 키워드
실행(run)실험매개변수지표산출물데이터 지문재현성난수 시드부모자식 실행모델 레지스트리

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «시드 하나로는 같은 점수, 시드 다섯으로는 다른 판정»을 보이는 것이다 — 실험 관리를 «기록 보관»이 아니라 «공정한 비교의 조건»으로 설명한다.

9오해와 사실

  • 오해최종 모델 파일만 남기면 실험 기록은 충분하다.
    사실모델 판이 만든 실행을 가리켜야 매개변수 · 커밋 · 데이터를 되짚을 수 있다(MLflow Model Registry) — 사례의 판 1 은 r02 를 가리킨다.
  • 오해시드를 고정하면 어디서 돌려도 같은 결과가 나온다.
    사실PyTorch 문서는 판 · 플랫폼 · CPU 와 GPU 사이 완전한 재현을 보장하지 않는다고 적는다 — 환경 판도 기록해야 한다.
  • 오해실험 목록에서 지표가 가장 높은 실행이 가장 좋은 설정이다.
    사실사례 정렬 맨 위 0.963 은 다른 데이터의 결과였고, 같은 데이터 안에서도 시드 하나의 0.930 은 설정을 가르지 못했다.

10핵심 정리

구분맡는 일남기는 것사례 값근거
실험 · 실행기록 단위와 묶음실행 ID · 부모 ID자식 15 + 단독 1MLflow Tracking
매개변수학습 전 설정은닉 수 · 학습률 · 시드은닉 16 · 0.5 · 시드 0log_param
지표결과 수치검증 정확도0.926 ± 0.006log_metric
데이터 지문같은 데이터인지 가림해시d659c946 ↔ a9e9e056hashlib SHA-256
출처 · 환경같은 계산인지 가림커밋 · 라이브러리 판Python 3.14.0 · NumPy 2.4.3시스템 태그
실행 비교공정한 판정필터 · 정렬 · 표준편차차이 0.011 = 3.6배Bouthillier 2021
모델 판 연결운영 모델의 출처판 → 실행 IDmoon-clf 판 1 → r02MLflow Model Registry

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ MLflow Tracking (MLflow 3 documentation) — 실행 · 실험 · 매개변수 · 지표 · 산출물의 뜻을 볼 때
    MLflow Project · 2026-11 · mlflow.org/docs/latest/ml/tracking/ · 확인 2026-11-12
  3. ★ MLflow Model Registry — 등록 모델 판이 만든 실행을 가리키는 방식을 볼 때
    MLflow Project · 2026-11 · mlflow.org/docs/latest/ml/model-registry/ · 확인 2026-11-12
  4. ★ ModelDB: A System for Machine Learning Model Management (HILDA 2016 · DOI 10.1145/2939502.2939516) — 실험 기록이 없을 때 데이터 과학자가 답하지 못하는 질문을 볼 때
    ACM · 2016-06 · people.csail.mit.edu/matei/papers/2016/hilda_modeldb.pdf · 확인 2026-11-12
  5. ★ Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program · JMLR 22(164) 1-20) — 코드 제출 방침 · 재현성 점검표의 효과를 볼 때
    JMLR · 2021-01 · jmlr.org/papers/v22/20-303.html · 확인 2026-11-12
  6. 본문 근거
  7. MLflow Tracking API - System Tags Reference — MLflow Project · 2026-11 · mlflow.org/docs/latest/ml/tracking/tracking-api/ · 확인 2026-11-12
  8. Deep Reinforcement Learning that Matters (AAAI 2018 · arXiv 1709.06560) — arXiv · 2017-09 · arxiv.org/abs/1709.06560 · 확인 2026-11-12
  9. Accounting for Variance in Machine Learning Benchmarks (MLSys 2021 · arXiv 2103.03098) — arXiv · 2021-03 · arxiv.org/abs/2103.03098 · 확인 2026-11-12
  10. PyTorch 2.15 Reproducibility (notes/randomness) — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/notes/randomness.html · 확인 2026-11-12
  11. NumPy Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12
  12. Python 3.14 hashlib - Secure hashes and message digests — Python Software Foundation · 2026-11 · docs.python.org/3.14/library/hashlib.html · 확인 2026-11-12