실험 관리Experiment Tracking
머신러닝 학습을 한 번 돌릴 때마다 매개변수 · 지표 · 산출물 · 코드 판 · 데이터 · 실행 환경을 한 묶음으로 기록해, 실행끼리 견주고 같은 결과를 다시 만들 수 있게 하는 방식이다.
1요약
- 실험 관리는 MLOps 의 개발 단계에서 실행(run) 하나를 기록 단위로 삼아 매개변수 · 지표 · 산출물 · 코드 판 · 데이터 지문 · 환경을 묶어 두는 일로, 그 기록 위에서 실행 비교 · 하이퍼파라미터 탐색 · 모델 레지스트리 등록이 돈다.
- 기록이 없으면 «어느 설정이 그 점수를 냈나»에 답하지 못한다 — 학회가 코드 제출을 권장하자 최종 원고의 코드 첨부 비율이 2018년 50% 미만에서 2019년 74.4% 로 올랐다(Pineau 2021 표 1).
- 「새 설정이 더 낫다」는 판정은 두 실행의 데이터 지문이 같은가, 차이가 시드 사이 흔들림보다 큰가로 가른다 — 본문 사례에서 시드 하나만 보면 은닉 4 와 은닉 16 이 똑같이 0.930 이었다.
2등장 배경
데이터 과학자는 모델 하나를 내기까지 수십 ~ 수백 개를 만들지만, 그 기록은 노트 · 파일 이름 · 기억에 흩어져 있었다. Vartak 외(2016)는 여러 회사 면담에서 이 과정을 «ad hoc» 으로 정리하고, «잘못된 특징으로 만든 모델은 어느 것인가» · «상위 두 모델은 어떻게 달랐나» 같은 질문에 답할 수단이 없다고 보고하며 모델을 원래 학습 환경에서 자동으로 기록하는 ModelDB 를 냈다.
연구 쪽에서도 같은 문제가 드러났다. Henderson 외(2018)는 심층 강화 학습 결과가 환경의 비결정성과 방법 자체의 분산 때문에 다시 얻기 어렵다고 보였고, Raff(2019)의 재현 시도에서는 논문 255편 결과의 63.5% 만 다시 얻었다(Pineau 2021 2절 인용). 2019년 NeurIPS 는 코드 제출 방침 · 재현 도전 · 재현성 점검표 세 가지를 도입했다.
지금은 공개 오픈소스 추적 도구가 실행 · 실험 · 지표 · 산출물을 API 한 줄로 남기고, 등록된 모델 판을 그 판을 만든 실행에 잇는다(MLflow Tracking · MLflow Model Registry). Bouthillier 외(2021)는 데이터 표본 · 초기값 · 하이퍼파라미터 선택이 결과를 크게 흔든다고 보여, 실행 하나가 아니라 «여러 시드의 실행 묶음»을 기록 · 비교하는 쪽으로 관행이 옮겨 가고 있다.
3쉽게 이해하기 — 육상 코치의 훈련 일지
코치 수아는 선수에게 훈련 계획을 바꿔 가며 400 m 를 뛰게 한다. 뛸 때마다 일지 한 쪽에 계획 · 트랙 상태 · 신발과 날씨 · 스톱워치 기록 · 영상 파일 이름을 적는다. 주말에는 일지 쪽을 나란히 펼쳐 같은 트랙 · 같은 날씨에서 뛴 기록끼리만 견주고, 가장 나은 계획을 대회 출전 명단에 일지 쪽 번호와 함께 올린다.
그림 1 · 뛸 때마다 계획 · 트랙 · 날씨와 기록을 일지 한 쪽에 함께 적어 두면, 나중에 조건이 같은 쪽끼리 견주고 고른 계획이 어느 쪽에서 왔는지 명단에 남는다.
그림 2 · 뒷바람 분 날의 기록이 빠른 것은 계획 덕이 아니듯, 데이터 지문이 다른 실행의 높은 점수는 설정 덕이 아니라서 비교에서 뺀다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 훈련 계획표 | 매개변수 · 코드 판 | 학습 전에 정한 값과 학습 코드의 커밋을 남긴다 |
| 트랙 상태 | 데이터 지문 | 학습 · 검증 데이터의 해시로 같은 데이터인지 가린다 |
| 신발 · 날씨 | 실행 환경 | 언어 · 라이브러리 판 · 장치를 남긴다 |
| 스톱워치 기록 | 지표 | 정확도 · 손실을 실행마다 · 단계마다 남긴다 |
| 훈련 영상 | 산출물 | 가중치 파일 · 그림 · 예측 결과 파일을 보관한다 |
| 일지 한 쪽 | 실행(run) | 위 다섯을 실행 ID 하나로 묶는다 |
| 나란히 펼치기 | 실행 비교 · 검색 | 조건으로 거르고 지표로 정렬해 견준다 |
| 출전 명단 | 모델 레지스트리 | 고른 실행의 모델을 판으로 올리고 그 실행을 가리킨다 |
⚠ 비유가 맞지 않는 곳: 선수의 컨디션은 다시 맞출 수 없지만, 학습은 난수 시드 · 데이터 · 코드 · 환경을 모두 같게 하면 같은 결과를 다시 낼 수 있다. 다만 GPU 연산처럼 비결정 연산이 섞이면 시드가 같아도 값이 조금 달라진다(PyTorch Reproducibility).
4구조 — 실험 · 실행 · 기록 묶음
기록의 단위는 실행이다 — 학습 스크립트를 한 번 돌린 것이 실행 하나이고, 같은 과제의 실행들은 실험 하나에 묶인다(MLflow Tracking). 하이퍼파라미터 탐색처럼 실행이 많아지면 부모 실행 아래 자식 실행을 두고 부모 ID 태그(mlflow.parentRunId)로 묶어 찾는다(MLflow 시스템 태그).
그림 3 · 실행 하나는 설정 · 결과 · 출처 · 환경 · 파일 여섯 항목을 실행 ID 하나로 묶고, 레지스트리의 모델 판과 비교 화면은 모두 이 실행 ID 를 거쳐 기록에 이른다.
| 구성 요소 | 담는 것 | 사례 값 | 근거 |
|---|---|---|---|
| 실험 | 같은 과제의 실행 묶음 | 「두 달 분류」 하나 | MLflow Tracking |
| 실행 · 부모 실행 | 한 번 실행의 ID · 탐색 묶음 | 자식 15 + 단독 1 · 부모 3 | mlflow.parentRunId |
| 매개변수 | 학습 전에 정한 값 | 은닉 16 · 학습률 0.5 · 시드 0 | log_param |
| 지표 | 실행 결과 수치(단계별 가능) | 검증 정확도 0.930 | log_metric |
| 출처 태그 | 코드 커밋 · 원본 파일 · 사용자 | 커밋 c7e1(가정 값) | mlflow. |
| 데이터 지문 | 학습 · 검증 데이터의 해시 | d659c946 | log_input · hashlib SHA-256 |
| 모델 판 연결 | 등록 모델 판 → 만든 실행 | moon-clf 판 1 → r02 | MLflow Model Registry |
환경(언어 · 라이브러리 판 · 장치)과 산출물(가중치 · 그림)은 태그 · 파일로 함께 남긴다. 무엇을 다음에 돌릴지 고르는 탐색 기법은 하이퍼파라미터 튜닝이, 등록 뒤 배포 · 감시는 모델 배포 · 서빙 · 모델 모니터링이 맡는다.
5동작 — 두 달 모양 데이터로 실행 16개 견주기
아래 값은 직접 실행(합성 데이터) 결과다 — Python 3.14.0 · NumPy 2.4.3 · 은닉층 하나(tanh)인 신경망을 경사 하강 300회로 직접 구현했고, 데이터는 default_rng(2026) 로 만든 두 달 모양 1,200행(잡음 표준편차 0.30)이다. 실행 이름 · 커밋 · 모델 이름은 설명용 가정 값이다.
- 데이터를 학습 900 · 검증 300 행으로 나누고, 배열 바이트의 SHA-256 앞 8자리
d659c946을 데이터 지문으로 남긴다. - r01(은닉 4 · 학습률 0.5 · 시드 0)은 검증 정확도 0.883, r02(은닉 16 · 0.5 · 시드 0)는 0.930, r03(은닉 16 · 2.0 · 시드 0)은 0.917 이다 — 실행마다 매개변수 · 지표 · 가중치 파일 · 커밋 c7e1 · 환경을 함께 남긴다.
- r04(은닉 4 · 시드 3)는 0.930 으로 r02 와 같다 — 시드 하나로는 두 설정을 가르지 못한다.
- 설정 셋을 부모 실행으로 두고 시드 0 ~ 4 자식 실행을 5개씩, 모두 15개(r01 ~ r04 포함)로 돌린다 — 평균 ± 표준편차는 은닉 4 · 0.5 가 0.900 ± 0.019, 은닉 16 · 0.5 가 0.926 ± 0.006, 은닉 16 · 2.0 이 0.915 ± 0.003 이다.
- 실험 전체를 정확도 순으로 정렬하면 맨 위에 r16(0.963)이 온다 — 데이터 지문이
a9e9e056(잡음 0.20 으로 다시 만든 데이터)이라 지문 필터d659c946으로 비교에서 뺀다. - 은닉 16 · 0.5 와 은닉 16 · 2.0 의 평균 차이 0.011 은 평균 차이의 표준오차 0.003 의 약 3.6배라, 부모 실행 메모에 «은닉 16 · 0.5 채택» 근거로 남긴다.
- r02 의 가중치를 등록 모델 moon-clf 판 1 로 올리면 판 1 이 r02 를 가리키고, 같은 커밋 · 데이터 · 매개변수 · 환경으로 다시 돌린 결과도 0.930 이다.
그림 4 · 정렬 맨 위의 0.963 은 지문이 달라 빠지고, 같은 지문 안에서는 시드 5개 평균과 흔들림으로 설정을 고른 뒤 고른 실행이 레지스트리 판 1 로 올라간다.
그림 5 · 시드 하나씩만 보면 은닉 4 와 은닉 16 이 0.930 으로 같지만, 시드 5개를 겹쳐 보면 은닉 4 는 평균이 0.026 낮고 흔들림(± 0.019)이 가장 커서 시드 3 의 0.930 은 운 좋은 한 번이었다.
🔑 실행 기록이 남기는 것은 점수가 아니라 «그 점수를 낸 조건»이다 — 데이터 지문 · 코드 판 · 시드가 같은 실행끼리만 점수를 견줄 수 있다.
6비교 — 실험 기록 방식 넷
| 기준 | 수기 표(노트 · 스프레드시트) | 로그 파일 · 폴더 이름 | 추적 서버 API 기록 | 자동 기록(autolog) |
|---|---|---|---|---|
| 기록 시점 | 실행 뒤 사람이 옮겨 적음 | 실행 중 파일로 | 실행 중 log_param · log_metric 호출 | 지원 라이브러리 학습 함수가 스스로 |
| 빠지기 쉬운 것 | 커밋 · 데이터 지문 · 환경 | 매개변수 일부 · 실패한 실행 | 직접 부른 것 밖의 값 | 데이터 지문 · 업무 지표 |
| 실행 비교 | 눈으로 · 행 정렬 | 스크립트를 따로 씀 | 조건 검색 · 정렬(search_runs) | 추적 서버와 같음 |
| 모델 판 연결 | 없음(파일 경로만) | 폴더 이름 규칙 | 등록 모델 판 → 실행 ID | 추적 서버와 같음 |
| 드는 품 | 실행마다 손 | 처음 규칙 정할 때 | 코드 몇 줄 | 한 줄 · 지원 라이브러리 한정 |
분석실행이 열 개 남짓이고 혼자 쓰면 수기 표로도 되지만, 시드 반복 · 탐색으로 실행이 수십 개를 넘거나 레지스트리에 모델을 올릴 계획이면 추적 서버 API 기록이 먼저이고, 자동 기록은 그 위에 데이터 지문 · 업무 지표를 직접 더해 쓴다. 근거는 표의 「빠지기 쉬운 것」 · 「모델 판 연결」 행과 MLflow Tracking 의 «자동 기록과 직접 기록을 함께 쓰라»는 안내다.
7실무 진단 — 비교 · 재현이 어긋날 때의 기록 가르기
분석점수가 어긋나면 «데이터 지문 → 코드 판 → 시드 · 비결정 연산 → 환경 판» 순서로 본다. 데이터가 다르면 뒤의 어떤 차이도 설정 탓으로 읽히고, 코드 판이 다르면 시드를 맞춰도 같은 계산이 아니기 때문이다(MLflow 시스템 태그 · PyTorch Reproducibility).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 같은 설정인데 한 실행만 점수가 크게 높음 | 다른 데이터로 학습 · 평가 | 데이터 | 두 실행의 데이터 지문 태그 | 지문이 같아야 비교함(사례 r16) |
| 2 | 최고 점수 실행을 다시 돌리면 점수가 다름 | 커밋 안 된 코드 · 시드 미기록 | 코드 판 · 매개변수 | mlflow. · 시드 매개변수 | 커밋 · 시드가 기록에 있어야 함(MLflow 시스템 태그) |
| 3 | 시드까지 같은데 소수 셋째 자리가 흔들림 | GPU 비결정 연산 | 실행 환경 | 장치 · 결정적 알고리즘 설정 | CPU · GPU 사이 재현은 보장 안 됨(PyTorch Reproducibility) |
| 4 | 새 설정이 한 번은 이기고 한 번은 짐 | 차이가 시드 흔들림 안 | 비교 | 시드 반복 실행의 표준편차 | 차이가 표준오차보다 충분히 커야 함(Bouthillier 2021 · 사례 3.6배) |
| 5 | 운영 모델이 어느 실행에서 왔는지 모름 | 레지스트리 판이 실행을 안 가리킴 | 모델 판 연결 | 등록 모델 판의 원본 실행 ID | 판마다 만든 실행이 있어야 함(MLflow Model Registry) |
검증 세트 하나로 수십 개 실행을 고르면 검증 점수 자체에 맞춰지는 과적합이 생기므로, 마지막 판정은 고른 실행 하나만 따로 둔 시험 세트로 잰다.
8시험 대비
시험에서는 실험 관리의 개념 · 기록 항목 · 필요성을 묻는 정의 · 특징형, 실험 · 실행 · 레지스트리의 관계를 그려 보이게 하는 구조 · 구성형이 나올 수 있다. 정의 · 특징형이면 «기록 없을 때의 문제 → 정의 → 기록 항목 여섯 → 재현성 · 비교»로, 구조 · 구성형이면 그림 3 의 항목마다 사례 값을 붙이고 레지스트리 연결 화살을 넣는다.
- 개요 — 정의(실행 단위 기록) · MLOps 개발 단계에서의 위치 · 하이퍼파라미터 튜닝 · 레지스트리와의 관계
- 필요성 — ad hoc 모델 개발(Vartak 2016) · 재현 실패(Pineau 2021 · 255편 중 63.5%) · 코드 첨부 50% 미만 → 74.4%
- 구성 요소 — 그림 3 실험 · 부모 · 자식 실행 · 매개변수 · 지표 · 출처 태그 · 데이터 지문 · 환경 · 산출물 표
- 동작 — 그림 4 기록 → 지문 필터 → 시드 묶음 비교 → 등록 · 실행 16개 사례
- 재현성 · 비교 원칙 — 그림 5 시드 흔들림 · 표준오차 · 비결정 연산 · 시험 세트 분리
- 기록 방식 비교 — 수기 · 로그 파일 · 추적 서버 · 자동 기록 표와 선택 기준
꼭 쓸 키워드
실행(run)실험매개변수지표산출물데이터 지문재현성난수 시드부모자식 실행모델 레지스트리
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «시드 하나로는 같은 점수, 시드 다섯으로는 다른 판정»을 보이는 것이다 — 실험 관리를 «기록 보관»이 아니라 «공정한 비교의 조건»으로 설명한다.
9오해와 사실
- 오해최종 모델 파일만 남기면 실험 기록은 충분하다.사실모델 판이 만든 실행을 가리켜야 매개변수 · 커밋 · 데이터를 되짚을 수 있다(MLflow Model Registry) — 사례의 판 1 은 r02 를 가리킨다.
- 오해시드를 고정하면 어디서 돌려도 같은 결과가 나온다.사실PyTorch 문서는 판 · 플랫폼 · CPU 와 GPU 사이 완전한 재현을 보장하지 않는다고 적는다 — 환경 판도 기록해야 한다.
- 오해실험 목록에서 지표가 가장 높은 실행이 가장 좋은 설정이다.사실사례 정렬 맨 위 0.963 은 다른 데이터의 결과였고, 같은 데이터 안에서도 시드 하나의 0.930 은 설정을 가르지 못했다.
10핵심 정리
| 구분 | 맡는 일 | 남기는 것 | 사례 값 | 근거 |
|---|---|---|---|---|
| 실험 · 실행 | 기록 단위와 묶음 | 실행 ID · 부모 ID | 자식 15 + 단독 1 | MLflow Tracking |
| 매개변수 | 학습 전 설정 | 은닉 수 · 학습률 · 시드 | 은닉 16 · 0.5 · 시드 0 | log_param |
| 지표 | 결과 수치 | 검증 정확도 | 0.926 ± 0.006 | log_metric |
| 데이터 지문 | 같은 데이터인지 가림 | 해시 | d659c946 ↔ a9e9e056 | hashlib SHA-256 |
| 출처 · 환경 | 같은 계산인지 가림 | 커밋 · 라이브러리 판 | Python 3.14.0 · NumPy 2.4.3 | 시스템 태그 |
| 실행 비교 | 공정한 판정 | 필터 · 정렬 · 표준편차 | 차이 0.011 = 3.6배 | Bouthillier 2021 |
| 모델 판 연결 | 운영 모델의 출처 | 판 → 실행 ID | moon-clf 판 1 → r02 | MLflow Model Registry |
11참고 문헌
- 먼저 볼 문헌
- ★ MLflow Tracking (MLflow 3 documentation) — 실행 · 실험 · 매개변수 · 지표 · 산출물의 뜻을 볼 때
- ★ MLflow Model Registry — 등록 모델 판이 만든 실행을 가리키는 방식을 볼 때
- ★ ModelDB: A System for Machine Learning Model Management (HILDA 2016 · DOI 10.1145/2939502.2939516) — 실험 기록이 없을 때 데이터 과학자가 답하지 못하는 질문을 볼 때
- ★ Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program · JMLR 22(164) 1-20) — 코드 제출 방침 · 재현성 점검표의 효과를 볼 때
- 본문 근거
- MLflow Tracking API - System Tags Reference — MLflow Project · 2026-11 ·
mlflow.org/docs/latest/ml/tracking/tracking-api/· 확인 2026-11-12 - Deep Reinforcement Learning that Matters (AAAI 2018 · arXiv 1709.06560) — arXiv · 2017-09 ·
arxiv.org/abs/1709.06560· 확인 2026-11-12 - Accounting for Variance in Machine Learning Benchmarks (MLSys 2021 · arXiv 2103.03098) — arXiv · 2021-03 ·
arxiv.org/abs/2103.03098· 확인 2026-11-12 - PyTorch 2.15 Reproducibility (notes/randomness) — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/2.15/notes/randomness.html· 확인 2026-11-12 - NumPy Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12 - Python 3.14 hashlib - Secure hashes and message digests — Python Software Foundation · 2026-11 ·
docs.python.org/3.14/library/hashlib.html· 확인 2026-11-12