AI › AI 엔지니어링(AI 시스템 운영) › MLOps

LLMOpsLLM 운영 · Large Language Model Operations

LLM 을 쓰는 애플리케이션의 프롬프트 · 모델 스냅숏 · 생성 설정을 판으로 관리하고, 평가 관문 · 토큰 비용 · 호출 추적으로 변경을 검증하고 되돌리는 운영 방식이다.

1요약

  1. LLMOps 는 MLOps 의 파이프라인 · 레지스트리 · 감시 뼈대 위에 프롬프트 판 · 평가 관문 · 토큰 비용 · 호출 추적을 더한 운영 방식으로, 가중치를 직접 학습하지 않고 공급자 API 를 부르는 서비스에서도 변경 → 회귀 평가 → 카나리 → 승격 → 되돌림이 같은 순서로 돈다.
  2. 우리 코드가 그대로여도 공급자 쪽 모델이 바뀌면 답이 바뀐다 — 같은 이름으로 제공된 GPT-4 의 소수 판별 정확도가 2023년 3월 84% 에서 6월 51%로 내려갔다(Chen 2023 변화).
  3. 「LLM 답이 나빠졌다」는 추적 기록의 응답 모델 이름이 바뀌었는가, 프롬프트 판이 바뀐 날과 겹치는가로 가른다 — 앞이면 공급자 쪽 변경, 뒤면 우리 쪽 변경이고, 둘 다 아니면 들어오는 질문이 평가 세트와 달라진 것이다.

2등장 배경

2022년 말부터 대화형 LLM API 가 열리자, 많은 서비스가 모델을 학습하지 않고 프롬프트 문자열과 API 호출 몇 줄로 기능을 만들었다. 프롬프트가 코드 안 문자열로 흩어져 있으니 한 문장을 고친 뒤 무엇이 좋아지고 나빠졌는지 잴 방법이 없었고, 답이 열린 문장이라 정확도 숫자 하나로 채점할 수도 없었다.

평가 쪽은 Liang 외(2022 HELM)가 시나리오 42개 · 지표 7개(정확도 · 보정 · 강건성 · 공정성 · 편향 · 유해성 · 효율)로 모델을 함께 재고, 모델마다 핵심 시나리오 평가 범위를 평균 17.9% 에서 96.0% 로 넓혔고, Zheng 외(2023)는 강한 LLM 을 판정자로 쓰면 사람끼리의 일치 수준인 80% 넘게 사람 판정과 맞는다는 것과 위치 · 길이 · 자기 선호 편향을 함께 보였다. 같은 해 Chen 외는 공급자 모델이 몇 달 사이 달라지는 현상과, 모델을 섞어 부르면 최고 모델 성능을 최대 98% 낮은 비용으로 맞출 수 있다는 결과(FrugalGPT)를 냈다.

지금은 호출 기록의 형식을 맞추는 일이 OpenTelemetry GenAI 의미 규약으로 진행 중이며, 규약 상태는 아직 «Development»다(OTel GenAI 추론 스팬). 그래서 LLMOps 는 도구 이름보다 «무엇을 판으로 묶고 무엇으로 통과시키나»의 원칙으로 먼저 정리된다.

3쉽게 이해하기 — 파견 상담원을 쓰는 콜센터

콜센터 팀장 수진은 상담원을 직접 뽑지 않고 파견 회사에서 받는다. 상담원에게는 판 번호가 붙은 상담 대본을 주고, 대본을 고치면 실제 손님 전화에 앞서 모의 통화 시험지 300장으로 먼저 돌려 감독관이 채점하게 한다. 통화는 분마다 요금이 붙고, 녹취마다 상담원 이름 · 대본 판 · 통화 분을 적어 둔다. 어느 날 파견 회사가 말없이 상담원을 바꾸자, 수진은 매일 아침 같은 시험지 점수가 떨어진 것을 보고 알아챈다.

1 상담 대본 프롬프트 판 2 파견 상담원 공급자 모델 5 손님 통화 트래픽 · 토큰 요금 6 녹취 이름표 추적 스팬 시험 먼저 3 모의 시험지 평가 세트 300 4 감독관 채점 LLM 판정자 합격하면 실전 7 말없는 교체 모델 별칭 변경 매일 아침 같은 시험지 → 점수가 떨어지면 교체를 알아챈다 판 · 이름표 모델 평가 · 감독 실제 요청 예고 없는 변경 바깥에서 들어오는 변경

그림 1 · 판이 붙은 대본은 시험지와 감독관을 거쳐야 실제 통화로 나가고, 녹취의 상담원 이름표가 파견 회사의 말없는 교체를 드러낸다.

대본 고치기판 번호를 올림
모의 시험같은 시험지 300장
감독관 채점팀장이 몇 장 다시 봄
일부 손님만상담원 한 조에 먼저
녹취 적기이름 · 대본 · 분
아침 점검점수가 떨어지면 알림
비유 — 감독관 채점 60장 다시 보기 감독관 = 팀장 (53장) 서로 다름 (7장) 서로 다른 상자의 위치는 그림용 배치 실제 — LLM 판정자 검증 사람 표본과 일치 53 ÷ 60 = 0.883 기준 0.80 이상 → 회귀 평가에 사용 답 순서를 바꿔 다시 판정 58 ÷ 60 위치 편향 점검(Zheng 2023) 판정 프롬프트 판 j-3 로 고정 기록 채점하는 쪽도 시험을 본다 — 판정자는 판이 붙은 평가 도구이고, 사람 표본이 그 기준이다

그림 2 · 감독관 채점을 믿기 전에 팀장이 60장을 다시 채점해 맞는 비율을 잰다 — 실제로는 LLM 판정자와 사람 채점이 60문항 중 53개에서 같아 기준 0.80 을 넘었다.

비유 속 역할실제 이름실제로 하는 일
판 붙은 상담 대본프롬프트 레지스트리프롬프트 · 예시 · 생성 설정을 판 번호와 별칭으로 저장한다
파견 상담원공급자 모델 · 스냅숏요청마다 모델 이름을 적어 보내고 응답 모델 이름을 받는다
모의 시험지회귀 평가 세트바꾼 판을 배포 전에 같은 문항으로 채점한다
감독관LLM 판정자열린 답을 기준 문장으로 채점하고 사람 표본으로 검증받는다
일부 손님 먼저카나리 배포트래픽 일부에만 새 판을 내보내 온라인 지표를 견준다
분당 요금토큰 비용입력 · 출력 토큰 수에 단가를 곱해 요청당 비용을 잰다
녹취 이름표추적 스팬호출마다 모델 · 토큰 · 지연 · 판을 속성으로 남긴다
아침 점검정기 회귀 · 경보매일 같은 세트를 다시 돌려 바깥 변경을 잡는다

⚠ 비유가 맞지 않는 곳: 상담원은 바뀌면 목소리부터 다르지만, 모델 별칭 변경은 같은 이름 그대로 응답만 달라져 추적 기록의 응답 모델 이름이나 회귀 점수로만 보인다. 또 감독관 채점은 사람이 하지만 LLM 판정자는 그 자체가 모델이라 위치 · 길이 편향을 가진다.

4구조 — 판 · 평가 · 추적의 세 갈래

LLMOps 의 구성 요소는 «무엇을 판으로 묶나»(프롬프트 레지스트리 · 모델 스냅숏 고정) · «무엇을 통과해야 나가나»(평가 세트 · 판정자 · 비용 한도) · «나간 뒤 무엇을 남기나»(추적 · 온라인 감시) 셋이다. 학습 파이프라인 · 피처 스토어 같은 MLOps 공통 요소는 MLOps(개념)가 맡는다.

프롬프트 레지스트리 판 p-12 · p-13 · 별칭 production 판 불러오기 사용자 요청 애플리케이션 프롬프트 조립 · 검색 가드레일 입력 · 출력 정책 게이트웨이 라우팅 · 비용 한도 공급자 모델 스냅숏 이름 고정 평가 세트 · 판정자 관문 합격률 · 비용 · 지연 기준 합격한 판만 별칭 이동 추적 스팬 모델 · 토큰 · 지연 · 판 온라인 감시 합격률 · 비용 · 형식 오류 실패 사례를 평가 세트에 더함 판 · 기록 요청 · 문맥 모델 · 규칙 평가 · 감시 사용자 되먹임

그림 3 · 요청 길은 애플리케이션 → 가드레일 → 게이트웨이 → 공급자 모델 하나이고, 그 옆에서 레지스트리가 판을 대고 추적이 호출을 남기며 실패 사례가 평가 세트로 돌아간다.

요소맡는 일남기는 값근거
프롬프트 레지스트리프롬프트 · 예시 · 생성 설정을 판으로 저장 · 별칭으로 배포판 번호 · 별칭운영 관행
모델 스냅숏 고정날짜가 붙은 모델 이름으로 요청gen_ai.request.model · gen_ai.response.modelOTel GenAI 추론 스팬
평가 세트 · 판정자규칙 채점 + LLM 판정 + 사람 표본 검증합격률 · 일치율Zheng 2023 · Shankar 2024
게이트웨이모델 고르기 · 계단식 호출 · 요청당 비용 한도라우팅 기록Chen 2023 FrugalGPT
추적 스팬호출 하나 = 스팬 하나 · 이름 = {gen_ai.operation.name} {gen_ai.request.model}gen_ai.usage.input_tokens · output_tokensOTel GenAI 추론 스팬
온라인 감시호출 시간 · 첫 토큰 시간 · 형식 오류gen_ai.client.operation.durationOTel GenAI 지표

추적 규약은 입력 · 출력 메시지 본문(gen_ai.input.messages)을 선택(Opt-In) 속성으로 두어, 개인정보가 담길 수 있는 대화 내용은 기본으로 남기지 않는다(OTel GenAI 추론 스팬). 입력 · 출력 정책 집행은 가드레일, 서빙 속도는 추론 최적화가 맡는다.

5동작 — 프롬프트 판 p-13 을 내보내고 모델 별칭 변경을 잡기까지

아래 값은 직접 실행한 결과다 — Python 3.14.0 · NumPy 2.4.3 default_rng(7) 로 문항별 합격 · 판정자 일치 · 트래픽을 합성했다. 토큰 수 · 단가(입력 100만 토큰 300원 · 출력 1,200원) · 관문 기준은 설명용 가정 값이다. 아래 숫자는 시드 7 로 한 번 돌린 예이고, 같은 설정을 시드 0 ~ 9 로 열 번 돌리면 p-13 의 향상은 평균 +4.8%p(최소 +1.7 · 최대 +7.3)이며 열 번 중 아홉 번이 품질 관문 +3%p 를 넘는다 — 300문항 세트의 차이는 이만큼 흔들리므로 실제 운영에서도 한 번의 평가로 승격을 정하지 않는다.

  1. 변경 — 사내 문서 질의응답 서비스의 프롬프트를 p-12 에서 p-13 으로 올린다. JSON 형식 지시와 답 예시 2개를 넣어 요청당 입력이 1,450 → 1,830토큰, 출력은 210 → 190토큰이 된다.
  2. 회귀 평가 — 평가 세트 300문항을 JSON 스키마 규칙 채점과 LLM 판정자(근거 문장과 답의 일치)로 채점한다. p-12 255개(85.0%) · p-13 269개(89.7%)로 +4.7%p 라 품질 관문(+3%p 이상)을 넘는다.
  3. 판정자 검증 — 판정 결과 60문항을 사람이 다시 채점해 53개가 같아 일치율 0.883(기준 0.80)이고, 비교할 두 답의 순서를 바꿔 다시 판정한 60쌍 중 58쌍이 같은 결론이다.
  4. 비용 — 1,000건당 비용이 687원에서 777원으로 13.1% 늘어 비용 관문(15% 이하)을 넘는다.
  5. 카나리 — 하루 20,000건 중 5%(1,000건)만 p-13 으로 보낸다. 형식 오류는 p-12 759 ÷ 19,000 = 3.99% ↔ p-13 9 ÷ 1,000 = 0.9% 이고, 95번째 백분위 응답 시간은 2.83초 ↔ 3.08초(합성 값 · 기준 3.5초)다.
  6. 승격 — 레지스트리 별칭 production 을 p-13 으로 옮기고, 배포 번들 {모델 스냅숏 이름 · 프롬프트 p-13 · 판정 프롬프트 j-3 · temperature 0.2} 를 기록한다.
  7. 바깥 변경 — 15일차에 공급자의 모델 별칭이 새 스냅숏을 가리킨다. 스팬의 gen_ai.request.model 은 그대로인데 gen_ai.response.model 값이 바뀌고, 매일 돌리는 회귀 합격률이 84.3% · 85.3% 로 이틀 연속 86% 미만(경보 규칙 · 가정 값)이 되어 16일차에 경보가 울린다.
  8. 고정 — 요청 모델 이름을 승격 때 기록한 스냅숏 이름으로 바꾼다. 17 ~ 28일차 고정 쪽 평균 합격률은 89.9%, 비교용으로 계속 돌린 별칭 쪽은 15 ~ 28일차 평균 83.1% 다.
프롬프트 판 p-13 의 승격 경로 · 합성 데이터 1 변경 p-12 → p-13 입력 1,830토큰 출력 190토큰 2 회귀 평가 269 / 300 +4.7%p 기준 +3%p 3 판정자 검증 53 / 60 = 0.883 기준 0.80 4 비용 1,000건 777원 +13.1% 기준 15% 이하 5 카나리 5% 형식 오류 0.9% p95 3.08초 기준 3.5초 6 승격 production → p-13 배포 번들 기록 관문 2 ~ 5 중 하나라도 실패 → 승격 안 함 · p-12 유지 · 실패 문항을 기록 판 변경 · 기록 평가 관문 비용 관문 실제 트래픽 점선 = 실패 때의 길

그림 4 · p-13 은 품질 · 판정자 · 비용 · 카나리 네 관문을 모두 통과한 뒤에야 별칭 production 을 받는다 — 관문 하나라도 기준을 넘지 못하면 p-12 가 그대로 남는다.

구성 다섯의 합격률 · 비용 · 합성 데이터 300문항 84% 88% 92% 96% 600 1,000 2,000 5,000 10,000 1,000건당 비용(원 · 로그 눈금 · 단가는 가정 값) 관문 = 비용 790원 이하 · 합격률 88.0% 이상 A p-12 · 687원 · 85.0%(기준) B p-13 · 777원 · 89.7% C 예시 6개 · 1,107원 · 92.7% D 큰 모델 · 7,770원 · 95.3% E 계단식(17% 큰 모델) · 2,072원 · 90.3% 기준 구성 관문 안(승격 후보) 관문 밖(거부) 관문 영역 · A ~ D 는 작은 · 큰 모델과 프롬프트 판 조합

그림 5 · 품질과 비용을 한 평면에 놓으면 관문이 사각형 하나가 된다 — 다섯 구성 중 p-13 만 «합격률 +3%p 이상 · 비용 +15% 이하» 안에 들고, 큰 모델은 합격률이 가장 높아도 비용이 11.3배다.

일별 회귀 합격률 · 같은 평가 세트 300문항 · 합성 데이터 75% 80% 85% 90% 95% 1 7 14 21 28 일차 경보 기준 86% · 이틀 연속 7 15일차 별칭 변경 8 17일차 스냅숏 고정 20일차 77.3% 스냅숏 고정 · 17 ~ 28일차 평균 89.9% 별칭 그대로 · 15 ~ 28일차 평균 83.1% 16일차 경보

그림 6 · 우리 쪽 변경이 없어도 공급자 별칭이 바뀐 15일차부터 회귀 합격률이 86% 아래로 내려가고, 스냅숏 이름을 고정한 쪽은 89.9% 를 지킨다 — 매일 같은 세트를 다시 돌려야 바깥 변경이 보인다.

🔑 LLM 서비스의 판은 «우리가 바꾼 것»만으로 정해지지 않는다 — 공급자 별칭이 움직이면 코드 · 프롬프트가 그대로여도 다른 서비스가 되므로, 응답 모델 이름을 기록하고 스냅숏 이름으로 고정해야 판이 닫힌다.

6비교 — MLOps(개념)와 LLMOps

기준MLOps(개념)LLMOps
판으로 묶는 것코드 · 데이터셋 · 학습한 가중치프롬프트 · 예시 · 생성 설정 · 모델 스냅숏 이름 · 검색 색인
품질 재는 법정답 레이블에 대한 정확도 같은 고정 지표열린 답 → 규칙 채점 + LLM 판정자 + 사람 표본(Zheng 2023)
품질이 바뀌는 계기입력 분포 변화(드리프트)드리프트 + 공급자 모델 갱신(Chen 2023 변화 84% → 51%)
비용 단위학습 계산 · 서빙 서버 시간요청마다 입력 · 출력 토큰 · 모델 간 가격 차 최대 두 자릿수 배(Chen 2023 FrugalGPT)
되돌리는 법레지스트리의 이전 모델 판으로프롬프트 별칭 · 스냅숏 이름을 되돌림(재학습 없음)
기록 단위예측 요청 · 특징 값호출 하나 = 스팬(모델 · 토큰 · 도구 호출)

분석모델을 직접 학습해 서빙하면 MLOps(개념)의 재학습 파이프라인이 먼저이고, 공급자 API 로 가중치 없이 기능을 만들면 재학습 대신 프롬프트 판 · 회귀 평가 · 스냅숏 고정이 먼저다. 근거는 표의 「판으로 묶는 것」 · 「되돌리는 법」 행이며, 미세 조정을 함께 쓰면 두 쪽을 다 둔다.

7실무 진단 — LLM 답 품질 · 비용 이상 가르기

분석경보가 오면 «응답 모델 이름 → 프롬프트 판 이력 → 평가 세트 대표성 → 판정자» 순서로 본다. 앞의 둘은 추적 · 레지스트리 기록 조회로 몇 분 안에 끝나고, 뒤의 둘은 사람 채점이 필요해 오래 걸리기 때문이다(OTel GenAI 추론 스팬 · Shankar 2024).

#증상의심 원인단계확인 자료판정 기준(근거)
1배포 없이 합격률 하락공급자 별칭 변경모델 판스팬의 gen_ai.response.model 값 변화 날짜요청 · 응답 모델 이름과 승격 기록이 같아야 함(OTel GenAI 추론 스팬)
2요청 수는 그대로인데 비용 급증프롬프트 · 검색 조각 증가프롬프트 판판별 gen_ai.usage.input_tokens 합계늘어난 날 = 판이 바뀐 날이면 우리 쪽(OTel GenAI 추론 스팬)
3오프라인은 합격인데 사용자 불만평가 세트가 실제 질문과 다름평가 세트불만 표본과 평가 문항 대조채점 기준은 출력을 보며 다시 정해짐(Shankar 2024 기준 변동)
4판정 점수만 오르고 사람 평가 그대로판정자 편향(길이 · 위치)판정자사람 표본 일치율 · 순서 바꿔 판정편향 셋 점검(Zheng 2023) · 사례 기준 0.80
5첫 글자가 늦게 나옴출력 토큰 증가 · 모델 서버 대기서빙gen_ai.server.time_to_first_token원인 가르기는 추론 최적화(OTel GenAI 지표)

8시험 대비

시험에서는 LLMOps 의 개념 · 필요성 · 관리 대상을 묻는 정의 · 특징형, MLOps 와 무엇이 다른지 묻는 비교형이 나올 수 있다. 정의 · 특징형이면 «공급자 모델 변경 문제 → 정의 → 구성(판 · 관문 · 추적) → 운영 절차» 순서로, 비교형이면 비교표의 여섯 기준을 축으로 쓰고 그림 6 을 근거 그림으로 붙인다.

답안 목차
  1. 개요 — 정의(프롬프트 판 · 평가 · 비용 · 추적 운영) · MLOps 와 공통 뼈대 · 필요성(Chen 2023 변화 84% → 51%)
  2. 구성 요소 — 그림 3 레지스트리 · 평가 관문 · 게이트웨이 · 추적 스팬 · 온라인 감시 + 요소 표
  3. 운영 절차 — 그림 4 변경 → 회귀 평가 → 판정자 검증 → 비용 → 카나리 → 승격
  4. 평가 · 비용 판단 — 그림 5 품질 · 비용 관문 사각형 · 판정자 일치율 0.883 · 계단식 호출
  5. 바깥 변경 대응 — 그림 6 별칭 변경 감지 · 스냅숏 고정 · gen_ai.response.model
  6. MLOps 와 비교 · 고려 사항 — 비교표 · 대화 내용 기록은 선택 속성(개인정보) · 가드레일 연계

꼭 쓸 키워드
프롬프트 레지스트리회귀 평가 세트LLM 판정자위치 편향토큰 비용계단식 호출모델 스냅숏카나리 배포추적 스팬OpenTelemetry GenAI

다른 답안과 차이를 내는 한 가지는 그림 6 처럼 «우리가 아무것도 바꾸지 않았는데 품질이 바뀌는 경우»를 보이는 것이다 — LLMOps 를 MLOps 의 이름만 바꾼 것이 아니라 공급자 변경까지 판 관리에 넣는 운영으로 설명한다.

9오해와 사실

  • 오해모델을 학습하지 않으면 운영할 것이 없다.
    사실공급자 API 만 써도 같은 이름의 모델이 바뀌어 정확도가 84% 에서 51% 로 내려간 사례가 있다(Chen 2023 변화) — 판 기록과 정기 회귀가 필요하다.
  • 오해LLM 판정자 점수는 사람 평가를 대신한다.
    사실강한 판정자도 사람 일치가 80% 수준이고 위치 · 길이 · 자기 선호 편향이 있다(Zheng 2023) — 사례처럼 60문항 사람 표본으로 판정자부터 검증한다.
  • 오해더 큰 모델로 바꾸는 것이 가장 확실한 개선이다.
    사실사례에서 큰 모델은 합격률 95.3% 였지만 비용이 11.3배였고, 프롬프트 판 하나로 +4.7%p 를 비용 +13.1% 안에서 얻었다.

10핵심 정리

구분맡는 일남기는 값사례 값근거
프롬프트 판프롬프트 · 예시 · 설정을 판 · 별칭으로판 번호 · 별칭p-12 → p-13운영 관행
회귀 평가배포 전 같은 세트로 채점합격률255 → 269 / 300Liang 2022
판정자 검증사람 표본과 일치율 · 순서 바꿈일치율53 / 60 = 0.883Zheng 2023
비용 관문토큰 × 단가 · 모델 고르기1,000건당 비용687 → 777원Chen 2023 FrugalGPT
카나리트래픽 일부로 온라인 견줌형식 오류 · 지연3.99% → 0.9%운영 관행
추적 스팬호출마다 모델 · 토큰 기록gen_ai.response.model15일차 값 변화OTel GenAI 추론 스팬
바깥 변경정기 회귀 · 스냅숏 고정경보 · 고정 이름83.1% ↔ 89.9%Chen 2023 변화

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Semantic conventions for generative client AI inference spans (docs/gen-ai/client-inference.md) — LLM 호출 한 건에 남길 모델 이름 · 토큰 수 속성을 볼 때
    OpenTelemetry · 2026-11 · github.com/open-telemetry/semantic-conventions-genai/blob/main/docs/gen-ai/client-inference.md · 확인 2026-11-12
  3. ★ Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023 Datasets and Benchmarks) — LLM 판정자의 사람 일치율과 편향 셋을 볼 때
    arXiv · 2023-06 · arxiv.org/abs/2306.05685 · 확인 2026-11-12
  4. ★ How is ChatGPT's behavior changing over time? (arXiv 2307.09009) — 같은 이름의 공급자 모델이 몇 달 사이 달라진 사례를 볼 때
    arXiv · 2023-07 · arxiv.org/abs/2307.09009 · 확인 2026-11-12
  5. ★ FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance (arXiv 2305.05176) — 프롬프트 조정 · 모델 근사 · 계단식 호출로 비용을 줄이는 방법을 볼 때
    arXiv · 2023-05 · arxiv.org/abs/2305.05176 · 확인 2026-11-12
  6. 본문 근거
  7. Holistic Evaluation of Language Models (TMLR 2023 · arXiv 2211.09110) — arXiv · 2022-11 · arxiv.org/abs/2211.09110 · 확인 2026-11-12
  8. Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences (arXiv 2404.12272) — arXiv · 2024-04 · arxiv.org/abs/2404.12272 · 확인 2026-11-12
  9. Semantic conventions for generative AI metrics (docs/gen-ai/gen-ai-metrics.md) — OpenTelemetry · 2026-11 · github.com/open-telemetry/semantic-conventions-genai/blob/main/docs/gen-ai/gen-ai-metrics.md · 확인 2026-11-12
  10. NumPy 2.4 Reference numpy.random.Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-12