AI › 생성형 AI › AI 에이전트 › 멀티 에이전트 · 평가

에이전트 평가Agent Evaluation

AI 에이전트가 격리 환경에서 도구를 써서 여러 단계의 과제를 끝냈는지를, 에이전트의 보고가 아니라 끝난 뒤의 환경 상태 · 테스트 결과로 판정하고 반복 시도의 일관성 · 비용과 함께 재는 방법이다.

1요약

  1. 에이전트 평가는 멀티 에이전트 · 평가 가운데 평가를 다루는 것으로, 에이전트가 격리 환경에서 과제를 마친 뒤 끝 상태(데이터베이스 · 파일 · 테스트 결과)를 정답과 대조해 성공을 정한다 — SWE-bench(2023) · WebArena(2023) · OSWorld(2024) · τ-bench(2024) 같은 공개 벤치마크가 이 채점 위에서 돈다.
  2. 답 문장으로 채점하면 「완료했다」는 거짓 보고가 성공으로 세지고 한 번의 성공이 신뢰로 오해된다 — OSWorld 에서 사람은 과제의 72.36% 를 해냈지만 당시 가장 좋은 모델은 12.24% 였고(Xie 2024), τ-bench 소매 영역에서는 당시 최고 에이전트도 같은 과제 8회를 모두 성공하는 비율 pass^8 이 25% 미만이었다(Yao 2024).
  3. 「점수는 높은데 현장에서 못 쓴다」는 보고서에서 빠진 숫자로 가른다 — 문자열 판정이면 채점, 시도 한 번이면 일관성(pass^k), 토큰 · 단계 수가 없으면 비용, 공개 과제만 썼으면 누출 · 과적합, 확인 절차 검사가 없으면 규칙 준수다.

2등장 배경

LLM 평가는 정해진 정답 문장이나 선택지와 견주는 방식이었다. 에이전트는 수십 단계 동안 파일을 고치고 웹 양식을 채우며 데이터베이스를 바꾸므로 같은 목표에 이르는 길이 여럿이고, 마지막 답 문장만으로는 일이 실제로 됐는지 알 수 없다. 2021년 7월 Chen 외는 코드 생성을 문자열 일치 대신 단위 테스트 통과로 채점하고, 문제당 표본 n 개 가운데 하나라도 통과할 확률 pass@k 의 불편 추정식을 냈다(Chen 2021 2.1절).

2023년 7월 WebArena(Zhou 외)는 전자상거래 · 포럼 · 개발 협업 · 콘텐츠 관리 네 영역의 실제 동작 웹사이트를 띄워 종단 간 성공률을 쟀고(최고 에이전트 14.41% · 사람 78.24%), 10월 SWE-bench(Jimenez 외)는 파이썬 저장소 12곳의 이슈 2,294건을 패치 적용 뒤 테스트 실행으로 채점해 공개 당시 최고 해결률 1.96% 를 보고했다. 2024년 4월 OSWorld(Xie 외)는 실제 운영체제 과제 369개마다 초기 상태 설정과 실행 기반 평가 스크립트를 붙였고, 6월 τ-bench(Yao 외)는 LLM 이 흉내 내는 사용자와 대화한 뒤 데이터베이스를 목표 상태와 대조하며 반복 일관성 지표 pass^k 를 새로 정했다.

같은 해 7월 Kapoor 외는 정확도만 보는 관행이 불필요하게 비싼 에이전트를 낳고, 보류 세트(holdout)가 없거나 부족한 벤치마크가 지름길 · 과적합을 부른다며 비용과 정확도를 함께 보라고 했다(Kapoor 2024). 그래서 지금의 에이전트 평가는 성공률 하나가 아니라 상태 대조 · 반복 일관성 · 비용 · 규칙 준수를 한 보고서에 묶는다.

3쉽게 이해하기 — 운전면허 도로 주행 시험

수험생이 시험 코스를 달려 정해진 주차 칸에 차를 세운다. 시험관은 「잘 세웠습니다」라는 수험생의 말이 아니라 바퀴가 칸 안에 들어갔는지를 직접 보고, 옆자리 감독관은 가는 길에 신호를 어기면 주차가 완벽해도 실격시킨다. 한 번 붙은 수험생보다 여덟 번 쳐도 매번 붙는 수험생이 더 믿음직하고, 연료를 두 배 쓴 합격은 같은 합격이 아니다. 코스를 통째로 외운 수험생은 처음 가는 길에서 무너진다.

수험생 운전하는 사람 코스를 달림 에이전트 시험 코스 매번 같은 출발 신호 · 골목 · 주차장 과제 · 격리 환경 주차 칸 확인 시험관 바퀴가 칸 안인가 최종 상태 검사 다시 응시 같은 코스 8번 매번 붙는가 반복 시도 · pass^k 감독관 가는 길을 봄 신호 위반 = 실격 실행 기록 검사 연료 영수증 쓴 만큼 합격 한 번의 값 비용 · 단계 수 1 2 3 4 5 외운 코스 누출 · 과적합 ① 코스를 달림 · ② 주차 칸에서 확인 · ③ 가는 길 기록을 감독관에게 ④ 같은 코스로 다시 출발 · ⑤ 끝나면 연료 정산 점선 상자 = 코스를 외운 수험생 — 처음 보는 코스에서만 실력이 드러남

그림 1 · 합격은 수험생의 말이 아니라 주차 칸 확인과 감독관의 기록으로 정하고, 여러 번 응시와 연료 정산이 그 합격을 믿을 만한지 가른다.

출발수험생이 코스에 들어감
주행신호 · 골목을 지나감
감독가는 길의 위반을 적음
주차 확인바퀴가 칸 안인지 봄
다시 응시같은 코스를 여덟 번
연료 정산쓴 연료를 셈
한 수험생의 여덟 번 응시 6 / 8 비유 — 무엇을 묻나 실제 — 같은 과제 8회 · 성공 c = 6 한 번이라도 붙으면 → 면허를 받음 아무 두 번을 골라도 둘 다 붙음 → 대체로 믿음 여덟 번 모두 붙음 → 손님을 태워도 됨 pass@8 = 1.00 — 한 번이라도 성공 pass^2 = C(6,2) / C(8,2) = 15/28 = 0.54 pass^8 = 0 — 여덟 번 모두는 못 함 점선 = 짝 · 굵은 테두리 = 같은 기록에서 가장 낮은 판정 · C(a,b) = a 개에서 b 개를 고르는 수

그림 2 · 여덟 번 중 여섯 번 붙은 수험생은 「한 번이라도」로 재면 합격이지만, 「여덟 번 모두」로 재면 불합격이다 — 무엇을 묻느냐가 점수를 정한다.

비유 속 역할실제 이름실제로 하는 일
수험생피험 에이전트모델 · 프롬프트 · 도구 설정을 묶은 한 판을 그대로 돌린다
시험 코스과제 · 격리 환경과제마다 같은 초기 상태(저장소 커밋 · DB · 가상 머신)에서 시작한다
주차 칸 확인최종 상태 검사끝난 환경을 정답 상태 · 테스트와 대조해 성공을 정한다
감독관실행 기록 검사확인 없는 쓰기 같은 경로 규칙 위반을 기록에서 찾아 성공에서 뺀다
다시 응시반복 시도 · pass^k같은 과제를 n 회 돌려 k 회 모두 성공할 확률을 잰다
연료 영수증비용 · 단계 수시도당 토큰 · 도구 호출 수 · 시간을 성공률과 함께 적는다
외운 코스데이터 누출 · 벤치마크 과적합공개 과제와 따로 보관한 보류 세트 점수를 견준다

⚠ 비유가 맞지 않는 곳: 운전 시험은 코스가 공개돼도 공정하지만, 에이전트 평가는 공개 과제와 정답이 모델의 학습 자료에 이미 들어 있을 수 있어 보류 세트를 따로 둬야 한다. 또 시험관은 사람이지만 실제 채점기는 대부분 코드(테스트 · 상태 대조)이고, 사람 · LLM 판정자는 코드로 잴 수 없는 항목에만 쓴다.

4구조 — 평가 하네스의 다섯 부품

공개 벤치마크는 이름이 달라도 과제 세트 · 격리 환경 · 피험 에이전트 · 채점기 · 집계기로 나뉜다(Jimenez 2023 2절 · Xie 2024 · Yao 2024 3절). 에이전트 평가는 끝난 결과를 재는 법만 다룬다 — 에이전트끼리 일을 맡기는 방식은 A2A, 여럿이 나눠 푸는 조정은 멀티 에이전트 쪽이다.

과제 세트 지시 · 초기 상태 정답 상태 격리 환경 — 시도마다 초기화 에이전트 피험 대상 도구 · 환경 DB · 파일 · 화면 사용자 시뮬레이터 실행 기록 호출 · 메시지 순서 채점기 상태 · 테스트 대조 출력 · 규칙 검사 LLM 판정(보조) 집계기 — pass^k · pass@k · 비용 · 과제 단위 신뢰구간 굵은 화살 = 지시 · 호출 · 끝 상태 · 기록 · 회색 = 돌아오는 결과 · 답 · 점선 = 정답 상태(에이전트에게 보이지 않음) 과제 · 기록 모델 환경 데이터 사용자 평가 · 판정

그림 3 · 정답 상태는 채점기만 쥐고 있고, 채점기는 에이전트의 마지막 말이 아니라 환경의 끝 상태와 실행 기록을 읽는다.

요소맡는 일값 · 근거
과제 세트지시 · 초기 상태 · 정답 상태(또는 테스트)SWE-bench 이슈 2,294건 · 이슈 글 평균 195.1단어(Jimenez 2023 표 1)
격리 환경시도마다 같은 초기 상태로 되돌림OSWorld 과제 369개마다 초기 상태 설정(Xie 2024)
사용자 시뮬레이터대화형 과제에서 사람 대신 요청 · 답LLM 이 사용자 역할 · τ-retail 115 · τ-airline 50 과제(Yao 2024 표 1)
채점 — 상태 · 테스트끝 상태를 정답과 대조fail-to-pass 평균 9.1 · 전체 120.8 테스트(Jimenez 2023 표 1) · 끝 DB 대조 r_action(Yao 2024)
채점 — 출력 · 규칙사용자에게 알려야 할 값 · 확인 절차r = r_action × r_output · r = 1 은 필요조건일 뿐(Yao 2024)
LLM 판정자코드로 못 재는 품질(설명 · 어조)사람 선호와 80% 넘게 일치 · 위치 · 장황함 · 자기 편향(Zheng 2023)
집계기일관성 · 비용 · 불확실성pass^k = E[C(c,k) / C(n,k)](Yao 2024 3절)

🔑 에이전트 평가에서 정답은 에이전트에게 보이지 않는 곳에 두고, 성공은 에이전트의 말이 아니라 끝난 환경이 정한다 — 그래서 「처리했습니다」라는 거짓 보고는 점수에 들어가지 못한다.

⚠ 코딩 · 컴퓨터 사용 에이전트는 실제 계정 · 운영 데이터가 아닌 격리 환경에서 돌리고, 평가용 권한을 과제에 필요한 범위로 좁히며, 하네스 밖에 닿는 동작(외부 송신 · 결제)은 막거나 사람 확인을 거친다. 과제 속 문장으로 에이전트를 속이는 시험은 프롬프트 인젝션에서 다룬다.

5동작 — 반품 처리 에이전트 80회 시도

반품 · 교환 고객 지원 에이전트를 과제 10개 × 8회로 재는 모의 실행이다 — 직접 실행(Python · NumPy · 시드 0)이며, 실제 LLM 호출 없이 과제별 성공 확률을 Beta(4, 2) 에서 뽑아 흉내 낸 설명용 가정 값이다.

  1. 과제 10개를 정한다 — 과제마다 사용자 요청(「주문 한 건의 신발을 한 치수 큰 것으로 교환」 같은 가정 값), 초기 주문 DB, 정답 DB, 「쓰기 전에 사용자 확인」 규칙을 둔다.
  2. 시도마다 DB 를 초기 상태로 되돌린 뒤 에이전트를 돌려, 80회의 실행 기록과 끝 DB 를 모은다.
  3. 마지막 메시지에 「처리 완료」가 있는지로 세면 57/80(71.3%)이 성공이다.
  4. 끝 DB 를 정답 DB 와 대조하면 49/80(61.3%)로 내려간다 — 8회는 DB 가 그대로인데 완료라고 보고했다.
  5. 실행 기록에서 사용자 확인 전에 쓰기 도구를 부른 5회를 실패로 돌리면 44/80, pass^1 = 0.55 다(과제 단위 붓스트랩 95% 구간 0.46 ~ 0.64).
  6. 과제별 성공 수 c(3 ~ 6회)로 계산하면 pass@8 = 1.00 이지만 pass^2 = 0.29 · pass^4 = 0.08 · pass^8 = 0 이다 — 8회를 모두 성공한 과제가 없다.
  7. 시도당 평균 9,073 토큰, 성공 1건당 16,495 토큰을 성공률과 한 줄에 적어 보고한다 — 시드 0 ~ 19 로 다시 돌리면 pass^1 은 0.50 ~ 0.71, pass^8 은 0 ~ 0.10 사이로 갈린다.
과제 시도 1 ~ 8 c 과제 1과제 2과제 3과제 4과제 5 과제 6과제 7과제 8과제 9과제 10 64543 63463 6 판정 방식별 성공(80회 중) 3 문자열 판정 57 4 끝 상태 대조 49 5 + 규칙 검사 44 pass^1 = 0.55 pass^8 = 0 · pass@8 = 1.00 성공 1건 = 16,495 토큰 성공 실패 거짓 완료 보고(끝 상태 실패) 확인 없는 쓰기(끝 상태는 맞음) 직접 실행(합성 데이터 · 시드 0) · c = 규칙 검사까지 통과한 시도 수 · 굵은 테두리 열 = 8회 모두 성공한 과제 없음 · 막대 길이 = 성공 수

그림 4 · 같은 80회 기록도 문자열 판정은 57, 끝 상태 대조는 49, 규칙 검사까지 하면 44 를 성공으로 세고, 8회를 모두 성공한 과제는 하나도 없다.

pass^k 와 pass@k 는 같은 과제별 성공 수 c 에서 나오지만, k 가 커질수록 반대 방향으로 움직인다(Yao 2024 3절 · Chen 2021 2.1절).

사례 10과제의 평균 확률 1.0 0.75 0.5 0.25 0 1 2 3 4 5 6 7 8 시도 수 k k = 1 에서는 두 지표 모두 0.55 pass@4 = 0.97 pass^4 = 0.08 pass@k — 한 번이라도 성공 pass^k — 모두 성공 pass@k = 1 − E[C(n−c,k) / C(n,k)] pass^k = E[C(c,k) / C(n,k)] · n = 8 · 점선 세로줄 = k 4

그림 5 · 같은 기록에서 「k 번 중 한 번이라도」는 k = 4 에서 0.97 로 오르고, 「k 번 모두」는 0.08 로 떨어진다 — 시연에 쓰는 숫자와 운영에 쓰는 숫자가 다르다.

🔑 pass@k 는 «풀 수 있는가», pass^k 는 «맡겨도 되는가»를 묻는다 — 시도 수를 늘리면 앞의 숫자는 오르고 뒤의 숫자는 떨어지므로, 운영 판단에는 반드시 pass^k 와 비용을 함께 낸다.

6비교 — 채점 방식 다섯

기준문자열 · 정답 일치끝 상태 · 테스트 대조실행 기록 규칙 검사LLM 판정자사람 평가
보는 것마지막 답 문장DB · 파일 · 테스트 결과호출 순서 · 확인 메시지답 · 기록의 글결과 전체
거짓 완료 보고성공으로 셈실패로 셈경로만 봄속을 수 있음대체로 잡음
길이 여럿인 과제약함강함(끝만 봄)규칙만 봄중간강함
비용 · 재현성낮음 · 높음환경 구축 큼 · 높음낮음 · 높음호출 비용 · 판정자 따라 흔들림높음 · 낮음
대표 쓰임질의응답형 과제SWE-bench · OSWorld · τ-benchτ-bench 의 확인 절차설명 · 어조 품질판정자 · 규칙의 표본 검수

분석바뀐 상태를 코드로 읽을 수 있으면 끝 상태 · 테스트 대조를 주 채점으로 두고, 확인 절차 같은 경로 규칙은 실행 기록 검사로 덧대며, LLM 판정자는 코드로 못 재는 항목에만 사람 표본과 대조해 쓴다. 근거는 상태 대조 통과가 필요조건일 뿐이라는 지적(Yao 2024)과 LLM 판정자의 위치 · 장황함 · 자기 편향(Zheng 2023)이다.

7실무 진단 — 점수와 현장 결과가 어긋나는 원인 가르기

분석보고서의 숫자를 채점 → 집계 → 과제 세트 → 환경 순으로 본다. 근거는 채점이 틀리면 뒤의 모든 숫자가 함께 틀리고(1행 · Yao 2024), 집계 · 과제 세트 문제는 같은 기록을 다시 계산하거나 보류 세트 하나로 가려지지만(2 · 3행 · Kapoor 2024), 환경 문제는 하네스를 고쳐 다시 돌려야 하기 때문이다.

#증상의심 원인단계확인 자료판정 기준(근거)
1사내 시험 성공률은 높은데 사용자 신고가 잦음문자열 · 자기 보고 채점채점성공으로 센 시도의 끝 상태 · 테스트 결과끝 상태로 다시 세어 떨어지면 채점 결함(Yao 2024 r_action)
2결과는 맞는데 확인 없이 쓰기 · 삭제경로 규칙 미검사채점쓰기 호출 직전의 확인 메시지확인 없는 쓰기가 있으면 성공에서 뺌(Yao 2024 · r = 1 은 필요조건)
3시연에서는 되는데 같은 요청에 가끔 실패시도 한 번 평가집계과제별 c / n · pass^kpass^1 과 pass^k 차가 크면 일관성 부족(Yao 2024 3절)
4새 판이 점수는 조금 올랐는데 비용이 두 배정확도만 비교집계시도당 토큰 · 단계 수 · 비용-정확도 그래프같은 비용에서 앞서지 않으면 개선으로 보지 않음(Kapoor 2024)
5공개 벤치마크 점수만 높고 사내 과제에서 낮음누출 · 벤치마크 과적합과제 세트보류 세트 · 공개일 뒤 만든 과제의 점수보류 세트에서 크게 낮으면 과적합(Kapoor 2024)
6같은 에이전트 점수가 돌릴 때마다 다름초기화 누락 · 표본 부족격리 환경시도 전 환경 상태 해시 · 과제 단위 신뢰구간초기 상태가 다르면 하네스 결함 · 구간이 겹치면 차이 없음

1 · 2행은 기존 기록을 다시 채점만 하면 되므로 먼저 본다. 3 · 4행은 같은 기록에 pass^k 와 비용 열을 더해 다시 계산하고, 5 · 6행은 보류 세트를 새로 만들거나 하네스를 고쳐 다시 돌려야 해서 마지막에 본다.

8시험 대비

시험에서는 에이전트 평가가 기존 LLM 평가와 무엇이 다른지를 묻는 정의 · 특징형과, 사내 에이전트를 도입하기 전의 평가 체계를 세우라는 구현 · 설계형이 나올 수 있다. 정의형이면 «답 문장이 아니라 끝 상태로 채점» · «반복 일관성» · «비용» 세 특징을 공개 벤치마크 예와 짝지어 쓰고, 설계형이면 그림 3 하네스 다섯 부품을 뼈대로 그림 4 처럼 채점 방식에 따라 성공 수가 달라지는 것과 그림 5 의 pass^k 를 보인다.

답안 목차
  1. 개요 — 정의(격리 환경 · 끝 상태 채점 · 반복 · 비용) · 기존 LLM 평가와 차이(길이 여럿 · 외부 상태 변경)
  2. 구성 — 그림 3 하네스(과제 세트 · 격리 환경 · 사용자 시뮬레이터 · 채점기 · 집계기) + 요소 표
  3. 채점 방식 — 비교표(문자열 · 끝 상태 · 실행 기록 · LLM 판정 · 사람) · 그림 4 의 57 · 49 · 44
  4. 지표 — 그림 5 pass@k ↔ pass^k 식과 곡선 · 비용(성공 1건당 토큰) · 과제 단위 신뢰구간
  5. 공개 벤치마크 — SWE-bench(테스트) · WebArena · OSWorld(실행 스크립트) · τ-bench(DB 대조 · 사용자 시뮬레이터) · 사람과의 차이 수치
  6. 운영 고려 — 보류 세트 · 누출 · 격리 · 권한 · 사람 확인 · 정기 재평가

꼭 쓸 키워드
최종 상태 검사실행 기반 평가pass@kpass^k사용자 시뮬레이터LLM 판정자보류 세트데이터 누출비용-정확도격리 환경

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 같은 기록에서 pass@4 = 0.97 과 pass^4 = 0.08 이 함께 나온다는 것을 보이면, 「성공률 몇 %」 한 줄이 왜 운영 판단에 모자란지가 한 장으로 설명된다.

9오해와 사실

  • 오해에이전트가 「완료했다」고 보고하면 성공으로 세도 된다.
    사실사례에서 문자열 판정은 57/80 을 세었지만 끝 DB 대조로는 49/80 이었고, 공개 벤치마크는 그래서 테스트 실행(Jimenez 2023 2.2절) · 실행 기반 스크립트(Xie 2024) · DB 대조(Yao 2024)로 채점한다.
  • 오해여러 번 돌려 한 번이라도 성공하면 그 과제는 해결한 것이다.
    사실pass@k 는 사람이 결과를 골라 줄 때의 숫자이고, 사람 없이 맡기는 운영에는 k 번 모두 성공할 확률 pass^k 가 맞다 — τ-bench 소매 영역에서 당시 최고 에이전트의 pass^1 은 61.2% 였지만 pass^8 은 25% 미만이었다(Yao 2024 표 2).
  • 오해공개 벤치마크 점수가 높으면 우리 업무에도 그만큼 잘한다.
    사실보류 세트가 없거나 부족한 벤치마크는 지름길 · 과적합을 부르고 비용을 가린다(Kapoor 2024) — 사내 과제로 만든 보류 세트에서 다시 재야 한다.

10핵심 정리

구분무엇을 재나계산 · 자료놓치면 생기는 일근거
끝 상태 대조일이 실제로 됐는가끝 DB · 파일 ↔ 정답 상태거짓 완료 보고가 성공으로 셈Yao 2024 · Xie 2024
테스트 실행고친 코드가 맞고 기존 기능이 살았나fail-to-pass · pass-to-pass새 결함을 성공으로 셈Jimenez 2023 2.2절
실행 기록 검사가는 길의 규칙확인 메시지 · 호출 순서확인 없는 쓰기 통과Yao 2024
pass@k풀 수 있는가1 − E[C(n−c,k) / C(n,k)]시연 숫자를 운영 숫자로 착각Chen 2021 2.1절
pass^k맡겨도 되는가E[C(c,k) / C(n,k)]가끔 실패를 못 봄Yao 2024 3절
비용성공 한 번의 값시도당 · 성공당 토큰 · 단계 수비싼 에이전트를 개선으로 봄Kapoor 2024
보류 세트처음 보는 과제 실력공개 과제 ↔ 보류 과제 점수누출 · 과적합Kapoor 2024
LLM 판정자코드로 못 재는 품질사람 표본과 일치율위치 · 장황함 · 자기 편향Zheng 2023

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains (Yao et al.) — 데이터베이스 끝 상태 대조 채점 · 사용자 시뮬레이터 · pass^k 정의를 볼 때
    arXiv · 2024-06 · arxiv.org/abs/2406.12045 · 확인 2026-11-13
  3. ★ SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (Jimenez et al. · ICLR 2024) — 패치 적용 뒤 fail-to-pass · pass-to-pass 테스트로 채점하는 법을 볼 때
    arXiv · 2023-10 · arxiv.org/abs/2310.06770 · 확인 2026-11-13
  4. ★ OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (Xie et al.) — 과제별 초기 상태 설정과 실행 기반 평가 스크립트 · 사람과의 차이를 볼 때
    arXiv · 2024-04 · arxiv.org/abs/2404.07972 · 확인 2026-11-13
  5. ★ AI Agents That Matter (Kapoor et al.) — 비용 · 정확도를 함께 보는 법과 보류 세트 · 재현성 문제를 볼 때
    arXiv · 2024-07 · arxiv.org/abs/2407.01502 · 확인 2026-11-13
  6. 본문 근거
  7. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al. · NeurIPS 2023 Datasets and Benchmarks) — arXiv · 2023-06 · arxiv.org/abs/2306.05685 · 확인 2026-11-13
  8. WebArena: A Realistic Web Environment for Building Autonomous Agents (Zhou et al.) — arXiv · 2023-07 · arxiv.org/abs/2307.13854 · 확인 2026-11-13
  9. Evaluating Large Language Models Trained on Code (Chen et al.) — arXiv · 2021-07 · arxiv.org/abs/2107.03374 · 확인 2026-11-13
  10. NumPy Random Generator 문서 — NumPy · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13