에이전트 평가Agent Evaluation
AI 에이전트가 격리 환경에서 도구를 써서 여러 단계의 과제를 끝냈는지를, 에이전트의 보고가 아니라 끝난 뒤의 환경 상태 · 테스트 결과로 판정하고 반복 시도의 일관성 · 비용과 함께 재는 방법이다.
1요약
- 에이전트 평가는 멀티 에이전트 · 평가 가운데 평가를 다루는 것으로, 에이전트가 격리 환경에서 과제를 마친 뒤 끝 상태(데이터베이스 · 파일 · 테스트 결과)를 정답과 대조해 성공을 정한다 — SWE-bench(2023) · WebArena(2023) · OSWorld(2024) · τ-bench(2024) 같은 공개 벤치마크가 이 채점 위에서 돈다.
- 답 문장으로 채점하면 「완료했다」는 거짓 보고가 성공으로 세지고 한 번의 성공이 신뢰로 오해된다 — OSWorld 에서 사람은 과제의 72.36% 를 해냈지만 당시 가장 좋은 모델은 12.24% 였고(Xie 2024), τ-bench 소매 영역에서는 당시 최고 에이전트도 같은 과제 8회를 모두 성공하는 비율 pass^8 이 25% 미만이었다(Yao 2024).
- 「점수는 높은데 현장에서 못 쓴다」는 보고서에서 빠진 숫자로 가른다 — 문자열 판정이면 채점, 시도 한 번이면 일관성(pass^k), 토큰 · 단계 수가 없으면 비용, 공개 과제만 썼으면 누출 · 과적합, 확인 절차 검사가 없으면 규칙 준수다.
2등장 배경
LLM 평가는 정해진 정답 문장이나 선택지와 견주는 방식이었다. 에이전트는 수십 단계 동안 파일을 고치고 웹 양식을 채우며 데이터베이스를 바꾸므로 같은 목표에 이르는 길이 여럿이고, 마지막 답 문장만으로는 일이 실제로 됐는지 알 수 없다. 2021년 7월 Chen 외는 코드 생성을 문자열 일치 대신 단위 테스트 통과로 채점하고, 문제당 표본 n 개 가운데 하나라도 통과할 확률 pass@k 의 불편 추정식을 냈다(Chen 2021 2.1절).
2023년 7월 WebArena(Zhou 외)는 전자상거래 · 포럼 · 개발 협업 · 콘텐츠 관리 네 영역의 실제 동작 웹사이트를 띄워 종단 간 성공률을 쟀고(최고 에이전트 14.41% · 사람 78.24%), 10월 SWE-bench(Jimenez 외)는 파이썬 저장소 12곳의 이슈 2,294건을 패치 적용 뒤 테스트 실행으로 채점해 공개 당시 최고 해결률 1.96% 를 보고했다. 2024년 4월 OSWorld(Xie 외)는 실제 운영체제 과제 369개마다 초기 상태 설정과 실행 기반 평가 스크립트를 붙였고, 6월 τ-bench(Yao 외)는 LLM 이 흉내 내는 사용자와 대화한 뒤 데이터베이스를 목표 상태와 대조하며 반복 일관성 지표 pass^k 를 새로 정했다.
같은 해 7월 Kapoor 외는 정확도만 보는 관행이 불필요하게 비싼 에이전트를 낳고, 보류 세트(holdout)가 없거나 부족한 벤치마크가 지름길 · 과적합을 부른다며 비용과 정확도를 함께 보라고 했다(Kapoor 2024). 그래서 지금의 에이전트 평가는 성공률 하나가 아니라 상태 대조 · 반복 일관성 · 비용 · 규칙 준수를 한 보고서에 묶는다.
3쉽게 이해하기 — 운전면허 도로 주행 시험
수험생이 시험 코스를 달려 정해진 주차 칸에 차를 세운다. 시험관은 「잘 세웠습니다」라는 수험생의 말이 아니라 바퀴가 칸 안에 들어갔는지를 직접 보고, 옆자리 감독관은 가는 길에 신호를 어기면 주차가 완벽해도 실격시킨다. 한 번 붙은 수험생보다 여덟 번 쳐도 매번 붙는 수험생이 더 믿음직하고, 연료를 두 배 쓴 합격은 같은 합격이 아니다. 코스를 통째로 외운 수험생은 처음 가는 길에서 무너진다.
그림 1 · 합격은 수험생의 말이 아니라 주차 칸 확인과 감독관의 기록으로 정하고, 여러 번 응시와 연료 정산이 그 합격을 믿을 만한지 가른다.
그림 2 · 여덟 번 중 여섯 번 붙은 수험생은 「한 번이라도」로 재면 합격이지만, 「여덟 번 모두」로 재면 불합격이다 — 무엇을 묻느냐가 점수를 정한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 수험생 | 피험 에이전트 | 모델 · 프롬프트 · 도구 설정을 묶은 한 판을 그대로 돌린다 |
| 시험 코스 | 과제 · 격리 환경 | 과제마다 같은 초기 상태(저장소 커밋 · DB · 가상 머신)에서 시작한다 |
| 주차 칸 확인 | 최종 상태 검사 | 끝난 환경을 정답 상태 · 테스트와 대조해 성공을 정한다 |
| 감독관 | 실행 기록 검사 | 확인 없는 쓰기 같은 경로 규칙 위반을 기록에서 찾아 성공에서 뺀다 |
| 다시 응시 | 반복 시도 · pass^k | 같은 과제를 n 회 돌려 k 회 모두 성공할 확률을 잰다 |
| 연료 영수증 | 비용 · 단계 수 | 시도당 토큰 · 도구 호출 수 · 시간을 성공률과 함께 적는다 |
| 외운 코스 | 데이터 누출 · 벤치마크 과적합 | 공개 과제와 따로 보관한 보류 세트 점수를 견준다 |
⚠ 비유가 맞지 않는 곳: 운전 시험은 코스가 공개돼도 공정하지만, 에이전트 평가는 공개 과제와 정답이 모델의 학습 자료에 이미 들어 있을 수 있어 보류 세트를 따로 둬야 한다. 또 시험관은 사람이지만 실제 채점기는 대부분 코드(테스트 · 상태 대조)이고, 사람 · LLM 판정자는 코드로 잴 수 없는 항목에만 쓴다.
4구조 — 평가 하네스의 다섯 부품
공개 벤치마크는 이름이 달라도 과제 세트 · 격리 환경 · 피험 에이전트 · 채점기 · 집계기로 나뉜다(Jimenez 2023 2절 · Xie 2024 · Yao 2024 3절). 에이전트 평가는 끝난 결과를 재는 법만 다룬다 — 에이전트끼리 일을 맡기는 방식은 A2A, 여럿이 나눠 푸는 조정은 멀티 에이전트 쪽이다.
그림 3 · 정답 상태는 채점기만 쥐고 있고, 채점기는 에이전트의 마지막 말이 아니라 환경의 끝 상태와 실행 기록을 읽는다.
| 요소 | 맡는 일 | 값 · 근거 |
|---|---|---|
| 과제 세트 | 지시 · 초기 상태 · 정답 상태(또는 테스트) | SWE-bench 이슈 2,294건 · 이슈 글 평균 195.1단어(Jimenez 2023 표 1) |
| 격리 환경 | 시도마다 같은 초기 상태로 되돌림 | OSWorld 과제 369개마다 초기 상태 설정(Xie 2024) |
| 사용자 시뮬레이터 | 대화형 과제에서 사람 대신 요청 · 답 | LLM 이 사용자 역할 · τ-retail 115 · τ-airline 50 과제(Yao 2024 표 1) |
| 채점 — 상태 · 테스트 | 끝 상태를 정답과 대조 | fail-to-pass 평균 9.1 · 전체 120.8 테스트(Jimenez 2023 표 1) · 끝 DB 대조 r_ |
| 채점 — 출력 · 규칙 | 사용자에게 알려야 할 값 · 확인 절차 | r = r_ |
| LLM 판정자 | 코드로 못 재는 품질(설명 · 어조) | 사람 선호와 80% 넘게 일치 · 위치 · 장황함 · 자기 편향(Zheng 2023) |
| 집계기 | 일관성 · 비용 · 불확실성 | pass^k = E[C(c,k) / C(n,k)](Yao 2024 3절) |
🔑 에이전트 평가에서 정답은 에이전트에게 보이지 않는 곳에 두고, 성공은 에이전트의 말이 아니라 끝난 환경이 정한다 — 그래서 「처리했습니다」라는 거짓 보고는 점수에 들어가지 못한다.
⚠ 코딩 · 컴퓨터 사용 에이전트는 실제 계정 · 운영 데이터가 아닌 격리 환경에서 돌리고, 평가용 권한을 과제에 필요한 범위로 좁히며, 하네스 밖에 닿는 동작(외부 송신 · 결제)은 막거나 사람 확인을 거친다. 과제 속 문장으로 에이전트를 속이는 시험은 프롬프트 인젝션에서 다룬다.
5동작 — 반품 처리 에이전트 80회 시도
반품 · 교환 고객 지원 에이전트를 과제 10개 × 8회로 재는 모의 실행이다 — 직접 실행(Python · NumPy · 시드 0)이며, 실제 LLM 호출 없이 과제별 성공 확률을 Beta(4, 2) 에서 뽑아 흉내 낸 설명용 가정 값이다.
- 과제 10개를 정한다 — 과제마다 사용자 요청(「주문 한 건의 신발을 한 치수 큰 것으로 교환」 같은 가정 값), 초기 주문 DB, 정답 DB, 「쓰기 전에 사용자 확인」 규칙을 둔다.
- 시도마다 DB 를 초기 상태로 되돌린 뒤 에이전트를 돌려, 80회의 실행 기록과 끝 DB 를 모은다.
- 마지막 메시지에 「처리 완료」가 있는지로 세면 57/80(71.3%)이 성공이다.
- 끝 DB 를 정답 DB 와 대조하면 49/80(61.3%)로 내려간다 — 8회는 DB 가 그대로인데 완료라고 보고했다.
- 실행 기록에서 사용자 확인 전에 쓰기 도구를 부른 5회를 실패로 돌리면 44/80, pass^1 = 0.55 다(과제 단위 붓스트랩 95% 구간 0.46 ~ 0.64).
- 과제별 성공 수 c(3 ~ 6회)로 계산하면 pass@8 = 1.00 이지만 pass^2 = 0.29 · pass^4 = 0.08 · pass^8 = 0 이다 — 8회를 모두 성공한 과제가 없다.
- 시도당 평균 9,073 토큰, 성공 1건당 16,495 토큰을 성공률과 한 줄에 적어 보고한다 — 시드 0 ~ 19 로 다시 돌리면 pass^1 은 0.50 ~ 0.71, pass^8 은 0 ~ 0.10 사이로 갈린다.
그림 4 · 같은 80회 기록도 문자열 판정은 57, 끝 상태 대조는 49, 규칙 검사까지 하면 44 를 성공으로 세고, 8회를 모두 성공한 과제는 하나도 없다.
pass^k 와 pass@k 는 같은 과제별 성공 수 c 에서 나오지만, k 가 커질수록 반대 방향으로 움직인다(Yao 2024 3절 · Chen 2021 2.1절).
그림 5 · 같은 기록에서 「k 번 중 한 번이라도」는 k = 4 에서 0.97 로 오르고, 「k 번 모두」는 0.08 로 떨어진다 — 시연에 쓰는 숫자와 운영에 쓰는 숫자가 다르다.
🔑 pass@k 는 «풀 수 있는가», pass^k 는 «맡겨도 되는가»를 묻는다 — 시도 수를 늘리면 앞의 숫자는 오르고 뒤의 숫자는 떨어지므로, 운영 판단에는 반드시 pass^k 와 비용을 함께 낸다.
6비교 — 채점 방식 다섯
| 기준 | 문자열 · 정답 일치 | 끝 상태 · 테스트 대조 | 실행 기록 규칙 검사 | LLM 판정자 | 사람 평가 |
|---|---|---|---|---|---|
| 보는 것 | 마지막 답 문장 | DB · 파일 · 테스트 결과 | 호출 순서 · 확인 메시지 | 답 · 기록의 글 | 결과 전체 |
| 거짓 완료 보고 | 성공으로 셈 | 실패로 셈 | 경로만 봄 | 속을 수 있음 | 대체로 잡음 |
| 길이 여럿인 과제 | 약함 | 강함(끝만 봄) | 규칙만 봄 | 중간 | 강함 |
| 비용 · 재현성 | 낮음 · 높음 | 환경 구축 큼 · 높음 | 낮음 · 높음 | 호출 비용 · 판정자 따라 흔들림 | 높음 · 낮음 |
| 대표 쓰임 | 질의응답형 과제 | SWE-bench · OSWorld · τ-bench | τ-bench 의 확인 절차 | 설명 · 어조 품질 | 판정자 · 규칙의 표본 검수 |
분석바뀐 상태를 코드로 읽을 수 있으면 끝 상태 · 테스트 대조를 주 채점으로 두고, 확인 절차 같은 경로 규칙은 실행 기록 검사로 덧대며, LLM 판정자는 코드로 못 재는 항목에만 사람 표본과 대조해 쓴다. 근거는 상태 대조 통과가 필요조건일 뿐이라는 지적(Yao 2024)과 LLM 판정자의 위치 · 장황함 · 자기 편향(Zheng 2023)이다.
7실무 진단 — 점수와 현장 결과가 어긋나는 원인 가르기
분석보고서의 숫자를 채점 → 집계 → 과제 세트 → 환경 순으로 본다. 근거는 채점이 틀리면 뒤의 모든 숫자가 함께 틀리고(1행 · Yao 2024), 집계 · 과제 세트 문제는 같은 기록을 다시 계산하거나 보류 세트 하나로 가려지지만(2 · 3행 · Kapoor 2024), 환경 문제는 하네스를 고쳐 다시 돌려야 하기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 사내 시험 성공률은 높은데 사용자 신고가 잦음 | 문자열 · 자기 보고 채점 | 채점 | 성공으로 센 시도의 끝 상태 · 테스트 결과 | 끝 상태로 다시 세어 떨어지면 채점 결함(Yao 2024 r_ |
| 2 | 결과는 맞는데 확인 없이 쓰기 · 삭제 | 경로 규칙 미검사 | 채점 | 쓰기 호출 직전의 확인 메시지 | 확인 없는 쓰기가 있으면 성공에서 뺌(Yao 2024 · r = 1 은 필요조건) |
| 3 | 시연에서는 되는데 같은 요청에 가끔 실패 | 시도 한 번 평가 | 집계 | 과제별 c / n · pass^k | pass^1 과 pass^k 차가 크면 일관성 부족(Yao 2024 3절) |
| 4 | 새 판이 점수는 조금 올랐는데 비용이 두 배 | 정확도만 비교 | 집계 | 시도당 토큰 · 단계 수 · 비용-정확도 그래프 | 같은 비용에서 앞서지 않으면 개선으로 보지 않음(Kapoor 2024) |
| 5 | 공개 벤치마크 점수만 높고 사내 과제에서 낮음 | 누출 · 벤치마크 과적합 | 과제 세트 | 보류 세트 · 공개일 뒤 만든 과제의 점수 | 보류 세트에서 크게 낮으면 과적합(Kapoor 2024) |
| 6 | 같은 에이전트 점수가 돌릴 때마다 다름 | 초기화 누락 · 표본 부족 | 격리 환경 | 시도 전 환경 상태 해시 · 과제 단위 신뢰구간 | 초기 상태가 다르면 하네스 결함 · 구간이 겹치면 차이 없음 |
1 · 2행은 기존 기록을 다시 채점만 하면 되므로 먼저 본다. 3 · 4행은 같은 기록에 pass^k 와 비용 열을 더해 다시 계산하고, 5 · 6행은 보류 세트를 새로 만들거나 하네스를 고쳐 다시 돌려야 해서 마지막에 본다.
8시험 대비
시험에서는 에이전트 평가가 기존 LLM 평가와 무엇이 다른지를 묻는 정의 · 특징형과, 사내 에이전트를 도입하기 전의 평가 체계를 세우라는 구현 · 설계형이 나올 수 있다. 정의형이면 «답 문장이 아니라 끝 상태로 채점» · «반복 일관성» · «비용» 세 특징을 공개 벤치마크 예와 짝지어 쓰고, 설계형이면 그림 3 하네스 다섯 부품을 뼈대로 그림 4 처럼 채점 방식에 따라 성공 수가 달라지는 것과 그림 5 의 pass^k 를 보인다.
- 개요 — 정의(격리 환경 · 끝 상태 채점 · 반복 · 비용) · 기존 LLM 평가와 차이(길이 여럿 · 외부 상태 변경)
- 구성 — 그림 3 하네스(과제 세트 · 격리 환경 · 사용자 시뮬레이터 · 채점기 · 집계기) + 요소 표
- 채점 방식 — 비교표(문자열 · 끝 상태 · 실행 기록 · LLM 판정 · 사람) · 그림 4 의 57 · 49 · 44
- 지표 — 그림 5 pass@k ↔ pass^k 식과 곡선 · 비용(성공 1건당 토큰) · 과제 단위 신뢰구간
- 공개 벤치마크 — SWE-bench(테스트) · WebArena · OSWorld(실행 스크립트) · τ-bench(DB 대조 · 사용자 시뮬레이터) · 사람과의 차이 수치
- 운영 고려 — 보류 세트 · 누출 · 격리 · 권한 · 사람 확인 · 정기 재평가
꼭 쓸 키워드
최종 상태 검사실행 기반 평가pass@kpass^k사용자 시뮬레이터LLM 판정자보류 세트데이터 누출비용-정확도격리 환경
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 같은 기록에서 pass@4 = 0.97 과 pass^4 = 0.08 이 함께 나온다는 것을 보이면, 「성공률 몇 %」 한 줄이 왜 운영 판단에 모자란지가 한 장으로 설명된다.
9오해와 사실
- 오해에이전트가 「완료했다」고 보고하면 성공으로 세도 된다.사실사례에서 문자열 판정은 57/80 을 세었지만 끝 DB 대조로는 49/80 이었고, 공개 벤치마크는 그래서 테스트 실행(Jimenez 2023 2.2절) · 실행 기반 스크립트(Xie 2024) · DB 대조(Yao 2024)로 채점한다.
- 오해여러 번 돌려 한 번이라도 성공하면 그 과제는 해결한 것이다.사실pass@k 는 사람이 결과를 골라 줄 때의 숫자이고, 사람 없이 맡기는 운영에는 k 번 모두 성공할 확률 pass^k 가 맞다 — τ-bench 소매 영역에서 당시 최고 에이전트의 pass^1 은 61.2% 였지만 pass^8 은 25% 미만이었다(Yao 2024 표 2).
- 오해공개 벤치마크 점수가 높으면 우리 업무에도 그만큼 잘한다.사실보류 세트가 없거나 부족한 벤치마크는 지름길 · 과적합을 부르고 비용을 가린다(Kapoor 2024) — 사내 과제로 만든 보류 세트에서 다시 재야 한다.
10핵심 정리
| 구분 | 무엇을 재나 | 계산 · 자료 | 놓치면 생기는 일 | 근거 |
|---|---|---|---|---|
| 끝 상태 대조 | 일이 실제로 됐는가 | 끝 DB · 파일 ↔ 정답 상태 | 거짓 완료 보고가 성공으로 셈 | Yao 2024 · Xie 2024 |
| 테스트 실행 | 고친 코드가 맞고 기존 기능이 살았나 | fail-to-pass · pass-to-pass | 새 결함을 성공으로 셈 | Jimenez 2023 2.2절 |
| 실행 기록 검사 | 가는 길의 규칙 | 확인 메시지 · 호출 순서 | 확인 없는 쓰기 통과 | Yao 2024 |
| pass@k | 풀 수 있는가 | 1 − E[C(n−c,k) / C(n,k)] | 시연 숫자를 운영 숫자로 착각 | Chen 2021 2.1절 |
| pass^k | 맡겨도 되는가 | E[C(c,k) / C(n,k)] | 가끔 실패를 못 봄 | Yao 2024 3절 |
| 비용 | 성공 한 번의 값 | 시도당 · 성공당 토큰 · 단계 수 | 비싼 에이전트를 개선으로 봄 | Kapoor 2024 |
| 보류 세트 | 처음 보는 과제 실력 | 공개 과제 ↔ 보류 과제 점수 | 누출 · 과적합 | Kapoor 2024 |
| LLM 판정자 | 코드로 못 재는 품질 | 사람 표본과 일치율 | 위치 · 장황함 · 자기 편향 | Zheng 2023 |
11참고 문헌
- 먼저 볼 문헌
- ★ τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains (Yao et al.) — 데이터베이스 끝 상태 대조 채점 · 사용자 시뮬레이터 · pass^k 정의를 볼 때
- ★ SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (Jimenez et al. · ICLR 2024) — 패치 적용 뒤 fail-to-pass · pass-to-pass 테스트로 채점하는 법을 볼 때
- ★ OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (Xie et al.) — 과제별 초기 상태 설정과 실행 기반 평가 스크립트 · 사람과의 차이를 볼 때
- ★ AI Agents That Matter (Kapoor et al.) — 비용 · 정확도를 함께 보는 법과 보류 세트 · 재현성 문제를 볼 때
- 본문 근거
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al. · NeurIPS 2023 Datasets and Benchmarks) — arXiv · 2023-06 ·
arxiv.org/abs/2306.05685· 확인 2026-11-13 - WebArena: A Realistic Web Environment for Building Autonomous Agents (Zhou et al.) — arXiv · 2023-07 ·
arxiv.org/abs/2307.13854· 확인 2026-11-13 - Evaluating Large Language Models Trained on Code (Chen et al.) — arXiv · 2021-07 ·
arxiv.org/abs/2107.03374· 확인 2026-11-13 - NumPy Random Generator 문서 — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13