컴퓨터 사용 에이전트Computer-Use Agent
화면 이미지 · 접근성 트리를 관찰로 받아 마우스 클릭 · 키보드 입력 같은 사람의 조작으로 응용 프로그램을 다루는 AI 에이전트다. API 가 없는 화면도 다룰 수 있지만, 좌표를 잘못 짚거나 화면 속 문장에 속는 위험을 격리 환경 · 권한 정책 · 사람 확인으로 막는다.
1요약
- 컴퓨터 사용 에이전트는 AI 에이전트의 관찰 · 행동 반복을 화면 단위로 옮긴 것으로, 관찰은 스크린샷 · 접근성 트리, 행동은 클릭 · 입력 · 스크롤이고, 2024년 OSWorld 가 가상 머신 위 실제 응용 프로그램 과제 369개로 이 방식을 재기 시작했다(Xie 2024).
- API 가 없는 사내 화면 · 데스크톱 프로그램도 다룰 수 있지만 아직 어렵다 — OSWorld 에서 사람은 72.36% 를 풀었고 가장 좋은 모델은 12.24% 였으며, 실패의 75% 이상이 클릭 위치를 잘못 짚은 것이었다(Xie 2024 5.4절).
- 「에이전트가 화면에서 헤맨다」는 짚기 · 보기 · 권한 가운데 어디가 틀렸는가로 가른다 — 클릭 좌표가 요소 경계 밖이면 짚기, 예상 밖 창을 못 봤으면 관찰, 요청에 없는 곳으로 갔으면 화면 속 주입, 승인 없이 제출했으면 권한이다.
2등장 배경
사내 경비 시스템 · 오래된 데스크톱 프로그램처럼 API 가 없는 화면은 도구 호출로 연결할 수 없어, 사람이 같은 단추를 날마다 눌러 왔다. 2017년 Shi 외의 World of Bits 는 에이전트가 웹에서 저수준 키보드 · 마우스 조작으로 과제를 풀게 하는 연구 환경을 내놓았다(Shi 2017).
2023년 7월 Zhou 외의 WebArena 는 쇼핑 · 게시판 · 코드 협업 · 콘텐츠 관리 네 분야 웹 사이트에 과제 812개를 두고, 행동 결과를 데이터베이스 상태로 판정해 가장 좋은 에이전트가 14.41%, 사람이 78.24% 를 풀었다(Zhou 2023 3.2절). 2024년 1월 SeeClick 은 화면 속 위치를 짚는 능력(GUI grounding)이 좋아질수록 과제 성공도 오른다고 보였고(Cheng 2024), 같은 해 4월 OSWorld 가 운영체제 · 사무 · 전문 프로그램 · 여러 프로그램 연계까지 범위를 넓혔다.
이 방식이 지금 남은 이유는 API 를 새로 만들지 않고 사람이 쓰던 화면을 그대로 쓸 수 있어서다. 대신 화면에 보이는 모든 글이 모델 입력이 되므로 이미지 속 숨은 지시도 주입 경로로 꼽히고(OWASP LLM01:2025 시나리오 7), 사람 승인 · 최소 권한이 기본 장치가 됐다(OWASP LLM06:2025).
3쉽게 이해하기 — 전화로 TV 설정을 돕는 아들
시골에 사는 어머니가 새 TV 의 설정을 몰라 도시에 사는 아들에게 전화한다. 어머니가 TV 화면을 휴대전화로 찍어 보내면, 아들은 사진을 보고 「왼쪽 위 톱니 단추를 누르세요」 라고 말하고, 어머니가 그대로 누른 뒤 다시 사진을 보낸다. 사진이 흐리면 아들이 엉뚱한 단추를 짚기도 해서, 둘은 단추마다 번호 스티커를 붙이고 「7번」 처럼 번호로 말하기로 한다. 유료 채널 결제 단추만은 어머니가 직접 확인하고 누르며, 화면 광고에 적힌 「이 번호로 전화하세요」 같은 문구는 따르지 않는다.
그림 1 · 아들은 사진만 보고 말로 짚고, 누르는 손은 어머니이며, 결제는 어머니가 직접 확인한다 — 화면 광고 문구는 사진에 섞여 들 뿐 지시가 아니다.
그림 2 · 위치를 말하면 흐린 사진만큼 빗나가고, 번호를 말하면 고르기만 틀릴 수 있다 — 눌렀으면 다음 사진으로 결과를 본다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| TV 화면 | 응용 프로그램 화면 | 가상 머신 안에서 돌아가는 브라우저 · 사무 프로그램 |
| 찍어 보낸 사진 | 스크린샷 관찰 | 화면을 축소해 매 회차 모델 문맥에 넣는다 |
| 번호 스티커 | 접근성 트리 · 요소 번호(Set-of-Marks) | 단추마다 역할 · 이름 · 경계 상자와 번호를 붙인다 |
| 아들의 판단 | 비전 언어 모델 | 화면과 목표를 보고 다음 행동 하나를 고른다 |
| 어머니 손 | 행동 실행기 | 모델이 낸 클릭 · 입력을 실제 마우스 · 키보드 신호로 바꾼다 |
| 결제 확인 | 권한 정책 · 사람 확인 | 제출 · 결제 · 삭제는 사람이 승인해야 실행된다 |
| 광고 문구 | 화면 속 주입 | 화면 글이 지시처럼 읽혀 계획을 바꾸려 든다 |
⚠ 비유가 맞지 않는 곳: 어머니는 이상한 지시를 스스로 거르지만, 실제 실행기는 모델이 낸 행동을 판단 없이 실행하므로 거르는 일은 실행기 앞의 권한 정책이 해야 한다. 또 실제 에이전트는 어머니 집 TV 가 아니라 따로 마련한 가상 머신에서 먼저 돈다.
4구조 — 관찰 수집 · 모델 · 행동 실행 · 격리 환경
컴퓨터 사용 에이전트도 모델이 제안하고 호스트가 실행하는 AI 에이전트 구조 그대로다. 다른 점은 관찰과 행동이 화면 단위라는 것 — 관찰은 1920×1080 스크린샷 · 접근성 트리 · 둘을 합친 표식 이미지 가운데 고르고(Xie 2024 4.1절), 행동은 pyautogui 코드나 click · type · scroll 같은 정해진 행동 목록으로 낸다(Xie 2024 2.4절 · Zhou 2023 2.4절).
그림 3 · 화면을 찍는 관찰 수집기와 마우스 · 키보드를 움직이는 행동 실행기가 호스트에 있고, 실행기와 화면 사이에 권한 정책이 끼며, 화면은 격리된 가상 머신 안에 있다.
| 요소 | 맡는 일 | 값 · 근거 |
|---|---|---|
| 스크린샷 | 화면 전체를 이미지로 | 1920×1080 원본 · 축소 실험(Xie 2024 4.1 · 5.2절) |
| 접근성 트리 | 요소의 역할 · 이름 · 상태 · 위치 | 사용자 화면 구조를 나타내는 접근 가능 개체 트리(WAI-ARIA 1.2) · 원본 XML 은 수백만 토큰까지(Xie 2024 4.1절) |
| 요소 번호 표식 | 스크린샷에 번호 상자를 덧그림 | 모델이 좌표 대신 번호로 요소를 고름(Set-of-Marks · Xie 2024 4.1절) |
| 비전 언어 모델 | 화면 · 목표 · 지난 행동을 보고 다음 행동 선택 | 실패 원인 1위 = 클릭 위치 오차 75% 이상(Xie 2024 5.4절) |
| 행동 실행기 | 행동을 마우스 · 키보드 신호로 | pyautogui 코드 + WAIT · FAIL · DONE(Xie 2024 2.4절) · click · type · scroll · goto(Zhou 2023 2.4절) |
| 루프 제어 | 회차 반복 · 멈춤 | 단계 상한 15(Xie 2024 4.1절) |
| 권한 정책 · 사람 확인 | 되돌릴 수 없는 행동을 멈춤 | 고위험 행동 전 사람 승인 · 허가는 모델이 아니라 하위 시스템에서(OWASP LLM06:2025) |
| 격리 환경 | 실패해도 실제 시스템에 번지지 않게 | 가상 머신 · 스냅숏으로 초기 상태 복원(Xie 2024 2.2절) |
🔑 도구 호출 에이전트는 함수 이름이 틀리면 오류가 나지만, 화면 에이전트는 좌표가 틀리면 다른 단추가 조용히 눌린다 — 그래서 화면 변화 확인과 실행기 앞 권한 정책이 모델 성능보다 먼저다.
5동작 — 경비 입력 화면에 영수증 두 건 넣기
직원이 「영수증 두 건(12,000원 · 8,500원)을 경비 시스템에 넣고 제출」을 맡기는 사례다. 화면 · 단추 크기 · 금액은 설명용 가정 값이고, 클릭 오차는 직접 실행(합성 모의 실행 · 시드 0)으로 뽑았다.
- 호스트가 가상 머신에서 경비 화면(1920×1080)을 열고, 스크린샷을 0.4배(768×432)로 줄여 접근성 트리 요소 목록과 함께 모델에 넣는다 · 단계 상한 15 · 「제출」 = 승인 필요.
- 1회차 모델이 「새 항목」 단추(24×32 px)를 좌표로 누른다 — 원래 화면 기준 오차 (+1.6, −1.7) px 로 단추 안이라 입력 창이 열리고, 2회차에 금액
12000을 입력한다. - 3회차 「저장」(오차 +8.0 px · 맞음) 뒤 「저장됨」 알림 창이 다음 단추를 가린다 — 4회차 관찰에서 모델이 예상 밖 창을 보고 「닫기」를 누른다.
- 5회차 「새 항목」(오차 −6.7 px · 맞음) · 6회차 금액
8500을 입력한다. - 7회차 「저장」 클릭이 가로 +16.3 px 로 단추 반폭 12 px 를 넘어 빗나간다 — 화면이 그대로인 것을 8회차 관찰로 알아채고 다시 눌러 (−8.8, −15.8) px 로 맞힌다.
- 9회차 모델이 「제출」을 제안하자 권한 정책이 실행기를 멈추고, 그 회차 스크린샷과 함께 직원에게 확인을 요청한다 — 직원이 금액 두 줄을 보고 승인해야 클릭이 실행된다.
- 모델이 DONE 을 내면 호스트는 모델의 말 대신 경비 데이터베이스에서 「2건 · 제출됨」을 검사해 성공으로 판정한다 — 9회차 / 상한 15(상태 검사 판정 = Zhou 2023 3.2절).
그림 4 · 빗나간 클릭은 오류 없이 화면이 그대로인 것으로만 드러나고, 제출은 사람 승인 뒤에야 실행된다.
모델이 보는 화면을 줄이면 토큰은 줄지만, 축소 화면에서의 작은 오차가 원래 화면에서는 배율만큼 커진다. 아래 그림은 모델 화면 기준 오차 σ = 5 px(설명용 가정 값)을 두고 정사각 단추 크기마다 20,000번 클릭을 흉내 낸 직접 실행 결과다.
그림 5 · 같은 짚기 실력이라도 0.4배로 줄인 화면에서는 24 px 단추를 한 번에 맞힐 확률이 44% 로 떨어지고, 요소 번호로 고르면 좌표 오차가 사라진다.
🔑 화면을 줄이는 것은 토큰을 아끼는 대신 짚기 오차를 배율만큼 키우는 거래다 — 그래서 작은 단추가 많은 화면은 좌표 대신 요소 번호 · 접근성 트리로 짚게 한다.
6비교 — 관찰 · 행동 방식 넷
| 기준 | 스크린샷 + 좌표 | 접근성 트리 | 스크린샷 + 요소 번호 | API 도구 호출 |
|---|---|---|---|---|
| 모델이 보는 것 | 픽셀 이미지 | 요소 역할 · 이름 · 위치 표 | 번호 상자가 그려진 이미지 + 요소 표 | 함수 이름 · 인자 스키마 |
| 짚는 방법 | click(x, y) | 요소 id | 번호 | 함수 이름 |
| OSWorld 성공률 | 5.26% | 12.24% | 11.77% | 해당 없음(API 없는 화면이 대상) |
| 잘 안 되는 곳 | 작은 단추 · 축소 화면 | 트리가 없는 그림 · 캔버스 화면 | 번호가 겹치는 빽빽한 화면 | API 가 없는 프로그램 |
| 틀렸을 때 신호 | 없음(다른 곳이 눌림) | 없는 id 오류 | 없는 번호 오류 | 오류 응답 |
성공률은 같은 논문 표 5 의 전체 평균이며, 스크린샷 · 요소 번호 행은 같은 모델, 접근성 트리 행은 그 설정의 가장 좋은 모델 값이다(Xie 2024 표 5).
분석API 가 있으면 도구 호출을 먼저 쓰고, 화면만 있을 때 접근성 트리 · 요소 번호를 기본으로, 순수 좌표는 트리가 비는 화면에만 쓴다. 근거는 표의 「틀렸을 때 신호」 행 — 좌표 방식만 실패가 오류로 드러나지 않고, OSWorld 에서 성공률도 가장 낮다.
7실무 진단 — 화면 행동의 실패 가르기
분석제출 · 삭제 같은 되돌릴 수 없는 행동과 화면 속 주입을 먼저 보고, 다음에 클릭 좌표와 요소 경계, 마지막에 계획을 본다. 근거는 표 1 · 2행이 실제 시스템을 바꾸고(OWASP LLM06:2025), 3행은 좌표와 경계 상자 비교 하나로 판정되기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 승인 없이 제출 · 결제가 됨 | 과도한 자율 · 권한 | 권한 | 권한 정책 · 승인 기록 · 계정 권한 | 고위험 행동이 「승인 필요」 밖이거나 허가를 모델이 정했으면 정책 결함(OWASP LLM06:2025) |
| 2 | 요청에 없는 사이트로 가거나 입력함 | 화면 속 주입 | 관찰 → 계획 | 직전 회차 스크린샷의 글 · 이미지 | 화면 글 뒤에 새 목표가 나오면 주입 → 프롬프트 인젝션 대응(OWASP LLM01:2025) |
| 3 | 눌렀는데 아무 일도 없음 · 옆 단추가 눌림 | 짚기 오차 | 행동 변환 | 클릭 좌표 ↔ 접근성 트리 경계 상자 · 축소 배율 | 좌표가 경계 밖이면 짚기 오류 · 실패의 75% 이상(Xie 2024 5.4절) |
| 4 | 같은 곳을 되풀이 클릭 | 화면 변화를 확인 안 함 | 계획 | 앞뒤 스크린샷 차이 | 화면이 그대로인데 같은 행동이 이어지면 반복(Xie 2024 5.4절) |
| 5 | 알림 · 광고 창에서 멈춤 | 예상 밖 창 | 관찰 | 그 회차 스크린샷 | 목표와 무관한 창이 앞에 있으면 환경 잡음(Xie 2024 5.4절) |
| 6 | 「완료」라 했는데 결과가 없음 | 말로만 판정 | 판정 | 데이터베이스 · 파일 상태 | 상태 검사가 실패면 미완료(Zhou 2023 3.2절) |
1 · 2행에 걸리면 프롬프트가 아니라 계정 권한 · 정책 표 · 가상 머신 범위를 고친다. 3행이 잦으면 축소 배율을 올리거나 요소 번호 방식으로 바꾸고, 4 · 5행은 회차 기록의 스크린샷을 차례로 넘겨 본다.
8시험 대비
시험에서는 개념과 구성 요소를 묻는 정의 · 특징형과, 화면 조작 권한이 생기며 늘어난 위험의 대응을 묻는 장애 · 보안 대응형이 나올 수 있다. 정의형이면 그림 3 의 관찰 수집 · 모델 · 행동 실행 · 격리 환경으로 뼈대를 세우고 비교 표로 API 도구 호출과 가르며, 보안형이면 권한 · 주입 · 짚기 · 판정 네 단계에 격리 · 승인 · 최소 권한을 짝지어 쓴다.
- 개요 — 정의(화면 관찰 · 마우스 · 키보드 행동) · World of Bits(Shi 2017) → WebArena(Zhou 2023) → OSWorld(Xie 2024)
- 구성 — 그림 3 관찰 수집 · 비전 언어 모델 · 행동 실행 · 권한 정책 · 격리 환경 + 요소 표
- 동작 — 그림 4 경비 입력 사례(축소 화면 → 빗나간 클릭 → 화면 확인 → 승인 → 상태 검사)
- 핵심 원리 — 그림 5 축소 배율과 짚기 오차(0.4배 · 24 px 단추 44%) · 요소 번호 방식
- 위험 — 짚기 오차 · 예상 밖 창 · 화면 속 주입 · 과도한 자율(사람 72.36% ↔ 모델 12.24%)
- 대응 — 가상 머신 격리 · 최소 권한 계정 · 고위험 행동 사람 승인 · 상태 검사 판정(OWASP LLM06 · LLM01)
꼭 쓸 키워드
스크린샷접근성 트리Set-of-MarksGUI grounding행동 공간가상 머신 격리사람 확인최소 권한화면 속 주입상태 검사 판정
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 화면 축소가 짚기 오차를 배율만큼 키운다는 수치를 보이면, 왜 요소 번호 · 접근성 트리를 함께 쓰는지가 한 장으로 설명된다.
9오해와 사실
- 오해화면을 보고 누르니 사람처럼 어떤 프로그램이든 바로 다룬다.사실OSWorld 369개 과제에서 사람은 72.36% 를 풀었지만 가장 좋은 모델은 12.24% 였고, 여러 프로그램을 잇는 과제는 6.57% 였다(Xie 2024 5.1절).
- 오해화면을 크게 줄여 넣어도 판단에는 문제가 없다.사실스크린샷만 쓸 때는 해상도가 높을수록 성공률이 올랐고, 요소 번호 방식도 0.2배까지 줄이면 눈에 띄게 떨어졌다(Xie 2024 5.2절).
- 오해에이전트가 「끝냈다」고 하면 일이 끝난 것이다.사실빗나간 클릭은 오류 없이 화면만 그대로 남으므로, 성공은 데이터베이스 · 페이지 상태를 프로그램으로 검사해 판정한다(Zhou 2023 3.2절).
10핵심 정리
| 구분 | 맡는 일 | 주고받는 값 | 대표 실패 | 막는 장치 |
|---|---|---|---|---|
| 화면 관찰 | 화면을 모델 입력으로 | 스크린샷 · 축소 배율 | 작은 글자 · 단추 놓침 | 배율 조절 · 요소 표 함께 |
| 접근성 트리 · 요소 번호 | 요소를 번호 · id 로 | 역할 · 이름 · 경계 상자 | 트리 없는 화면 | 좌표 방식으로 보완 |
| 비전 언어 모델 | 다음 행동 선택 | click · type · scroll | 짚기 오차 · 반복 | 화면 변화 확인 |
| 행동 실행기 | 마우스 · 키보드 신호 | 좌표 · 키 입력 | 다른 단추가 눌림 | 경계 상자 대조 |
| 권한 정책 · 사람 확인 | 되돌릴 수 없는 행동 멈춤 | 허용 · 승인 필요 · 금지 | 무단 제출 · 결제 | 사람 승인 · 최소 권한 계정 |
| 격리 환경 | 실패를 가둠 | 가상 머신 · 스냅숏 | 실제 시스템 훼손 | 연습 환경에서 먼저 실행 |
| 화면 속 주입 | 화면 글이 지시로 읽힘 | 페이지 글 · 이미지 | 요청 밖 이동 · 입력 | 외부 내용 구분 · 승인 |
11참고 문헌
- 먼저 볼 문헌
- ★ OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (Xie et al.) — 관찰 방식별 성공률 · 해상도 영향 · 실패 원인 분석을 볼 때
- ★ WebArena: A Realistic Web Environment for Building Autonomous Agents (Zhou et al.) — 웹 행동 공간과 상태 검사로 성공을 판정하는 방법을 볼 때
- ★ SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents (Cheng et al.) — 화면 속 위치 짚기(GUI grounding)가 과제 성공을 정한다는 근거를 볼 때
- ★ OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — 과도한 기능 · 권한 · 자율과 사람 승인 · 완전 중재를 볼 때
- 본문 근거
- OWASP Top 10 for LLM Applications 2025 - LLM01:2025 Prompt Injection — OWASP Foundation · 2024-11 ·
genai.owasp.org/llmrisk/llm01-prompt-injection/· 확인 2026-11-13 - World of Bits: An Open-Domain Platform for Web-Based Agents (Shi et al. · ICML 2017 · PMLR 70) — PMLR · 2017-08 ·
proceedings.mlr.press/v70/shi17a.html· 확인 2026-11-13 - Accessible Rich Internet Applications (WAI-ARIA) 1.2 · W3C Recommendation — W3C · 2023-06 ·
www.w3.org/TR/wai-aria-1.2/· 확인 2026-11-13