AI › 생성형 AI › AI 에이전트 › 에이전트 활용

컴퓨터 사용 에이전트Computer-Use Agent

화면 이미지 · 접근성 트리를 관찰로 받아 마우스 클릭 · 키보드 입력 같은 사람의 조작으로 응용 프로그램을 다루는 AI 에이전트다. API 가 없는 화면도 다룰 수 있지만, 좌표를 잘못 짚거나 화면 속 문장에 속는 위험을 격리 환경 · 권한 정책 · 사람 확인으로 막는다.

1요약

  1. 컴퓨터 사용 에이전트는 AI 에이전트의 관찰 · 행동 반복을 화면 단위로 옮긴 것으로, 관찰은 스크린샷 · 접근성 트리, 행동은 클릭 · 입력 · 스크롤이고, 2024년 OSWorld 가 가상 머신 위 실제 응용 프로그램 과제 369개로 이 방식을 재기 시작했다(Xie 2024).
  2. API 가 없는 사내 화면 · 데스크톱 프로그램도 다룰 수 있지만 아직 어렵다 — OSWorld 에서 사람은 72.36% 를 풀었고 가장 좋은 모델은 12.24% 였으며, 실패의 75% 이상이 클릭 위치를 잘못 짚은 것이었다(Xie 2024 5.4절).
  3. 「에이전트가 화면에서 헤맨다」는 짚기 · 보기 · 권한 가운데 어디가 틀렸는가로 가른다 — 클릭 좌표가 요소 경계 밖이면 짚기, 예상 밖 창을 못 봤으면 관찰, 요청에 없는 곳으로 갔으면 화면 속 주입, 승인 없이 제출했으면 권한이다.

2등장 배경

사내 경비 시스템 · 오래된 데스크톱 프로그램처럼 API 가 없는 화면은 도구 호출로 연결할 수 없어, 사람이 같은 단추를 날마다 눌러 왔다. 2017년 Shi 외의 World of Bits 는 에이전트가 웹에서 저수준 키보드 · 마우스 조작으로 과제를 풀게 하는 연구 환경을 내놓았다(Shi 2017).

2023년 7월 Zhou 외의 WebArena 는 쇼핑 · 게시판 · 코드 협업 · 콘텐츠 관리 네 분야 웹 사이트에 과제 812개를 두고, 행동 결과를 데이터베이스 상태로 판정해 가장 좋은 에이전트가 14.41%, 사람이 78.24% 를 풀었다(Zhou 2023 3.2절). 2024년 1월 SeeClick 은 화면 속 위치를 짚는 능력(GUI grounding)이 좋아질수록 과제 성공도 오른다고 보였고(Cheng 2024), 같은 해 4월 OSWorld 가 운영체제 · 사무 · 전문 프로그램 · 여러 프로그램 연계까지 범위를 넓혔다.

이 방식이 지금 남은 이유는 API 를 새로 만들지 않고 사람이 쓰던 화면을 그대로 쓸 수 있어서다. 대신 화면에 보이는 모든 글이 모델 입력이 되므로 이미지 속 숨은 지시도 주입 경로로 꼽히고(OWASP LLM01:2025 시나리오 7), 사람 승인 · 최소 권한이 기본 장치가 됐다(OWASP LLM06:2025).

3쉽게 이해하기 — 전화로 TV 설정을 돕는 아들

시골에 사는 어머니가 새 TV 의 설정을 몰라 도시에 사는 아들에게 전화한다. 어머니가 TV 화면을 휴대전화로 찍어 보내면, 아들은 사진을 보고 「왼쪽 위 톱니 단추를 누르세요」 라고 말하고, 어머니가 그대로 누른 뒤 다시 사진을 보낸다. 사진이 흐리면 아들이 엉뚱한 단추를 짚기도 해서, 둘은 단추마다 번호 스티커를 붙이고 「7번」 처럼 번호로 말하기로 한다. 유료 채널 결제 단추만은 어머니가 직접 확인하고 누르며, 화면 광고에 적힌 「이 번호로 전화하세요」 같은 문구는 따르지 않는다.

아들 도시에서 전화 사진 보고 말로 짚음 비전 언어 모델 사진 찍어 보낸 화면 번호 스티커 붙임 스크린샷 · 요소 번호 TV 화면 설정 메뉴 단추 · 메뉴 응용 프로그램 화면 결제 확인 어머니가 직접 사람 확인 · 권한 어머니 손 말한 대로 누름 행동 실행기 광고 문구 화면에 섞인 글 화면 속 주입 1 2 3 4 5 ① 화면을 찍음 · ② 사진을 보냄 · ③ 번호로 말해 줌 · ④ 손이 단추를 누름 ⑤ 결제 단추 앞에서는 어머니가 직접 확인 점선 = 화면에 보이는 광고 문구도 사진에 함께 찍혀 들어감

그림 1 · 아들은 사진만 보고 말로 짚고, 누르는 손은 어머니이며, 결제는 어머니가 직접 확인한다 — 화면 광고 문구는 사진에 섞여 들 뿐 지시가 아니다.

사진 찍기어머니가 TV 화면을 찍어 보냄
사진 보기아들이 다음 단추를 찾음
번호로 말하기「7번 누르세요」
누르기어머니 손이 단추를 누름
다시 찍기바뀐 화면을 또 보냄
결제 확인돈 드는 단추는 직접 봄
비유 — 전화로 짚는 말 실제 — 에이전트의 행동 「톱니 옆 작은 단추요」 사진이 흐리면 옆 단추를 누름 「7번 스티커요」 번호를 잘못 고를 때만 틀림 「눌렀으면 한 장 더요」 화면이 바뀌었는지 봄 click(x=912, y=388) 축소 화면 오차가 원래 화면에서 커짐 click [7] 실행기가 경계 상자 가운데를 누름 다음 회차 스크린샷 앞뒤 화면 차이로 성공 확인 짚는 말이 다르다 — 위치는 빗나갈 수 있고, 번호는 고르기만 틀릴 수 있다 점선 = 비유와 실제의 짝 · 좌표 912, 388 = 설명용 가정 값

그림 2 · 위치를 말하면 흐린 사진만큼 빗나가고, 번호를 말하면 고르기만 틀릴 수 있다 — 눌렀으면 다음 사진으로 결과를 본다.

비유 속 역할실제 이름실제로 하는 일
TV 화면응용 프로그램 화면가상 머신 안에서 돌아가는 브라우저 · 사무 프로그램
찍어 보낸 사진스크린샷 관찰화면을 축소해 매 회차 모델 문맥에 넣는다
번호 스티커접근성 트리 · 요소 번호(Set-of-Marks)단추마다 역할 · 이름 · 경계 상자와 번호를 붙인다
아들의 판단비전 언어 모델화면과 목표를 보고 다음 행동 하나를 고른다
어머니 손행동 실행기모델이 낸 클릭 · 입력을 실제 마우스 · 키보드 신호로 바꾼다
결제 확인권한 정책 · 사람 확인제출 · 결제 · 삭제는 사람이 승인해야 실행된다
광고 문구화면 속 주입화면 글이 지시처럼 읽혀 계획을 바꾸려 든다

⚠ 비유가 맞지 않는 곳: 어머니는 이상한 지시를 스스로 거르지만, 실제 실행기는 모델이 낸 행동을 판단 없이 실행하므로 거르는 일은 실행기 앞의 권한 정책이 해야 한다. 또 실제 에이전트는 어머니 집 TV 가 아니라 따로 마련한 가상 머신에서 먼저 돈다.

4구조 — 관찰 수집 · 모델 · 행동 실행 · 격리 환경

컴퓨터 사용 에이전트도 모델이 제안하고 호스트가 실행하는 AI 에이전트 구조 그대로다. 다른 점은 관찰과 행동이 화면 단위라는 것 — 관찰은 1920×1080 스크린샷 · 접근성 트리 · 둘을 합친 표식 이미지 가운데 고르고(Xie 2024 4.1절), 행동은 pyautogui 코드나 click · type · scroll 같은 정해진 행동 목록으로 낸다(Xie 2024 2.4절 · Zhou 2023 2.4절).

사용자 목표 · 승인 호스트 — 에이전트 실행기 루프 제어 — 단계 상한 15 관찰 수집 — 스크린샷 축소 · 접근성 트리 권한 정책 — 제출 · 삭제 = 승인 필요 행동 실행 — 좌표 변환 · 마우스 · 키보드 비전 언어 모델 화면을 보고 다음 행동 제안 격리 환경 — 가상 머신 앱 화면 · 파일 최소 권한 계정 되돌리기용 스냅숏 굵은 화살 = 목표 · 문맥 · 행동 · 회색 = 돌아오는 제안 · 승인 요청 · 바뀐 화면 사람 · 승인 모델 · 제어 규칙 화면 표현 행동(출력) 조작 대상 환경

그림 3 · 화면을 찍는 관찰 수집기와 마우스 · 키보드를 움직이는 행동 실행기가 호스트에 있고, 실행기와 화면 사이에 권한 정책이 끼며, 화면은 격리된 가상 머신 안에 있다.

요소맡는 일값 · 근거
스크린샷화면 전체를 이미지로1920×1080 원본 · 축소 실험(Xie 2024 4.1 · 5.2절)
접근성 트리요소의 역할 · 이름 · 상태 · 위치사용자 화면 구조를 나타내는 접근 가능 개체 트리(WAI-ARIA 1.2) · 원본 XML 은 수백만 토큰까지(Xie 2024 4.1절)
요소 번호 표식스크린샷에 번호 상자를 덧그림모델이 좌표 대신 번호로 요소를 고름(Set-of-Marks · Xie 2024 4.1절)
비전 언어 모델화면 · 목표 · 지난 행동을 보고 다음 행동 선택실패 원인 1위 = 클릭 위치 오차 75% 이상(Xie 2024 5.4절)
행동 실행기행동을 마우스 · 키보드 신호로pyautogui 코드 + WAIT · FAIL · DONE(Xie 2024 2.4절) · click · type · scroll · goto(Zhou 2023 2.4절)
루프 제어회차 반복 · 멈춤단계 상한 15(Xie 2024 4.1절)
권한 정책 · 사람 확인되돌릴 수 없는 행동을 멈춤고위험 행동 전 사람 승인 · 허가는 모델이 아니라 하위 시스템에서(OWASP LLM06:2025)
격리 환경실패해도 실제 시스템에 번지지 않게가상 머신 · 스냅숏으로 초기 상태 복원(Xie 2024 2.2절)

🔑 도구 호출 에이전트는 함수 이름이 틀리면 오류가 나지만, 화면 에이전트는 좌표가 틀리면 다른 단추가 조용히 눌린다 — 그래서 화면 변화 확인과 실행기 앞 권한 정책이 모델 성능보다 먼저다.

5동작 — 경비 입력 화면에 영수증 두 건 넣기

직원이 「영수증 두 건(12,000원 · 8,500원)을 경비 시스템에 넣고 제출」을 맡기는 사례다. 화면 · 단추 크기 · 금액은 설명용 가정 값이고, 클릭 오차는 직접 실행(합성 모의 실행 · 시드 0)으로 뽑았다.

  1. 호스트가 가상 머신에서 경비 화면(1920×1080)을 열고, 스크린샷을 0.4배(768×432)로 줄여 접근성 트리 요소 목록과 함께 모델에 넣는다 · 단계 상한 15 · 「제출」 = 승인 필요.
  2. 1회차 모델이 「새 항목」 단추(24×32 px)를 좌표로 누른다 — 원래 화면 기준 오차 (+1.6, −1.7) px 로 단추 안이라 입력 창이 열리고, 2회차에 금액 12000 을 입력한다.
  3. 3회차 「저장」(오차 +8.0 px · 맞음) 뒤 「저장됨」 알림 창이 다음 단추를 가린다 — 4회차 관찰에서 모델이 예상 밖 창을 보고 「닫기」를 누른다.
  4. 5회차 「새 항목」(오차 −6.7 px · 맞음) · 6회차 금액 8500 을 입력한다.
  5. 7회차 「저장」 클릭이 가로 +16.3 px 로 단추 반폭 12 px 를 넘어 빗나간다 — 화면이 그대로인 것을 8회차 관찰로 알아채고 다시 눌러 (−8.8, −15.8) px 로 맞힌다.
  6. 9회차 모델이 「제출」을 제안하자 권한 정책이 실행기를 멈추고, 그 회차 스크린샷과 함께 직원에게 확인을 요청한다 — 직원이 금액 두 줄을 보고 승인해야 클릭이 실행된다.
  7. 모델이 DONE 을 내면 호스트는 모델의 말 대신 경비 데이터베이스에서 「2건 · 제출됨」을 검사해 성공으로 판정한다 — 9회차 / 상한 15(상태 검사 판정 = Zhou 2023 3.2절).
단계 행동(모델 제안 → 실행기) 다음 화면(관찰) 회차 1 준비 0.4배 스크린샷 + 요소 목록 경비 목록 화면 · 0건 0 2 첫 건 click 새 항목 · type 12000 입력 창 · 금액 필드 채움 1 ~ 2 3 알림 창 click 저장 → click 닫기 「저장됨」 창 → 목록 1건 3 ~ 4 4 둘째 건 click 새 항목 · type 8500 입력 창 · 금액 필드 채움 5 ~ 6 5 빗나감 click 저장 · 가로 +16.3 px 화면 그대로 · 오류 없음 7 다시 click 저장 · (−8.8, −15.8) px 목록 2건 8 6 제출 click 제출 → 직원 승인 요청 승인 뒤 실행 · 상태 제출됨 9 7 판정 DONE 데이터베이스 검사 · 2건 제출됨 9 / 15 오차 = 원래 화면 기준 px · 단추 24×32 px · 가정 값 · 굵은 테두리 = 실패가 드러나는 상자 · 색: 행동 · 화면 · 실패 · 사람 승인

그림 4 · 빗나간 클릭은 오류 없이 화면이 그대로인 것으로만 드러나고, 제출은 사람 승인 뒤에야 실행된다.

모델이 보는 화면을 줄이면 토큰은 줄지만, 축소 화면에서의 작은 오차가 원래 화면에서는 배율만큼 커진다. 아래 그림은 모델 화면 기준 오차 σ = 5 px(설명용 가정 값)을 두고 정사각 단추 크기마다 20,000번 클릭을 흉내 낸 직접 실행 결과다.

한 번에 맞힐 확률(%) 100 50 0 16 24 32 48 96 단추 한 변(px · 원래 화면) 요소 번호로 고르면 단추 크기 · 배율과 무관(번호만 맞으면) 44% 80% 64% 90% 33% 59% 1.0배(오차 5 px) 0.4배(12.5 px) 0.25배(20 px) 오차 = 축마다 정규분포 · 모델 화면 σ 5 px ÷ 배율 · 가정 값

그림 5 · 같은 짚기 실력이라도 0.4배로 줄인 화면에서는 24 px 단추를 한 번에 맞힐 확률이 44% 로 떨어지고, 요소 번호로 고르면 좌표 오차가 사라진다.

🔑 화면을 줄이는 것은 토큰을 아끼는 대신 짚기 오차를 배율만큼 키우는 거래다 — 그래서 작은 단추가 많은 화면은 좌표 대신 요소 번호 · 접근성 트리로 짚게 한다.

6비교 — 관찰 · 행동 방식 넷

기준스크린샷 + 좌표접근성 트리스크린샷 + 요소 번호API 도구 호출
모델이 보는 것픽셀 이미지요소 역할 · 이름 · 위치 표번호 상자가 그려진 이미지 + 요소 표함수 이름 · 인자 스키마
짚는 방법click(x, y)요소 id번호함수 이름
OSWorld 성공률5.26%12.24%11.77%해당 없음(API 없는 화면이 대상)
잘 안 되는 곳작은 단추 · 축소 화면트리가 없는 그림 · 캔버스 화면번호가 겹치는 빽빽한 화면API 가 없는 프로그램
틀렸을 때 신호없음(다른 곳이 눌림)없는 id 오류없는 번호 오류오류 응답

성공률은 같은 논문 표 5 의 전체 평균이며, 스크린샷 · 요소 번호 행은 같은 모델, 접근성 트리 행은 그 설정의 가장 좋은 모델 값이다(Xie 2024 표 5).

분석API 가 있으면 도구 호출을 먼저 쓰고, 화면만 있을 때 접근성 트리 · 요소 번호를 기본으로, 순수 좌표는 트리가 비는 화면에만 쓴다. 근거는 표의 「틀렸을 때 신호」 행 — 좌표 방식만 실패가 오류로 드러나지 않고, OSWorld 에서 성공률도 가장 낮다.

7실무 진단 — 화면 행동의 실패 가르기

분석제출 · 삭제 같은 되돌릴 수 없는 행동과 화면 속 주입을 먼저 보고, 다음에 클릭 좌표와 요소 경계, 마지막에 계획을 본다. 근거는 표 1 · 2행이 실제 시스템을 바꾸고(OWASP LLM06:2025), 3행은 좌표와 경계 상자 비교 하나로 판정되기 때문이다.

#증상의심 원인단계확인 자료판정 기준(근거)
1승인 없이 제출 · 결제가 됨과도한 자율 · 권한권한권한 정책 · 승인 기록 · 계정 권한고위험 행동이 「승인 필요」 밖이거나 허가를 모델이 정했으면 정책 결함(OWASP LLM06:2025)
2요청에 없는 사이트로 가거나 입력함화면 속 주입관찰 → 계획직전 회차 스크린샷의 글 · 이미지화면 글 뒤에 새 목표가 나오면 주입 → 프롬프트 인젝션 대응(OWASP LLM01:2025)
3눌렀는데 아무 일도 없음 · 옆 단추가 눌림짚기 오차행동 변환클릭 좌표 ↔ 접근성 트리 경계 상자 · 축소 배율좌표가 경계 밖이면 짚기 오류 · 실패의 75% 이상(Xie 2024 5.4절)
4같은 곳을 되풀이 클릭화면 변화를 확인 안 함계획앞뒤 스크린샷 차이화면이 그대로인데 같은 행동이 이어지면 반복(Xie 2024 5.4절)
5알림 · 광고 창에서 멈춤예상 밖 창관찰그 회차 스크린샷목표와 무관한 창이 앞에 있으면 환경 잡음(Xie 2024 5.4절)
6「완료」라 했는데 결과가 없음말로만 판정판정데이터베이스 · 파일 상태상태 검사가 실패면 미완료(Zhou 2023 3.2절)

1 · 2행에 걸리면 프롬프트가 아니라 계정 권한 · 정책 표 · 가상 머신 범위를 고친다. 3행이 잦으면 축소 배율을 올리거나 요소 번호 방식으로 바꾸고, 4 · 5행은 회차 기록의 스크린샷을 차례로 넘겨 본다.

8시험 대비

시험에서는 개념과 구성 요소를 묻는 정의 · 특징형과, 화면 조작 권한이 생기며 늘어난 위험의 대응을 묻는 장애 · 보안 대응형이 나올 수 있다. 정의형이면 그림 3 의 관찰 수집 · 모델 · 행동 실행 · 격리 환경으로 뼈대를 세우고 비교 표로 API 도구 호출과 가르며, 보안형이면 권한 · 주입 · 짚기 · 판정 네 단계에 격리 · 승인 · 최소 권한을 짝지어 쓴다.

답안 목차
  1. 개요 — 정의(화면 관찰 · 마우스 · 키보드 행동) · World of Bits(Shi 2017) → WebArena(Zhou 2023) → OSWorld(Xie 2024)
  2. 구성 — 그림 3 관찰 수집 · 비전 언어 모델 · 행동 실행 · 권한 정책 · 격리 환경 + 요소 표
  3. 동작 — 그림 4 경비 입력 사례(축소 화면 → 빗나간 클릭 → 화면 확인 → 승인 → 상태 검사)
  4. 핵심 원리 — 그림 5 축소 배율과 짚기 오차(0.4배 · 24 px 단추 44%) · 요소 번호 방식
  5. 위험 — 짚기 오차 · 예상 밖 창 · 화면 속 주입 · 과도한 자율(사람 72.36% ↔ 모델 12.24%)
  6. 대응 — 가상 머신 격리 · 최소 권한 계정 · 고위험 행동 사람 승인 · 상태 검사 판정(OWASP LLM06 · LLM01)

꼭 쓸 키워드
스크린샷접근성 트리Set-of-MarksGUI grounding행동 공간가상 머신 격리사람 확인최소 권한화면 속 주입상태 검사 판정

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 화면 축소가 짚기 오차를 배율만큼 키운다는 수치를 보이면, 왜 요소 번호 · 접근성 트리를 함께 쓰는지가 한 장으로 설명된다.

9오해와 사실

  • 오해화면을 보고 누르니 사람처럼 어떤 프로그램이든 바로 다룬다.
    사실OSWorld 369개 과제에서 사람은 72.36% 를 풀었지만 가장 좋은 모델은 12.24% 였고, 여러 프로그램을 잇는 과제는 6.57% 였다(Xie 2024 5.1절).
  • 오해화면을 크게 줄여 넣어도 판단에는 문제가 없다.
    사실스크린샷만 쓸 때는 해상도가 높을수록 성공률이 올랐고, 요소 번호 방식도 0.2배까지 줄이면 눈에 띄게 떨어졌다(Xie 2024 5.2절).
  • 오해에이전트가 「끝냈다」고 하면 일이 끝난 것이다.
    사실빗나간 클릭은 오류 없이 화면만 그대로 남으므로, 성공은 데이터베이스 · 페이지 상태를 프로그램으로 검사해 판정한다(Zhou 2023 3.2절).

10핵심 정리

구분맡는 일주고받는 값대표 실패막는 장치
화면 관찰화면을 모델 입력으로스크린샷 · 축소 배율작은 글자 · 단추 놓침배율 조절 · 요소 표 함께
접근성 트리 · 요소 번호요소를 번호 · id 로역할 · 이름 · 경계 상자트리 없는 화면좌표 방식으로 보완
비전 언어 모델다음 행동 선택click · type · scroll짚기 오차 · 반복화면 변화 확인
행동 실행기마우스 · 키보드 신호좌표 · 키 입력다른 단추가 눌림경계 상자 대조
권한 정책 · 사람 확인되돌릴 수 없는 행동 멈춤허용 · 승인 필요 · 금지무단 제출 · 결제사람 승인 · 최소 권한 계정
격리 환경실패를 가둠가상 머신 · 스냅숏실제 시스템 훼손연습 환경에서 먼저 실행
화면 속 주입화면 글이 지시로 읽힘페이지 글 · 이미지요청 밖 이동 · 입력외부 내용 구분 · 승인

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments (Xie et al.) — 관찰 방식별 성공률 · 해상도 영향 · 실패 원인 분석을 볼 때
    arXiv · 2024-04 · arxiv.org/abs/2404.07972 · 확인 2026-11-13
  3. ★ WebArena: A Realistic Web Environment for Building Autonomous Agents (Zhou et al.) — 웹 행동 공간과 상태 검사로 성공을 판정하는 방법을 볼 때
    arXiv · 2023-07 · arxiv.org/abs/2307.13854 · 확인 2026-11-13
  4. ★ SeeClick: Harnessing GUI Grounding for Advanced Visual GUI Agents (Cheng et al.) — 화면 속 위치 짚기(GUI grounding)가 과제 성공을 정한다는 근거를 볼 때
    arXiv · 2024-01 · arxiv.org/abs/2401.10935 · 확인 2026-11-13
  5. ★ OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — 과도한 기능 · 권한 · 자율과 사람 승인 · 완전 중재를 볼 때
    OWASP Foundation · 2024-11 · genai.owasp.org/llmrisk/llm062025-excessive-agency/ · 확인 2026-11-13
  6. 본문 근거
  7. OWASP Top 10 for LLM Applications 2025 - LLM01:2025 Prompt Injection — OWASP Foundation · 2024-11 · genai.owasp.org/llmrisk/llm01-prompt-injection/ · 확인 2026-11-13
  8. World of Bits: An Open-Domain Platform for Web-Based Agents (Shi et al. · ICML 2017 · PMLR 70) — PMLR · 2017-08 · proceedings.mlr.press/v70/shi17a.html · 확인 2026-11-13
  9. Accessible Rich Internet Applications (WAI-ARIA) 1.2 · W3C Recommendation — W3C · 2023-06 · www.w3.org/TR/wai-aria-1.2/ · 확인 2026-11-13