AI › 생성형 AI

AI 에이전트AI Agent

LLM 이 목표를 받아 관찰 · 추론 · 행동을 되풀이하며 도구를 호출해 여러 단계의 작업을 스스로 이어 가는 시스템이다. 도구 실행 · 메모리 · 권한 확인은 모델 바깥의 실행 프로그램이 맡는다.

1요약

  1. AI 에이전트는 LLM 이 관찰 · 추론 · 행동 반복의 판단을 맡고, 모델 바깥의 호스트 프로그램이 도구 실행 · 메모리 · 권한 확인을 맡는 구조다 — 2022년 ReAct(Yao 외)가 생각과 도구 행동을 한 실행 기록에 엮은 뒤 코드 수정 · 운영 자동화 · 조사 보조가 이 위에서 돈다.
  2. 답을 한 번 생성하고 끝나는 방식은 결과를 확인할 수단이 없어 HotpotQA 실패 사례의 56% 가 환각이었지만, 위키백과 검색 행동을 넣은 ReAct 는 0% 였다 — 대신 같은 단계 반복을 포함한 추론 오류가 실패의 47% 로 새로 생겼다(Yao 외 2022 표 2).
  3. 「에이전트가 일을 망쳤다」는 실행 기록의 어느 지점이 틀렸는가로 가른다 — 같은 행동을 되풀이하면 계획, 실행 오류를 받고도 인자를 못 고치면 도구 연결, 결과에 없는 사실을 쓰면 관찰, 결과 속 문장을 지시로 따랐으면 주입, 승인 없이 지웠으면 권한이다.

2등장 배경

LLM 하나만 부르면 학습 시점의 지식과 한 번의 생성으로 답한다. 계산기 · 검색 · 달력을 쓰지 못해 산술 · 사실 조회에서 틀리고(Schick 외 2023 1절), 답을 낸 뒤 외부 상태를 확인하거나 바꿀 수단이 없다. 에이전트라는 틀은 AI 교과서의 출발점으로, Russell · Norvig 는 에이전트를 센서로 환경을 지각하고 액추에이터로 환경에 작용하는 것으로 정의한다(Russell · Norvig 2020 2장).

2022년 10월 Yao 외는 모델이 생각(Thought) · 행동(Action) · 관찰(Observation)을 번갈아 쓰게 한 ReAct 로 가정 환경 과제 ALFWorld 성공률을 행동만 쓴 방식의 45% 에서 71% 로 올렸다(표 3 · 6회 중 최고). 2023년 2월 Schick 외의 Toolformer 는 67억 매개변수 모델이 계산기 · 질의응답 · 검색 · 번역 · 달력 API 를 언제 부를지 스스로 학습하게 했고, 같은 해 Park 외는 경험을 기억 흐름(memory stream)에 쌓아 꺼내 쓰는 에이전트 25명을 가상 마을에서 돌렸다(Park 외 2023 4.1절).

도구 연결 방식이 제품마다 달라지자 2024-11-05 에 첫 명세가 나온 MCP(Model Context Protocol)가 JSON-RPC 2.0 위에 도구 목록 · 호출 메시지를 정했고, 현행 명세는 2026-07-28 이다. 같은 시기 Greshake 외(2023)가 검색 결과에 심은 문장으로 모델의 API 호출을 조종하는 간접 프롬프트 주입을 보이면서, 사람 확인과 최소 권한이 에이전트 구조의 필수 구성 요소가 됐다(OWASP LLM06:2025).

3쉽게 이해하기 — 수첩을 든 탐정

의뢰인이 탐정에게 「창고에서 사라진 상자를 찾아 달라」고 맡긴다. 탐정은 현장을 둘러보고 단서를 수첩에 적은 뒤 다음에 무엇을 할지 추리하고, 조수를 보내 출입 장부를 조회하거나 직접 탐문한다. 잠긴 문을 강제로 열 때만은 서장의 승인 도장을 받아야 하고, 의뢰인과 정한 기한이 지나면 찾은 데까지 보고한다. 범인이 현장에 「수사를 접어라」라는 쪽지를 놓아 두어도, 탐정은 그것을 단서로 볼 뿐 명령으로 따르지 않아야 한다.

의뢰인 일을 맡김 찾아 달라는 일 사용자 · 목표 서장 문을 열 때 승인 도장 사람 확인 · 권한 탐정 추리하는 사람 다음 할 일 추리 LLM 추론 · 계획 수첩 메모리 수사 기한 단계 상한 · 종료 현장 보이는 것 찾은 단서 관찰(도구 결과) 조수 대신 다녀옴 장부 조회 · 탐문 도구 호출 · 행동 범인이 심은 쪽지 간접 프롬프트 주입 1 2 3 4 5 6 ① 일을 맡김 · ② 조수에게 조회를 시킴 · ③ 결과가 단서가 됨 ④ 단서를 수첩에 적음 · ⑤ 문을 열 때만 승인을 받음 ⑥ 기한 안에 찾은 데까지 보고 점선 = 조회 결과에 섞여 드는 쪽지

그림 1 · 탐정은 추리만 하고, 조회는 조수가 다녀오며, 문을 여는 일은 서장의 도장을 거친다 — 현장에 심은 쪽지는 단서로만 읽는다.

의뢰의뢰인이 찾을 것을 맡김
추리다음에 볼 곳을 정함
조수 보내기장부 조회 · 탐문
단서 받기돌아온 결과를 읽음
서장 도장문을 열 때만 승인
기한 보고찾은 데까지 알림
비유 — 탐정 수첩 한 쪽 실제 — 실행 기록 한 회차 추리 — 탐정이 쓴다 창고 열쇠를 가진 사람부터 본다 시킴 — 탐정이 쓴다 경비에게 어젯밤 출입 기록을 묻는다 단서 — 경비가 알려 준다 22시 10분 · 출입 1명 생각 — 모델이 생성 출입 기록부터 조회한다 행동 — 모델이 생성 tools/call · get_access_log 관찰 — 도구가 반환 content · isError false 글쓴이가 다르다 — 생각 · 행동은 모델이, 관찰은 도구가 쓴다 관찰 줄을 모델이 지어 쓰면 환각 · 관찰 속 문장을 지시로 따르면 주입 · 굵은 화살 = 다음 회차로 반복 · 점선 = 짝 추론 · 계획 행동(출력) 관찰(문맥)

그림 2 · 수첩 한 쪽은 추리 · 시킴 · 단서 세 줄로 되풀이되고, 단서 줄만은 탐정이 아니라 다녀온 사람이 쓴다.

비유 속 역할실제 이름실제로 하는 일
의뢰인의 부탁사용자 목표호스트가 받은 요청을 첫 문맥으로 모델에 넣는다
탐정의 추리LLM 추론 · 계획지금까지의 기록을 보고 다음 행동 하나를 고른다
수첩메모리이번 작업 기록과 지난 경험 가운데 필요한 것을 문맥에 다시 넣는다
조수 보내기도구 호출모델이 낸 도구 이름 · 인자를 호스트가 MCP 서버에 tools/call 로 보낸다
돌아온 단서관찰도구 결과(content · isError)를 다음 회차 문맥에 붙인다
서장 도장사람 확인 · 권한 정책삭제 · 송금처럼 되돌릴 수 없는 호출은 사람이 승인해야 실행된다
수사 기한단계 상한 · 종료 조건정한 회차를 넘기거나 목표를 채우면 멈추고 보고한다
심어 둔 쪽지간접 프롬프트 주입도구 결과 속 문장이 지시처럼 읽혀 계획을 바꾸려 든다

⚠ 비유가 맞지 않는 곳: 탐정은 지난 일을 저절로 기억하지만, 실제 모델은 회차마다 문맥에 다시 넣어 준 기록만 보며 넣지 않은 수첩 쪽은 없는 것과 같다. 또 서장은 탐정이 부탁할 때만 나오지만, 실제 승인은 모델의 요청과 관계없이 호스트의 권한 정책이 정한 도구마다 반드시 거친다.

4구조 — 모델 · 호스트 · 도구 서버의 경계

에이전트의 구성은 연구마다 이름이 다르지만 대개 프로필 · 메모리 · 계획 · 행동 모듈로 나뉜다(Wang 외 2023 2.1절). 실제 구현에서 더 중요한 선은 모델과 호스트의 경계다 — 모델은 다음 행동을 글(JSON)로 제안할 뿐이고, 반복 · 기억 · 권한 · 실제 호출은 호스트 코드가 맡는다.

사용자 목표 · 승인 호스트 — 에이전트 실행기 루프 제어 — 단계 상한 · 종료 조건 메모리 — 작업 기록 · 장기 기억 검색 권한 정책 — 허용 · 승인 필요 · 금지 MCP 클라이언트 — tools/call LLM 생각 · 다음 행동 제안 MCP 서버 A — 디스크 도구 MCP 서버 B — 파일 도구 굵은 화살 = 목표 · 문맥 · 호출 · 회색 = 돌아오는 제안 · 승인 요청 · 클라이언트 ↔ 서버 = JSON-RPC 2.0 사람 · 승인 모델 · 제어 규칙 메모리 색인 도구 · 행동(출력)

그림 3 · 모델의 도구 호출 제안은 호스트의 루프 제어 · 권한 정책을 지나야 MCP 서버에 닿고, 사람 승인도 호스트가 요청한다.

요소맡는 일값 · 근거
LLM지금까지의 기록을 보고 다음 행동 하나를 고름생각 + 도구 이름 · 인자(Yao 외 2022 2절)
루프 제어회차 반복 · 멈춤ReAct 단계 상한 HotpotQA 7 · FEVER 5(Yao 외 2022 3.2절)
메모리작업 기록(단기) · 지난 경험 검색(장기)최근성 · 중요도 · 관련성 점수로 꺼냄(Park 외 2023 4.1절)
도구 정의쓸 수 있는 행동을 모델에 알림name · description · inputSchema(JSON Schema 2020-12 · MCP 도구 명세)
도구 호출 · 결과외부 시스템 실행 · 관찰 반환tools/call → content · isError(MCP 도구 명세)
권한 정책 · 사람 확인고위험 호출 차단 · 승인사람이 도구 호출을 거부할 수 있어야 함(MCP 도구 명세 · SHOULD)
오류 신호프로토콜 오류와 실행 오류 구분-32602 알 수 없는 도구 · isError: true(MCP 도구 명세)

🔑 모델은 도구 호출을 제안하고 호스트가 실행한다 — 그래서 단계 상한 · 권한 · 승인은 프롬프트 문장이 아니라 호스트 코드에 둬야 모델이 속아도 지켜진다.

5동작 — 디스크 사용률 경보 한 건

운영자가 웹 서버의 디스크 경보 처리를 에이전트에 맡기는 사례다. 호스트 이름 · 용량 · 도구 이름은 설명용 가정 값이고, 메시지 이름과 필드는 MCP 2026-07-28 도구 명세를 따른다.

  1. 운영자가 「web-01 의 /var 사용률 92% 를 80% 미만으로」를 맡기면, 호스트는 MCP 서버 2개에 tools/list 를 보내 도구 4개(disk_usage · find_large_files · compress_logs · delete_path)의 inputSchema 를 받고 목표와 함께 문맥에 넣는다 · 단계 상한 8.
  2. 모델이 「큰 디렉터리부터 찾는다」고 생각하고 disk_usage(path="/var") 를 제안하면, 호스트가 tools/call 로 실행해 「50 GB 중 46 GB · /var/log 31 GB」를 관찰로 돌려준다.
  3. 모델이 find_large_files(min_size_mb="500MB") 를 제안하자 서버가 isError: true 와 「min_size_mb 는 정수」를 돌려주고, 호스트는 이 실행 오류를 그대로 모델에 넘긴다(MCP 도구 명세 Error Handling).
  4. 모델이 인자를 min_size_mb=500 으로 고쳐 다시 불러 app.log.1 ~ .7 7개 · 18 GB 를 받고, 호스트는 결과를 작업 기록에 남기며 장기 기억에서 「app 로그 30일 보존」 메모를 찾아 문맥에 붙인다.
  5. 모델이 삭제 대신 압축을 골라 compress_logs(files=7) 를 부르자 18 GB 가 2.6 GB 가 되어 사용량이 30.6 GB · 61% 로 내려간다.
  6. 모델이 delete_path(app.log.7) 을 제안하자 권한 정책의 「삭제 = 승인 필요」에 걸려 운영자에게 확인 창이 뜨고, 운영자가 거부해 호출은 서버로 가지 않는다.
  7. 모델이 목표 충족을 확인하고 6회차(상한 8)에서 종료해, 한 일 · 거부된 일 · 남은 사용률 61% 를 보고한다.
단계 행동(모델 제안 → 호스트 실행) 관찰(도구 결과) 사용률 1 준비 tools/list · 도구 4개 · 상한 8 도구 정의 4개를 문맥에 92% 2 1회차 disk_usage(path="/var") 46 / 50 GB · /var/log 31 GB 92% 3 2회차 find_large_files(min_size_mb="500MB") isError true · 정수여야 함 92% 4 3회차 find_large_files(min_size_mb=500) app.log.1 ~ .7 · 18 GB 92% 5 4회차 compress_logs(files=7) 18 GB → 2.6 GB 61% 6 5회차 delete_path(app.log.7) → 승인 요청 운영자 거부 · 실행 안 됨 61% 7 6회차 종료 — 보고 목표 80% 미만 충족 61% 가정 값 = 호스트 web-01 · /var 50 GB · 도구 4개 · ② ~ ⑥ = 생각 → 행동 → 관찰 한 회차씩 · 굵은 테두리 = 바뀐 값 행동 관찰 실행 오류 사람 확인

그림 4 · 실행 오류는 다음 회차의 인자 수정으로 이어지고, 삭제는 사람 승인에서 멈춘 채 압축만으로 목표를 채운다.

회차가 늘수록 실수가 쌓인다. 단계마다 맞을 확률을 p 로 두고 단계끼리 독립이라고 보면, n 단계를 끝까지 맞힐 확률은 pⁿ 이다 — 아래 그림은 이 설명용 모델의 값이다.

끝까지 성공할 확률 pⁿ 1.0 0.75 0.5 0.25 0 1 5 10 15 20 이어 가는 단계 수 n 사례의 단계 상한 8 0.92 0.66 0.43 0.82 0.36 0.12 p = 0.99 p = 0.95 p = 0.90 p = 단계마다 맞을 확률 · 단계끼리 독립인 설명용 모델 · 점선 가로줄 = 0.5

그림 5 · 단계마다 95% 맞아도 8단계를 이으면 끝까지 맞을 확률은 66%, 20단계면 36% 로 떨어진다.

🔑 에이전트의 신뢰도는 모델 정확도 하나가 아니라 단계 수의 거듭제곱으로 정해진다 — 그래서 단계 상한 · 중간 결과 검증 · 되돌릴 수 없는 행동의 승인이 모델 교체보다 먼저 고칠 설계 항목이다.

6비교 — LLM 단독 호출 · RAG · AI 에이전트

기준LLM 단독 호출RAGAI 에이전트
다음 단계를 정하는 주체없음(한 번 생성)정해진 순서(검색 → 생성)모델이 회차마다 고름
외부 호출0회검색 1회 안팎도구 여러 회 · 횟수 미정
외부 상태 변경없음없음(읽기만)쓰기 · 삭제 가능
멈추는 조건종료 토큰답 생성 끝목표 충족 · 단계 상한 · 사람 거부
대표 실패환각검색 누락반복 · 도구 오류 · 주입 · 과도한 권한

분석단계 수와 순서를 미리 적을 수 있으면 RAG 나 고정된 호출 순서로 짜고, 다음 행동이 앞 결과에 따라 달라지거나 외부 시스템을 바꿔야 할 때만 에이전트를 쓴다. 근거는 표의 「외부 상태 변경」 · 「대표 실패」 행 — 에이전트만 쓰기 권한을 갖고 실패 유형이 가장 많다.

7실무 진단 — 실행 기록의 실패 지점 가르기

분석실행 기록을 시간순이 아니라 피해가 큰 지점부터 본다 — 권한 · 주입을 먼저, 응답 필드 하나로 판정되는 도구 연결을 다음, 판단이 드는 계획 · 관찰을 마지막에 본다. 근거는 표 1 · 2행이 되돌릴 수 없는 외부 변경으로 이어지고, 3 · 4행은 isError · error.code 하나로 갈리기 때문이다(MCP 도구 명세 Error Handling).

#증상의심 원인실패 지점확인 자료판정 기준(근거)
1승인 없이 삭제 · 송금이 실행됨과도한 기능 · 권한 · 자율권한권한 정책 · 승인 기록고위험 도구가 「승인 필요」 밖이면 정책 결함(OWASP LLM06:2025)
2사용자 요청에 없는 행동을 함간접 프롬프트 주입관찰 → 계획그 행동 직전 회차의 도구 결과 원문결과 속 문장 뒤에 새 목표가 나오면 주입(Greshake 외 2023)
3같은 인자 오류로 멈춤실행 오류가 모델에 안 감도구 연결결과의 isError · 문맥에 들어간 오류 문장isError: true 를 모델에 넘기지 않았으면 호스트 결함(MCP 도구 명세)
4없는 도구 이름을 부름도구 목록 불일치도구 연결JSON-RPC error.code-32602 는 프로토콜 오류 · tools/list 다시 받기(MCP 도구 명세)
5같은 도구 · 같은 인자를 되풀이계획이 결과를 반영 못 함계획실행 기록의 (도구, 인자) 쌍같은 쌍이 연달아 나오면 반복 · ReAct 실패의 47% 에 포함(Yao 외 2022 표 2)
6빈 검색 결과로 결론을 냄쓸모없는 관찰관찰도구 결과 원문 ↔ 답 문장결과에 없는 사실이 답에 있으면 관찰 오류 · ReAct 실패의 23%(Yao 외 2022 표 2)

1 · 2행은 피해를 막는 일이라 먼저 보고, 결함이 있으면 프롬프트가 아니라 정책 표와 도구 권한(읽기 전용 계정 등)을 고친다. 3 · 4행은 응답 필드로 끝나고, 5 · 6행은 같은 목표를 단계 상한을 줄여 다시 돌리며 회차별 생각 줄을 읽는다.

8시험 대비

출제 정보 정보관리(136회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 에이전트의 구성 요소와 동작 반복을 묻는 구조 · 구성형과, 도구 · 권한이 붙으며 생기는 위험의 대응을 묻는 장애 · 보안 대응형이 나올 수 있다. 구조형이면 그림 3 의 모델 · 호스트 · 도구 서버 경계로 뼈대를 세우고 그림 4 사례로 반복을 보이며, 보안형이면 실패 유형을 실행 기록의 지점(계획 · 도구 연결 · 관찰 · 권한)에 대응시키고 지점마다 막는 장치를 짝지어 쓴다.

답안 목차
  1. 개요 — 정의(관찰 · 추론 · 행동 반복) · 에이전트의 교과서 정의(지각 · 작용) · ReAct(Yao 2022) · ALFWorld 45% → 71%
  2. 구성 — 그림 3 모델 · 호스트(루프 제어 · 메모리 · 권한 정책 · MCP 클라이언트) · MCP 서버 + 요소 표
  3. 동작 — 그림 4 디스크 경보 사례(tools/list → tools/call → isError 뒤 인자 수정 → 승인 거부 → 종료)
  4. 핵심 원리 — 그림 5 단계 수와 끝까지 성공할 확률(0.95의 8제곱 = 0.66) · 단계 상한 · 중간 검증
  5. 위험 — 반복 · 도구 오류 · 환각 · 간접 프롬프트 주입 · 과도한 권한(실무 진단 표의 실패 지점)
  6. 대응 — 최소 권한 · 사람 확인 · 단계 상한 · 결과 검증 · 실행 기록 감사(MCP 보안 고려 사항 · OWASP LLM06)

꼭 쓸 키워드
ReAct도구 호출MCP단계 상한에이전트 메모리사람 확인최소 권한간접 프롬프트 주입과도한 행위 권한실행 기록

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 단계마다 95% 맞아도 8단계면 66% 라는 수치를 보이면, 더 좋은 모델보다 단계 상한 · 중간 검증 · 승인 지점이 왜 먼저인지가 한 장으로 설명된다.

9오해와 사실

  • 오해에이전트에서는 모델이 도구를 직접 실행한다.
    사실모델은 도구 이름과 인자를 글로 제안할 뿐이고 실행은 클라이언트가 tools/call 로 하며, 명세는 호스트가 도구를 부르기 전에 사용자의 명시적 동의를 받아야 한다고 정한다(MCP 2026-07-28 보안 원칙).
  • 오해프롬프트에 「삭제하지 마라」고 적으면 위험한 행동을 막을 수 있다.
    사실검색 결과에 심은 문장만으로 모델의 API 호출을 바꿀 수 있어(Greshake 외 2023), 권한은 모델의 판단이 아니라 하위 시스템이 직접 집행해야 한다(OWASP LLM06:2025 Complete mediation).
  • 오해단계 상한을 넉넉히 늘릴수록 더 어려운 문제를 푼다.
    사실ReAct 는 HotpotQA 7단계 · FEVER 5단계보다 늘려도 성능이 오르지 않았고, 정답 실행 기록 가운데 7단계를 다 쓴 것은 0.84% 였다(Yao 외 2022 3.2절).

10핵심 정리

구분맡는 일실행 위치주고받는 값대표 실패막는 장치
추론 · 계획다음 행동 선택LLM생각 · 도구 이름 · 인자반복 · 잘못된 계획단계 상한 · 종료 조건
메모리작업 기록 · 지난 경험호스트 저장소기억 항목 · 검색 점수앞 사실 누락 · 낡은 기억최근성 · 관련성 검색
도구 정의할 수 있는 행동 알림MCP 서버 → 문맥name · inputSchema없는 도구 호출tools/list 갱신
도구 호출외부 시스템 실행MCP 서버tools/call · arguments인자 오류isError 를 모델에 전달
관찰결과를 다음 회차 문맥에호스트 → LLMcontent · structuredContent환각 · 주입결과 검증 · 지시와 데이터 구분
사람 확인 · 권한고위험 호출 차단호스트 · 하위 시스템허용 · 승인 필요 · 금지과도한 권한최소 권한 · 사람 승인
오류 신호멈춤 · 보고호스트-32602 · isError: true신호 무시실행 기록 감사

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al. · ICLR 2023) — 생각 · 행동 · 관찰을 번갈아 쓰는 방식과 실패 유형 비율을 볼 때
    arXiv · 2022-10 · arxiv.org/abs/2210.03629 · 확인 2026-11-03
  3. ★ Model Context Protocol Specification 2026-07-28 - Tools — tools/list · tools/call · isError · 사람 확인 규정을 볼 때
    Model Context Protocol · 2026-07 · modelcontextprotocol.io/specification/2026-07-28/server/tools · 확인 2026-11-03
  4. ★ OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — 과도한 기능 · 권한 · 자율의 원인과 막는 법을 볼 때
    OWASP Foundation · 2024-11 · genai.owasp.org/llmrisk/llm062025-excessive-agency/ · 확인 2026-11-03
  5. ★ Generative Agents: Interactive Simulacra of Human Behavior (Park et al. · UIST 2023) — 기억 흐름 · 반성 · 계획으로 이루어진 메모리 구조를 볼 때
    arXiv · 2023-04 · arxiv.org/abs/2304.03442 · 확인 2026-11-03
  6. 본문 근거
  7. Model Context Protocol Specification 2026-07-28 - Overview — Model Context Protocol · 2026-07 · modelcontextprotocol.io/specification/2026-07-28 · 확인 2026-11-03
  8. Model Context Protocol Specification 2024-11-05 — Model Context Protocol · 2024-11 · modelcontextprotocol.io/specification/2024-11-05 · 확인 2026-11-03
  9. Toolformer: Language Models Can Teach Themselves to Use Tools (Schick et al.) — arXiv · 2023-02 · arxiv.org/abs/2302.04761 · 확인 2026-11-03
  10. Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (Greshake et al.) — arXiv · 2023-02 · arxiv.org/abs/2302.12173 · 확인 2026-11-03
  11. A Survey on Large Language Model based Autonomous Agents (Wang et al.) — arXiv · 2023-08 · arxiv.org/abs/2308.11432 · 확인 2026-11-03
  12. Artificial Intelligence: A Modern Approach 4th ed. (Russell · Norvig) — Pearson · 2020-04 · aima.cs.berkeley.edu/ · 확인 2026-11-03