AI 에이전트AI Agent
LLM 이 목표를 받아 관찰 · 추론 · 행동을 되풀이하며 도구를 호출해 여러 단계의 작업을 스스로 이어 가는 시스템이다. 도구 실행 · 메모리 · 권한 확인은 모델 바깥의 실행 프로그램이 맡는다.
1요약
- AI 에이전트는 LLM 이 관찰 · 추론 · 행동 반복의 판단을 맡고, 모델 바깥의 호스트 프로그램이 도구 실행 · 메모리 · 권한 확인을 맡는 구조다 — 2022년 ReAct(Yao 외)가 생각과 도구 행동을 한 실행 기록에 엮은 뒤 코드 수정 · 운영 자동화 · 조사 보조가 이 위에서 돈다.
- 답을 한 번 생성하고 끝나는 방식은 결과를 확인할 수단이 없어 HotpotQA 실패 사례의 56% 가 환각이었지만, 위키백과 검색 행동을 넣은 ReAct 는 0% 였다 — 대신 같은 단계 반복을 포함한 추론 오류가 실패의 47% 로 새로 생겼다(Yao 외 2022 표 2).
- 「에이전트가 일을 망쳤다」는 실행 기록의 어느 지점이 틀렸는가로 가른다 — 같은 행동을 되풀이하면 계획, 실행 오류를 받고도 인자를 못 고치면 도구 연결, 결과에 없는 사실을 쓰면 관찰, 결과 속 문장을 지시로 따랐으면 주입, 승인 없이 지웠으면 권한이다.
2등장 배경
LLM 하나만 부르면 학습 시점의 지식과 한 번의 생성으로 답한다. 계산기 · 검색 · 달력을 쓰지 못해 산술 · 사실 조회에서 틀리고(Schick 외 2023 1절), 답을 낸 뒤 외부 상태를 확인하거나 바꿀 수단이 없다. 에이전트라는 틀은 AI 교과서의 출발점으로, Russell · Norvig 는 에이전트를 센서로 환경을 지각하고 액추에이터로 환경에 작용하는 것으로 정의한다(Russell · Norvig 2020 2장).
2022년 10월 Yao 외는 모델이 생각(Thought) · 행동(Action) · 관찰(Observation)을 번갈아 쓰게 한 ReAct 로 가정 환경 과제 ALFWorld 성공률을 행동만 쓴 방식의 45% 에서 71% 로 올렸다(표 3 · 6회 중 최고). 2023년 2월 Schick 외의 Toolformer 는 67억 매개변수 모델이 계산기 · 질의응답 · 검색 · 번역 · 달력 API 를 언제 부를지 스스로 학습하게 했고, 같은 해 Park 외는 경험을 기억 흐름(memory stream)에 쌓아 꺼내 쓰는 에이전트 25명을 가상 마을에서 돌렸다(Park 외 2023 4.1절).
도구 연결 방식이 제품마다 달라지자 2024-11-05 에 첫 명세가 나온 MCP(Model Context Protocol)가 JSON-RPC 2.0 위에 도구 목록 · 호출 메시지를 정했고, 현행 명세는 2026-07-28 이다. 같은 시기 Greshake 외(2023)가 검색 결과에 심은 문장으로 모델의 API 호출을 조종하는 간접 프롬프트 주입을 보이면서, 사람 확인과 최소 권한이 에이전트 구조의 필수 구성 요소가 됐다(OWASP LLM06:2025).
3쉽게 이해하기 — 수첩을 든 탐정
의뢰인이 탐정에게 「창고에서 사라진 상자를 찾아 달라」고 맡긴다. 탐정은 현장을 둘러보고 단서를 수첩에 적은 뒤 다음에 무엇을 할지 추리하고, 조수를 보내 출입 장부를 조회하거나 직접 탐문한다. 잠긴 문을 강제로 열 때만은 서장의 승인 도장을 받아야 하고, 의뢰인과 정한 기한이 지나면 찾은 데까지 보고한다. 범인이 현장에 「수사를 접어라」라는 쪽지를 놓아 두어도, 탐정은 그것을 단서로 볼 뿐 명령으로 따르지 않아야 한다.
그림 1 · 탐정은 추리만 하고, 조회는 조수가 다녀오며, 문을 여는 일은 서장의 도장을 거친다 — 현장에 심은 쪽지는 단서로만 읽는다.
그림 2 · 수첩 한 쪽은 추리 · 시킴 · 단서 세 줄로 되풀이되고, 단서 줄만은 탐정이 아니라 다녀온 사람이 쓴다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 의뢰인의 부탁 | 사용자 목표 | 호스트가 받은 요청을 첫 문맥으로 모델에 넣는다 |
| 탐정의 추리 | LLM 추론 · 계획 | 지금까지의 기록을 보고 다음 행동 하나를 고른다 |
| 수첩 | 메모리 | 이번 작업 기록과 지난 경험 가운데 필요한 것을 문맥에 다시 넣는다 |
| 조수 보내기 | 도구 호출 | 모델이 낸 도구 이름 · 인자를 호스트가 MCP 서버에 tools/call 로 보낸다 |
| 돌아온 단서 | 관찰 | 도구 결과(content · isError)를 다음 회차 문맥에 붙인다 |
| 서장 도장 | 사람 확인 · 권한 정책 | 삭제 · 송금처럼 되돌릴 수 없는 호출은 사람이 승인해야 실행된다 |
| 수사 기한 | 단계 상한 · 종료 조건 | 정한 회차를 넘기거나 목표를 채우면 멈추고 보고한다 |
| 심어 둔 쪽지 | 간접 프롬프트 주입 | 도구 결과 속 문장이 지시처럼 읽혀 계획을 바꾸려 든다 |
⚠ 비유가 맞지 않는 곳: 탐정은 지난 일을 저절로 기억하지만, 실제 모델은 회차마다 문맥에 다시 넣어 준 기록만 보며 넣지 않은 수첩 쪽은 없는 것과 같다. 또 서장은 탐정이 부탁할 때만 나오지만, 실제 승인은 모델의 요청과 관계없이 호스트의 권한 정책이 정한 도구마다 반드시 거친다.
4구조 — 모델 · 호스트 · 도구 서버의 경계
에이전트의 구성은 연구마다 이름이 다르지만 대개 프로필 · 메모리 · 계획 · 행동 모듈로 나뉜다(Wang 외 2023 2.1절). 실제 구현에서 더 중요한 선은 모델과 호스트의 경계다 — 모델은 다음 행동을 글(JSON)로 제안할 뿐이고, 반복 · 기억 · 권한 · 실제 호출은 호스트 코드가 맡는다.
그림 3 · 모델의 도구 호출 제안은 호스트의 루프 제어 · 권한 정책을 지나야 MCP 서버에 닿고, 사람 승인도 호스트가 요청한다.
| 요소 | 맡는 일 | 값 · 근거 |
|---|---|---|
| LLM | 지금까지의 기록을 보고 다음 행동 하나를 고름 | 생각 + 도구 이름 · 인자(Yao 외 2022 2절) |
| 루프 제어 | 회차 반복 · 멈춤 | ReAct 단계 상한 HotpotQA 7 · FEVER 5(Yao 외 2022 3.2절) |
| 메모리 | 작업 기록(단기) · 지난 경험 검색(장기) | 최근성 · 중요도 · 관련성 점수로 꺼냄(Park 외 2023 4.1절) |
| 도구 정의 | 쓸 수 있는 행동을 모델에 알림 | name · description · inputSchema(JSON Schema 2020-12 · MCP 도구 명세) |
| 도구 호출 · 결과 | 외부 시스템 실행 · 관찰 반환 | tools/call → content · isError(MCP 도구 명세) |
| 권한 정책 · 사람 확인 | 고위험 호출 차단 · 승인 | 사람이 도구 호출을 거부할 수 있어야 함(MCP 도구 명세 · SHOULD) |
| 오류 신호 | 프로토콜 오류와 실행 오류 구분 | -32602 알 수 없는 도구 · isError: true(MCP 도구 명세) |
🔑 모델은 도구 호출을 제안하고 호스트가 실행한다 — 그래서 단계 상한 · 권한 · 승인은 프롬프트 문장이 아니라 호스트 코드에 둬야 모델이 속아도 지켜진다.
5동작 — 디스크 사용률 경보 한 건
운영자가 웹 서버의 디스크 경보 처리를 에이전트에 맡기는 사례다. 호스트 이름 · 용량 · 도구 이름은 설명용 가정 값이고, 메시지 이름과 필드는 MCP 2026-07-28 도구 명세를 따른다.
- 운영자가 「web-01 의 /var 사용률 92% 를 80% 미만으로」를 맡기면, 호스트는 MCP 서버 2개에
tools/list를 보내 도구 4개(disk_usage·find_large_files·compress_logs·delete_path)의inputSchema를 받고 목표와 함께 문맥에 넣는다 · 단계 상한 8. - 모델이 「큰 디렉터리부터 찾는다」고 생각하고
disk_usage(path=를 제안하면, 호스트가"/var") tools/call로 실행해 「50 GB 중 46 GB · /var/log 31 GB」를 관찰로 돌려준다. - 모델이
find_large_files(min_size_mb=를 제안하자 서버가"500MB") isError: true와 「min_size_mb 는 정수」를 돌려주고, 호스트는 이 실행 오류를 그대로 모델에 넘긴다(MCP 도구 명세 Error Handling). - 모델이 인자를
min_size_mb=500으로 고쳐 다시 불러app.log.1~.77개 · 18 GB 를 받고, 호스트는 결과를 작업 기록에 남기며 장기 기억에서 「app 로그 30일 보존」 메모를 찾아 문맥에 붙인다. - 모델이 삭제 대신 압축을 골라
compress_logs(files=7)를 부르자 18 GB 가 2.6 GB 가 되어 사용량이 30.6 GB · 61% 로 내려간다. - 모델이
delete_path(app.log.7)을 제안하자 권한 정책의 「삭제 = 승인 필요」에 걸려 운영자에게 확인 창이 뜨고, 운영자가 거부해 호출은 서버로 가지 않는다. - 모델이 목표 충족을 확인하고 6회차(상한 8)에서 종료해, 한 일 · 거부된 일 · 남은 사용률 61% 를 보고한다.
그림 4 · 실행 오류는 다음 회차의 인자 수정으로 이어지고, 삭제는 사람 승인에서 멈춘 채 압축만으로 목표를 채운다.
회차가 늘수록 실수가 쌓인다. 단계마다 맞을 확률을 p 로 두고 단계끼리 독립이라고 보면, n 단계를 끝까지 맞힐 확률은 pⁿ 이다 — 아래 그림은 이 설명용 모델의 값이다.
그림 5 · 단계마다 95% 맞아도 8단계를 이으면 끝까지 맞을 확률은 66%, 20단계면 36% 로 떨어진다.
🔑 에이전트의 신뢰도는 모델 정확도 하나가 아니라 단계 수의 거듭제곱으로 정해진다 — 그래서 단계 상한 · 중간 결과 검증 · 되돌릴 수 없는 행동의 승인이 모델 교체보다 먼저 고칠 설계 항목이다.
6비교 — LLM 단독 호출 · RAG · AI 에이전트
| 기준 | LLM 단독 호출 | RAG | AI 에이전트 |
|---|---|---|---|
| 다음 단계를 정하는 주체 | 없음(한 번 생성) | 정해진 순서(검색 → 생성) | 모델이 회차마다 고름 |
| 외부 호출 | 0회 | 검색 1회 안팎 | 도구 여러 회 · 횟수 미정 |
| 외부 상태 변경 | 없음 | 없음(읽기만) | 쓰기 · 삭제 가능 |
| 멈추는 조건 | 종료 토큰 | 답 생성 끝 | 목표 충족 · 단계 상한 · 사람 거부 |
| 대표 실패 | 환각 | 검색 누락 | 반복 · 도구 오류 · 주입 · 과도한 권한 |
분석단계 수와 순서를 미리 적을 수 있으면 RAG 나 고정된 호출 순서로 짜고, 다음 행동이 앞 결과에 따라 달라지거나 외부 시스템을 바꿔야 할 때만 에이전트를 쓴다. 근거는 표의 「외부 상태 변경」 · 「대표 실패」 행 — 에이전트만 쓰기 권한을 갖고 실패 유형이 가장 많다.
7실무 진단 — 실행 기록의 실패 지점 가르기
분석실행 기록을 시간순이 아니라 피해가 큰 지점부터 본다 — 권한 · 주입을 먼저, 응답 필드 하나로 판정되는 도구 연결을 다음, 판단이 드는 계획 · 관찰을 마지막에 본다. 근거는 표 1 · 2행이 되돌릴 수 없는 외부 변경으로 이어지고, 3 · 4행은 isError · error.code 하나로 갈리기 때문이다(MCP 도구 명세 Error Handling).
| # | 증상 | 의심 원인 | 실패 지점 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 승인 없이 삭제 · 송금이 실행됨 | 과도한 기능 · 권한 · 자율 | 권한 | 권한 정책 · 승인 기록 | 고위험 도구가 「승인 필요」 밖이면 정책 결함(OWASP LLM06:2025) |
| 2 | 사용자 요청에 없는 행동을 함 | 간접 프롬프트 주입 | 관찰 → 계획 | 그 행동 직전 회차의 도구 결과 원문 | 결과 속 문장 뒤에 새 목표가 나오면 주입(Greshake 외 2023) |
| 3 | 같은 인자 오류로 멈춤 | 실행 오류가 모델에 안 감 | 도구 연결 | 결과의 isError · 문맥에 들어간 오류 문장 | isError: true 를 모델에 넘기지 않았으면 호스트 결함(MCP 도구 명세) |
| 4 | 없는 도구 이름을 부름 | 도구 목록 불일치 | 도구 연결 | JSON-RPC error.code | -32602 는 프로토콜 오류 · tools/list 다시 받기(MCP 도구 명세) |
| 5 | 같은 도구 · 같은 인자를 되풀이 | 계획이 결과를 반영 못 함 | 계획 | 실행 기록의 (도구, 인자) 쌍 | 같은 쌍이 연달아 나오면 반복 · ReAct 실패의 47% 에 포함(Yao 외 2022 표 2) |
| 6 | 빈 검색 결과로 결론을 냄 | 쓸모없는 관찰 | 관찰 | 도구 결과 원문 ↔ 답 문장 | 결과에 없는 사실이 답에 있으면 관찰 오류 · ReAct 실패의 23%(Yao 외 2022 표 2) |
1 · 2행은 피해를 막는 일이라 먼저 보고, 결함이 있으면 프롬프트가 아니라 정책 표와 도구 권한(읽기 전용 계정 등)을 고친다. 3 · 4행은 응답 필드로 끝나고, 5 · 6행은 같은 목표를 단계 상한을 줄여 다시 돌리며 회차별 생각 줄을 읽는다.
8시험 대비
www.q-net.or.kr시험에서는 에이전트의 구성 요소와 동작 반복을 묻는 구조 · 구성형과, 도구 · 권한이 붙으며 생기는 위험의 대응을 묻는 장애 · 보안 대응형이 나올 수 있다. 구조형이면 그림 3 의 모델 · 호스트 · 도구 서버 경계로 뼈대를 세우고 그림 4 사례로 반복을 보이며, 보안형이면 실패 유형을 실행 기록의 지점(계획 · 도구 연결 · 관찰 · 권한)에 대응시키고 지점마다 막는 장치를 짝지어 쓴다.
- 개요 — 정의(관찰 · 추론 · 행동 반복) · 에이전트의 교과서 정의(지각 · 작용) · ReAct(Yao 2022) · ALFWorld 45% → 71%
- 구성 — 그림 3 모델 · 호스트(루프 제어 · 메모리 · 권한 정책 · MCP 클라이언트) · MCP 서버 + 요소 표
- 동작 — 그림 4 디스크 경보 사례(tools/list → tools/call → isError 뒤 인자 수정 → 승인 거부 → 종료)
- 핵심 원리 — 그림 5 단계 수와 끝까지 성공할 확률(0.95의 8제곱 = 0.66) · 단계 상한 · 중간 검증
- 위험 — 반복 · 도구 오류 · 환각 · 간접 프롬프트 주입 · 과도한 권한(실무 진단 표의 실패 지점)
- 대응 — 최소 권한 · 사람 확인 · 단계 상한 · 결과 검증 · 실행 기록 감사(MCP 보안 고려 사항 · OWASP LLM06)
꼭 쓸 키워드
ReAct도구 호출MCP단계 상한에이전트 메모리사람 확인최소 권한간접 프롬프트 주입과도한 행위 권한실행 기록
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 단계마다 95% 맞아도 8단계면 66% 라는 수치를 보이면, 더 좋은 모델보다 단계 상한 · 중간 검증 · 승인 지점이 왜 먼저인지가 한 장으로 설명된다.
9오해와 사실
- 오해에이전트에서는 모델이 도구를 직접 실행한다.사실모델은 도구 이름과 인자를 글로 제안할 뿐이고 실행은 클라이언트가
tools/call로 하며, 명세는 호스트가 도구를 부르기 전에 사용자의 명시적 동의를 받아야 한다고 정한다(MCP 2026-07-28 보안 원칙). - 오해프롬프트에 「삭제하지 마라」고 적으면 위험한 행동을 막을 수 있다.사실검색 결과에 심은 문장만으로 모델의 API 호출을 바꿀 수 있어(Greshake 외 2023), 권한은 모델의 판단이 아니라 하위 시스템이 직접 집행해야 한다(OWASP LLM06:2025 Complete mediation).
- 오해단계 상한을 넉넉히 늘릴수록 더 어려운 문제를 푼다.사실ReAct 는 HotpotQA 7단계 · FEVER 5단계보다 늘려도 성능이 오르지 않았고, 정답 실행 기록 가운데 7단계를 다 쓴 것은 0.84% 였다(Yao 외 2022 3.2절).
10핵심 정리
| 구분 | 맡는 일 | 실행 위치 | 주고받는 값 | 대표 실패 | 막는 장치 |
|---|---|---|---|---|---|
| 추론 · 계획 | 다음 행동 선택 | LLM | 생각 · 도구 이름 · 인자 | 반복 · 잘못된 계획 | 단계 상한 · 종료 조건 |
| 메모리 | 작업 기록 · 지난 경험 | 호스트 저장소 | 기억 항목 · 검색 점수 | 앞 사실 누락 · 낡은 기억 | 최근성 · 관련성 검색 |
| 도구 정의 | 할 수 있는 행동 알림 | MCP 서버 → 문맥 | name · inputSchema | 없는 도구 호출 | tools/list 갱신 |
| 도구 호출 | 외부 시스템 실행 | MCP 서버 | tools/call · arguments | 인자 오류 | isError 를 모델에 전달 |
| 관찰 | 결과를 다음 회차 문맥에 | 호스트 → LLM | content · structuredContent | 환각 · 주입 | 결과 검증 · 지시와 데이터 구분 |
| 사람 확인 · 권한 | 고위험 호출 차단 | 호스트 · 하위 시스템 | 허용 · 승인 필요 · 금지 | 과도한 권한 | 최소 권한 · 사람 승인 |
| 오류 신호 | 멈춤 · 보고 | 호스트 | -32602 · isError: true | 신호 무시 | 실행 기록 감사 |
11참고 문헌
- 먼저 볼 문헌
- ★ ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al. · ICLR 2023) — 생각 · 행동 · 관찰을 번갈아 쓰는 방식과 실패 유형 비율을 볼 때
- ★ Model Context Protocol Specification 2026-07-28 - Tools — tools/list · tools/call · isError · 사람 확인 규정을 볼 때
- ★ OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — 과도한 기능 · 권한 · 자율의 원인과 막는 법을 볼 때
- ★ Generative Agents: Interactive Simulacra of Human Behavior (Park et al. · UIST 2023) — 기억 흐름 · 반성 · 계획으로 이루어진 메모리 구조를 볼 때
- 본문 근거
- Model Context Protocol Specification 2026-07-28 - Overview — Model Context Protocol · 2026-07 ·
modelcontextprotocol.io/specification/2026-07-28· 확인 2026-11-03 - Model Context Protocol Specification 2024-11-05 — Model Context Protocol · 2024-11 ·
modelcontextprotocol.io/specification/2024-11-05· 확인 2026-11-03 - Toolformer: Language Models Can Teach Themselves to Use Tools (Schick et al.) — arXiv · 2023-02 ·
arxiv.org/abs/2302.04761· 확인 2026-11-03 - Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (Greshake et al.) — arXiv · 2023-02 ·
arxiv.org/abs/2302.12173· 확인 2026-11-03 - A Survey on Large Language Model based Autonomous Agents (Wang et al.) — arXiv · 2023-08 ·
arxiv.org/abs/2308.11432· 확인 2026-11-03 - Artificial Intelligence: A Modern Approach 4th ed. (Russell · Norvig) — Pearson · 2020-04 ·
aima.cs.berkeley.edu/· 확인 2026-11-03