에이전트 계획Agent Planning
에이전트가 받은 목표를 실행할 수 있는 하위 단계와 그 의존 관계로 나누고, 실행 중 관찰이 예상과 어긋나면 남은 단계를 다시 짜는 기능이다. 계획은 LLM 이 쓰고, 계획의 검증 · 실행 · 승인은 호스트 프로그램이 맡는다.
1요약
- 에이전트 계획은 AI 에이전트의 판단 부분 가운데 목표 → 하위 단계 · 의존 관계로 나누는 일을 맡는다 — 2023년 Plan-and-Solve · ReWOO · Tree of Thoughts · Reflexion 이 먼저 계획 · 여러 안 탐색 · 되돌아보기 방식을 내놓았고, 다단계 조사 · 배포 점검 · 코드 수정 작업의 순서가 이 위에서 정해진다.
- 한 걸음씩만 고르는 방식은 회차마다 앞 기록 전체를 다시 넣어 HotpotQA 질문당 입력 토큰 9,795 개를 썼지만, 계획을 먼저 짜고 결과만 모은 ReWOO 는 1,986 개로 정확도는 40.8% → 42.4% 였다(Xu 외 2023 표 2).
- 「계획이 틀렸다」는 어느 줄의 무엇이 어긋났는가로 가른다 — 필요한 단계가 빠졌으면 분해, 실행할 수 없는 단계가 있으면 검증, 결과가 예상과 다른데 그대로 진행했으면 관찰 확인, 같은 줄을 되풀이하면 재계획 상한의 문제다.
2등장 배경
계획은 LLM 이전부터 AI 의 중심 과제였다. 1971년 Fikes · Nilsson 의 STRIPS 는 상태를 사실 목록으로, 행동을 전제 조건 · 추가 · 삭제 목록으로 적고 목표 상태까지의 행동 순서를 탐색했으며, 이 표기는 뒤에 PDDL 로 이어졌다. 다만 문제를 기호로 옮기는 일은 전문가 몫이었고, 표기가 조금만 틀려도 계획 전체가 실패했다(Huang 외 2024 1절).
LLM 은 자연어 목표를 바로 받지만 스스로 짠 계획은 자주 실행되지 않는다. Valmeekam 외(2022년 6월 공개)의 PlanBench 에서 GPT-4 가 블록 쌓기 문제 600개에 낸 계획 가운데 실행 · 목표 도달이 모두 맞은 것은 206개(34.3%)였다(표 1). 2023년 Wang 외는 단계 누락 오류를 줄이려 「먼저 계획을 세우고 그 계획대로 푼다」는 Plan-and-Solve 를, Xu 외는 관찰과 추론을 떼어 낸 ReWOO 를, Yao 외는 여러 안을 나무로 펼쳐 고르는 Tree of Thoughts 를, Shinn 외는 실패를 글로 되돌아보는 Reflexion 을 냈다.
2024년 Huang 외는 이 연구를 작업 분해 · 여러 안 선택 · 외부 플래너 · 되돌아보기와 고치기 · 메모리 보강 다섯 방향으로 묶었다(2절). 지금 남은 쟁점은 LLM 이 짠 계획을 무엇으로 검증하느냐이고, Liu 외(2023)의 LLM+P 처럼 LLM 은 문제를 PDDL 로 옮기고 고전 플래너가 푸는 결합이 한 답이다.
3쉽게 이해하기 — 이삿짐 작업표
이삿짐 센터 팀장이 이사 전날 작업표를 짠다. 「냉장고 비우기 → 짐 싣기 → 엘리베이터로 내리기 → 새 집에 풀기」처럼 줄마다 할 일과 «앞 줄이 끝나야 한다»는 표시, 그리고 «예상 결과»를 적는다. 당일 엘리베이터가 고장 나 예상이 어긋나자, 팀장은 처음부터 다시 짜지 않고 남은 줄만 「사다리차 부르기 → 창문으로 내리기」로 고친다. 사다리차는 관리실 도장을 받아야 쓸 수 있다.
그림 1 · 팀장은 작업표를 짜고 짐꾼은 줄대로 움직이며, 예상이 어긋난 줄에서만 작업표를 고쳐 쓴다.
그림 2 · 작업표 줄마다 적은 «예상 결과»가 있어야, 어긋난 줄을 알아보고 그 뒤만 다시 짤 수 있다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 팀장이 할 일을 나눔 | 계획기(LLM) | 목표를 받아 단계 목록 · 의존 · 기대 결과를 한 번에 쓴다 |
| 작업표 | 계획 표현 | 단계마다 도구 · 인자 · 앞 결과 참조(#E) · 기대 결과를 담는 목록 또는 그래프 |
| 관리실 도장 | 검증 · 사람 승인 | 실행 전에 도구 이름 · 인자 형식 · 승인 필요 단계를 호스트가 확인한다 |
| 짐꾼 | 실행기 | 계획 줄을 차례로 도구 호출로 바꾸고 결과를 #E 에 채운다 |
| 엘리베이터 고장 | 어긋난 관찰 | 오류 · 빈 결과처럼 기대 결과 필드와 맞지 않는 도구 응답 |
| 남은 줄 고치기 | 재계획 | 끝난 줄과 결과를 넘겨받아 남은 단계만 다시 쓴다 |
| 다 옮기고 보고 | 종결기 | 계획과 모든 결과를 읽고 최종 답 · 작업 보고를 쓴다 |
⚠ 비유가 맞지 않는 곳: 팀장은 짐꾼을 따라다니며 고장을 직접 보지만, 계획을 먼저 짜는 방식의 LLM 은 실행 중에 깨어 있지 않아 호스트가 기대 결과와 비교해 불러 줘야만 어긋남을 안다. 또 사람의 작업표는 «대충» 적어도 짐꾼이 알아서 메우지만, 도구 호출 계획은 인자 하나가 틀려도 그 줄이 실행되지 않는다.
4구조 — 계획기 · 검증기 · 실행기 · 관찰 확인 · 종결기
계획 기능은 LLM 한 번의 출력이 아니라 다섯 부품의 고리다. Huang 외(2024 3절)는 분해 방식을 «먼저 분해(decomposition-first)»와 «섞어 분해(interleaved)»로 나누는데, 아래 구조는 먼저 분해하되 관찰 확인에서 어긋날 때만 계획기를 다시 부르는 형태다.
그림 3 · 계획기는 맨 처음과 어긋났을 때만 불리고, 그 사이 실행은 검증기 · 실행기 · 관찰 확인이 호스트 안에서 돌린다.
| 요소 | 맡는 일 | 값 · 근거 |
|---|---|---|
| 계획기 | 목표 → 단계 목록 · 의존 · 기대 결과 | (Plan, #E) 쌍을 이어 씀(Xu 외 2023 2.1절) |
| 계획 표현 | 단계 순서와 앞 결과 참조 | 목록 · 의존 그래프 · PDDL(Liu 외 2023 3절) |
| 검증기 | 실행 전 형식 · 전제 조건 · 승인 표시 확인 | 행동마다 전제 조건 · 추가 · 삭제 목록으로 검사(Fikes · Nilsson 1971) |
| 실행기 | 단계를 도구 호출로 바꾸고 #E 를 채움 | 작업기(Worker) · 형식은 도구 호출에서 다룸 |
| 관찰 확인 | 결과가 기대 결과와 맞는지 판정 | 오류 · 빈 결과 · 형식 불일치 = 재계획 조건 |
| 종결기 | 계획 + 모든 결과로 최종 답 작성 | 「주의해서 쓰라」는 지시가 성능을 높임(Xu 외 2023 2.1절) |
| 사람 승인 | 되돌릴 수 없는 단계의 실행 허가 | 고위험 기능은 사람 승인 뒤 실행(OWASP LLM06:2025) |
🔑 계획의 품질은 «얼마나 잘 짰나»보다 «어긋남을 알아볼 기준을 적었나»가 가른다 — 줄마다 기대 결과가 있어야 호스트가 LLM 없이 실행을 이어 가고, 어긋난 줄에서만 계획기를 다시 부른다.
5동작 — 배포 전 테스트 점검 한 건
릴리스 r42 를 배포하기 전에 바뀐 서비스의 테스트를 돌리고 승인을 받는 사례다. 직접 실행(모의 실행 · 실제 LLM 호출 없음)이고, 서비스 이름 · 테스트 수 · 토큰 크기는 설명용 가정 값이다.
- 계획기가 목표 「r42 배포 전 점검」을 받아 5줄 계획(#E1 변경 목록 · #E2 ~ #E4 서비스별 테스트 · #E5 승인 요청)과 줄마다 기대 결과를 쓰고, 검증기가 도구 이름 · 인자를 확인하며 #E5 에 「승인 필요」를 붙인다.
- 실행기가 #E1
list_changed(release=를 불러 auth · billing · search 세 서비스를 받는다."r42") - #E2
run_tests(service=가 412개 통과 · 0개 실패로 기대와 맞아, 계획기를 부르지 않고 다음 줄로 간다."auth") - #E3
run_tests(service=가 오류 「billing-stg 꺼짐」을 돌려줘 기대(통과 · 실패 수)와 어긋나므로, 관찰 확인이 재계획을 요청한다."billing") - 재계획기가 끝난 두 줄과 결과를 받아 #E3 만 #E3a
start_env(env=· #E3b"billing-stg") run_tests(service=두 줄로 바꾸고, #E4 · #E5 는 그대로 둔다."billing") - #E3a 가 테스트 환경을 켜고, #E3b 는 268개 통과 · 0개 실패, #E4 search 는 190개 통과 · 0개 실패로 끝난다.
- #E5
request_approval이 승인 필요 단계라 운영자에게 확인을 요청하고, 운영자가 승인한다. - 종결기가 계획 6줄과 결과 7개로 보고를 쓴다 — LLM 호출 3회 · 도구 호출 7회 · 입력 4,670 토큰이다.
그림 4 · 도구는 7번 불렸지만 LLM 은 계획 · 재계획 · 종결의 3번만 불렸고, 재계획은 어긋난 #E3 줄만 바꿨다.
같은 일을 회차마다 다음 행동 하나만 고르는 섞어 계획 방식으로 하면 LLM 호출이 8회(도구 7 + 최종 답 1)이고, 회차마다 앞 기록 전체가 다시 입력된다. Xu 외(2023 식 1 · 식 2)의 입력 토큰 식에 같은 가정 값을 넣어 단계 수에 따라 계산한 결과가 아래 그림이다.
그림 5 · 섞어 계획의 입력 토큰은 단계 수에 따라 제곱으로 늘고, 먼저 계획은 거의 일정하다 — 사례 7단계에서 16,240 대 4,670 이다.
🔑 먼저 계획은 관찰을 보기 전에 가정을 깔아 LLM 호출과 토큰을 줄이는 대신, 그 가정이 틀린 줄을 스스로 알지 못한다 — 그래서 줄마다 기대 결과를 적고 어긋날 때만 재계획하는 형태가 두 방식의 장점을 함께 얻는다.
6비교 — 섞어 계획 · 먼저 계획 · 여러 안 탐색 · 외부 플래너 · 되돌아보기
| 기준 | 섞어 계획(ReAct) | 먼저 계획(ReWOO · Plan-and-Solve) | 여러 안 탐색(Tree of Thoughts) | 외부 플래너(LLM+P) | 되돌아보기(Reflexion) |
|---|---|---|---|---|---|
| 관찰 반영 시점 | 회차마다 | 재계획할 때만 | 안을 평가할 때 | 문제를 옮길 때 | 시도가 끝난 뒤 |
| LLM 호출 | 단계 수 + 1 | 2 + 재계획 수 | 안 수 × 깊이 | 옮기기 1 ~ 2 | 시도 수만큼 되풀이 |
| 대표 수치 | HotpotQA 9,795 토큰(Xu 외 2023) | 1,986 토큰 · 42.4%(Xu 외 2023) | 24 게임 4% → 74%(Yao 외 2023) | 블록 쌓기 최적 계획 15% → 90%(Liu 외 2023) | HumanEval 91%(Shinn 외 2023) |
| 약점 | 토큰 급증 · 도구를 번갈아 되풀이 | 관찰 전 가정이 틀림 | 호출 비용 · 행동 공간이 크면 막힘 | 도메인을 PDDL 로 적어야 함 | 같은 과제를 다시 시도할 수 있어야 함 |
| 맞는 작업 | 다음 행동이 앞 결과에 크게 좌우됨 | 단계가 예측되는 다단계 조회 · 점검 | 답을 평가할 수 있는 퍼즐 · 설계 | 상태 · 행동을 기호로 적을 수 있는 도메인 | 테스트로 성공을 판정하는 코드 작업 |
분석단계를 미리 예측할 수 있으면 먼저 계획을 기본으로 두고, 다음 행동이 앞 결과에 따라 계속 바뀌면 섞어 계획, 행동을 기호로 적을 수 있는 도메인이면 외부 플래너를 붙인다. 근거는 표의 「LLM 호출」 · 「약점」 행 — 먼저 계획은 호출이 가장 적고, 여러 안 탐색은 같은 블록 쌓기 문제에서 0% 로 외부 플래너(90%)에 크게 뒤졌다(Liu 외 2023 표 I).
순서를 개발자가 코드로 정해 두는 방식은 에이전트 워크플로가, 지난 시도의 교훈을 쌓아 두는 일은 에이전트 메모리가 맡는다.
7실무 진단 — 어긋난 계획 줄 가르기
분석계획 실패는 실행 기록이 아니라 계획 줄과 결과를 나란히 놓고, 실행 전에 막을 수 있던 단계(분해 · 검증)부터 본다. 근거는 1 · 2행이 실행 전 계획만으로 판정되고, 3 ~ 5행은 실행 결과가 있어야 보이기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 필요한 단계가 빠진 채 끝남 | 분해 누락 | 분해 | 목표 ↔ 계획 줄 대조 | 목표의 하위 조건마다 줄이 없으면 누락(Wang 외 2023 1절) |
| 2 | 실행할 수 없는 단계가 있음 | 전제 조건 · 도구 불일치 | 검증 | 검증기 기록 · 도구 목록 | 전제 조건이 앞 줄 결과로 채워지지 않으면 결함 · LLM 단독 계획 실행 가능 34.3%(Valmeekam 외 2023 표 1) |
| 3 | 결과에 없는 값을 가정하고 진행 | 기대 결과 미확인 | 관찰 확인 | 기대 필드 ↔ 실제 결과 | 검색 결과에 없는 나이를 뽑게 한 사례가 이 유형(Xu 외 2023 부록) |
| 4 | 도구 A · B 를 번갈아 끝없이 부름 | 섞어 계획의 반복 | 재계획 | (도구, 인자) 연속 기록 | 둘 다 실패하면 번갈아 불러 토큰 한도까지 감(Xu 외 2023 부록) |
| 5 | 입력 한도 초과로 중단 | 회차마다 기록 재입력 | 계획 방식 | 회차별 입력 토큰 | ReAct 실패 100건 중 18건이 4,096 토큰 초과 · ReWOO 0건(Xu 외 2023 부록) |
| 6 | 승인 없이 되돌릴 수 없는 단계 실행 | 승인 표시 누락 | 검증 | 계획 줄의 승인 표시 | 삭제 · 배포 단계가 승인 밖이면 결함(OWASP LLM06:2025) |
1 · 2 · 6행은 계획을 실행하기 전 검증기에서 막고, 3행은 기대 결과 필드를 계획 형식의 필수 항목으로 만든다. 4 · 5행은 재계획 횟수 상한과 먼저 계획으로 바꾸기를 함께 검토한다.
8시험 대비
시험에서는 에이전트가 목표를 단계로 나누는 원리를 묻는 정의 · 특징형과, 계획 방식끼리의 차이를 묻는 비교형이 나올 수 있다. 정의형이면 그림 3 의 다섯 부품과 그림 4 사례로 «분해 → 검증 → 실행 → 관찰 확인 → 재계획 → 종결» 흐름을 보이고, 비교형이면 비교 표의 관찰 반영 시점 · LLM 호출 축으로 다섯 방식을 가른 뒤 그림 5 로 비용 차이를 수치로 보인다.
- 개요 — 정의(목표 → 단계 · 의존 · 기대 결과) · 고전 계획 STRIPS(1971) · PDDL 과의 관계 · LLM 단독 계획 실행 가능 34.3%
- 구조 — 그림 3 계획기 · 계획 표현 · 검증기 · 실행기 · 관찰 확인 · 종결기 + 요소 표
- 동작 — 그림 4 배포 점검 사례(계획 5줄 → 오류 → #E3 만 재계획 → 승인 → 종결 · LLM 3회 · 도구 7회)
- 핵심 원리 — 그림 5 섞어 계획 ↔ 먼저 계획 입력 토큰(16,240 대 4,670) · Xu 외 2023 식 1 · 2
- 방식 비교 — 섞어 계획 · 먼저 계획 · 여러 안 탐색 · 외부 플래너 · 되돌아보기 표와 고르는 기준
- 위험 · 대응 — 분해 누락 · 실행 불가 단계 · 가정 오류 · 반복 · 승인 누락 → 검증기 · 기대 결과 필드 · 재계획 상한 · 사람 승인
꼭 쓸 키워드
작업 분해먼저 계획섞어 계획재계획기대 결과ReWOOPlan-and-SolveTree of ThoughtsLLM+PPDDL
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 같은 7단계 작업이 회차마다 기록을 다시 넣으면 16,240 토큰, 먼저 계획하면 4,670 토큰이라는 계산을 Xu 외(2023)의 식과 함께 보이면, 계획 방식이 성능만이 아니라 비용 구조의 선택이라는 점이 한 장으로 설명된다.
9오해와 사실
- 오해LLM 이 자연어로 짠 계획은 대체로 실행할 수 있다.사실PlanBench 블록 쌓기 600문제에서 GPT-4 계획 가운데 실행 · 목표 도달이 맞은 것은 206개(34.3%)뿐이어서 실행 전 검증기가 필요하다(Valmeekam 외 2023 표 1).
- 오해미리 짠 계획은 도구가 실패하면 더 크게 무너진다.사실모든 도구가 「근거 없음」을 돌려주게 한 시험에서 정확도는 ReAct 가 40.8%p, ReWOO 가 29.2%p 떨어져 먼저 계획 쪽이 덜 무너졌다(Xu 외 2023 표 3).
- 오해여러 안을 펼쳐 고르는 탐색은 늘 한 줄 계획보다 낫다.사실블록 쌓기 · 창고 문제에서 Tree of Thoughts 방식은 0% 였고, 같은 문제를 PDDL 로 옮겨 고전 플래너에 맡긴 LLM+P 는 90% · 85% 였다(Liu 외 2023 표 I).
10핵심 정리
| 구분 | 맡는 일 | 실행 주체 | 주고받는 값 | 대표 실패 | 막는 장치 |
|---|---|---|---|---|---|
| 분해 | 목표 → 하위 단계 | 계획기(LLM) | 단계 · 도구 · 인자 | 단계 누락 | 목표 조건 대조 |
| 계획 표현 | 순서 · 의존 · 기대 | 호스트 저장 | #E 변수 · 기대 결과 | 기대 필드 없음 | 형식 필수 항목 |
| 검증 | 실행 전 확인 | 호스트 · 외부 플래너 | 스키마 · 전제 조건 · PDDL | 실행 불가 단계 | 고전 플래너 · 스키마 검사 |
| 관찰 확인 | 결과 ↔ 기대 비교 | 호스트 | 도구 결과 · 오류 | 가정 오류 진행 | 어긋남 = 재계획 |
| 재계획 | 남은 단계만 다시 씀 | 계획기(LLM) | 끝난 줄 · 결과 | 같은 줄 반복 | 재계획 횟수 상한 |
| 종결 | 최종 답 · 보고 | 종결기(LLM) | 계획 + 모든 결과 | 결과와 다른 결론 | 결과 인용 확인 |
| 사람 승인 | 되돌릴 수 없는 단계 허가 | 운영자 | 승인 필요 표시 | 승인 누락 | 검증기에서 표시 강제 |
11참고 문헌
- 먼저 볼 문헌
- ★ Understanding the planning of LLM agents: A survey (Huang et al.) — 작업 분해 · 여러 안 선택 · 외부 플래너 · 되돌아보기 · 메모리 다섯 방향의 분류를 볼 때
- ★ ReWOO: Decoupling Reasoning from Observations for Efficient Augmented Language Models (Xu et al.) — 계획기 · 작업기 · 종결기 구조와 입력 토큰 식 · 도구 실패 시험을 볼 때
- ★ PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change (Valmeekam et al. · NeurIPS 2023 Datasets and Benchmarks) — LLM 이 스스로 짠 계획이 실제로 실행 가능한 비율을 볼 때
- ★ LLM+P: Empowering Large Language Models with Optimal Planning Proficiency (Liu et al.) — LLM 이 PDDL 로 옮기고 고전 플래너가 푸는 방식의 성공률을 볼 때
- 본문 근거
- Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models (Wang et al. · ACL 2023) — arXiv · 2023-05 ·
arxiv.org/abs/2305.04091· 확인 2026-11-13 - Tree of Thoughts: Deliberate Problem Solving with Large Language Models (Yao et al. · NeurIPS 2023) — arXiv · 2023-05 ·
arxiv.org/abs/2305.10601· 확인 2026-11-13 - Reflexion: Language Agents with Verbal Reinforcement Learning (Shinn et al.) — arXiv · 2023-03 ·
arxiv.org/abs/2303.11366· 확인 2026-11-13 - ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al. · ICLR 2023) — arXiv · 2022-10 ·
arxiv.org/abs/2210.03629· 확인 2026-11-13 - STRIPS: A New Approach to the Application of Theorem Proving to Problem Solving (Fikes · Nilsson · Artificial Intelligence 2(3-4)) — Elsevier · 1971 ·
doi.org/10.1016/0004-3702(71)90010-5· 확인 2026-11-13 - OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — OWASP Foundation · 2024-11 ·
genai.owasp.org/llmrisk/llm062025-excessive-agency/· 확인 2026-11-13