에이전트 워크플로Agentic Workflow
LLM 호출 · 도구 호출 · 코드 검사를 미리 정한 순서와 분기로 엮어 여러 단계 작업을 처리하는 설계 방식이다. 다음 단계를 코드가 정하면 워크플로, 모델이 회차마다 정하면 자율 에이전트로 구분한다.
1요약
- 에이전트 워크플로는 AI 에이전트를 짜는 설계 방식으로, LLM 호출 사이에 코드 검사 · 분기 · 반복을 미리 그려 두는 구성이다 — 2024년 Schluntz · Zhang 이 프롬프트 체인 · 라우팅 · 병렬화 · 오케스트레이터-워커 · 평가자-최적화 다섯 패턴으로 정리했고, 문의 처리 · 문서 생성 · 코드 검토 같은 정해진 업무가 이 위에서 돈다.
- 단계마다 모델에 다음 행동을 맡기면 호출 수와 실패 경로가 실행마다 달라지지만, 경로를 고정하고 단계 사이에 검사를 두면 반복 상한과 비용을 미리 셀 수 있다 — Self-Refine 은 피드백 · 수정을 최대 4회로 묶어 코드 최적화 점수를 22.0 에서 3회 만에 28.8 로 올렸다(Madaan 2023 3.1 · 4절).
- 「이 업무를 에이전트로 만들까」는 다음 단계를 미리 적을 수 있는가로 가른다 — 적을 수 있으면 고정 경로, 하위 작업의 종류만 그때 정해지면 오케스트레이터-워커, 단계 수조차 예측할 수 없을 때만 자율 루프다.
2등장 배경
LLM 한 번의 호출에 「메일을 읽고 분류하고 환불 금액을 확인해 답장까지 써라」를 한꺼번에 맡기면, 중간 결과를 확인할 곳이 없어 금액이 틀려도 그럴듯한 답장이 나온다. 업무 시스템은 오래전부터 이런 일을 순서도로 풀었고, BPMN(2014년 2.0.2 · OMG)은 작업 · 분기(게이트웨이) · 순서 흐름을 표준 기호로 그리는 방법을 정했다.
2021년 10월 Wu 외는 한 LLM 단계의 출력을 다음 단계 입력으로 잇는 AI 체인을 제안해 사용자 20명 연구에서 결과 품질과 투명성 · 통제감이 함께 오른다고 보고했다(Wu 2022). 2022년 3월 Wang 외는 같은 문제를 여러 번 풀게 해 다수결로 답을 고르는 방식으로 GSM8K 정답률을 사고 사슬 한 번보다 17.9%p 올렸고(Wang 2022), 2023년 3월 Self-Refine(Madaan 외)과 Reflexion(Shinn 외)은 생성 결과를 평가해 되돌리는 반복을 붙였다.
2022년 ReAct(Yao 외)로 모델이 다음 행동을 고르는 자율 루프가 퍼지자, 2024년 12월 Schluntz · Zhang 은 «미리 정한 코드 경로로 LLM 과 도구를 엮는 시스템»을 워크플로, 모델이 스스로 과정을 정하는 시스템을 에이전트로 나누고, 더 단순한 방식이 모자랄 때만 복잡도를 더하라고 권했다(Schluntz · Zhang 2024). 2024년 10월 AFlow(Zhang 외)는 워크플로를 «LLM 호출 노드를 잇는 코드 그래프»로 보고 몬테카를로 트리 탐색으로 그 그래프를 자동으로 고쳐, 벤치마크 6개에서 평균 5.7% 높였다.
3쉽게 이해하기 — 식당 주방의 주문 처리
저녁 시간, 주문표가 주방에 들어오면 접수 담당이 한식 줄과 양식 줄로 나눈다. 한식 줄은 벽에 붙은 순서표대로 손질 · 조리 · 담기를 하고, 반찬 세 가지는 화구 세 곳에서 동시에 만든다. 단체 예약처럼 무엇이 몇 접시 필요한지 미리 모르는 주문만 주방장이 그때 나눠 맡긴다. 접시가 나가기 전 검식 담당이 맛보고 기준에 못 미치면 세 번까지 돌려보내며, 코스 값 환불은 매니저 도장이 있어야 한다.
그림 1 · 주문은 정해진 줄과 순서표를 따라 흐르고, 주방장은 미리 못 나누는 주문만 맡으며, 검식 담당이 내보내기 전에 돌려보낸다.
그림 2 · 순서표가 있는 주방은 몇 번 손이 가는지 미리 알지만, 주방장이 그때그때 정하는 주방은 접시마다 길이 다르다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 주문표 | 입력 · 작업 요청 | 메일 · 문서 · 질문이 워크플로의 첫 단계에 들어온다 |
| 접수 담당 | 라우팅 | LLM 이나 분류기가 입력 종류를 정해 전용 경로로 보낸다 |
| 벽의 순서표 | 프롬프트 체인 · 코드 관문 | 단계 순서와 단계 사이 검사를 코드에 미리 적는다 |
| 화구 셋 | 병렬화(나누기 · 투표) | 서로 독립인 하위 작업이나 같은 작업 여러 번을 동시에 부른다 |
| 주방장 | 오케스트레이터-워커 | 중앙 LLM 이 하위 작업을 그때 정해 워커 호출에 나눠 준다 |
| 검식 담당 | 평가자-최적화 | 다른 호출이 결과를 기준표로 채점해 통과 전까지 되돌린다 |
| 세 번까지 | 반복 상한 | 평가 루프는 정한 횟수에서 멈추고 사람에게 넘긴다 |
| 매니저 도장 | 사람 승인 관문 | 환불 · 발송처럼 되돌리기 어려운 행동 앞에서 멈춘다 |
⚠ 비유가 맞지 않는 곳: 주방의 순서표는 요리사가 읽고 따르지만, 실제 워크플로의 순서는 코드가 집행하므로 모델이 「다음 단계를 건너뛰자」고 써도 경로는 바뀌지 않는다. 또 검식 담당은 다른 사람이지만, 실제 평가자는 생성과 같은 모델일 때가 많아 같은 착각을 함께 놓칠 수 있다.
4구조 — 다섯 패턴과 자율 루프
워크플로를 이루는 부품은 셋이다 — LLM 호출 노드, 코드 노드(검사 · 분기 · 합치기), 노드 사이의 간선이다(Zhang 2024). 다섯 패턴은 이 부품을 잇는 모양의 차이이고, 오른쪽 아래의 자율 루프는 간선을 모델이 그때 정한다는 점에서 워크플로와 갈린다(Schluntz · Zhang 2024).
그림 3 · 다섯 패턴은 모두 간선을 코드가 정하고, 오케스트레이터-워커는 워커 수만, 자율 루프는 다음 간선 자체를 모델이 정한다.
| 요소 | 맡는 일 | 다음 단계를 정하는 것 | 값 · 근거 |
|---|---|---|---|
| LLM 호출 노드 | 분류 · 추출 · 생성 하나만 | — | 노드 하나 = 프롬프트 하나(Zhang 2024) |
| 코드 노드 | 형식 검사 · 규칙 비교 · 합치기 | 코드 | 단계 사이 «선택적 검사»(Schluntz · Zhang 2024) |
| 라우터 | 입력 종류를 정해 경로 하나로 | 분류 결과 | 확신도 기준 미달은 사람 경로로 |
| 평가자 | 기준표로 채점 · 피드백 | 점수 · 멈춤 표시 | 최대 4회(Madaan 2023 3.1절) |
| 상태 | 단계 결과 · 반복 횟수 보관 | — | 다음 노드 입력과 실행 기록 |
| 사람 관문 | 되돌리기 어려운 행동 승인 | 사람 | 과도한 자율의 대응(OWASP LLM06:2025) |
🔑 워크플로와 에이전트를 가르는 것은 LLM 을 몇 번 부르는가가 아니라 다음 간선을 누가 정하는가다 — 호출이 열 번이어도 간선이 코드에 적혀 있으면 워크플로이고, 두 번이어도 모델이 고르면 에이전트다.
5동작 — 환불 문의 메일 한 건
문의 메일 처리 워크플로에 환불 요청 한 건이 들어온 사례다. 실제 LLM 대신 결과를 미리 정한 함수로 바꾼 상태 기계를 직접 실행했고(Python · 무작위 없음), 주문 번호 · 금액 · 정책 · 점수는 설명용 가정 값이다.
- 라우터 호출(LLM 1회째)이 메일 「주문 A-1024 배송이 9일 늦었습니다. 환불해 주세요」를 환불 · 기술 · 일반 셋 중 「환불 · 확신 0.92」로 분류하고, 코드는 기준 0.80 이상이라 환불 경로를 고른다.
- 추출 호출(2회째)이 주문 번호 A-1024 · 금액 39,000원 · 지연 9일을 JSON 으로 돌려준다.
- 코드 관문이 주문 조회 도구를 불러 금액 39,000원 일치와 「7일 초과 지연 = 전액 환불」 정책 충족을 확인한다 — 이 단계는 LLM 을 부르지 않는다.
- 병렬 호출(3 · 4회째)이 고객 답장 초안과 내부 처리 메모를 동시에 만든다.
- 평가 호출(5회째)이 기준 4개(금액 · 사유 · 정책 문구 · 사과) 가운데 정책 문구가 빠져 3/4 를 매기고 피드백을 낸다.
- 수정 호출(6회째)이 정책 문구를 넣고, 평가 호출(7회째)이 4/4 로 통과시킨다 — 반복 상한 3 중 2회.
- 코드는 환불 실행 앞에서 담당자에게 「39,000원 환불 · 답장 발송」 승인을 요청하고, 승인 뒤에만 보낸다 — 합계 LLM 7회 · 도구 1회 · 승인 1회.
그림 4 · 경로는 코드가 정하므로 LLM 은 일곱 번 모두 정해진 일 하나만 하고, 금액 확인과 승인은 모델 밖에서 일어난다.
병렬화의 투표는 호출을 k 배로 늘려 정답률을 사는 거래다. 한 번 맞힐 확률을 p, 호출끼리 독립이라고 두면 다수결 정답률은 이항 분포로 계산되며, 아래 그림은 그 식으로 직접 계산한 값이다.
그림 5 · 한 번 정답률이 0.70 이면 투표 15번에 0.95 까지 오르지만, 0.45 면 투표를 늘릴수록 0.35 쪽으로 떨어진다.
🔑 워크플로에 단계를 더하면 정답률이 아니라 호출 수가 확실히 늘어난다 — 투표 · 평가 루프는 한 번의 결과가 이미 절반 넘게 맞고 오류가 서로 독립일 때만 값을 하므로, 늘리기 전에 한 번 정답률부터 잰다.
6비교 — 다섯 패턴과 자율 루프
| 패턴 | 다음 단계를 정하는 것 | LLM 호출 수 | 쓰는 때 | 대표 실패 |
|---|---|---|---|---|
| 프롬프트 체인 | 코드(고정 순서) | 단계 수만큼 · 고정 | 고정 하위 작업으로 깔끔히 나뉠 때 | 앞 단계 오류가 관문 없이 넘어감 |
| 라우팅 | 분류 결과 | 1 + 경로 하나 | 입력 종류마다 처리가 다를 때 | 분류 오류로 엉뚱한 경로 |
| 병렬화 | 코드(나누기 · 투표) | k 배 · 동시 | 독립 하위 작업 · 여러 관점이 필요할 때 | 상관된 오류는 투표로 안 줄어듦 |
| 오케스트레이터-워커 | 지휘 LLM(워커 수) | 그때 정해짐 · 상한 필요 | 하위 작업을 미리 알 수 없을 때 | 워커 과다 · 종합 누락 |
| 평가자-최적화 | 평가 점수 | 2 × 반복 횟수 | 평가 기준이 분명하고 반복이 값을 할 때 | 수렴하지 않는 반복 · 같은 착각 |
| 자율 루프(에이전트) | 모델(회차마다) | 미정 · 단계 상한 | 단계 수를 예측할 수 없을 때 | 반복 · 과도한 권한 |
분석표를 위에서 아래로 내려가며 처음으로 업무에 맞는 행을 고르고, 맞지 않을 때만 아래 행으로 간다. 근거는 「LLM 호출 수」 열 — 위쪽 패턴일수록 호출 수를 미리 셀 수 있어 비용 · 지연 · 시험 범위가 정해지고, 단순한 방식이 모자랄 때만 복잡도를 더하라는 권고와 같다(Schluntz · Zhang 2024).
7실무 진단 — 어느 노드가 틀렸나
분석워크플로가 틀린 결과를 내면 마지막 생성 문장보다 먼저 라우터 · 코드 관문의 기록을 본다. 경로와 관문은 값 하나(분류 결과 · 합격 여부)로 판정되고, 그 단계가 틀리면 뒤의 모든 LLM 호출이 잘못된 입력 위에서 돌기 때문이다(표 1 · 2행).
| # | 증상 | 의심 원인 | 노드 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 기술 문의에 환불 답장이 나감 | 라우터 분류 오류 | 라우터 | 분류 결과 · 확신도 · 레이블 붙인 시험 입력 | 확신도 기준 미달이 사람 경로로 안 갔으면 분기 결함 |
| 2 | 금액이 틀린 답장이 통과 | 관문이 형식만 봄 | 코드 관문 | 관문 규칙 ↔ 주문 기록 대조 여부 | 값 대조 없이 JSON 형식만 보면 관문 결함(Schluntz · Zhang 2024 단계 사이 검사) |
| 3 | 같은 초안을 상한까지 되풀이 | 피드백이 구체적이지 않음 | 평가자 | 회차별 점수 · 피드백 문장 | 점수가 회차마다 그대로면 기준표 · 피드백 결함(Madaan 2023 4절) |
| 4 | 투표를 늘려도 정답률이 그대로 | 표본 오류가 상관됨 | 병렬화 | 표본별 답의 분포 · 온도 설정 | 표본 답이 거의 모두 같으면 독립 가정이 깨진 것(Wang 2022) |
| 5 | 호출 수 · 비용이 실행마다 크게 다름 | 워커 수에 상한이 없음 | 오케스트레이터 | 실행별 워커 수 · 호출 수 | 상한 없는 워커 생성은 과도한 자율(OWASP LLM06:2025) |
가려내는 순서는 라우터 → 관문 → 병렬 · 평가 루프 → 오케스트레이터다. 앞 두 노드는 기록 한 줄로 끝나고, 루프 · 오케스트레이터는 여러 실행의 호출 수 분포를 모아야 보이므로 마지막에 본다.
8시험 대비
시험에서는 워크플로와 자율 에이전트를 구분하고 패턴을 쓰는 정의 · 특징형과, 다섯 패턴을 견주어 업무에 맞는 것을 고르는 비교형이 나올 수 있다. 정의형이면 그림 3 의 «다음 간선을 누가 정하나»로 뼈대를 세우고 그림 4 사례를 붙이며, 비교형이면 비교 표의 호출 수 · 쓰는 때 · 실패 열에 그림 5 의 투표 계산을 근거로 단다.
- 개요 — 정의(LLM 호출 · 도구 · 코드 검사를 미리 정한 경로로 엮음) · 워크플로 ↔ 에이전트 구분(다음 간선의 주체)
- 구성 — 그림 3 다섯 패턴 + 자율 루프 · 요소 표(LLM 노드 · 코드 노드 · 라우터 · 평가자 · 상태 · 사람 관문)
- 동작 — 그림 4 환불 문의 사례(분류 → 추출 → 관문 → 병렬 → 평가 반복 → 승인 · LLM 7회)
- 핵심 원리 — 그림 5 투표 수와 다수결 정답률(p 0.70 → 0.95 · p 0.45 → 0.35)
- 패턴 비교 — 비교 표(정하는 주체 · 호출 수 · 쓰는 때 · 실패) · 단순한 것부터 고르는 순서
- 동향 — AI 체인(2021) · Self-Refine · Reflexion(2023) · AFlow 자동 생성(2024)
꼭 쓸 키워드
프롬프트 체인라우팅병렬화오케스트레이터-워커평가자-최적화코드 관문반복 상한다수결 투표사람 승인워크플로 자동 생성
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 한 번 정답률이 0.5 아래면 투표가 오히려 정답률을 깎는다는 계산을 보이면, 「단계를 늘리면 좋아진다」가 아니라 «어느 조건에서 단계가 값을 하는가»를 쓴 답안이 된다.
9오해와 사실
- 오해도구를 부르는 LLM 시스템은 모두 에이전트다.사실미리 정한 코드 경로로 LLM 과 도구를 엮으면 도구를 불러도 워크플로이고, 모델이 스스로 과정과 도구 사용을 정할 때만 에이전트로 구분한다(Schluntz · Zhang 2024).
- 오해평가 루프는 돌릴수록 결과가 좋아진다.사실Self-Refine 의 향상은 앞쪽 반복에 몰리고 회차가 늘수록 줄며, 여러 측면을 보는 과제에서는 한 측면이 나아지면 다른 측면이 나빠지기도 했다(Madaan 2023 4절 · 그림 4).
- 오해다수결 투표는 언제나 정답률을 올린다.사실다수결은 표본이 서로 독립이고 한 번 정답률이 0.5 를 넘을 때만 오르며, 0.45 에서는 15번 투표가 0.35 로 떨어진다(이항 분포 직접 계산 · 그림 5).
10핵심 정리
| 구분 | 다음 단계 주체 | 호출 수 | 멈추는 조건 | 막는 장치 |
|---|---|---|---|---|
| 프롬프트 체인 | 코드 | 단계 수 · 고정 | 마지막 단계 끝 | 단계 사이 관문 |
| 라우팅 | 분류 결과 | 1 + 경로 | 경로 끝 | 확신도 기준 · 사람 경로 |
| 병렬화 | 코드 | k 배 | 모두 끝 · 합치기 | 독립 표본 · 한 번 정답률 측정 |
| 오케스트레이터-워커 | 지휘 LLM | 그때 정해짐 | 종합 끝 | 워커 수 상한 |
| 평가자-최적화 | 평가 점수 | 2 × 반복 | 통과 · 반복 상한 | 구체 피드백 · 상한 |
| 사람 관문 | 사람 | 0 | 승인 · 거부 | 되돌리기 어려운 행동 앞 배치 |
| 자율 루프(에이전트) | 모델 | 미정 | 목표 · 단계 상한 | 단계 상한 · 최소 권한 |
11참고 문헌
- 먼저 볼 문헌
- ★ Building effective agents (Erik Schluntz · Barry Zhang) — 워크플로와 에이전트의 구분 · 다섯 가지 패턴과 쓰는 때를 볼 때
- ★ AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts (Wu et al. · CHI 2022) — 한 단계의 출력을 다음 단계 입력으로 잇는 프롬프트 체인의 출발점을 볼 때
- ★ Self-Refine: Iterative Refinement with Self-Feedback (Madaan et al. · NeurIPS 2023) — 생성 · 피드백 · 수정 반복의 멈춤 조건과 반복 횟수별 향상을 볼 때
- ★ Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al. · ICLR 2023) — 여러 번 생성해 다수결로 답을 고르는 병렬 투표의 효과를 볼 때
- 본문 근거
- AFlow: Automating Agentic Workflow Generation (Zhang et al. · ICLR 2025) — arXiv · 2024-10 ·
arxiv.org/abs/2410.10762· 확인 2026-11-13 - Reflexion: Language Agents with Verbal Reinforcement Learning (Shinn et al. · NeurIPS 2023) — arXiv · 2023-03 ·
arxiv.org/abs/2303.11366· 확인 2026-11-13 - Business Process Model and Notation (BPMN) Version 2.0.2 — Object Management Group · 2014-01 ·
www.omg.org/spec/BPMN/2.0.2· 확인 2026-11-13 - OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — OWASP Foundation · 2024-11 ·
genai.owasp.org/llmrisk/llm062025-excessive-agency/· 확인 2026-11-13 - ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al. · ICLR 2023) — arXiv · 2022-10 ·
arxiv.org/abs/2210.03629· 확인 2026-11-13