AI 코딩 에이전트AI Coding Agent
LLM 이 코드 저장소를 찾아 읽고 고친 뒤 테스트를 돌려 결과를 확인하는 일을 여러 단계로 이어 가는 AI 에이전트다. 명령은 격리된 사본에서 실행되고, 변경을 받아들일지는 테스트와 사람이 정한다.
1요약
- AI 코딩 에이전트는 AI 에이전트 가운데 저장소 · 셸 · 테스트를 도구로 쓰는 종류로, 2023년 실제 이슈 2,294건으로 만든 SWE-bench(Jimenez 외) 이후 버그 수정 · 테스트 작성 · 의존성 갱신 같은 저장소 단위 작업이 이 위에서 돈다.
- 관련 파일을 한 번 검색해 넣고 패치를 한 번에 쓰게 하면 평균 3,010개 파일 저장소에서 가장 좋은 모델도 이슈의 1.96% 만 풀었고(Jimenez 외 2023 표 2), 찾기 · 열기 · 고치기 · 테스트를 회차마다 고르게 한 SWE-agent 는 같은 과제 전체에서 12.47% 를 풀었다(Yang 외 2024 표 1).
- 「에이전트가 고친 코드가 틀렸다」는 어느 검사 단계에서 놓쳤는가로 가른다 — 재현 테스트가 원래 코드에서 실패하지 않았으면 검증, 문법 오류가 파일에 남았으면 편집 인터페이스, 사본 밖이 바뀌었으면 격리, 요청에 없는 설치 · 전송이면 주입 · 권한이다.
2등장 배경
2021년 7월 Chen 외의 HumanEval 은 독스트링을 받아 함수 하나를 쓰는 과제였고, 코드로 학습한 모델이 28.8% 를 풀었으며 같은 문제에서 100번 뽑으면 70.2% 까지 올랐다(Chen 외 2021). 실제 일은 함수 하나가 아니라 수천 개 파일 속에서 고칠 곳을 찾고, 기존 기능을 깨지 않았는지 확인하는 일이라 이 점수로는 알 수 없었다.
2023년 10월 Jimenez 외는 파이썬 저장소 12곳의 이슈 2,294건을 모은 SWE-bench 를 냈다 — 정답 패치는 평균 32.8줄 · 1.7개 파일이고, 판정은 이슈를 재현하는 테스트와 기존 테스트가 모두 통과하는지로 한다(2.2절 · 표 1). 2024년 5월 Yang 외는 사람의 IDE 처럼 에이전트 전용 명령 인터페이스(ACI)를 설계한 SWE-agent 를 냈고, 같은 해 7월 Wang 외의 OpenHands 는 작업마다 컨테이너 샌드박스를 띄워 셸 · 파이썬 · 브라우저 행동을 그 안에서만 실행했다(Wang 외 2024 2.2절).
같은 달 Xia 외의 Agentless 는 모델이 다음 행동을 고르지 않는 3단계 고정 절차로도 SWE-bench Lite 300건 중 96건(32.00%)을 풀어 «자율이 꼭 필요한가»를 되물었다(5.1절). 셸 권한이 붙으면서 위험도 커져, 코드 생성 모델이 없는 패키지 이름 205,474개를 지어냈다는 측정(Spracklen 외 2024)과 함께 격리 · 최소 권한 · 사람 확인이 구성의 필수 요소가 됐다(OWASP LLM06:2025).
3쉽게 이해하기 — 시계 공방의 견습 수리공
손님이 「분침이 이상하게 빨리 간다」는 의뢰서와 함께 시계를 맡긴다. 견습 수리공은 진짜 시계를 금고에 두고 똑같은 복제 시계를 작업대에 올려 돋보기로 들여다보고 드라이버로 손질한 뒤, 시험 지그에 올려 램프를 본다. 새 부품을 주문하거나 손님에게 돌려줄 때는 공방장 도장이 있어야 하고, 시계 안에서 「다른 서랍도 열어 보라」는 쪽지가 나와도 수리공은 따르지 않고 공방장에게 알린다.
그림 1 · 수리공은 복제 시계만 만지고, 고쳤는지는 시험 지그가, 부품 주문 · 반환은 공방장이 정한다 — 시계 속 쪽지는 지시가 아니다.
그림 2 · 시험 지그의 램프 두 줄은 «고친 기능은 켜지고, 원래 기능은 그대로 켜져 있어야 한다»는 테스트 판정과 짝을 이룬다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님의 의뢰서 | 이슈(문제 보고) | 증상 · 기대 값이 적힌 글이 첫 문맥으로 모델에 들어간다 |
| 견습 수리공 | LLM | 다음에 실행할 명령 하나를 고른다 |
| 돋보기 · 드라이버 | ACI 명령 | 찾기 · 열기(100줄 창) · 줄 범위 고치기 · 테스트 실행 · 제출 |
| 복제 시계 | 샌드박스 속 저장소 사본 | 원본과 떨어진 컨테이너에서만 파일을 바꾸고 명령을 돌린다 |
| 시험 지그 | 테스트 | 재현 테스트는 실패 → 통과, 기존 테스트는 통과 → 통과여야 한다 |
| 공방장 도장 | 권한 정책 · 사람 확인 | 패키지 설치 · 외부 전송 · 병합은 승인 또는 금지로 묶는다 |
| 시계 속 쪽지 | 프롬프트 인젝션 | 이슈 · 문서 · 주석 속 문장이 지시처럼 읽혀 행동을 바꾸려 든다 |
| 손님에게 돌려줌 | diff 제출 · 코드 리뷰 | 바뀐 줄만 사람에게 보이고 검토 뒤 원본 저장소에 반영한다 |
⚠ 비유가 맞지 않는 곳: 견습 수리공은 손질한 기억이 손에 남지만, 모델은 하네스가 문맥에 다시 넣어 준 결과만 본다 — SWE-agent 는 최근 관찰 5개만 남기고 그 앞은 한 줄로 접었다(Yang 외 2024 3절). 또 시험 지그는 고장을 다 잡지 못한다 — 테스트가 다루지 않는 동작은 통과해도 틀릴 수 있다.
4구조 — 모델 · 하네스 · 샌드박스 · 사람
코딩 에이전트의 몸체는 하네스(에이전트 실행기)다 — 모델이 낸 명령을 받아 권한 정책을 대고, 허용된 것만 샌드박스에 보내며, 편집은 문법 검사를 거친 뒤에만 파일에 쓴다. 판정 근거인 테스트도 샌드박스 안에서 돈다(Wang 외 2024 2.2절).
그림 3 · 모델의 명령은 하네스의 정책 · 문법 검사를 지나야 샌드박스에 닿고, 원본 저장소에는 사람 검토를 거친 diff 만 들어간다.
| 요소 | 맡는 일 | 값 · 근거 |
|---|---|---|
| LLM | 이슈 · 앞 결과를 보고 다음 명령 하나를 고름 | 생각 한 줄 + 명령(Yang 외 2024 2절) |
| ACI 명령 | 저장소를 보는 창 | 검색 결과 50건까지 · 파일 창 100줄 · 줄 범위 edit · submit(Yang 외 2024 3절) |
| 편집 검사 | 깨진 편집을 막음 | 문법 · 들여쓰기 오류가 생기면 편집을 되돌리고 이유를 알림(Yang 외 2024 3절) |
| 샌드박스 | 명령이 원본에 닿지 않게 | 작업마다 컨테이너 하나 · 작업 폴더를 붙임(Wang 외 2024 2.2절) |
| 권한 정책 | 열린 도구 · 과도한 권한 줄이기 | 임의 셸 대신 좁은 명령 · 읽기 전용 접근 · 사용자 승인(OWASP LLM06:2025) |
| 테스트 판정 | 변경을 받아들일 근거 | FAIL_ |
| 사람 검토 | 병합 · 외부 영향 결정 | 제출물 = 패치(diff) · 원본 반영은 사람 |
🔑 모델은 편집을 «제안»할 뿐이고, 받아들이는 검사는 셋이다 — 편집 검사는 깨진 코드를, 테스트는 틀린 동작을, 사람 검토는 원하지 않은 변경을 막는다.
5동작 — 시간 문자열 변환 버그 한 건
「parse_duration("1h30m") 이 5400 이 아니라 3630 을 돌려준다」는 이슈를 맡긴 직접 실행(합성 저장소) 사례다. 파일 3개 · 테스트 6개짜리 저장소를 만들고, 모델의 명령은 미리 정해 둔 9개로 흉내 냈으며(실제 LLM 호출 없음), 하네스의 검색 · 문법 검사 · 테스트 · diff 는 실제로 돌렸다. 단계 상한은 10, 정책은 읽기 · 편집 · 테스트 = 허용, 패키지 설치 = 승인 필요, git push = 금지다(설명용 가정 값).
- 하네스가 원본을 컨테이너 안 사본으로 복제하고, 모델이
search parse_duration으로 3개 파일에서 6건을 찾은 뒤open units.py로 25줄을 본다 — 11줄_UNIT["s" if unit =이 분을 초로 센다.= "m" else unit] - 모델이 이슈 값을 재현 테스트로 더해
run_tests를 부르자 통과 6 · 실패 1 이 나온다 — 고치기 전에 실패하는 것을 확인해야 뒤의 통과가 의미를 갖는다. - 모델이 11줄을
_UNIT[unit으로 고치자 하네스의 문법 검사가 「'[' was never closed」로 거부하고 파일은 그대로 남는다. - 모델이 이유를 읽고
_UNIT[unit]으로 다시 내자 검사를 통과해 사본의 11줄이 바뀐다. - 다시
run_tests를 부르자 통과 7 · 실패 0 이다 — 재현 테스트는 실패 → 통과, 기존 6개는 통과 → 통과다. - 모델이
pip install로 처음 보는 패키지를 들이려 하자 정책의 「승인 필요」에 걸리고, 개발자가 거부해 실행되지 않는다. - 모델이
git push origin main을 내자 정책의 「금지」로 하네스가 바로 막는다. - 모델이
submit하자 하네스가 원본과 사본을 견준 diff(+1 −1)를 개발자에게 보이고, 9단계(상한 10)에서 끝난다 — 원본 저장소는 그때까지 한 글자도 바뀌지 않았다.
그림 4 · 9번의 명령 가운데 샌드박스까지 간 것은 5번이고, 문법 거부 · 정책 금지는 하네스에서, 설치 · 제출은 사람에게서 멈췄다.
같은 모델이라도 명령 인터페이스를 어떻게 짜느냐에 따라 해결률이 크게 갈린다. 아래 그림은 SWE-bench Lite 300건에서 모델을 고정하고 명령 하나씩을 바꾼 논문 값이다(Yang 외 2024 표 1 · 표 3).
그림 5 · 모델을 고정해도 편집 명령을 빼면 해결률이 18.0% 에서 10.3% 로, 검색 한 번 뒤 생성하는 방식은 2.67% 로 떨어진다.
🔑 코딩 에이전트의 성능은 모델만이 아니라 «모델이 저장소를 보는 창»이 정한다 — 파일을 다 보여 주거나 셸만 주면 오히려 떨어지고, 100줄 창 · 줄 범위 편집 · 편집 문법 검사가 함께일 때 가장 높다.
6비교 — 코드 자동 완성 · 고정 절차 · 코딩 에이전트
| 기준 | 코드 자동 완성 | 고정 절차(Agentless) | AI 코딩 에이전트 | 컴퓨터 사용 에이전트 |
|---|---|---|---|---|
| 다음 단계를 정하는 쪽 | 사람(커서 위치) | 정해 둔 3단계 | 모델이 회차마다 | 모델이 회차마다 |
| 보는 범위 | 열린 파일 · 함수 하나 | 저장소 구조 → 파일 3개 → 편집 위치 | 저장소 · 셸 · 테스트 출력 | 화면 · 마우스 · 키보드 |
| 결과 확인 | 사람이 읽고 실행 | 후보 패치 40개를 재현 · 회귀 테스트로 고름 | 테스트를 스스로 돌리고 다시 고침 | 화면을 다시 찍어 확인 |
| 공개 값(논문) | HumanEval 28.8%(Chen 외 2021) | Lite 32.00%(Xia 외 2024 5.1절) | Lite 18.00% · 전체 12.47%(Yang 외 2024) | 컴퓨터 사용 에이전트에서 다룸 |
| 주된 위험 | 약점 있는 코드 약 40%(Pearce 외 2021) | 실행 권한이 작아 피해 범위 좁음 | 셸 · 설치 · 전송 권한 | 화면 속 문장 · 잘못 누름 |
분석이슈가 한 곳을 고치는 일이고 테스트가 갖춰진 저장소면 고정 절차부터 쓰고, 환경 설치 · 여러 파일 탐색 · 실패 뒤 재시도가 필요한 일만 코딩 에이전트에 맡긴다. 근거는 표의 공개 값 · 위험 행 — 고정 절차는 다음 행동을 모델에 맡기지 않고도 Lite 해결률이 낮지 않았고, 권한은 에이전트 쪽이 가장 넓다(모델 · 시기가 달라 점수끼리 바로 견주지는 않는다).
7실무 진단 — 놓친 검사 단계 가르기
분석원본 · 외부에 흔적이 남는 격리 · 주입 · 의존성부터 보고, 다음에 테스트 판정, 마지막에 인터페이스 · 코드 품질을 본다. 근거는 표 1 ~ 3행이 되돌리기 어려운 변경으로 이어지고(OWASP LLM06:2025), 4 ~ 6행은 사본 안에서 다시 돌려 확인할 수 있기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 원본 저장소 · 개발 PC 파일이 바뀜 | 격리 실패 · 과도한 권한 | 격리 | 컨테이너에 붙인 폴더 목록 · 명령 기록 | 작업 폴더 밖 쓰기 = 격리 결함 · 읽기 전용 접근 우선(OWASP LLM06:2025 대응 4) |
| 2 | 이슈에 없던 설치 · 전송 명령 | 이슈 · 문서 · 주석 속 지시 | 입력 | 그 명령 직전에 읽은 파일 원문 | 외부 내용 속 지시형 문장 = 간접 주입(OWASP LLM01:2025) → 프롬프트 인젝션 |
| 3 | 처음 보는 패키지 설치 시도 | 패키지 이름 환각 | 의존성 | 패키지 이름 ↔ 공식 색인 · 잠금 파일 | 색인에 없는 이름 = 환각 · 공개 모델 21.7% 출력에서 나옴(Spracklen 외 2024) |
| 4 | 테스트는 통과인데 동작이 틀림 | 재현 테스트 없음 · 약함 | 검증 | 고치기 전 실패한 테스트 수 | FAIL_ |
| 5 | 같은 편집을 되풀이하다 상한 도달 | 편집 실패 이유가 모델에 안 감 | 인터페이스 | 편집 결과 메시지 · 검사 기록 | 거부 때 원래 · 제안 내용을 함께 돌려줌(Yang 외 2024 3절) |
| 6 | 리뷰에서 보안 약점 발견 | 생성 코드의 CWE | 출력 | 정적 분석(SAST) 결과 | 위험 시나리오 89개 · 1,689개 프로그램 중 약 40% 취약(Pearce 외 2021) |
1 ~ 3행이 나오면 모델을 바꾸기 전에 정책 · 마운트 · 네트워크 설정을 고친다. 4행은 원래 코드로 되돌려 재현 테스트가 실패하는지부터 보고, 5 · 6행은 같은 이슈를 사본에서 다시 돌려 편집 메시지 · 분석 결과를 읽는다.
8시험 대비
시험에서는 코딩 에이전트의 구성 요소와 판정 방식을 묻는 구조 · 구성형과, 셸 권한이 붙으며 생기는 위험을 묻는 장애 · 보안 대응형이 나올 수 있다. 구조형이면 그림 3 의 하네스 · 샌드박스 · 사람 경계로 뼈대를 세우고 FAIL_TO_PASS · PASS_TO_PASS 판정을 덧붙이며, 보안형이면 위험을 검사 단계(격리 · 입력 · 의존성 · 검증 · 출력)별로 나눠 막는 장치를 짝짓는다.
- 개요 — 정의 · 함수 단위(HumanEval 28.8%)에서 저장소 단위(SWE-bench 2,294건 · 1.96%)로
- 구성 — 그림 3 LLM · 하네스(루프 · 정책 · ACI · 편집 검사) · 샌드박스 · 사람 + 요소 표
- 동작 — 그림 4 재현 테스트 실패 → 편집 거부 · 재편집 → 통과 7 · 설치 거부 · push 금지 → diff 제출
- 핵심 원리 — 그림 5 같은 모델 · 인터페이스만 바꾼 해결률(18.0% ↔ 10.3%) · 테스트 판정 두 조건
- 위험 — 격리 실패 · 간접 프롬프트 주입 · 패키지 환각 · 약한 테스트 · 취약 코드(진단 표)
- 대응 — 컨테이너 격리 · 좁은 명령 · 최소 권한 · 설치 · 전송 사람 승인 · SAST · diff 리뷰(OWASP LLM06)
꼭 쓸 키워드
SWE-benchFAIL_TO_PASSPASS_TO_PASSACI하네스샌드박스최소 권한사람 승인패키지 환각재현 테스트
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 같은 모델에서 편집 명령 하나를 빼면 18.0% 가 10.3% 로 떨어진다는 수치를 보이면, 모델 선택보다 인터페이스 · 검사 장치 설계가 왜 먼저인지가 한 장으로 설명된다.
9오해와 사실
- 오해테스트가 모두 통과하면 이슈가 해결된 것이다.사실재현 테스트가 원래 코드에서 실패해야 판정이 성립한다 — Agentless 가 만든 재현 테스트는 Lite 300건 중 213건에서 문제를 재현했지만, 정답 패치로 고쳐지는 것까지 확인된 것은 94건이었다(Xia 외 2024 5.1.3절).
- 오해모델이 스스로 다음 행동을 고르는 방식이 늘 고정 절차보다 낫다.사실다음 행동을 모델에 맡기지 않는 위치 찾기 → 수리 → 패치 검증 3단계가 같은 300건에서 96건(32.00%)을 풀었다(Xia 외 2024 5.1절).
- 오해샌드박스 안에서 돌리면 무엇을 해도 안전하다.사실컨테이너에는 사용자 작업 폴더가 붙어 있어(Wang 외 2024 2.2절) 그 폴더 · 열린 네트워크 · 넣어 둔 자격 증명은 밖과 이어진다 — 격리는 마운트 범위 · 네트워크 · 권한 정책까지 묶어야 완성된다.
10핵심 정리
| 구분 | 맡는 일 | 놓이는 곳 | 사례 값 | 대표 실패 | 막는 장치 |
|---|---|---|---|---|---|
| LLM | 다음 명령 하나 선택 | 모델 | 명령 9개 | 같은 편집 반복 · 엉뚱한 명령 | 단계 상한 · 거부 이유 전달 |
| ACI 명령 | 저장소를 보는 창 | 하네스 | 6건 · 25줄 창 | 너무 넓은 창 · 셸만 | 100줄 창 · 줄 범위 편집 |
| 편집 검사 | 깨진 편집 되돌림 | 하네스 | 괄호 빠짐 1회 거부 | 문법 오류가 파일에 남음 | 편집마다 문법 검사 |
| 샌드박스 | 원본과 떨어진 실행 | 컨테이너 | 원본 변경 0 | 마운트 · 네트워크로 샘 | 작업 폴더만 · 네트워크 차단 |
| 테스트 판정 | 변경을 받아들일 근거 | 샌드박스 | 통과 6 · 실패 1 → 통과 7 | 재현 없이 통과 | FAIL_ |
| 권한 정책 | 위험 명령 묶기 | 하네스 | 설치 승인 · push 금지 | 무단 설치 · 전송 | 최소 권한 · 사람 승인 |
| 사람 검토 | 원본 반영 결정 | 개발자 | diff +1 −1 | 원하지 않은 변경 병합 | 코드 리뷰 · SAST |
11참고 문헌
- 먼저 볼 문헌
- ★ SWE-bench: Can Language Models Resolve Real-World GitHub Issues? (Jimenez et al. · ICLR 2024) — 이슈 2,294건 과제와 FAIL_TO_PASS · PASS_TO_PASS 판정 방식을 볼 때
- ★ SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering (Yang et al. · NeurIPS 2024) — 에이전트용 명령 인터페이스(ACI) 설계와 명령을 하나씩 뺀 실험 값을 볼 때
- ★ Agentless: Demystifying LLM-based Software Engineering Agents (Xia et al.) — 모델이 다음 행동을 고르지 않는 3단계 고정 절차와 테스트로 패치를 고르는 법을 볼 때
- ★ OWASP Top 10 for LLM Applications 2025 - LLM06:2025 Excessive Agency — 셸 같은 열린 도구 · 과도한 권한을 줄이는 여덟 가지 대응을 볼 때
- ★ OpenHands: An Open Platform for AI Software Developers as Generalist Agents (Wang et al. · ICLR 2025) — 작업마다 컨테이너 샌드박스를 띄우고 작업 폴더를 붙이는 실행 구조를 볼 때
- 본문 근거
- Evaluating Large Language Models Trained on Code (Chen et al.) — arXiv · 2021-07 ·
arxiv.org/abs/2107.03374· 확인 2026-11-13 - Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions (Pearce et al. · IEEE S&P 2022) — arXiv · 2021-08 ·
arxiv.org/abs/2108.09293· 확인 2026-11-13 - We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs (Spracklen et al.) — arXiv · 2024-06 ·
arxiv.org/abs/2406.10279· 확인 2026-11-13 - OWASP Top 10 for LLM Applications 2025 - LLM01:2025 Prompt Injection — OWASP Foundation · 2024-11 ·
genai.owasp.org/llmrisk/llm01-prompt-injection/· 확인 2026-11-13 - Python 3 documentation - unittest Unit testing framework — Python Software Foundation · 2026-11 ·
docs.python.org/3/library/unittest.html· 확인 2026-11-13