에이전트 메모리Agent Memory
AI 에이전트가 세션과 회차를 넘어 사실 · 경험 · 규칙을 이어 쓰도록, 호스트가 LLM 바깥에 기억 항목을 기록 · 검색 · 갱신 · 삭제하는 구조다. 모델은 호스트가 이번 회차 컨텍스트에 다시 넣어 준 기억만 본다.
1요약
- 에이전트 메모리는 호스트가 LLM 바깥에 두는 기억 저장소와 관리 규칙으로, 이번 회차 컨텍스트 안의 작업 기억과 세션을 넘는 장기 기억(일화 · 의미 · 절차)으로 나뉘며(Sumers 외 2023 4.1절), 개인 비서 · 상담 · 코딩 에이전트의 «지난번 맥락 잇기»가 이 위에서 돈다.
- 대화 기록 약 115k 토큰을 통째로 창에 넣으면 근거 세션만 줄 때보다 정확도가 30 ~ 60% 떨어졌고(Wu 외 2024 3.4절), 기록을 바깥에 두고 함수로 꺼내 쓰게 한 MemGPT 는 지난 세션 질문 정답률을 32.1% 에서 92.5% 로 올렸다(Packer 외 2023 표 2).
- 「에이전트가 기억을 못 한다」는 기억이 어느 단계에서 끊겼는가로 가른다 — 저장소에 없으면 기록, 있는데 상위 k 밖이면 검색, 옛 사실이 나오면 갱신, 다른 사용자의 기억이 나오면 격리 문제다.
2등장 배경
LLM 호출은 상태를 남기지 않는다. 세션이 끝나면 다음 세션은 빈 컨텍스트에서 시작하고, 한 세션 안에서도 창이 차면 오래된 턴부터 잘려 사용자가 사흘 전에 알려 준 장비 기종 · 선호를 다시 물어야 한다. 사람 기억 연구의 작업 기억(Baddeley · Hitch 1974)과 장기 기억 구분은 Soar 같은 인지 구조에서 일화 · 의미 · 절차 기억으로 구현되어 왔다(Sumers 외 2023 2.3절).
2023년 3월 Shinn 외의 Reflexion 은 실패한 시도마다 반성 문장을 일화 기억에 1 ~ 3개 남겨 다음 시도에 넣었고, ALFWorld 134과제 중 130개를 풀었다(Shinn 외 2023 3 · 4.1절). 같은 해 4월 Park 외는 경험을 기억 흐름에 쌓고 최근성 · 중요도 · 관련성 점수로 꺼내 쓰는 에이전트 25명을 돌렸고, 10월 Packer 외의 MemGPT 는 창 70% 에서 경고 · 100% 에서 비움 규칙을 둔 두 계층 기억을 제안했다(Packer 외 2023 2.2절).
2023년 9월 Sumers 외의 CoALA 가 이 연구들을 작업 · 일화 · 의미 · 절차 네 기억으로 정리했고, 2024년 10월 Wu 외의 LongMemEval 은 질문 500개로 정보 추출 · 여러 세션 추론 · 지식 갱신 · 시간 추론 · 기권 다섯 능력을 따로 잰다. 창이 길어져도 «모두 넣기»로는 이 다섯이 풀리지 않아, 지금은 기록 · 검색 · 갱신을 호스트 코드로 설계하는 일이 에이전트 구성의 한 요소가 됐다.
3쉽게 이해하기 — 교대 근무 호텔 안내 데스크
호텔 안내 데스크 직원은 교대마다 바뀌어, 새로 온 직원은 단골손님을 전혀 모른다. 손님이 「지난번 그 문제가 또 생겼어요」라고 하면 직원은 뒤편 손님 카드 보관함에서 최근에 본 카드 · 중요 표시가 붙은 카드 · 오늘 요청과 맞는 카드를 골라 데스크 메모판에 꽂고, 메모판 자리가 몇 개뿐이라 가장 쓸모 있는 몇 장만 꽂는다. 손님 사정이 바뀌면 옛 카드에 「바뀜」 표시를 하고, 교대 전에는 오늘 일을 요약 카드 한 장으로 써서 보관함에 넣는다. 카드함은 손님마다 자물쇠 칸이 따로 있어, 다른 손님 카드를 꺼낼 수 없다.
그림 1 · 직원은 손님을 기억하지 못하고, 보관함에서 골라 메모판에 꽂은 카드만 보고 응대한다 — 바뀐 사정과 요약은 다시 카드로 남는다.
그림 2 · 카드 한 장에는 날짜 · 중요 표시 · 맞는 낱말 세 표시가 있고, 실제 기억 항목에서는 그것이 세 점수로 바뀌어 더해진다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 손님을 모르는 교대 직원 | 상태 없는 LLM | 회차마다 받은 컨텍스트만 보고 답을 만든다 |
| 데스크 메모판 | 작업 기억(컨텍스트) | 지시 · 최근 대화 · 꺼낸 기억 · 질문을 한 입력으로 묶는다 |
| 손님 카드 보관함 | 장기 기억 저장소 | 기억 항목을 임베딩 · 시각 · 중요도와 함께 바깥 저장소에 둔다 |
| 찾기 기준 | 검색 점수 | 최근성 · 중요도 · 관련성을 더해 상위 k 개를 고른다 |
| 메모판 자리 수 | 기억 예산 | 기억에 쓸 토큰 상한까지만 넣는다 |
| 「바뀜」 표시 | 갱신 · 대체 | 같은 주제의 새 사실이 오면 옛 항목을 후보에서 뺀다 |
| 교대 전 요약 카드 | 요약 · 반성 | 여러 항목을 묶은 상위 기억을 새 항목으로 쓴다 |
| 손님별 자물쇠 칸 | 사용자별 격리 · 삭제 | 사용자 ID 로 구역을 나누고 요청이 오면 지운다 |
⚠ 비유가 맞지 않는 곳: 직원은 카드를 읽으면 뜻을 확인하지만, 실제 모델은 꺼낸 기억 속 문장이 틀렸거나 지시처럼 쓰여 있어도 그대로 믿기 쉽다. 또 사람 직원은 날짜 도장이 오래돼도 중요한 카드를 알아보지만, 실제 점수는 정한 감쇠 계수대로만 줄어든다.
4구조 — 기억의 네 종류와 다섯 동작
에이전트 메모리는 어디에 있는가(컨텍스트 안 · 바깥 저장소)와 무엇을 담는가(사건 · 사실 · 규칙)로 나뉜다. 작업 기억은 이번 회차 입력 자체이고, 일화 · 의미 · 절차 기억은 저장소에 있다가 호스트가 골라 넣을 때만 모델에 닿는다(Sumers 외 2023 4.1절).
그림 3 · 장기 기억은 호스트의 메모리 관리자를 거쳐서만 컨텍스트에 들어가고, 모델이 낸 사실도 관리자를 거쳐서만 저장소에 쓰인다.
| 요소 | 담는 것 · 하는 일 | 값 · 근거 |
|---|---|---|
| 작업 기억 | 이번 회차의 지시 · 대화 · 꺼낸 기억 | 한 번의 LLM 호출 입력(Sumers 외 2023 4.1절) |
| 일화 기억 | 지난 사건 · 실행 기록 · 실패 반성 | 반성 1 ~ 3개만 보관(Shinn 외 2023 3절) |
| 의미 기억 | 사용자 사실 · 선호 · 세계 지식 | 갱신 · 기권 능력을 따로 평가(Wu 외 2024 3.2절) |
| 절차 기억 | 시스템 지시 · 도구 사용 규칙 · 기술 코드 | 바꾸면 에이전트 동작 자체가 바뀜(Sumers 외 2023 4.1절) |
| 검색 점수 | 최근성 + 중요도 + 관련성 | 감쇠 0.995 / 시간 · min-max · 가중치 1(Park 외 2023 4.1절) |
| 요약 · 반성 | 여러 항목을 묶은 상위 기억 | 중요도 합이 150 을 넘으면 생성(Park 외 2023 4.2절) |
| 창 관리 | 창이 차면 저장 · 비움 | 70% 경고 · 100% 에서 창 50% 만큼 내보냄(Packer 외 2023 2.2절) |
| 격리 · 접근 통제 | 사용자 · 조직별 구역 · 삭제 | 권한을 아는 저장소 · 구역 분리(OWASP LLM08:2025) |
🔑 장기 기억의 품질은 저장한 양이 아니라 «무엇을 꺼내 몇 개를 넣는가»가 정한다 — 모델은 예산 안에 든 상위 k 개만 보고, 나머지는 저장소에 있어도 없는 것과 같다.
5동작 — 사내 IT 도움 에이전트의 VPN 재문의 한 건
직접 실행 — 기억 8개 · 질의 · 중요도 · 예산은 설명용 가정 값이고, 점수는 Park 외 2023 4.1절 식을 NumPy 로 계산했다(무작위 요소 없음 · 관련성 = 키워드 집합 코사인).
- 기록 — 30일(720시간) 동안 대화 6회에서 호스트가 기억 8개를 뽑아 사용자 구역에 저장한다. 예: M1(50시간) 「VPN 끊김 · 클라이언트 4.1 재설치로 해결」 중요도 6, M6(600시간) 「VPN 클라이언트 5.0 전환 · 4.x 지원 종료」 8, M8(700시간) 「재택 근무 시작 · 집 공유기 사용」 6.
- 질의 — 720시간에 「재택 중 노트북 VPN 이 또 끊겨요」가 오고, 키워드 4개(재택 · 노트북 · vpn · 끊김)로 질의를 만든다.
- 세 점수 — 최근성 = 0.995^(경과 시간)으로 M8 0.905 · M6 0.548 · M1 0.035, 관련성은 M4(끊김 · 절전 끄기) 0.500 · M1 0.447 · M6 0.250 이고, 세 값을 8개 안에서 min-max 로 0 ~ 1 에 맞춘다.
- 관련성만 쓰면 상위 3개는 M4 · M1 · M2(노트북 기종)로, 5.0 전환(M6)과 재택(M8)이 빠진다.
- 세 점수를 가중치 1로 더하면 M8 2.292 · M6 2.090 · M4 1.679 · M1 1.609 순이다.
- 갱신 확인 — M1 은 같은 주제(VPN 클라이언트 판)를 M6 이 대체해 「낡음」이므로 후보에서 빼고, 기억 예산 200토큰(항목당 약 60토큰)에 상위 3개 M8 · M6 · M4 를 넣는다.
- 답 · 정리 — 모델이 「5.0 설치 여부 확인 · 집 공유기 무선 절전 끄기」를 답하면 이번 대화를 M9 로 기록하고, 중요도 합 34 가 반성 문턱 30(가정 값 · 원 논문 150)을 넘어 반성 항목 「VPN 끊김 3회 · 무선 · 재택 환경과 겹침」을 새로 쓴다.
그림 4 · 관련성만으로는 옛 4.1 기억(M1)이 2위지만, 세 점수를 더하면 재택(M8) · 5.0 전환(M6)이 위로 오고 M1 은 대체 표시로 빠진다.
최근성은 시간마다 0.995 를 곱해 줄어 반감 시간이 ln 0.5 ÷ ln 0.995 ≈ 138시간(약 5.8일)이다 — 아래 그림은 사례 기억 넷의 위치를 이 곡선 위에 찍은 것이다.
그림 5 · 감쇠 계수 0.995 에서는 138시간 만에 최근성이 절반이 되고, 670시간 지난 M1 은 0.035 로 사실상 관련성 · 중요도만으로 겨룬다.
🔑 관련성 하나로 고르면 «예전에 자세히 말한 것»이 이기고, 최근성 · 중요도를 더해야 «바뀐 사실»이 위로 온다 — 그래도 낡은 기억은 점수가 아니라 대체 표시로 빼야 다시 올라오지 않는다.
6비교 — 지난 맥락을 잇는 네 방식과 RAG
| 기준 | 대화 전체 넣기 | 요약 이어 쓰기 | 검색형 장기 기억 | 자기 편집 계층(MemGPT 형) | (참고) RAG |
|---|---|---|---|---|---|
| 쓰는 주체 | 없음(원문 그대로) | 호스트가 요약 | 호스트가 항목 추출 | 모델이 함수로 직접 | 사람이 쓴 문서 |
| 세션을 넘는가 | 창 길이까지 | 요약 한 덩이로 | 항목 단위로 | 두 계층 모두 | 사용자와 무관 |
| 입력 토큰 | 대화에 비례해 늘어남 | 요약 길이로 고정 | 예산 상한(상위 k) | 창 70 ~ 100% 사이 | 청크 k 개 |
| 갱신 · 삭제 | 지울 수 없음 | 요약에 섞여 흐려짐 | 항목별 대체 · 삭제 | 모델이 고쳐 씀 | 색인 다시 만들기 |
| 대표 실패 | 긴 기록 독해 30 ~ 60% 하락 | 세부 값 소실 | 상위 k 누락 · 낡은 항목 | 모델의 쓰기 실수 · 오염 | 검색 누락 |
분석대화가 몇십 턴 안에서 끝나면 전체 넣기로 충분하고, 사용자 사실이 세션을 넘어 바뀌는 서비스는 검색형 장기 기억 + 대체 표시를 기본으로 두며, 모델 쓰기(자기 편집)는 쓰기 검증을 붙일 때만 더한다. 근거는 표의 「갱신 · 삭제」 · 「대표 실패」 행 — 항목 단위로 지울 수 있는 것은 검색형뿐이고, 긴 기록 독해의 하락은 Wu 외 2024 3.4절 값이다.
7실무 진단 — 기억이 끊긴 단계 가르기
분석같은 질의로 저장소 · 후보 · 컨텍스트를 차례로 열어 «어디까지 있었는가»를 본다 — 격리 · 오염은 피해가 커 맨 먼저, 그다음 기록 → 검색 → 갱신 순이다. 근거는 표 1 · 2행이 다른 사용자 정보 노출과 지시 실행으로 이어지고(OWASP LLM08:2025), 3 ~ 5행은 저장소 조회 하나로 단계가 갈리기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 다른 사용자의 정보가 답에 나옴 | 구역 분리 · 권한 누락 | 격리 | 꺼낸 항목의 사용자 ID | 질의 사용자와 다른 ID 가 하나라도 있으면 격리 결함(OWASP LLM08:2025) |
| 2 | 기억 속 문장을 지시처럼 따름 | 기억 오염 | 기록 | 그 항목의 출처 · 기록 시점 원문 | 외부 결과 문장이 검증 없이 기억이 됐으면 오염 · 프롬프트 인젝션으로 대응 |
| 3 | 지난번 말한 사실을 다시 물음 | 추출 · 저장 누락 | 기록 | 저장소에서 사용자 ID · 낱말 조회 | 항목이 없으면 기록 단계 |
| 4 | 항목은 있는데 답에 안 씀 | 상위 k · 예산 밖 | 검색 | 후보 목록의 점수 · 순위 | 예산 밖 순위면 가중치 · k 조정(Park 외 2023 4.1절) |
| 5 | 바뀌기 전 사실로 답함 | 대체 표시 없음 | 갱신 | 같은 주제 항목들의 시각 · 대체 표시 | 새 항목이 있는데 옛 항목이 후보에 남으면 갱신 결함(Wu 외 2024 지식 갱신) |
| 6 | 말한 적 없는 사실을 기억이라며 답함 | 기권 실패 | 읽기 | 꺼낸 항목 원문 ↔ 답 문장 | 항목에 없는 사실이면 「모른다」가 맞음(Wu 외 2024 기권) |
1 · 2행이 나오면 기억 기능을 그 사용자 구역에서 멈추고 항목을 격리 · 삭제한 뒤 원인을 고친다. 3 ~ 5행은 저장소 · 후보 · 컨텍스트 세 곳을 같은 질의로 덤프해 사라진 지점을 찾고, 6행은 기억이 없을 때 「기록 없음」을 답하는 지시와 평가 문항을 넣는다. 개인정보 삭제 요청의 법적 쪽은 AI와 개인정보가 맡는다.
8시험 대비
시험에서는 에이전트 메모리의 종류와 동작을 묻는 정의 · 특징형과, 긴 컨텍스트 · RAG 와 견주며 앞으로의 방향을 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 의 위치(컨텍스트 안 · 바깥)와 네 종류로 뼈대를 세우고 그림 4 로 검색 점수를 보이며, 동향형이면 비교 표의 네 방식을 시간순(전체 넣기 → 요약 → 검색형 → 자기 편집)으로 놓고 평가 다섯 능력으로 마무리한다.
- 개요 — 정의(LLM 바깥 기억 + 관리 규칙) · 상태 없는 호출 · 컨텍스트 윈도우 한계 · LongMemEval 30 ~ 60% 하락
- 구성 — 그림 3 작업 · 일화 · 의미 · 절차 기억(CoALA) + 메모리 관리자 + 요소 표
- 동작 — 기록 → 검색 → 갱신 → 요약 · 반성 → 삭제, 그림 4 검색 점수 사례(최근성 + 중요도 + 관련성)
- 핵심 원리 — 그림 5 감쇠 0.995 · 반감 138시간 · min-max 합산 · 대체 표시
- 비교 — 전체 넣기 · 요약 · 검색형 · 자기 편집(MemGPT 70% 경고 · 100% 비움) · RAG 와의 차이
- 위험 · 평가 — 격리 · 기억 오염 · 낡은 사실 · 기권, 평가 다섯 능력(정보 추출 · 여러 세션 · 갱신 · 시간 · 기권)
꼭 쓸 키워드
작업 기억일화 기억의미 기억절차 기억기억 흐름검색 점수반성기억 예산지식 갱신사용자별 격리
다른 답안과 차이를 내는 한 가지는 그림 4 다 — 관련성만으로 고른 상위 3개와 세 점수 합으로 고른 상위 3개가 다르다는 것을 숫자로 보이면, 저장보다 «꺼내는 규칙»이 메모리 설계의 핵심이라는 점이 한 장으로 설명된다.
9오해와 사실
- 오해컨텍스트 윈도우가 충분히 길면 별도 메모리는 필요 없다.사실약 115k 토큰 기록을 통째로 읽게 한 긴 문맥 모델은 근거 세션만 준 경우보다 30 ~ 60% 낮았다(Wu 외 2024 3.4절).
- 오해에이전트는 대화하면서 모델 가중치에 사용자를 학습해 기억한다.사실추론 중 가중치는 그대로이고, Reflexion 도 가중치 대신 반성 문장을 기억에 넣어 성능을 올렸다(Shinn 외 2023 초록).
- 오해에이전트 메모리는 RAG 와 같은 것이다.사실RAG 는 사람이 쓴 공유 문서를 읽기만 하지만, 메모리는 에이전트가 대화에서 사용자별 항목을 직접 쓰고 대체 · 삭제한다 — 그래서 갱신 · 기권 같은 능력을 따로 시험한다(Wu 외 2024 3.2절).
10핵심 정리
| 구분 | 담는 것 | 위치 | 쓰는 때 | 꺼내는 법 | 대표 실패 |
|---|---|---|---|---|---|
| 작업 기억 | 지시 · 최근 대화 · 꺼낸 기억 | 컨텍스트 윈도우 | 회차마다 | 그대로 입력 | 창 넘침 · 잘림 |
| 일화 기억 | 사건 · 실행 기록 · 반성 | 바깥 저장소 | 대화 · 시도 끝 | 점수 검색 | 오래된 사건 과대 |
| 의미 기억 | 사실 · 선호 | 바깥 저장소 | 사실 추출 때 | 점수 검색 + 대체 표시 | 낡은 사실 |
| 절차 기억 | 규칙 · 도구 사용법 · 기술 | 시스템 지시 · 코드 | 사람이 바꿀 때 | 늘 입력 | 잘못된 규칙 고착 |
| 검색 점수 | 최근성 · 중요도 · 관련성 | 메모리 관리자 | 질의마다 | 합산 상위 k | 한 축이 순위 지배 |
| 요약 · 반성 | 묶은 상위 기억 | 바깥 저장소 | 중요도 합 문턱 · 창 압박 | 다른 항목처럼 | 세부 값 소실 |
| 격리 · 삭제 | 사용자 ID · 권한 | 저장소 구역 | 항목마다 | ID 로 거름 | 다른 사용자 노출 |
11참고 문헌
- 먼저 볼 문헌
- ★ Generative Agents: Interactive Simulacra of Human Behavior (Park et al. · UIST 2023) — 최근성 · 중요도 · 관련성 검색 점수와 반성 생성 규칙을 볼 때
- ★ MemGPT: Towards LLMs as Operating Systems (Packer et al.) — 주 문맥 · 외부 문맥 두 계층과 경고 · 비움 규칙을 볼 때
- ★ Cognitive Architectures for Language Agents (Sumers et al.) — 작업 · 일화 · 의미 · 절차 기억 분류를 볼 때
- ★ LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory (Wu et al. · ICLR 2025) — 장기 기억 능력 다섯과 평가 방법을 볼 때
- 본문 근거
- OWASP Top 10 for LLM Applications 2025 - LLM08:2025 Vector and Embedding Weaknesses — OWASP Foundation · 2024-11 ·
genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/· 확인 2026-11-13 - Reflexion: Language Agents with Verbal Reinforcement Learning (Shinn et al. · NeurIPS 2023) — arXiv · 2023-03 ·
arxiv.org/abs/2303.11366· 확인 2026-11-13 - NumPy Documentation - numpy.argsort — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.argsort.html· 확인 2026-11-13