에이전트 네이티브
메모리 시스템은
준비되었는가?

서론Introduction

LLM 에이전트의 빠른 진화는 에이전트 메모리, 즉 장기 상태 기반 실행과 개인화 상호작용을 지원하는 LLM 에이전트의 데이터 관리 시스템 구축에 대한 방대한 연구·산업 노력을 촉발했다. 기존 에이전트 메모리 시스템은 다양한 아키텍처 설계 스펙트럼에 걸쳐 있다.

아키텍처기존 메모리 시스템의 네 가지 설계 계열

그러나 이런 급격한 확산은 데이터 관리 관점의 체계적 평가가 부재한 매우 파편화된 지형을 낳았고, 자연스럽게 질문이 제기된다 — 에이전트 네이티브 메모리 시스템은 준비되었는가? 본 연구는 텍스트·구조적·매개변수적 표현에 걸친 시스템 수준 메모리에 초점을 둔다. 메모리가 보조 모듈인 과제 특화 에이전트 프레임워크가 아니라, LLM의 매개변수 가중치 및 휘발성 컨텍스트 윈도와 분리되어 단일 추론 단계를 넘어 정보를 유지하는 영속적 데이터 관리 시스템을 다룬다.

본 연구의 기여

(1) 기술 분해와 분류 체계 (§3) — 표현·저장, 추출, 검색·라우팅, 유지의 네 핵심 구성 요소로 분해하고 각 구성 요소의 설계 원리에 따라 구조화된 분류 체계를 수립한다. (2) 종단 성능 평가 (§4) — 통합·공정한 테스트베드(통일된 시간 오버헤드 추적)로 5개 워크로드·11개 데이터셋에서 12개 시스템을 과제 효과성(RQ1)·검색 충실도(RQ2)·갱신 견고성(RQ3)·장기 안정성(RQ4)·운영 비용(RQ5) 다섯 관점에서 평가한다. (3) 세밀한 모듈 평가 (§5) — 한 번에 한 모듈만 수정한 통제된 변형으로 표현 충실도·라우팅 정밀도·갱신 정확성에 대한 개별 영향을 정량화한다.

정의와 범위Preliminaries

인지 분류학·에이전트 아키텍처·그래프 조직 등 여러 관점에서 메모리가 연구되어 왔으나, 기저 개념은 여전히 LLM이나 에이전트 파이프라인의 알고리즘 구성 요소로 다뤄지는 경우가 많다. 본 연구는 에이전트 메모리를 독립적 데이터 관리 객체이자 시스템 인프라로 연구하며, 실제 에이전트 워크로드 하에서 어떻게 표현·저장·검색·갱신·유지되는지에 명시적으로 주목한다.

메모리 유형

메모리는 두 축으로 조직된다. 시간 축에서 단기 메모리는 진행 중인 세션의 휘발성 상태를, 장기 메모리는 세션을 가로질러 영속하는 정보를 담는다. 기능 축에서 장기 메모리는 구체적 과거 사건(에피소드 메모리), 추상화된 사실 지식(의미 메모리), 재사용 가능한 행동 전략(절차 메모리), 사용자 선호로 세분된다.

RAG · 컨텍스트 엔지니어링과의 구분

RAG는 무상태·읽기 전용 검색 원시형으로, 질의가 주어지면 정적 코퍼스에서 관련 단락을 가져와 단일 생성 단계를 증강한다. 컨텍스트 엔지니어링은 매 추론 턴마다 유한한 LLM 컨텍스트 윈도를 큐레이션하는 더 넓은 실천이다. 반면 에이전트 메모리 시스템은 ① 에이전트 고유 상태를 시간에 걸쳐 관리하는 영속적·갱신 가능 인프라이며, ② 현재 컨텍스트 윈도를 채우는 데 그치지 않고 표현·저장·검색·유지를 포함한 장기 메모리 생애주기 전체를 관장한다.

전통 데이터베이스 워크로드와의 구분

에이전트 메모리 워크로드는 OLTP·OLAP와 본질적으로 다르다. 첫째, 메모리 접근은 술어 기반보다 의미 기반인 경우가 많아 근사 매칭·질의 재작성·LLM 유도 검색에 의존한다. 둘째, 메모리 내용은 연속적이며 잠재적으로 모순되는 관찰 하에 진화하므로, 불확실·부분적·모순적 정보를 수용해야 한다. 셋째, 워크로드는 접근 패턴과 입도 양면에서 고도로 이질적이다. 단일 워크로드가 장문 합성·에피소드 회상·구조적 사실 조회·시간 추론·스트리밍 갱신을 결합할 수 있어, 실용 시스템은 한 아키텍처 안에서 의미 검색·구조적 필터링·위상 인식 순회를 결합하는 하이브리드 실행 전략을 요구한다.

방법 개요 — 통합 분류 체계Method Overview · Unified Taxonomy

3.1 · R메모리 표현과 저장

논리적 표현은 ❶ 토큰 수준 시퀀스(명시적 이산 텍스트 토큰 또는 암묵적 연속 벡터 토큰), ❷ 그래프·트리 위상(시간적 지식 그래프, 계층 트리), ❸ 이질 복합 표현(텍스트와 구조화 메타데이터를 단일 기능 단위로 결합, 예: MemOS의 MemCube)으로 나뉜다. 물리적 저장은 ❶ 휘발성 인컨텍스트 레지스터(디스크 I/O 제거), ❷ 단일 특화 엔진(벡터·그래프·관계 SQL·파일/객체), ❸ 이질 다중 엔진(벡터+그래프+BM25 등 분산)으로 구분된다.

벡터 토큰 표현은 토큰화 부담을 줄이고 검색·추론 파이프라인과 자연스럽게 통합되지만, 구조적 해석 가능성을 희생하며 술어 수준 필터링이나 부호화된 사실의 표적 갱신 같은 세밀한 연산이 어렵다.

3.2 · S메모리 추출

❶ 원시 시퀀스 연결 — 명시적 추출 프롬프트를 우회하고 메모리를 원시 토큰 연결이나 일시적 상태 요약으로 구성한다(MEM1, MemAgent). ❷ 스키마 자유 의미 추출 — 원시 입력을 독립적 고가치 정보 단위로 증류한다 (Mem0: "사용자는 채식이며 유제품을 먹지 않음"). ❸ 스키마 제약 구조 추출 — LLM이 사전 정의된 구조 스키마를 채워 엄격한 타입 데이터(그래프 삽입용 ER 트리플 또는 하이브리드 저장용 관계 페이로드)를 생성한다(Zep, Mem0ᵍ).

3.3 · Q메모리 검색과 질의 라우팅

❶ 네이티브 어텐션 검색 — 외부 DB I/O를 우회하고 트랜스포머 자기 어텐션을 검색 엔진으로 사용한다(MEM1, MemAgent). ❷ 의미 기반 밀집 검색 — 연속 잠재 공간에서 KNN을 실행한다(Mem0, LightMem, MemTree). ❸ 위상 부분그래프 순회 — 명시적 관계 엣지를 순회해 구조적으로 근거된 의미 클러스터를 추출한다(Mem0ᵍ, A-MEM). ❹ 자율 에이전틱 라우팅 — 검색을 LLM에 위임한다. 함수 호출 호출(Letta) 또는 생성적 질의 확장(SimpleMem). ❺ 다단계 하이브리드 실행 — 순차 하이브리드 라우팅(결정적 술어 필터 후 의미 추출, MemoryOS) 또는 병렬 앙상블 검색(BM25+밀집+위상 BFS 동시 발사 후 융합·리랭크, Zep).

3.4 · U메모리 유지

❶ 타임스탬프 다중 버저닝 — 물리 삭제 대신 타임스탬프와 추가 전용 로그로 만료 사실을 논리적으로 폐기한다(Zep, Mem0ᵍ, MemOS). ❷ 용량 기반 물리 축출 — 제약 기반 하드 축출(FIFO·토큰 한계, MEM1·MemAgent·Letta)과 점수 기반 우선순위 축출 (시간 감쇠·접근 빈도 히트 점수, MemoryOS). ❸ LLM 기반 의미 통합 — 인라인 의미 압축(쓰기 시점 병합, SimpleMem·MemTree)과 툴 기반 CRUD 실행(Mem0). ❹ 연속 매개변수 최적화 — 오프라인 학습 단계에서 모델 매개변수 자체를 수정한다(MemoRAG, RLGF).

종단 평가End-to-End Assessment · RQ1–RQ5

RQ1전반적 효과성 — 단일 지배 아키텍처는 없다

LoCoMo(장문 대화 QA), LongMemEval(다중 세션 장기 메모리), DB-Bench(절차적 실행) 세 워크로드에서 평가한다. 선도 시스템이 워크로드마다 바뀐다 — 구조 인식 시스템은 LongMemEval을 주도하고(Zep 48.0 LLM Judge, Cognee 35.3 ROUGE-L F1), 하이브리드 필터링은 LoCoMo 정확 매칭에서 가장 강하며(MemOS 11.5 EM), 추적 보존 메모리는 DB-Bench에서 강하다 (Long Context 48.2 EM, MemoChat 55.4 과제 성공률). 전체 워크로드를 포괄하는 방법 중에서는 MemoryOS와 MemOS가 프런티어에 가장 가깝다.

RQ2검색 충실도 — 조기 적중보다 증거 완성

LoCoMo의 원천 수준 골드 증거로 증거 수준 검색 충실도를 평가한다. SimpleMem이 Recall@1 최고(39.0)지만, A-MEM과 MemTree는 더 큰 검색 예산에서 명확히 강해져 Recall@5/@10에서 각각 69.5/85.9, 59.7/80.5에 도달하며 증거 거리 간격이 커져도 훨씬 안정적이다. 반면 평탄한 Embedding RAG 기준선은 최단 간격 구간 이후 급락한다. 강한 메모리 검색은 top-1 순위 문제가 아니라, 필요한 근거가 오래되고 흩어지고 여러 턴에 퍼져 있을 수 있는 증거 완성 문제다.

RQ3메모리 진화 견고성 — 시간 상태 외부화

선도 시스템이 슬라이스마다 바뀐다 — 직접 사실 수정에는 그래프·관계 조직 메모리가 가장 강하고(Zep, Knowledge Update 44.4 Sub.EM), 시간적으로 분산된 증거에는 관계 조직 검색이 강하며(Cognee, Temporal Reasoning 18.7), 정확한 최신 상태 근거에는 하이브리드 필터 메모리가 강하다(MemOS, LoCoMo EM 8.9). 또한 백본 변형은 어떤 메모리 파이프라인이 효과적인지보다 절대 답변 품질을 더 바꾼다 — 안정적 갱신 거동은 주로 최종 생성 이전에 결정된다.

RQ4장기 안정성 — 지평선이 길어질 때의 증거 보존

LongBench(컨텍스트 길이 견고성), LongMemEval(다중 세션 증가), LoCoMo(시간 거리 드리프트)에서 평가한다. LongBench에서 SimpleMem은 Short→Medium 구간에서 거의 변화 없으나(35.2→34.9) Long Context는 42.6→19.0으로 급락한다. LoCoMo에서는 대비가 더 날카롭다 — Embedding RAG가 증거 간격 확대에 따라 37.1→7.4로 떨어지는 반면, Cognee·MemOS·MemoryOS 같은 그래프·통합 메모리는 같은 구간에서 훨씬 높게 유지된다. 긴 지평선의 주된 어려움은 메모리 용량이 아니라, 표현이 먼 사실을 답변에 필요한 추상화와 연결된 상태로 유지하는지 여부다.

RQ5운영 비용 — 국소 유지가 전역 재조직을 이긴다

통일된 시간 오버헤드 추적으로 8개 시스템의 효용–지연 트레이드오프와 교차 워크로드 지연 발자국을 평가한다. LightMem과 MemTree가 가장 강한 효율 프런티어를 차지한다 — LightMem은 3.67초에 정규화 효용 48.3, MemTree는 15.9초에 63.5를 달성한다. 반면 고효용 구조 시스템은 비용 측면으로 크게 이동해, MemoryOS는 28.6초에야 효용 82.0에 도달하고 Cognee·Zep는 116.5초·155.1초 이후에야 효용 84를 넘는다. 운영 효율은 구조 사용 여부보다 각 쓰기가 그 구조를 통해 얼마나 널리 전파되는지에 좌우된다.

세밀한 모듈 비교Fine-Grained Component Comparison

종단 성능 차이의 근본 원인을 이해하기 위해, 한 번에 한 모듈만 수정한 통제된 변형을 체계적으로 생성해 각 모듈이 전체 성능에 기여하는 바를 평가한다.

M1 · R표현·저장 — 내용 충실도가 추상화·계층보다 중요

M2 · S추출 — 후기 필터링 원칙

M3 · Q검색·라우팅 — 계획과 균형 융합

M4 · U유지 — 보수적 통합이 최선의 기본값

MemoryOS의 Conservative-Merge(엄격 병합) 변형은 기본 대비 LoCoMo Ans.F1을 23.2→23.5, Sub.EM을 22.4→22.8로 개선하는 반면, 플러시를 지연(Delayed-Flush)하면 20.6/19.5로 떨어지고 MemoChat에서 단일 토픽 요약을 강제하면 16.2/16.8로 기본 설정(16.6/18.4)보다 부진하다. 유지는 증거를 미해결로 남기거나 지나치게 공격적으로 압축하지 않고 선택적으로 통합할 때 가장 효과적이다.

결론Conclusion

데이터 관리 관점에서 기존 에이전트 메모리 시스템을 포괄적으로 검토했다. 전형적 시스템의 종단 성능을 철저히 평가하고 적합한 응용 시나리오를 탐구했으며, 여러 메모리 모듈 변형을 구성해 개별 빌딩 블록의 영향을 파고들었다. 이를 통해 표현·추출· 라우팅·유지에 가장 효과적인 방법과, 운영 비용·장기 안정성을 좌우하는 가장 영향력 있는 요인을 식별했다. 마지막으로 적합한 메모리 아키텍처 선택을 위한 사용자 지침을 제시하고 유망한 연구 방향을 제안하며, 테스트베드와 평가 프레임워크를 공개한다.

참고문헌References · 발췌