AI Research NotesRecuris · Long-Horizon Agents · Memory Evolution · RSI
Recursive Self-Improvement · arXiv:2608.24876v1 · 25 Aug 2026

모델을 다시 학습하지 않고
에이전트의 기억을
스스로 진화시키는 방법

Recursive Experiential–Working Memory Evolution for Long-Horizon Agent Harnesses

WORKINGSTATE w_tSTATE-GROUNDEDSKILL E_tACTION+ TOOLCHECKEREVIDENCEVERIFIED NEXTSTATESTRUCTUREDTRACE Γ_kFAILURELOCALIZATIONCOMPONENTPATCHVALIDATIONGATEtask state → skill selection → execution evidence → verified state → diagnosis → scoped patch → gate → new behavior
Central Thesis

Recuris의 핵심 주장은 recursive self-improvement의 학습면(trainable surface)을 모델 weight가 아니라 외부의 memory-control layer로 옮길 수 있다는 것이다. Long-horizon task에서 history가 길어질수록 중요한 것은 “더 많은 경험을 저장하는가”보다 “현재 무엇이 아직 끝나지 않았는지 verified state로 유지하고, 그 상태가 요구하는 skill만 정확한 순간에 호출하는가”가 된다.

Recuris는 Experiential Memory(EM)와 Working Memory(WM)를 결합한다. WM은 진행상태와 미완료 목표를 추적하고, EM에서 지금 필요한 skill을 선택한다. 실행 뒤에는 모델의 자기주장이 아니라 tool/environment response를 checker가 검증해 WM을 갱신한다. 이 coupling 자체가 structured evidence를 만들고, 실패를 Skill Memory의 특정 component에 귀속시켜 작은 patch만 적용할 수 있게 한다.

논문의 가장 강한 결과는 단순한 평균점수 향상이 아니다. base LLM과 outer improver를 고정한 채, 4개 long-horizon benchmark와 10개 모델에서 완료된 37개 model–benchmark pair 중 35개에서 task success가 개선된다. 효과는 horizon이 길수록 커져 최장 task에서 +32.2 point에 이르고, memory가 한 mid-sized deployment model에서 진화한 뒤 GPT-5.6 Sol과 Claude Opus 5 같은 다른 frontier model에도 그대로 transfer된다.

이 논문에서 recursion은 “에이전트 전체가 자기 코드를 자유롭게 다시 쓰는 것”이 아니다. 어떤 상태를 기억하고, 어떤 skill을 언제 보여주며, 어떤 완료주장을 믿을지를 담당하는 네 개의 memory-control component만 진화시키는 bounded recursion이다.Interpretive summary of the paper
Part I · Problem & Two Shifts

Long-horizon RSI의 병목은 경험 부족보다 상태와 호출의 불일치다

§1 · Agent Harness

Growing history가 현재 상태를 가린다

agent harness는 memory, skill invocation, task-state tracking, tool interaction, verification을 조정하는 외부 execution layer다. Long-horizon 환경에서 initial instruction이나 full history를 retrieval key로 쓰면 completed step, outdated information, unresolved requirement, execution noise가 섞여 현재 task need와 skill이 어긋난다.

§2 · Figure 2 — Two Shifts

How Memory Is Used

Prior: growing chat history against static memory. Recuris: verified working state에서 execution event가 발생할 때 필요한 skill을 검색한다.

How Memory Evolves

Prior: final outcome으로 whole memory rewrite. Recuris: structured trajectory로 component를 진단하고 scoped patch를 held-out gate로 검증한다.

EM–WM Coupling → Structured Evidence → Failure Localization → Targeted Memory Evolution
Part II · Verified EM–WM Coupling

“무엇을 해야 하는가”와 “지금 무엇이 남았는가”를 다시 연결한다

§3 · Formal Setup
\[a_t\sim\pi_\theta(\cdot\mid x,h_t,w_t,E_t),\qquad o_t=\mathrm{Env}(a_t;\mathcal T)\]
\[M_k=(\mathcal E_k,\mathcal W_k,\rho_k,\mathcal C_k)\]

E · Experiential

Reusable skills.

W · Working State

Goal schema와 update proposal.

ρ · Invocation

언제 어떤 skill을 전달할지.

C · Checkers

state transition의 evidence 검증.

§4 · Structured Working State

goal마다 content, status, supporting evidence, optional blocker를 기록하고 status를 pending/done/blocked로 유지한다. 이것이 현재 실행단계에서 relevant experience를 결정하는 compact interface다.

§5 · State-Grounded Invocation
\[E_t=\rho_k(x,w_t,e_t,\mathcal E_k),\qquad E_t\subseteq\mathcal E_k\]

Call-time invocation은 state-changing tool call draft 시 synthetic not-executed result를 반환해 skill을 먼저 context에 넣고 실제 call을 다시 작성한다. Boundary invocation은 turn boundary의 state predicate에서 skill을 공급한다. 모델이 history에서 skill을 직접 고르는 대신 harness가 verified state와 execution event를 근거로 delivery를 제어한다.

§6 · Evidence-Grounded Update
\[\tilde w_{t+1}=U_{\mathcal W_k}(w_t,a_t,o_t),\quad c_t=\mathcal C_k(w_t,\tilde w_{t+1},a_t,o_t),\quad w_{t+1}=K(w_t,\tilde w_{t+1},c_t)\]

skill invocation이나 tool-call attempt는 completion evidence가 아니다. checker가 실제 tool/environment result를 확인해야 goal이 done이 된다. 이 mechanism이 state, skill, action, observation, checker decision을 연결하는 structured trace \(\Gamma_k\)를 생성한다.

Part III · Bounded Recursive Evolution

실패를 component-scoped repair problem으로 바꾼다

§7 · Localization

fixed Meta-Agent는 failed trace를 읽고 failure를 \(E,W,\rho,C\) 중 localized intervention이 가장 효과적일 component에 귀속한다. 이는 causal identification이 아니라 repair decision이다.

E

Missing/flawed skill.

W

Omitted goal/state/update error.

ρ

Missed/late/irrelevant invocation.

C

Wrong completion acceptance/rejection.

§8 · Patching & Gate

implicated component만 edit하고 나머지는 그대로 복사한다. evolve split은 localization/patch generation, dev split은 regression gate, test split은 held-out evaluation에만 사용한다.

\[M_{k+1}=\begin{cases}M_k^+,&G_{fixed}(M_k^+,M_k;x_k,D_{dev})=1\\M_k,&\text{otherwise}\end{cases}\]
§9 · Bounded Recursion
\[M_k\rightarrow\Gamma_k\rightarrow D_k\rightarrow M_k^+\rightarrow G_{fixed}\rightarrow M_{k+1}\rightarrow\Gamma_{k+1}\]

accepted patch가 future behavior와 future evidence를 바꾸기 때문에 recursive다. 하지만 base LLM, Meta-Agent, localization/patching procedure, gate, memory-control layer 밖의 harness는 fixed다.

§10 · Test-Time Adaptation

cross-task structure가 없는 isolated task에서는 hidden verifier의 1-bit failure signal과 failed trajectory만으로 experiential memory를 localized update하고 같은 task를 재시도한다. verifier tests나 expected output은 Meta-Agent에 제공하지 않는다.

Part IV · Experiments & Long-Horizon Behavior

35 / 37 model–benchmark pairs 개선

§11 · Benchmarks
BenchmarkTasksFocusMode
τ²-Retail114policy-constrained tool use, reads/writescross-task evolution
τ²-Airline50state-dependent policy constraintscross-task evolution
SkillFlow166 pairs / 20 familieslifelong procedural skill discoveryfamily-level evolution
Terminal-Bench 2.187isolated terminal taskswithin-task adaptation

deployment/evolution model은 doubao-seed-2-0-pro이며 base model weight는 어디에서도 update하지 않는다. 기본적으로 task당 k=4 attempts, attempt당 최대 200 steps와 10 consecutive tool errors를 사용한다.

§12 · Main Result
ModelRetail+RAirline+RSkillFlow+RTerminal+R
Granite-4.1-3B9.723.034.339.80.30.00.63.1
Qwen3.5-4B68.068.375.379.06.07.110.113.0
Qwen3.5-9B77.679.675.578.415.118.417.420.5
GPT-OSS-20B50.660.854.859.37.810.43.96.7
Qwen3.6-27B62.871.279.080.042.258.738.842.1
Qwen3.6-35B78.278.580.381.535.348.833.136.4
Gemini 3.7 Flash73.578.386.585.079.882.4
GPT-5.6 Sol58.376.179.086.083.286.4
Claude Opus 572.487.989.590.584.688.4
Doubao-2.0-Pro58.181.475.580.534.651.446.148.9
§13 · Longer Tasks, Larger Gains
+17.8GPT-5.6 Sol · Retail
+15.6Claude Opus 5 · Retail
+16.6Qwen3.6-27B · SkillFlow
+32.2Longest Horizon Bin

Figure 1에서 task horizon이 길어질수록 gain은 +12.5, +20.0, +27.9, +28.7, +25.7, +32.2 point로 커진다. 대표 failure mode는 agent-alone=100 기준 hallucinated completion 86%, omitted writes 80%, zero-write episodes 62%, wrong first tool call 44%, error cascades 24%, missed reads 20% 감소한다.

§14 · Execution, Not Retrieval

Retail horizon quartile에서 read-action recall은 모든 variant에 걸쳐 88.0–97.9%다. 길어져도 필요한 정보를 읽는 능력은 유지된다. 분리는 write path에서 생겨 Recuris required-write recall이 base보다 26.7 point 높고, write가 필요한데 하나도 실행하지 않는 episode가 42%에서 16%로 감소한다. 첫 correct write의 median turn은 동일하다. speed가 아니라 coverage 문제다.

§15 · EM / WM Ablation
VariantRetailΔAirlineΔ
Base58.175.5
EM only60.1+2.077.0+1.5
WM only82.0+23.979.5+4.0
Model-controlled invocation65.6+7.5
EM+WM · Recuris83.6+25.484.0+8.5

Retail에서는 WM이 level을 들고 EM은 invocation과 결합할 때 가치가 나타난다. 동일 skill library를 항상 context에 넣는 model-controlled 방식보다 Recuris가 18 point 높다.

§16 · Domain-Specific Critical Mechanisms

Retail에서는 status board 제거가 −17.3 point, Airline에서는 write review 제거가 −13.5 point다. 서로 반대 domain에서는 거의 inert한 double dissociation이 나타난다. 사후 truth guard는 172 unsupported completion claim을 거절했지만 이미 실행된 잘못된 write를 되돌릴 수 없기 때문에 measurable effect가 없다.

§17 · Invocation Control
MetricBaseWM onlyModel-controlledRecuris
Success58.182.065.683.6
Required-write recall55.780.961.182.4
Omitted writes/episode0.5960.1450.4170.121
Agent tokens/success (k)116102147101

Recuris는 더 빨리 첫 write를 하는 것이 아니라 필요한 write를 결국 발행할 확률을 높이고, 한 번의 early mismatch가 후속 오류를 연쇄시키는 regime에 덜 들어간다.

§18 · Task 91 Case

conventional agent는 verbal confirmation 이후 required return/exchange tool call을 실행하지 않는다. Recuris는 goal을 pending으로 유지해 skill을 write 시점에 invoke하고 successful receipt가 있어야 done으로 바꾼다. 이 사례는 mechanism illustration이다.

Part V · Diagnosis, Evolution & Transfer

Structured trace가 “어디를 고칠지” 보이게 만든다

§19 · Failure Localization
EvidenceEWρMacroMacro-F1
Outcome only0.038.90.013.010.4
Raw trajectory61.150.00.037.031.2
Structured trace Γ72.283.338.964.863.4

invocation fault는 transcript에 “일어나지 않은 event”라 raw log에서 보이지 않는다. Γ는 mechanism event와 state timeline을 기록해 non-event를 관찰가능하게 만든다. Macro precision도 27.6%→64.4%로 오른다.

§20 · Recursive Evolution
RunPackageSuccessΔ vs M0Reach
BaselineM054.070/86
Run Around 163.08+9.0183/86
Run Around 265.99+11.9278/86
Run Bround 264.83+10.7686/86
Run Bround 457.85+3.780/86
Run CM164.53+10.4784/86
Run CM271.51+17.4484/86
Run Cfinal63.37+9.30

second round는 compounding할 수 있지만 매 round가 좋아지는 것은 아니다. required-write recall과 success delta는 r=0.97로 함께 움직인다.

§21 · Two Meta-Agents Converge
ImplementationΔ over M095% CI
Claude Code+11.92[+4.65,+19.19]
DeepSeek Harness+10.47[+3.78,+17.15]
DeepSeek progressive+9.30[+1.45,+17.44]
DeepSeek − Claude−1.45[−7.85,+4.65], p=0.72

independent stacks가 service-request authorization WM field, execution-gate check, anti-escalation skills 같은 유사 repair family에 수렴한다.

§22 · Gate Stability

accepted update는 이미 풀던 42 anchor tasks 중 4개(9.5%)를 깨뜨렸는데 byte-identical rerun의 25.9%보다 낮다. 18개 rejected candidate의 dev CI는 모두 zero를 포함하고 일부는 나중 held-out에서 유의한 gain을 보여 gate가 conservative함을 드러낸다.

8개 accepted patch 동안 51 skills 추가, 2개 수정, deprecation 없음, 17 near-duplicate pairs가 남았다. 단일 skill 제거로 gain이 사라지지 않아 memory는 redundant하며 pruning이 자연스러운 future work다.

§23 · Task Transfer

Retail 16 evolve / 12 dev / 86 test에서 16 failure로 만든 memory가 unseen 86 tasks에서 +9.01∼+17.44 point를 얻는다. 그러나 held-out에 같은 repairable failure가 남아 있고 memory가 실제 invoke될 때만 transfer된다.

§24 · Model Transfer
ModelDomainAlone+RecurisΔ
GPT-5.6 SolRetail58.3376.10+17.76
Claude Opus 5Retail72.3787.94+15.57
Gemini 3.7 FlashRetail73.4678.29+4.82
GPT-5.6 SolAirline79.0086.00+7.00
Claude Opus 5Airline89.5090.50+1.00
Gemini 3.7 FlashAirline86.5085.00−1.50

한 mid-sized model에서 진화한 package가 frontier model을 그대로 올릴 수 있다. gain은 model scale보다 memory가 담은 procedure/discipline과 receiving model의 failure pattern에 좌우된다.

§25 · Targeted Evolution Case

same-item exchange에서 original item ID를 replacement ID로 재사용한 failure를 EM workflow gap으로 localize하고 valid variant ID를 먼저 retrieve하도록 skill만 patch한다. unseen matched task에서 성공한다.

Part VI · Test-Time Adaptation & Related Work

60.9% headline와 실제 learning effect를 분리한다

§26 · Terminal-Bench
ConfigurationBudgetSolvedΔIsolates
Terminus-2130/87 · 34.5%
+ seed memory128/87 · 32.2%−2.3layer alone
+ retry451/87 · 58.6%+26.4attempt budget
+ adaptation453/87 · 60.9%+2.3learning, matched budget

+26.4 headline의 대부분은 adaptation이 아니라 retry budget이다. matched budget에서 adaptation +2.3은 p=0.774다.

§27 · Per-Attempt View
MetricTasksSeedAdaptedΔ95% CI
avg@4 learned5617.421.9+4.5[−0.9,+9.8]
pass@4 learned5639.342.9+3.6[−8.9,+16.1]
avg@4 all8746.148.9+2.9[−0.6,+6.3]
pass@4 all8760.963.2+2.3[−5.7,+10.3]

네 cut 모두 +2.3∼+4.5 방향이지만 CI가 zero를 포함해 논문은 direction으로만 보고한다.

§28 · Related Work

Experiential Memory

Voyager, AWM, ExpeL, Buffer of Thoughts, ReasonFlux, Dynamic Cheatsheet, Agent Skills, SkillOpt, SkillComposer. Recuris는 “무엇을 저장”보다 “언제 호출”을 verified state에 grounding한다.

Working Memory

StateAct, ReflAct, Magentic-One, StateFlow, StructAgent. Recuris는 state proposal과 commitment를 분리하고 tool result로 transition을 검증한다.

RSI

Gödel Machine, Promptbreeder, Gödel Agent, AgentSquare, AlphaEvolve, MetaSkill-Evolve, EvolveMem 등과 달리 recursion surface를 memory-control layer로 좁힌다.

§29 · Conclusion

memory-control layer가 frozen agent의 trainable surface가 될 수 있다. 변화가 component에 귀속 가능하고 reversible하며 다른 model에도 portable할 수 있다는 것이 논문의 결론이다.

Part VII · Appendices & Evidence Boundary

Appendix가 보여주는 통계, 비용, split, case-study의 실제 의미

§30 · Statistical Protocol

95% CI는 10,000회 paired task-clustered bootstrap이며 task를 resample한다. 동일 Retail package의 byte-identical rerun도 CI [−6.98,+7.27]이므로 몇 point 차이는 run-to-run variation으로 본다. paired binary contrast에는 McNemar exact two-sided test도 사용한다.

§31 · Harness Ablation
TargetBareM0Harness Δ95% CI
GPT-OSS-20B45.3550.58+5.23[−1.16,+11.63]
Qwen3.5-9B77.8477.56−0.28[−5.11,+4.83]
Qwen3.6-35B78.7878.20−0.58[−5.81,+4.65]
GLM-4.7-Flash61.0561.92+0.87[−4.94,+6.98]

neutral M0 harness 자체의 CI는 모두 zero를 포함한다. GPT-OSS-20B에서 measurable gain은 evolution term +10.17에 있다.

§32 · SkillFlow Families & Splits

20 families: Compensation-Scenario-Modeling, Cross-Format-Data-Reconciliation, DMAIC-Quality-Analysis, Distribution-Center-Auditing, Document-Fraud-Detection, Embedded-Data-Repair, Financial-Statement-Rolling, HWPX-Document-Automation, Healthcare-Cost-Benefit-Analysis, Industry-Correlation-Analysis, Inventory-and-Finance-Integration, Medical-Data-Standardization, OCR-Data-Extraction, Operational-Recovery-Planning, PPT-Formatting-Optimization, Production-Capacity-Planning, SEC-13F-Financial-Analysis, Sales-Pivot-Analysis, Supply-Chain-Replenishment, Weighted-Risk-Assessment.

Retail은 16 evolve / 12 dev / 86 test. Airline 두 lineage는 10/15/25와 11/10/29. SkillFlow template selection은 family 내부 in-sample이므로 main claim은 unseen-task generalization이 아니라 target-model transfer다.

§33 · Compute & Context
RegimeSuccessFirst-call promptTokens/episodeTokens/success
Bare58.115,16367,315115,833
WM only82.025,63683,938102,341
Model-controlled65.578,27496,289146,849
Recuris83.555,63284,275100,865

model-controlled는 Recuris보다 first call에 3,111 prompt tokens를 더 쓰고 18 point 낮으며 tokens/success는 약 46% 많다. per-turn rendered memory token과 dollar cost는 artifacts에서 복구할 수 없어 저자들은 근사하지 않는다.

§34 · Conservative Gate Case

Retail Run A round 2에서 refund/exchange/modify/cancel 등 failure cluster는 EM에 귀속되어 skill patch가 제안되지만 “harness itself” cluster에는 patch가 제안되지 않는다. Gate는 source repair rate가 올라가도 dev CI가 zero를 분리하지 못하면 reject한다.

GATE r1: net −2.1pp CI[−10.4,+6.2] repair .214→.393 REJECT GATE r2: net +6.2pp CI[−8.3,+22.9] repair .214→.571 REJECT

round-2 rejected candidate는 나중 86 held-out tasks에서 M0보다 +11.92 point로 유의한 gain을 보여 gate가 good/bad classifier라기보다 evidence가 불충분한 change를 보류하는 rule임을 보여준다.

§35 · Single-Task Case

Terminal-Bench의 mailman task는 attempt 1 실패 뒤 trajectory만으로 full_config_validation_before_completion skill을 쓰고 attempt 2가 성공한다. Meta-Agent 기록에는 root cause, trajectory evidence, skill id/title/body만 있고 verifier tests와 reference solution은 없다. 그러나 단일 사례를 adaptation 효과의 증거로 확대하지 않는다.

§36 · Procedure Value
FamilyCanonicalSelected
weighted-risk-assessment0/87/8
embedded-data-repair4/88/8
healthcare-cost-benefit-analysis1/9~6/9

같은 model/tasks/budget에서 procedural description만 달라져 큰 차이가 난다. selection은 in-sample이라는 caveat가 붙는다.

§37 · One Verified State Step

instrumented Retail episode에서 agent가 완료를 주장해도 executable request가 실행되지 않았으면 checker가 truth_bounce를 발생시키고 goal을 pending으로 남긴다. state는 model assertion이 아니라 environment evidence에 의해 전진한다.

§38 · Evidence Boundary

What the paper does not claim

Recuris는 unrestricted self-modification이 아니다. Failure attribution은 causal identification이 아니라 repair attribution이다. Terminal-Bench learning gain은 matched-budget aggregate에서 statistically established되지 않았다. SkillFlow selected template은 task-level out-of-sample generalization이 아니다. Dev gate는 low-power이고 memory growth는 pruning 문제를 남긴다.

Reference map · source bibliography

GEPA; Anthropic Agent Skills; τ²-Bench; SAGALLM; selective evolving-memory controller; Mem0; Promptbreeder; Magentic-One; AutoGuide; Automated Design of Agentic Systems; Latent State Persistence; Granite 4.1; DSPy; ReflAct; SSGM; state-grounded dynamic retrieval; SkillsInjector; Agentic Skills benchmark; EvolveMem; AlphaEvolve; gpt-oss; ReasoningBank; ALITA; Self-Improving Coding Agent; StateAct; Gödel Machines; AgentSquare; Misevolution risks; Terminal-Bench; PACE; Reflexion; Ladder; Cognitive Architectures for Language Agents; Dynamic Cheatsheet; Voyager; SAGE; MetaSkill-Evolve; Agent Workflow Memory; StructAgent; StateFlow; A-Mem; Qwen3; ReasonFlux; Buffer of Thoughts; SkillOpt; Gödel Agent; STOP; AgentEvolver; MemSkill; AFLOW; Darwin Gödel Machine; SkillComposer; Failure Attribution of LLM Multi-Agent Systems; SkillFlow; ExpeL; Memento; Where LLM Agents Fail; Self-Adapting Language Models.

Recuris가 제안하는 self-improvement는 더 큰 자율성보다 더 좁고 검증가능한 자율적 수정이다. Working Memory가 현재 task를 압축하고, Experiential Memory가 procedure를 제공하며, checker가 실제 진행만 commit하고, structured trace가 실패를 observable하게 만들고, gate가 불확실한 update를 보류한다.Final synthesis
Primary Source & Code

논문과 공개 저장소

01
Recursive Experiential–Working Memory Evolution for Long-Horizon Agent Harnesses
Zhaochen Yu et al. · arXiv:2608.24876v1 · 25 Aug 2026
02
Gen-Verse / Recuris
Official code repository listed by the paper

본 게시물은 첨부된 36페이지 논문의 Introduction, Method, Experiments, Figures 1–10, Tables 1–13, Related Work, Conclusion, References, Appendices A–E를 기준으로 재구성했다. 논문이 통계적으로 effect라고 부르지 않은 결과는 direction 또는 case illustration로 구분했고, bounded recursion을 unrestricted self-modification으로 확대해석하지 않았다.