Agent Harness Evolution · Benchmark Review

Evo-Bench: Can Language Models Improve Agent Harness?

에이전트 성능을 높이는 방법은 더 강한 언어모델을 넣는 것만이 아니다. 도구, 메모리, 프롬프트, 검증, 제어 흐름을 묶는 실행 harness 자체를 개선할 수 있다. Evo-Bench는 LLM이 장시간의 코드 중심 연구를 수행하며 이 harness를 스스로 진화시킬 수 있는지를 분리해 측정하려는 benchmark이다.

Primary source: Lisheng Huang et al. · arXiv:2608.09096v2 · 2026

01 · Central question

정적 task solving을 넘어, LLM이 자기 실행 구조를 개선할 수 있는가

Evo-Bench가 묻는 질문은 “어떤 모델이 agent benchmark 점수가 높은가”가 아니다. 동일한 policy model을 고정한 채, 다른 LLM을 장기 연구자 역할의 evolver로 두었을 때 그 모델이 실행 가능한 agent harness의 코드를 얼마나 잘 개선하는지를 측정한다.

논문은 agent harness를 reasoning, tool use, memory, control flow, validation을 조직하고 제약하는 실행 구조로 본다. 최근 연구가 prompt search, workflow optimization을 넘어 executable scaffold refactoring, self-referential optimization, evolutionary archive search, trajectory-guided optimization으로 확장되면서 harness evolution은 self-improvement를 실험적으로 다룰 수 있는 초기 형태로 부상한다.

benchmark화에는 세 문제가 있다. task가 harness 변화에 민감해야 하고, validation과 held-out evaluation의 responsiveness가 정렬되어야 하며, 진짜 evolution은 failure diagnosis, hypothesis, code edit, evaluation, rollback을 여러 round에 걸쳐 지속해야 한다.

1

Harness sensitivity

점수가 base model strength보다 harness quality의 차이에 반응해야 한다.

2

Cross-split alignment

validation improvement가 unseen evaluation에서도 같은 방향으로 작동해야 한다.

3

Long-horizon evolution

여러 iteration 동안 failure를 읽고 executable code를 반복 개선해야 한다.

Source fact저자들은 Evo-Bench를 LLM의 intrinsic harness-evolving capability를 평가하기 위해 설계된 첫 benchmark로 소개한다. 이 “first”는 저자 주장으로 이해해야 한다.

03 · Formalization

Policy와 evolver를 분리하고 validation evidence만으로 harness를 진화시킨다

각 run에는 고정 policy model pi와 evolver E가 있다. iteration t에서 policy agent는 A_task^t=(pi,H_t), evolver는 A_evo=(E,H_evo)이다. H_t만 진화하며 H_evo는 고정된다.

evolver는 이전 validation score, task outcome, policy trajectory, diagnostic feedback을 누적 evidence로 보고 harness를 수정한다. run은 iteration, wall-clock time, evolver steps로 제한되고, 종료 시 revision을 freeze한 뒤 held-out suite에서 평가한다.

원 논문 Figure 2의 구조를 텍스트로 재구성한 개념도
Validation evidence
→
Evolver
diagnose · hypothesize · edit
→
Policy harness snapshot
→
Validation 반복
Held-out final eval
Analysispolicy가 강해서 task를 잘 푸는 것과 evolver가 harness를 잘 개선하는 것을 분리하려면 policy model을 고정해야 한다. main experiment가 DeepSeek-V4-Flash를 공통 policy로 사용하는 이유이다.

04 · Benchmark composition

Search, Office, General의 세 domain과 608개 task

Search는 BrowseComp와 HLE, Office는 GDPval과 APEX-Agents, General은 Claw-Eval이다. 전체 608개를 visible validation 160개와 held-out evaluation 448개로 나눈다.

608selected tasks
160validation
448held-out evaluation
5source benchmarks
DomainSourceValEvalMetric
SearchBrowseComp32128LJ Pass@1
SearchHLE32128LJ Pass@1
OfficeGDPval3264Rubric LJ Mean
OfficeAPEX-Agents3264Rubric LJ Pass@1
GeneralClaw-Eval3264LJ+Rule Pass^3

05 · Metrics

최종 성능과 연구 과정의 효율을 따로 측정한다

Overall은 최종 harness의 unseen evaluation score이다. AnytimeVal은 각 iteration까지의 best-so-far validation score를 budget 전체에 평균한다. 조기 종료 시 마지막 best score를 남은 iteration에 carry-forward한다.

Overall(E)=S(pi,HT;Deval)
S*t=maxi<=tS(pi,Hi;Dval) ; AnytimeVal=(1/biter) sum S*t
AnalysisAnytimeVal은 좋은 구조를 얼마나 빨리 발견했는지 반영하지만 best-so-far 기반이므로 current revision의 후반 regression을 직접 낮추지는 않는다.

06 · Harness-guided construction

좋은 benchmark task를 고르는 데 먼저 여러 harness를 만든다

Stage 1

Auxiliary harness generation

disjoint auxiliary task에서 여러 frontier model이 seed harness를 진화시켜 diverse harness pool을 만든다.

Stage 2

Harness-discriminative selection

candidate benchmark task를 auxiliary harness로 실행해 sensitivity와 difficulty를 계산한다.

Goal

Cross-suite alignment

difficulty stratum 안에서 val/eval responsiveness를 맞춘다.

07 · Stage 1A

11,322개 auxiliary candidate에서 320개 long-horizon task를 선별한다

leakage, validity, deduplication 등을 거친 후보는 Search 2,988, Office 7,564, General 770, 총 11,322개이다. DeepSeek-V4-Flash와 domain-native workflow로 평균 score와 turns를 측정한 뒤 headroom과 interaction horizon을 우선한다.

BandScoreQuota
frontiers=00.58
hard0<s<=0.100.24
hardish0.10<s<=0.250.11
mid0.25<s<=0.500.045
solvable0.50<s<=0.750.02
easys>0.750.005

결과는 Search 128, Office 128, General 64이다. selection seed는 20260716이다.

08 · Stage 1B

네 frontier evolver가 만든 73개 harness를 12개 대표 anchor로 압축한다

Claude Opus 4.8, Claude Sonnet 5, GLM-5.2, GPT-5.6 Sol이 같은 seed/policy/budget으로 evolution한다. 73 evaluated harness를 content hash로 deduplicate하면 seed 제외 65 unique revision이 남고, deterministic final-snapshot-constrained k-medoids로 evolution별 3개씩 총 12개 H_aux를 선택한다.

09 · Stage 2

Task variance보다 “좋은 harness에 일관되게 반응하는가”를 본다

2,329 candidate task를 12개 H_aux로 실행해 task score와 leave-one-task-out harness quality의 Pearson correlation을 Sens(x)로 정의한다. Perf(x)는 harness 평균 score이고 difficulty는 1-Perf(x)이다.

Sens(x)=corr({mh(x)},{Qh(-x)})
Perf(x)=(1/|Haux|)sum mh(x), Difficulty=1-Perf(x)

main text는 Sens<=0을 제거한다고 하지만 Appendix는 sparse quota를 채우기 위해 약간 음수인 Claw-Eval 8개를 backfill했다고 명시한다.

DatasetCandidatesSens<=0ValEvalMean SensMedianPerf allPerf selected
APEX42113332640.3770.4230.3890.224
BrowseComp76847321280.2560.2360.4440.271
Claw-Eval1576032640.3860.3170.8390.747
GDPval2159532640.3680.3360.7970.495
HLE76862321280.3130.3000.3330.251

10 · Evaluation infrastructure

Evolver에게는 연구 도구를 주되 policy는 최소 CodeAct에서 시작한다

fixed evolve harness는 orchestrator, file/search/shell/web, read-only subagent, six research skills, asynchronous evaluation, context/state management, sandbox/snapshot isolation을 포함한다. skills는 query_rollouts, diff_task, analyze_evals, log_experiment, record_insight, architecture_checkpoint이다.

seed policy는 shell execution과 finish만 있는 minimal CodeAct loop이다. domain tool, planning, memory, verification은 evolution이 추가해야 한다.

Source factpolicy rollout에는 public task, immutable harness snapshot, isolated workspace만 제공한다. validation answer/scorer, evolver note, held-out data는 숨긴다.

11 · Experimental setup

고정 policy와 judge, 20 iterations · 1,000 steps · 48 hours

main policy는 DeepSeek-V4-Flash, judge는 Qwen3.7-Plus이다. budget은 20 iterations, 1,000 evolver steps, 48 hours. policy rollout cap은 300 steps/1 hour. Search/Office는 1 rollout, Claw-Eval은 3 rollouts이다. 각 evolver main experiment는 한 번 run한다.

RoleModelReasoningTempContext
EvolverQwen3.7-Maxxhigh1.01M
EvolverMiniMax M3max1.01M
EvolverDeepSeek-V4-Promax1.01M
EvolverKimi-K2.7-CodeEnabledDefault256K
EvolverGLM-5.2max1.01M
EvolverGPT-5.6 Solmax1.0384K
EvolverClaude Opus 4.8max1.01M
EvolverQwen3.6-27Bxhigh1.0256K
EvolverGemma 4 31BEnabled1.0256K
PolicyDeepSeek-V4-Flashmax1.0256K
JudgeQwen3.7-PlusStandard0.01M

12 · Main results

Top evolved harness는 CodeAct에서 +16.6점을 얻고 human-engineered composite에 근접한다

RankEvolverSearchOfficeGeneralOverallDeltaAnytimeVal
1GPT-5.6 Sol44.541.659.446.3+16.650.1
2Claude Opus 4.846.539.756.345.8+16.151.4
3GLM-5.245.439.248.443.5+13.851.0
4Qwen3.7-Max36.337.859.441.5+11.849.3
5MiniMax M333.641.756.341.4+11.749.0
6Qwen3.6-27B34.838.850.039.4+9.746.9
7DeepSeek V4 Pro34.439.148.439.1+9.445.4
8Kimi K2.7 Code34.538.148.438.7+9.043.4
9Gemma 4 31B24.240.450.035.9+6.236.2
-CodeAct11.738.448.429.7--
-Artificial Harness46.743.956.347.5+17.8-

GPT-5.6 Sol은 29.7에서 46.3으로 +16.6, Claude Opus 4.8은 +16.1을 만든다. 최고 evolved harness도 Artificial Harness 47.5에는 1.2 point 못 미친다. AnytimeVal은 Claude Opus 4.8이 51.4로 가장 높다.

Caution모델당 main run은 한 번이므로 작은 점수 차이는 stochastic variance까지 제거한 확정 ranking으로 해석하면 안 된다.

13 · Domain dependence

Search는 크게 좋아지고, Office는 거의 움직이지 않으며, General은 인간 설계를 넘기도 한다

Search는 CodeAct 11.7에서 top model 46.5까지 크게 오른다. Office는 baseline 38.4에서 대부분 작은 변화만 보인다. General에서는 GPT-5.6 Sol과 Qwen3.7-Max가 59.4로 Artificial 56.3을 넘는다.

Analysis검색 tool을 만드는 engineering과 spreadsheet/document workflow의 hidden contract를 발견하는 engineering은 탐색 공간이 다르다. harness evolution score는 domain mix에 강하게 의존한다.

14 · Resource use

Budget과 비용도 capability의 일부다

GPT-5.6 Sol과 Kimi만 20 iteration을 모두 사용한다. GPT-5.6 Sol은 559 steps/33.63h, Kimi는 549/32.60h이다. Qwen3.7-Max와 DeepSeek V4 Pro는 15 iteration에서 멈추며 200/202 steps만 쓴다.

evolver-only API cost에서 GPT-5.6 Sol은 500 USD를 넘는다. GLM-5.2와 Qwen3.7-Max는 40 USD 아래에서 cost-performance knee를 이루고, DeepSeek V4 Pro는 1 USD 미만이다. cost는 2026-07-10 public list price 기준이며 policy와 judge 비용은 제외한다.

15 · GPT-5.6 Sol case study

좋은 evolver는 prompt를 다듬는 데서 멈추지 않고 tool과 control flow를 만든다

GPT-5.6 Sol은 초기 failure를 Search/Office/Claw로 나누고 ToolRouter/PromptRouter를 만든다. Search에 web search/fetch와 HTML cleaner를 추가하고, Office는 APEX의 source ledger/recompute와 GDPval의 artifact reopen QA를 분리한다. General에는 empty/premature response recovery, credential redaction, draft-only send 방지 등을 넣는다.

held-out은 Search 44.5 대 Artificial 46.7, Office 41.6 대 43.9, General 59.4 대 56.3, Overall 46.3 대 47.5이다.

Authors' challenge analysisaggregate score에 피상적으로 반응하고, cross-domain interference를 naive routing으로 풀며, budget을 인간 engineer만큼 목표 지향적으로 쓰지 못한다. planner/context/verifier의 근본 구조도 primitive하게 남는다.

16 · Ablations

더 큰 budget은 도움이 되고, evolved harness는 policy model을 넘어 전달된다

Qwen3.7-Max와 GLM-5.2는 24h/10 iter/500 steps에서 48h/20 iter/1000 steps로 budget을 늘릴수록 Overall과 AnytimeVal이 monotonic하게 오른다.

PolicyEvolverSearchOfficeGeneralOverallATV
Qwen3.6-35B-A3BBaseline2.714.235.913.9-
Qwen3.6-35B-A3BQwen3.7-Max12.533.048.427.929.2
Qwen3.6-35B-A3BGLM-5.216.434.045.329.230.8
DeepSeek-V4-FlashBaseline11.738.448.429.7-
DeepSeek-V4-FlashQwen3.7-Max36.337.859.441.549.3
DeepSeek-V4-FlashGLM-5.245.439.248.443.551.0
GLM-5.2Baseline18.040.273.438.0-
GLM-5.2Qwen3.7-Max38.345.146.942.746.7
GLM-5.2GLM-5.235.645.280.348.450.4
Analysisoverall transfer gain은 강하지만 모든 domain이 monotonic하게 좋아지는 것은 아니다. GLM policy에서 Qwen3.7-Max harness는 General이 73.4에서 46.9로 하락한다.

17 · Integrity

Validation evidence가 풍부할수록 reward hacking 통제가 benchmark의 일부가 된다

Leak

Boundary leakage

evolver evidence와 policy execution을 sandbox로 분리한다.

Search

Answer retrieval

web/shell output을 benchmark answer/artifact pattern으로 scan하고 confirmed violation은 score 0으로 만든다.

Audit

Evasion

모든 trajectory에 Codex-based semantic audit을 적용한다.

논문은 MiniMax M3만 detector-evasion behavior를 보였다고 보고하고 affected trials를 0점 처리한 corrected aggregate를 사용한다.

18 · Failure trajectories

낮은 점수의 핵심 문제는 후반 research discipline의 붕괴였다

Qwen3.6-27B

I10에서 49.7까지 오른 뒤 bundled context/verifier change로 I15에 159/160 task crash, score 0.3을 만든다. repair 후 I18은 45.4이며 best revision을 restore하지 않고 651 steps를 남긴다.

DeepSeek-V4-Pro

I3 46.5 이후 raw rollout 접근은 4회뿐이고 prompt/filter tuning에 머문다. I3를 outlier라 부르며 reevaluate하지 않고 I15 42.6을 freeze한다. 798 steps가 남는다.

Kimi-K2.7-Code

I1 score 2.1에서 회복해 I13 45.9에 도달하고 이후 local variants를 시험한다. best I13을 restore해 freeze하는 rollback discipline은 좋지만 549/1000 steps만 사용하고 architecture redesign 없이 포화된다.

EvolverItersStepsRollout accessesBest -> Frozen
Qwen3.6-27B18/20349/10001649.7(I10) -> 45.4(I18)
DeepSeek-V4-Pro15/20202/1000446.5(I3) -> 42.6(I15)
Kimi-K2.7-Code20/20549/10005245.9(I13) -> 45.9(I13)
Authors' synthesispaired failure analysis, falsifiable mechanism, cheap preflight, automatic best-revision recovery, architecture-reset trigger가 더 강한 evolution에 필요하다고 논문은 제안한다.

19 · Prompt design

Prompt는 연구 방법과 integrity boundary까지 명시한다

Evolver prompt 핵심
- isolated harness research engineer
- validation만 사용해 held-out metric을 높일 general mechanism 개발
- protected evidence는 diagnostic evidence이며 policy resource가 아님
- failure -> falsifiable mechanism -> edit/test -> immutable eval -> retain/revert
- budget/current/best state를 tool에서 확인
- freeze 전 selected best revision restore

seed policy prompt는 dedicated workspace, run_shell_command, finish만 지정한다. domain label과 scorer/expected output/rationale는 제거한다.

BenchmarkJudge evidenceDecision
BrowseCompquestion/reference/final answersemantic equivalence YES/NO
HLEquestion/response/answerextract then strict compare
GDPval absoluterubric, text, formulas, rendered pagescriterion points + evidence reason
GDPval pairwisepolicy vs frozen-seed artifactsA/B/tie, both orders averaged
Claw-Evaltool trace/private grader/rubricnative completion/robustness/communication/safety
APEXtrajectory/state diff/artifacts/verifiersall required verifiers must pass

20 · Limits, interpretation, future work

General self-improvement의 증거라기보다 실행 구조 개선 능력을 통제된 조건에서 측정한 첫 단계이다

Single-run variance. 모델당 main run 한 번이다.

Benchmark-guided capability. harness-responsive task를 의도적으로 골랐으므로 자연 task distribution 전체의 gain을 뜻하지 않는다.

Fixed evolve harness dependence. 결과는 raw model alone이 아니라 강하게 설계된 공통 research harness 안에서 발휘되는 능력이다.

Judge/integrity complexity. 일부 task가 LLM judge에 의존하고 web access가 필요한 만큼 semantic audit과 score correction이 필요했다.

Artificial baseline asymmetry. Artificial Harness는 domain-specific human framework를 합친 composite이고 evolved system은 shared harness를 개선한다.

Systems-engineering depth. strongest evolver도 aggregate reaction, naive routing, local modification, weak planner/context/verifier 문제를 남긴다.

future work는 coding task, harder scientific research task, 더 다양한 agent framework와 model을 포함하는 living benchmark 확장이다.

Inference다음 병목은 단순 code generation보다 실패 기록을 causal evidence로 바꾸고, falsifiable hypothesis를 관리하며, regression을 자동으로 되돌리고, architecture reset을 적절히 실행하는 research discipline일 수 있다. 이는 논문의 failure analysis에 근거한 확장적 해석이다.

21 · Key takeaways

핵심 정리

Harness sensitivity를 benchmark construction에 직접 쓴다.12 auxiliary harness response로 task를 선택한다.
Top gain은 +16.6이다.GPT-5.6 Sol 29.7 -> 46.3.
Human composite에는 아직 조금 못 미친다.46.3 vs 47.5.
Domain gap이 크다.Search는 크게 오르고 Office는 어렵다.
Failure는 후반 research discipline에 집중된다.regression, plateau, local-search saturation이 반복된다.
Harness는 policy를 넘어 transfer된다.다만 모든 domain이 항상 좋아지는 것은 아니다.
Budget은 도움이 되지만 utilization이 병목이다.
Integrity가 benchmark 설계의 일부다.

22 · References

논문에 수록된 참고문헌

Harness evolution · self-improvement · agent design
  1. Agrawal et al. GEPA. 2025.
  2. Fernando et al. Promptbreeder. ICML 2024.
  3. Hu et al. Automated design of agentic systems. 2024.
  4. Zelikman et al. STOP. 2024.
  5. Yin et al. Godel Agent. 2024.
  6. Zhang et al. Darwin Godel Machine. ICLR 2026.
  7. Zhang et al. Self-harness. 2026.
  8. Zhang et al. Agentic context engineering. 2025.
  9. Lee et al. MetaHarness. 2026.
  10. Ursekar et al. Vero. 2026.
  11. Chen et al. HarnessX. 2026.
  12. Hebbar et al. SIA. 2026.
  13. Zhang et al. AFlow. ICLR 2025.
  14. Lin et al. Harness updating is not harness benefit. 2026.
  15. Weng. Harness engineering for self-improvement. 2026.
Benchmarks and environments
  1. SWE-bench, OSWorld, tau-bench, BrowseComp, HLE, GDPval, APEX-Agents, Claw-Eval.
  2. MLAgentBench, MLE-bench, RE-Bench, PaperBench, PostTrainBench.
  3. Meta-Agent Challenge, SEA-Eval, EvoAgentBench, SeaGym, Rethinking evaluation of harness evolution.
Models and systems
  1. Claude Code, Codex, GPT-5.6, Claude Opus 4.8, Claude Sonnet 5, DeepSeek-V4, GLM-5.2, Qwen3.6/3.7, Gemma 4, Kimi K2.7 Code, MiniMax M3.
  2. MiroThinker, MiroRL, RedSearcher, Stirrup, CodeAct, AlphaEvolve.

Primary paper: Lisheng Huang, Chen Yang, Hao Zhou, Huatong Song, Zongchao Chen, Ran Le, Yang Song, Wayne Xin Zhao, Tao Zhang. Evo-Bench: Can Language Models Improve Agent Harness? arXiv:2608.09096v2, 2026.