정답을 말하는 모델에서 일을 끝내는 시스템으로

말할 수 있다는 것과 해낼 수 있다는 것은 다르다

보고서는 현대 범용 언어모델이 knowledge, reasoning, mathematics, coding에서 크게 개선됐음에도 valuable task가 여전히 어렵다고 본다. 이유는 많은 일이 long horizon으로 펼쳐지기 때문이다. 근거를 찾고 해석하고, heterogeneous files를 다루고, 코드를 실행·debug하고, 여러 단계의 plan을 유지·수정하며, 실패에서 valid progress를 보존한 채 복구해야 한다.

따라서 limiting capability는 reasoning in isolation이 아니라 reasoning을 changing environment 안의 sustained work로 변환하는 능력이다. working capability는 objective를 이해하고 tools와 stateful environments를 통해 행동하며, 관찰이 문제를 바꾸면 plan을 수정하고, 실패를 복구하고, 마지막 delivery contract를 만족하는 능력으로 정의된다.

성공은 자연어 답변이 아니라 검증 가능한 상태전이로 정의된다

\(W\)는 workspace-state space, \(W_0\)는 initial workspace, \(q\)는 normalized objective, \(A\)는 available actions, \(T\)는 state-transition operator, \(\Omega\)는 observation interface, \(B\)는 resource-budget vector, \(D\)는 delivery contract, \(V_D\)는 task-level verifier다. 예산은 turns, tool calls, tokens, wall-clock, concurrent executions를 제한할 수 있다.

사용자 최초 입력 \(u_0\)와 목표 \(q\)도 동일하지 않다. 사용자가 evidence나 priority를 명확히 하지만 requested outcome을 바꾸지 않으면 같은 task contract 안의 intervention이다. 반대로 objective나 deliverable, acceptance clause를 실질적으로 바꾸면 새로운 task contract가 된다. 단, 이전 workspace의 valid state는 재사용할 수 있다.

Subagent report, verifier result, tool failure, timeout, execution-status update는 user input이 아니라 runtime/tool observation으로 취급된다. long-horizon work에서 이 구분은 중요하다. user intent와 environment feedback을 같은 메시지로 뭉개면 무엇이 목표를 바꿨는지, 무엇이 단지 상태를 바꿨는지 추적하기 어렵다.

좋은 결과뿐 아니라 결과까지의 경로가 방어 가능해야 한다

최종 natural-language answer가 artifact일 수는 있지만 그 자체가 성공을 정의하지 않는다. task-level verifier는 initial state, terminal workspace, realized trace를 함께 보고 contract-specific outcome을 반환한다. verification clause는 executable tests, exact recomputation, source alignment, structured rubric, human review를 조합할 수 있다.

보고서 전체를 관통하는 여섯 가지 설계 원칙

파라미터와 inference compute 바깥에 ‘실행 환경’이라는 축이 있다

Environment Scaling이 바꾸는 것은 model capacity가 아니라 policy가 경험하는 세계의 분포다. initial workspace와 objective \((W_0,q)\), permitted actions \(A\), transition/observation \((T,\Omega)\), resource budget \(B\), delivery-verifier pair \((D,V_D)\)를 넓힌다.

보고서가 강조하는 세 가지 실패는 서로 대칭적이다. diversity만 있고 fidelity가 없으면 실제 tool에서 실패하는 행동을 학습한다. fidelity만 있고 coverage가 좁으면 몇 개 workflow에 과적합된다. interaction은 많지만 verification이 약하면 완료된 일이 아니라 그럴듯한 활동량을 보상하게 된다.

난이도도 작업의 구조에 맞춰 측정해야 한다

File/Search 같은 acquisition-heavy world에서 보고서는 candidate inspection과 load-bearing evidence transitions를 tool-call budget으로 나눈 first-order pressure coordinate를 제안한다.

이 값은 universal difficulty가 아니라 triage, navigation, state tracking, stopping discipline에 얼마나 압력이 걸리는지 보는 좌표다. Code world는 dependency depth, state-transition depth, test observability, failure와 verification signal 사이 거리 같은 다른 좌표가 필요하다.

각 rollout은 immutable world manifest와 fresh mutable sandbox를 받고, sticky routing으로 한 session이 같은 worker에 남는다. replay record에는 world seed/generator version, tool versions, action-observation sequence, file deltas, verifier version, termination reason이 들어간다. initial state reconstruction, execution isolation, verifier replay가 불가능한 trajectory는 training signal로 남기지 않는다.

실패를 데이터로 모으는 것이 아니라 다음 환경을 설계하는 specification으로 바꾼다

보고서 Figure 2의 개발 loop는 실패를 무제한 self-modification으로 연결하지 않는다. benchmark errors와 runtime failures를 capability gap으로 분류하고, Task Pipeline이 다음 task distribution을 만들며, environment construction과 verifier가 이를 검증한 뒤 SFT/RL에 넣는다. 저자들은 이 managed engineering loop에만 ‘self-evolution’이라는 표현을 사용한다고 선을 긋는다.

Lead agent가 문제를 먼저 보고, 그 문제에 필요한 전문가를 만든다

Apodex 1.1은 1.0의 central architecture를 유지한다. lead agent가 global problem을 보고 researchable subproblems로 분해한 뒤 specialized subagents를 on demand로 만든다. team은 미리 정한 role catalogue에서 꺼내는 것이 아니라 task structure가 유도한다.

1.1의 추가점은 decomposition을 explicit task board로 외부화하고, asynchronous human intervention, asymmetric verification, adaptive Max Team Effort, evidence-grounded synthesis를 결합한 것이다.

계획을 message history 밖으로 꺼내면 long horizon에서 계획이 상태가 된다

Task Board item은 bounded objective, dependencies, resolution state, assigned agents, returned evidence/artifacts를 기록한다. 이는 private reasoning의 시각화가 아니다. model, runtime, user가 함께 보는 coordination record다. subagent scope도 여기서 나오고, 완료된 결과도 여기 붙고, plan revision도 board mutation으로 표현된다.

이 구조의 효과는 causal continuity다. 결과가 dependent task를 즉시 unlock할 수 있고, 틀린 premise는 descendants만 invalidate할 수 있다. slow branch가 independent work를 막지 않고, context compaction 이후에도 plan은 board에서 살아남는다.

사용자는 작업 전에만 요구사항을 말하는 사람이 아니다

실제 연구는 실행하면서 더 정확해진다. source가 premise를 뒤집거나 preliminary analysis가 새 hypothesis를 만들고, 사용자가 방향이 잘못됐음을 알아차릴 수 있다. Apodex 1.1은 실행 중 user message \(u_t\)를 받아 live Task Board를 수정한다.

훈련 trajectory는 requirement clarification, factual correction, priority change, new files/evidence, hypothesis/method revision, source/tool constraints, budget/deadline, pause-resume-cancel, progress query, output format/language preference, unrelated side question 등을 구분한다. acceptance clause가 바뀌지 않으면 affected descendants만 invalidate하고 기존 \((q,D)\)를 유지한다. objective나 deliverable이 바뀌면 새 task contract를 시작하되 valid workspace는 가져간다.

검증자는 문제를 다시 푸는 두 번째 생성자가 아니다

1.0의 conflict reviewer, fact checker, draft reviewer는 main agent와 context를 분리했다. 1.1은 한 단계 더 나아가 verification task 자체를 generation보다 좁게 만든다. verifier는 specific claim, supporting evidence, applicable delivery constraint만 받아 counterexample, independent source class, atomic details, format/specification compliance를 공격한다.

이 asymmetry는 model size가 아니라 task shape에 있다. claim을 falsify하거나 missing citation을 찾는 일은 전체 보고서를 다시 쓰는 일보다 좁고 actionable하다. feedback이 contested claim, disconfirming evidence, required repair를 지목하면 lead agent는 board item 하나만 다시 열 수 있다.

어려운 주장에만 추가 계산을 쓴다

uniform test-time scaling은 이미 해결된 subproblem에도 budget을 낭비한다. Adaptive Max Team Effort는 weak, contested, load-bearing claim에만 independent investigation을 추가한다. hypothesis, method, source class, query framing을 다르게 fan-out하고, 이후 wave는 unresolved/disconfirmed branches에 집중하며, 핵심 conclusion은 focused verification을 통과해야 한다.

마지막 lead-agent context를 보고서의 진실상태로 취급하지 않는다

final synthesis는 terminal task board, subagent reports, retrieved evidence, produced artifacts, verifier findings를 소비한다. 첫 pass는 overlapping branch result를 claim-evidence graph로 reconcile하고 writing outline을 만든다. 각 claim은 load-bearing, corroborated, disputed, unresolved로 표시된다.

둘째 pass의 writer agent는 이 graph를 받아 동일한 tool, citation, delivery constraints 아래에서 deliverable을 만든다. evidence나 computation으로 추적되지 않는 claim은 qualify되거나 빠지고, missing load-bearing dependency는 plausible prose로 채우지 않고 lead agent에게 다시 보낸다.

AgentOS의 workspace는 텍스트 기록이 아니라 외부 세계의 상태다

\(F_t\)는 file state, \(Q_t\)는 retrieved evidence, \(C_t\)는 executable state/logs, \(I_t\)는 artifact index, \(G_t\)는 sources-actions-artifacts dependency graph, \(K_t\)는 optional runtime control state다. single-agent에서는 lightweight metadata일 수 있지만 Agent Team에서는 Task Board와 Agent Bus의 explicit coordination state가 된다.

subagent workspace visibility는 isolation backend에 따라 다르다. per-agent isolation에서는 private worktree를 coordinator만 볼 수 있고, container isolation에서는 shared workspace에서 disjoint path convention을 사용한다. /inputs는 항상 read-only, /outputs는 shared다.

Task Board의 ‘resolved’와 process의 ‘terminated’는 다른 상태다

Board item에는 stable ID, description, owner set, dependencies, group, evidence/artifact references, resolution state(open, in_progress, resolved, cancelled)가 있다. resolved는 process가 끝났다는 뜻이 아니라 requested result가 돌아와 충분히 검증됐다는 coordinator의 semantic judgment다.

반면 runtime은 dispatched assignment의 execution lifecycle(created, queued, running, reported와 failure/cancel/timeout reasons)을 관리한다. reported된 subagent 결과가 불완전하거나 모순이면 item은 계속 open일 수 있고, 반대로 여러 execution의 evidence를 합쳐 item 하나를 resolve할 수도 있다.

planning mode에서는 finish_planning 전까지 read-only inspection과 board operation만 허용하고 dispatch, file mutation, finalization을 막는다. final answer gate는 모든 active item이 resolved/cancelled인지 검사하며, planning mode에서는 delegated branch와 independent verifier 사용도 요구한다.

intervention, compaction, timeout을 각각 다른 failure mode로 처리한다

run-scoped message queue는 follow-up을 add/update/withdraw할 수 있고, model-visible history에 실제로 들어간 뒤에야 delivery acknowledgement를 한다. Agent Team coordinator가 subagent fan-in을 기다리는 동안에도 intervention이 들어오면 coordinator를 깨워 다음 model call 전에 반영할 수 있다.

context pressure는 provider-reported token usage를 기준으로 tiered compaction한다. 1차는 오래된 tool observation body를 제거하되 message structure, recent result, protected fan-in report를 남긴다. relief가 부족할 때만 2차 LLM summary를 수행한다. fixed schedule이 아니라 실제 relief로 escalation한다.

wall-clock budget은 soft deadline과 outer hard timeout을 분리한다. soft deadline이 가까워지면 active agent에게 결과 정리를 요구하고, tool wait/retry는 remaining time에 맞춰 clamp한다. soft deadline에 loop를 정상 종료한 뒤 bounded tool-free finalization으로 completed work의 partial result를 회수하며 hard cancellation은 최후수단이다.

파일을 만들었다고 납품한 것이 아니다

publishing execution은 /outputs 아래 exact manifest를 선언하고 run-scoped lease가 한 active session에만 commit authority를 준다. non-publisher는 /outputs write가 fail-closed이고 publisher도 declared path만 쓸 수 있다. 종료 시 manifest entry를 lease 시점 baseline snapshot과 reconcile해 empty file이나 stale same-name file이 delivery를 위장하지 못하게 한다.

/outputs/scratch/는 예외다. 모든 assignment가 쓸 수 있지만 collection에서 제외되는 quota-bounded shared space로, intermediate collaboration과 final delivery를 분리한다.

runtime contract는 과학적·사실적 correctness 자체를 보증하지 않는다

보고서는 이 경계를 명시한다. AgentOS는 state, execution, delivery를 통제하지만 retrieved source, computation, scientific method, final conclusion의 correctness를 자동 보증하지 않는다. high-stakes setting에서는 task-appropriate verification, reproducible computation, human review가 계속 필요하다.

또한 publication guard는 built-in file/shell writing surface를 중재하는 것이지 syscall-level filesystem monitor가 아니다. coordination plane은 run-scoped이며 durable distributed database가 아니다. task board와 Agent Bus session은 worker process에 있고 filesystem과 atomic checkpoint되지 않는다. process restart recovery와 historical filesystem rewind도 현 계약 밖이다. 저자들은 coordination state, message history, workspace의 joint versioning을 자연스러운 확장으로 제시한다.

reasoning, tool use, file work, coding, science, finance, coordination을 한 stateful schema로 정규화한다

SFT mixture는 general reasoning, agentic tool use, search, file interaction, coding, mathematics, scientific/financial reasoning, professional delivery, multi-agent coordination을 포함한다. invalid tool interaction, inconsistent state, ignored observation, incomplete delivery trajectory는 제거한다.

Gold answer가 있으면 reject sampling을 쓰고, rubric task는 task-relevant dimensions와 threshold로 high-quality demonstrations를 고른다. general, agentic, coding 등 major capability domain별 SFT variants를 만든 뒤 model-soup merging으로 결합해 unified behavioral initialization을 얻는다.

긴 trajectory 전체를 똑같이 벌주지 않고 ‘방향을 틀었어야 할 순간’을 찾는다

terminal reward는 long-horizon trace에서 credit이 거칠다. 유용한 intermediate work 뒤에 late failure가 나올 수 있고, success trace 안에도 비효율적이거나 근거가 약한 결정이 섞일 수 있다. PIVOT-RL은 hindsight-guided trajectory localization으로 consequential decision point, 즉 pivot을 찾는다.

보고서 Figure 4에서는 RL compute가 늘어날수록 held-out search, knowledge, science evaluation의 smoothed score가 전반적으로 상승하는 추세를 제시한다. 다만 이는 세 task family에 대한 training trend이며 universal scaling law로 제시되지는 않는다.

agentic trajectory는 길이와 wall-clock이 불규칙하므로 training system도 동기식 batch만으로는 비효율적이다

search, code, file, coordination task는 동일한 learning objective를 가져도 실행시간이 크게 다르다. Apodex는 completed trajectory를 slower episode가 끝날 때까지 기다리지 않고 asynchronously optimization에 넣는다. 이는 throughput을 높이는 systems mechanism이며, 무엇을 보상할지는 여전히 task-specific environment와 verifier가 결정한다.

한 점수로 agentic intelligence를 압축하지 않는다

보고서는 task correctness, artifact completeness, provenance fidelity, failure recovery, intervention response, wall-clock time, total compute를 구분한다. answer-only metric은 이 다차원 vector의 한 projection일 뿐이다.

최종 점수가 아니라 작업과정이 방어 가능한지 본다

HDS6는 outcome-blind process-verification framework다. 6 capabilities × 4 rubric items = 24 items를 0/1/2 band로 평가하고, visible execution log의 event citation을 근거로 verdict를 만든다.

Grading pipeline은 GPT-5.5 Mapper가 trajectory를 item windows로 index하고, GPT-5.5 high-effort Judge가 band를 제안하며, Claude Sonnet 5 Reviewer가 high-band verdict를 scrutinize하고, Claude Opus 5 Arbiter가 수렴하지 않은 verdict를 해결하는 구조다. final-answer correctness와 private chain-of-thought는 숨긴다.

1.0 대비 1.1의 가장 큰 single-item deltas는 Initial Decomposition +1.3, Final Verification +0.8이다. 그러나 보고서는 HDS6가 individual component의 causal contribution을 isolate하지 않으며, model·environment·coordination·harness 변화가 combined process에서 어디에 나타나는지를 localize하는 평가라고 명시한다.

Coarse-Grained Protein Simulation — 설치되지 않은 GROMACS부터 잘못된 box 단위까지

입력은 six-chain protein 7M6J_fixed.pdb이고 요구사항은 Martini 3 coarse-graining, six chain topologies, three-copy physiological salt box, energy-minimization input/result, snapshot을 포함한 runnable package다. 모델링된 coarse-grained structure는 3,785 sites이며 three-copy protein은 11,355 sites다.

Lead swarm_main은 t1~t6 board를 만들어 input inspection, Martini mapping, snapshot, box/solvation/ionization, minimization, final verification으로 분리했다. 문제는 sandbox에 GROMACS가 없고 gmx 명령 자체가 audit filter에 막혔다는 점이다. gmx_installer가 conda-forge build를 staged workspace에 풀고 Python wrapper를 통해 GROMACS 2024.5를 실행할 수 있게 만들었다.

repair pass에서는 네 가지 결함이 드러났다. CRYST1에 nm 값이 Å로 잘못 기록되어 box가 10배 틀렸고, 3,309 solvent beads가 periodic box 밖에 있었으며, em.mdp에 epsilon_r = 15가 빠져 있었다. 또한 3,385라고 적힌 narrative count가 실제 cg.pdb의 3,785와 불일치했는데 파일이 맞고 설명이 틀린 경우였다.

Final verifier는 binary em.tpr header를 직접 decode해 63,484 particles의 starting coordinates가 ionized.gro와 최대 절대오차 0으로 일치함을 확인했다. 최종 minimization은 255 steps에서 Fmax < 1000에 수렴했고 maximum force는 \(9.029\times10^2\) kJ/mol/nm, potential energy는 \(-1.77496\times10^6\) kJ/mol이다.

TUNEL/DAPI — 같은 픽셀에서 두 정의가 정반대 결론을 낼 때

입력은 2,880 × 1,642 RGB fluorescence micrographs 6장(C1–C3 control, E1–E3 experimental)이다. 목표는 raw pixels에서 TUNEL/DAPI fluorescence ratio를 측정하고 CSV, statistics JSON, mean±SEM plot, flat ZIP을 전달하는 것이다.

img_measure_a는 green/blue hue를 분리한 뒤 각 fluorophore mask 안에서 mean intensity를 계산해 group means 84.17±21.98 vs 88.39±8.43, Welch P=0.78, d=0.25로 “차이 없음”을 냈다. 반면 img_measure_b는 k-means hue separator와 shared tissue ROI를 사용해 114.12±31.50 vs 47.42±9.09, Welch P=0.0574, d=2.88로 control이 2.4배 높다는 결론을 냈다.

local_verifier는 두 script를 재실행해 arithmetic error가 아니라 definition conflict임을 확인했다. V/chroma threshold, Otsu, Mann-Whitney를 바꿔 stress test한 결과 shared-ROI field mean은 P≈0.057–0.069, d≈2.70–2.88로 방향이 안정적이었고, per-mask mean은 threshold에 따라 결론의 방향까지 뒤집혔다. 그래서 “mean fluorescence intensity over a region”과 ratio의 abundance sensitivity를 보존하는 shared-ROI definition을 선택했다.

최종 Control은 113.80±31.67(SD; SEM 18.28), Experimental은 47.64±8.92(SD; SEM 5.15), n=3 each, difference 66.2 percentage points, Cohen's d=2.84, Welch P=0.0593, Mann–Whitney P=0.10이다. 그래서 plot에는 significance star가 아니라 p = 0.0593 (ns)가 붙는다.

WGCNA — 통계뿐 아니라 20개의 인터페이스 계약을 모두 맞춘다

pig RNA-seq raw counts 6,000 genes × 50 samples, 5 phenotypes, 6,000 gene annotations가 입력이다. duplicate ID, stable key, sample alignment를 먼저 감사하고, low-expression filter(CPM > 1 in at least 25/50)를 거쳐 5,983 genes를 남긴 뒤 log2(CPM+1) 변환 후 top 5,000 variable genes로 network를 구성한다. 50 samples는 모두 retained됐다.

Soft-threshold power 1–20 중 preset scale-free fit \(R^2\ge0.85\)를 만족하는 값은 없었다. power 20이 \(R^2=0.8486\), slope −1.917, mean connectivity 4.13으로 최고여서 criterion satisfied가 아니라 maximum-fit fallback으로 기록된다. signed network, bicor, signed TOM, min module size 30, merge threshold 0.25로 10 modules를 만든다.

50 module-trait combinations를 한꺼번에 BH correction하고 phenotype별 strongest non-grey module(FDR<0.05)을 고른 뒤 |MM|>0.8, |GS|>0.2로 hub candidates를 선별해 437 records를 얻는다.

보고서는 이 결과를 intervention effect나 causal gene으로 부르지 않는다. n=50은 correlation network에는 충분할 수 있지만 covariate modeling에 제한이 있고 batch information이 없으며, module partition은 power·filter·gene count·merge parameters에 민감하다. grey 1,560 genes는 unassigned라 하나의 biological process로 해석하면 안 된다.

최종 package는 20 required deliverables와 3 auxiliary files를 포함한다. Required set에는 analysis.R, report, selected genes/samples, 5,000-column expression matrix, 5-trait table, sample QC, soft-threshold statistics, network parameters, module assignment/size/trait results, MM/GS results, 437-row hub candidates, five PNGs, wgcna_results.RData가 포함된다. Auxiliary로 100.0 MB TOM matrix, detailed hub table, pipeline summary가 남는다.

Apodex가 스스로를 어디에 놓는가

보고서가 입증한 것과 아직 남은 것을 분리해서 읽어야 한다

첫째, underlying policy 자체가 좋아졌다. 여러 overlapping benchmark에서 Apodex 1.0 대비 1.1 ReAct가 크게 개선된다. 이는 Agent Team만의 효과로 모든 gain을 설명할 수 없다는 뜻이다.

둘째, coordination은 여러 task family에서 추가 gain을 낸다. 동일한 Apodex 1.1 model에서 Agent Team이 ReAct보다 professional work, finance, scientific research, search, math에서 대체로 상승한다. 특히 BioMysteryBench와 FrontierScience처럼 decomposition과 evidence integration이 중요한 task에서 lift가 크다.

셋째, 그러나 추가 organized computation이 공짜가 아니다. ReAct와 Agent Team은 compute budget과 orchestration이 다르므로 system-level lift는 “동일 계산량에서 architecture만 바꾼 causal effect”가 아니다. 보고서도 이를 trained coordination behaviors와 additional organized computation의 합으로 설명한다.

넷째, scientific end-to-end delivery는 아직 어렵다. FrontierResearchBench에서 Apodex Agent Team은 12.4% pass rate이고 최고 reference도 20.6%에 그친다. 이것은 artifact-complete research automation이 short-form science QA와 다른 문제라는 것을 보여준다.

다섯째, runtime은 완전한 transactional OS가 아니다. process restart recovery, historical filesystem rewind, joint atomic checkpoint가 없으며 publication guard도 syscall-level monitor가 아니다. AgentOS라는 이름을 운영체제 수준의 완성도와 동일시하면 안 된다.

장기 목표는 더 많이 말하는 모델이 아니라 더 큰 일을 책임지는 solver다

보고서의 결론은 두 scaling dimensions를 계속 밀어붙이는 것이다. 더 다양하고 faithful한 executable environments, 더 긴 horizon에서의 learned coordination, hierarchical trace의 better credit assignment, real failure → task construction → training → evaluation loop를 강화한다.

보고서가 공개한 공식 자원

Appendix B