이번 업데이트의 공통 신호는 분명하다. AGI의 병목이 모델의 순간적 추론능력보다 며칠간 지속되는 상태, 미래 업데이트에도 버티는 기억, 그리고 기계적으로 검증 가능한 안전성으로 이동하고 있다.
세 연구는 서로 다른 층을 다룬다. 첫 번째는 context window와 process lifetime을 넘어 작동하는 durable state를 설계한다. 두 번째는 memory compression이 현재 정답만 유지해서는 부족하며 미래 업데이트를 올바르게 흡수할 수 있는 구별가능성을 남겨야 한다고 주장한다. 세 번째는 agent output을 사후 judge에게 맡기는 대신 formal specification과 deterministic verifier를 통과한 뒤 실행하는 구조를 제안한다.
이 합성은 개별 논문 하나의 실증 결과가 아니라 세 연구를 연결한 분석이다. 그러나 System-Centric AGI가 이제 Persistent-State + Verification-Centric AGI로 구체화되는 흐름을 보여주는 데에는 충분한 공통 구조가 있다.
세 변화는 “더 큰 context”보다 “더 강한 상태관리”를 요구한다
continual operation, future-update sufficiency, formal verification이 장기 agent의 서로 다른 실패면을 겨냥한다.
| Research | Date | Core Shift | Main Limitation |
|---|---|---|---|
| An Architecture for Long-Horizon Agents | 2026-09-17 | context 밖 durable state, levels/ticks/protocol, cascaded intelligence | 한 번의 10일 campaign에 대한 existence proof |
| Correct Now, Insufficient Later | 2026-09-17 | 현재 정답보다 future-update sufficiency를 memory 평가축으로 추가 | 24개 paired history의 synthetic pilot |
| MAGS | 2026-09-16 | LLM/Human judge를 formal specification + deterministic verifier로 일부 대체 | specification completeness가 새로운 병목 |
continual learning 전에 continual operation without forgetting이 먼저다
장기 과제의 수명이 context window, process lifetime, 인간 attention interval보다 길다는 사실을 시스템 설계의 출발점으로 둔다.
상태를 context가 아니라 durable external state로 분리한다
Source fact이 연구는 장기 agent를 서로 다른 시간척도의 level, 자율 행동단위인 tick, 영속 상태를 규정하는 protocol, 실패 시 더 강한 모델로 올리는 cascaded intelligence tier로 구성한다.
핵심 입장은 “중요한 것은 context가 아니라 context가 사라져도 복구 가능한 durable state”라는 것이다. context reset을 피해야 할 비정상 상황으로 보는 대신, reset 이후에도 checkpoint와 기록으로 다음 tick을 재구성할 수 있어야 한다.
10일, 약 40개 실험, 211 ticks, 47 context resets
초기 며칠에 파일로 기록된 운영 지식은 weight update 없이도 후속 행동을 바꿨고, 인간은 하루 한 번 정도 관여했다. 즉 운영경험이 durable state로 축적되어 행동을 바꾸는 구조를 보여준다.
trajectory 성공률에서 reset 이후의 연속성으로
장기 AGI 평가에는 context reset 이후의 연속성, evidence-preserving state, autonomous wake-up, failure recovery, review-and-escalate가 포함될 가능성이 높다. self-improvement의 학습 데이터도 별도 synthetic corpus 대신 tick → checkpoint → review → verdict로 쌓이는 운영기록 자체가 될 수 있다.
Limitation이 결과는 한 번의 10일 campaign에 대한 existence proof이지 범용 benchmark 결과는 아니다.
현재 정답을 보존하는 기억과 미래 업데이트에 충분한 기억은 다르다
compression은 지금 답할 수 있는가뿐 아니라, 아직 오지 않은 새로운 정보가 들어왔을 때 올바른 belief revision을 가능하게 하는가를 평가해야 한다.
지금은 같아도 미래에는 달라져야 하는 두 history
Source fact이 연구는 현재 시점에서는 같은 답을 내지만 이후 동일한 새로운 정보가 들어왔을 때 서로 다른 답을 내야 하는 paired-history test를 만든다.
두 compressed memory가 현재 질문 \(Q_t\)에는 같은 정답을 낼 수 있어도, 미래 업데이트 \(U\)가 들어온 뒤에는 필요한 차이를 복원해야 한다.
future-update sufficiency는 별도의 능력이다
pilot에서는 형식은 정상인데 의미적으로 잘못된 compressed memory가 다수 발견됐고, identifier 이름만 바꾸는 변환에서도 late-reference 성능이 크게 무너졌다. 이는 현재 정답 보존과 미래 업데이트 충분성(update sufficiency)이 서로 다른 능력임을 보여준다.
Future-Update Sufficiency
미래 정보가 들어왔을 때 과거 사실을 다시 조합할 수 있는가.
Counterfactual Distinguishability
현재 같은 답을 내는 history들 사이의 중요한 차이를 남기는가.
Identifier Invariance
표면적 이름 변경에도 의미적 관계를 유지하는가.
Provenance Preservation
새 evidence가 들어올 때 어떤 과거 사실을 갱신해야 하는지 추적 가능한가.
좋은 기억은 “압축률”보다 미래 수정 가능성을 남긴다
장기 AGI의 좋은 memory는 지금 필요한 정보만 보존해서는 부족하다. 아직 알 수 없는 미래 정보가 도착했을 때 과거 사실을 다시 조합하고 belief를 갱신할 수 있을 만큼의 distinguishability를 남겨야 한다.
Limitation현재 연구는 24개 paired history를 사용하는 synthetic pilot이며 natural-task나 독립 held-out validation은 아직 없다. 따라서 일반 장기 memory 시스템 전체의 실패율로 확대해석하면 안 된다.
안전성을 judge에게 묻는 대신 실행 전에 기계적으로 증명한다
MAGS는 agent output을 Dafny 기반 formal-verification intermediate representation으로 바꾸고, 고정된 API와 safety requirement 아래에서 verifier feedback으로 수리한다.
Intent → Specification → Artifact → Proof → Execution
Source factMAGS는 agent가 생성한 프로그램을 Dafny라는 formal-verification intermediate representation으로 변환하고, human-audited API와 safety requirement를 고정한 뒤 verifier feedback으로 프로그램을 수리하고 검증된 결과만 executable code로 되돌린다.
기존 scalable oversight가 Agent Output → AI/Human Judge → Accept/Reject에 가까웠다면, 이 구조는 일부 영역에서 감독자의 상대적 지능보다 검증 가능한 명세와 deterministic verifier에 더 많이 의존한다.
고정된 formal specification에서는 220/220
프로그램으로 표현 가능한 output에서는 proof-carrying agent output이 LLM-as-a-Judge보다 더 강한 안전기제로 발전할 가능성을 보여준다.
증명된 프로그램이 실제 의도를 보장하는 것은 아니다
auto-formalized semantics가 실제 의도한 행동을 완전히 표현하지 못하면 formal proof가 있어도 실제 기능 의미에서는 실패할 수 있었다. 따라서 새로운 병목은 모델 정렬 자체뿐 아니라 specification completeness가 된다.
AnalysisAGI safety의 다음 질문은 “모든 행동을 사람이 검토할 것인가?”보다 “어떤 안전·권한·환경 조건을 자동으로 올바르게 formalize할 수 있는가?”에 가까워질 수 있다.
Persistent-State + Verification-Centric AGI
장기 AGI는 기억을 더 많이 저장하는 시스템이 아니라 상태를 복구하고, 미래 업데이트를 흡수하며, 실행 전에 제약을 검증하는 시스템으로 재정의되고 있다.
| Layer | Failure Mode | Required Mechanism | Evaluation Unit |
|---|---|---|---|
| Operation | context reset 후 goal/state 손실 | durable external state, ticks, checkpoints, escalation | reset 이후 continuity와 recovery |
| Memory | 현재 정답은 맞지만 미래 update에서 belief revision 실패 | distinguishability, provenance, update sufficiency | paired-history + future update |
| Execution Safety | judge는 통과하지만 artifact가 위험함 | formal specification, deterministic verifier, repair loop | proof before execution |
최근까지의 System-Centric AGI는 model·memory·tools·verifiers의 결합을 강조했다. 이번 결과는 그 결합을 더 구체적으로 Persistent-State + Verification-Centric AGI라는 방향으로 밀어간다.
Verifier-Grounded Long-Horizon Autonomous Scientist로의 확장
이번 세 연구를 AI Scientist에 연결하면 장기 운영기록, 미래충분 memory, proof gate, 외부 evidence가 하나의 scientific operating loop로 이어질 수 있다.
향후 중요도가 높아질 네 연구축
Continual Operation before Continual Learning
학습 이전에 수일·수주 동안 목표와 상태를 잃지 않는 운영구조가 필요하다.
Future-Update-Sufficient Memory
현재 정답뿐 아니라 미래 evidence로 올바르게 belief를 갱신할 수 있어야 한다.
Proof-Carrying Agent Outputs
실행코드와 controller는 가능한 범위에서 machine-checkable proof를 동반한다.
Verifier-Grounded Long-Horizon Scientist
장기 연구루프 전체에 reset recovery, memory audit, formal gate, independent evidence를 연결한다.
장기 scientific agent를 위한 검증 루프
Inference이 구조는 세 논문이 하나의 end-to-end AGI 시스템으로 직접 실증한 결과가 아니다. 그러나 각 연구가 제시한 mechanism을 연결하면, 장기 autonomous scientist의 신뢰성 평가단위를 개별 응답이 아니라 운영 lineage 전체로 옮기는 연구설계가 가능해진다.
단순 benchmark score 상승보다 중요한 변화는 AGI 시스템이 수일·수주간 학습·연구·행동할 때 무엇을 상태로 남기고, 무엇을 미래수정에 필요한 정보로 보존하며, 무엇을 실행 전에 기계적으로 증명할 것인가가 아키텍처의 핵심이 된다는 점이다.
이번 업데이트의 직접 근거
본문은 첨부 연구동향 문서가 선별한 세 연구의 결과·수치·한계를 기준으로 재구성했다. 외부 자료로 새로운 수치나 사실을 추가하지 않았다.