AGI는 더 이상 하나의 모델이 아니라
함께 진화하는 시스템으로 이동한다

내부 재귀와 외부 재귀를 하나의 폐루프로 결합한다

Source factScienceBuddy: Recursive-in-Recursive Self-Improvement for Interactive Scientific Agents는 과학 에이전트의 harness 자체를 개선하는 inner recursion과, 개선된 harness가 만든 새로운 경험으로 foundation/task model을 RL 학습하는 outer recursion을 결합한다. 연구자가 실제 작업 중 제공하는 질문·수정요청·execution evidence는 새로운 task와 평가 rubric으로 변환된다.

Analysis중요한 차이는 배포 이후의 사용경험이 단순 로그로 남는 것이 아니라 다음 세대 agent를 만드는 학습신호로 다시 들어간다는 점이다. 기존 self-improvement가 agent program 또는 model parameter 중 하나를 수정하는 데 집중했다면, 여기서는 두 층이 명시적으로 서로를 피드백한다.

세 번의 co-evolution cycle에서 두 축이 모두 개선에 기여했다

Source fact실험은 Qwen3.5-4B 기반으로 세 번의 co-evolution cycle을 수행했다. 평가 과제는 literature reading, database judgment, protocol troubleshooting, gene/variant assessment를 포함한다.

이 수치는 harness evolution과 model RL이 서로 다른 방식으로 기여했음을 보여준다. 다만 서로 다른 metric을 직접 하나의 크기로 비교해서는 안 된다. held-out single-attempt accuracy, validation accuracy, pass@4 coverage는 각각 다른 평가 맥락을 가진다.

“과학을 잘하는가?”에서 “과학을 하면서 더 나아지는가?”로

Inference이 구조는 Autonomous AI Scientist를 연구 자동화 도구에서 사용과 협업 자체가 지속적 능력개선을 일으키는 학습시스템으로 확장하는 방향을 보여준다.

Limitation현재 결과는 arXiv preprint이며, 세 번의 cycle과 제한된 바이오메디컬 benchmark에 기반한다. 또한 reflector는 고정되어 있다. 따라서 self-improvement mechanism 자체가 재귀적으로 더 좋아졌다고까지 해석해서는 안 된다.

하나의 video backbone이 policy와 simulator를 함께 맡는다

Source factXPACE: Joint World and Action Modeling from Heterogeneous Experience는 하나의 shared video backbone으로 두 역할을 수행한다. 첫째, 현재 observation과 instruction에서 실행 가능한 robot action과 미래 video를 함께 예측하는 policy/world-action model이다. 둘째, 주어진 action이 어떤 미래 visual state를 만들지 예측하는 world simulator다.

더 중요한 부분은 simulator를 단순 예측기로 끝내지 않는다는 데 있다. expert trajectory 주변에서 deviation과 recovery trajectory를 생성하고, 신뢰 가능한 recovery만 골라 policy fine-tuning 데이터로 다시 사용한다.

human video에서 robot demonstration까지 같은 학습루프에 넣는다

Source factXPACE는 action label이 없는 일반 human video, 행동정보가 있는 human demonstrations, robot demonstrations를 함께 사용한다. XPENG IRON humanoid 실험에서 인간에게서 관찰한 행동을 robot demonstration에 없는 task로 이전하고, simulator가 생성한 recovery data가 실제 robot task completion을 추가 개선했다고 보고한다.

첨부 자료에는 이 개선의 정확한 수치가 제시되지 않는다. 따라서 이 글에서도 방향성과 구조만 설명하고 임의의 성능값을 추가하지 않는다.

world model의 평가는 visual fidelity보다 행동개선 능력으로 이동한다

같은 시기에 공개된 World Models for Embodied Intelligence: From Plausible to Controllable to Actionable은 world model을 세 수준으로 구분한다. 단순히 그럴듯한 미래를 생성하는 Plausible, action에 반응하는 Controllable, 그리고 planning·action·learning·verification·recovery를 실제로 개선하는 Actionable이다.

Analysis이 변화는 Physical AGI의 world model을 미래예측 모듈이 아니라 자기개선을 가능하게 하는 synthetic experience generator로 다시 정의할 가능성을 높인다.

모든 행동을 인간이 승인할 수도, reviewer AI를 완전히 믿을 수도 없다

Source factDelegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control은 개별 reviewer가 완전히 정렬되어 있지 않아도 reviewer 집단 전체가 특정 구조를 만족하면 안전한 승인정책을 만들 수 있는 조건을 다룬다.

저자들은 이를 \(k\)-robust coalitional alignment라고 정의한다. 일부 reviewer가 반대하거나 잘못 정렬되어 있어도 남은 reviewer들의 utility 조합이 principal의 목표를 충분히 포괄하면 threshold approval rule이 baseline보다 principal을 악화시키지 않는다는 직관이다.

논문의 설정에서는 necessary and sufficient condition을 제시한다

Source fact이 조건은 논문의 설정에서 necessary and sufficient이며 discounted MDP의 sequential control까지 확장된다. 반면 threshold를 지나치게 느슨하게 하면 reviewer들이 개별적으로 aligned되어 있어도 strategic voting 상황에서 unsafe equilibrium이 존재할 수 있음을 보인다.

기존 scalable oversight가 흔히 \(\text{Weak Human/AI Judge}\rightarrow\text{Strong Agent}\)의 관계를 연구했다면, 이 접근은 안전의 단위를 개별 reviewer의 완전정렬에서 coalition 전체의 incentive/utility geometry로 옮긴다.

조직 수준 안전성의 가능성을 보여주지만 아직 frontier deployment 보장은 아니다

Inference향후 AGI가 multi-agent organization 형태로 동작한다면 모든 subagent와 monitor를 개별적으로 완전 정렬시키는 것보다 조직 전체의 incentive 구조를 설계하는 편이 현실적인 통제방식이 될 수 있다는 연구방향을 시사한다.

Limitation현재 결과는 명시적인 utility representation과 MDP 가정 아래의 이론적 보장이다. 실제 frontier agent 조직에서 같은 보장이 곧바로 성립한다는 뜻은 아니다.

서로 다른 분야에서 같은 형태가 반복된다

Analysis공통점은 능력향상의 위치가 하나의 parameter set에 갇히지 않는다는 데 있다. AGI의 학습단위가 model에서 adaptive system으로 넓어진다.

이번 업데이트에서 중요도가 올라간 세 축

공진화만으로 충분하지 않다

Inference장기적으로 중요한 연구형상은 능력을 계속 개선하는 시스템과 그 개선을 검증·승인하는 시스템을 분리하지 않는 것이다. 자기개선의 속도만 높이는 것이 아니라, 무엇이 바뀌었고 왜 승인됐는지 추적 가능한 구조가 함께 필요하다.

Tracking note첨부 자료는 ARC Prize 공식 페이지에서 2026년 9월 3일 GPT-6 Astra 결과 이후 연구방향을 바꿀 수준의 새로운 공식 ARC-AGI-3 frontier-model 결과는 확인되지 않아 반복 보고하지 않았다고 기록한다.