Psychometric AGI
인간의 폭넓은 인지능력과 비교해 능력의 다양성과 숙련도를 측정한다.
Editorial Abstract
2025년 이후 AGI 연구의 가장 큰 변화는 “더 많은 문제를 푸는 LLM”이라는 관점에서 벗어나, 새로운 환경에서 배우고, 탐색하고, 기억하고, 계획하고, 행동하고, 실패에서 회복하며, 장기간 자신을 개선하면서도 안전해야 하는 범용 적응 시스템을 연구대상으로 삼기 시작했다는 점이다.
AGI 정의, ARC-AGI-2/3, long-horizon autonomy, lifelong agents, world models, self-improving agents, autonomous science, scalable oversight가 이제 별개의 주제가 아니라 하나의 시스템 설계 문제로 연결되고 있다. 이 글은 첨부된 연구동향 문서의 2025년 1월–2026년 9월 6일 범위를 그대로 유지하면서, 그 변화의 논리를 하나의 Closed-Loop AGI Architecture로 재구성한다.
Evidence boundary
본문의 논문·수치·평가 주장과 URL은 첨부 자료에 보고된 내용을 기준으로 한다. “종합적 정의”, capability equation, Closed-Loop AGI Architecture, 우선 연구축은 여러 문헌을 연결해 설명하기 위한 종합적 해석이며 특정 한 논문의 공식 정의나 공식 수식이 아니다.
\[\boxed{\text{Static Foundation Model}\;\longrightarrow\;\text{Adaptive General Agent}}\]
\[\text{Knowledge}\rightarrow\text{Reasoning}\rightarrow\text{Learning}\rightarrow\text{World Modeling}\rightarrow\text{Planning}\rightarrow\text{Action}\rightarrow\text{Feedback}\rightarrow\text{Self-Improvement}\]
Part I · Definition & Problem
AGI를 “느낌”이 아니라 측정 가능한 연구대상으로 바꾸려는 시도
정의 경쟁은 심리측정적 능력, 새로운 문제에 대한 적응, 장기 자율 행동이라는 세 축을 중심으로 수렴하고 있다.
§1 · Three views of AGI
Psychometric, Adaptive, Agentic AGI
AGI에는 아직 단일 합의 정의가 없다. 2025년 A Definition of AGI는 “잘 교육받은 성인” 수준의 cognitive versatility와 proficiency를 조작적 기준으로 제시하고, Cattell–Horn–Carroll 이론을 이용해 추론·기억·지각 등을 포함한 10개 인지영역을 평가한다. 중요한 메시지는 현존 AI가 균일하게 강해지는 것이 아니라 jagged cognitive profile을 보인다는 점이다.
ARC-AGI 계열은 지식량보다 fluid adaptive intelligence에 무게를 둔다. ARC-AGI-2는 처음 보는 추상문제에서 규칙을 발견하고 few-shot으로 일반화하는 능력을, ARC-AGI-3는 탐색 → 환경 모델링 → 목표 발견 → 계획 → 행동 → 피드백 수정을 요구한다. Google DeepMind의 2025 AGI safety 논문은 실용적으로 “대부분의 인지적 과업에서 적어도 인간만큼 유능한 AI”라는 관점을 취한다.
Adaptive AGI
처음 보는 문제·환경에서 새로운 규칙을 얼마나 빠르고 효율적으로 획득하는가를 본다.
Agentic AGI
장기 목표 아래 세계를 탐색하고 계획·도구사용·행동·회복을 자율적으로 수행하는가를 본다.
AGI는 사전에 정해진 문제 집합에 국한되지 않고, 새로운 환경에서 지식을 획득하고 세계모델을 형성하며 추론·기억·계획·도구 사용을 결합해 목표를 달성하고, 경험으로부터 지속적으로 자신을 개선하면서도 안전성과 신뢰성을 유지하는 범용 적응 지능 시스템으로 볼 수 있다.
2025–2026 literature synthesis in the source§2 · Problem definition
핵심은 규모가 아니라 capability acquisition과 reuse다
최근 연구가 실제로 묻는 질문은 “LLM의 파라미터를 얼마나 크게 만들 것인가?”가 아니다. 더 정확한 질문은 open-ended environment에서 새로운 capability를 얼마나 효율적으로 획득하고 재사용할 수 있는가이다.
\[\boxed{\text{How can an AI acquire and reuse new capabilities efficiently in open-ended environments?}}\]
\[\boxed{\text{...while remaining reliable, controllable and aligned.}}\]
ARC-AGI-2가 knowledge retrieval과 fluid reasoning을 분리하려는 이유도 여기에 있다. ARC Prize 2025 기술보고서는 단순 scale 증가보다 task-specific refinement loop와 test-time adaptation의 중요성이 커졌다고 해석한다.
§3 · Time horizon
한 문제의 정답보다 긴 작업을 끝까지 완수하는 능력
Kwa 등의 연구는 AI가 성공적으로 수행할 수 있는 과제를 인간의 작업시간으로 환산한 50%-task-completion time horizon을 제안했다. 이 관점에서 AGI는 한 번의 응답 정확도가 아니라 얼마나 긴 작업연쇄를 오류 없이 또는 오류를 복구하면서 끝낼 수 있는가로 평가된다.
AGI는 “얼마나 많이 아는가”에서 “얼마나 오랫동안 배우고 행동하며 실패를 복구할 수 있는가”로 평가축이 이동하고 있다.
Part II · Core Concepts & Motivation
AGI는 단일 알고리즘이 아니라 병목이 곱해지는 시스템 문제다
Generality 하나가 강해도 memory, world model, agency, lifelong learning, reliability, safety 중 하나가 거의 0이면 실제 범용 시스템은 무너진다.
§4 · Capability map
AGI를 구성하는 12개 핵심 능력
| Capability | Meaning | Representative research |
|---|---|---|
| Generality | 서로 다른 영역 사이에서 능력을 이전 | A Definition of AGI |
| Fluid Intelligence | 처음 보는 문제의 규칙 발견 | ARC-AGI-2 |
| Exploration | 정보가 부족한 환경을 능동적으로 탐색 | ARC-AGI-3 |
| World Modeling | 환경 상태와 변화법칙을 내부적으로 모델링 | V-JEPA 2, World Models Roadmap |
| Reasoning | 다단계 논리·수학·코딩 문제해결 | Foundation Model Reasoning research |
| Memory | 장기 경험과 사실의 저장·검색·수정 | MemoryBench |
| Lifelong Learning | 배치 재학습 없이 지속적으로 능력 축적 | LifelongAgentBench |
| Agency | 목표 분해와 도구사용을 통한 행동 | PaperBench, long-task benchmarks |
| Self-Improvement | model·prompt·memory·code·agent 구조 개선 | Gödel Agent, Darwin Gödel Machine |
| Open-ended Learning | 고정 curriculum 밖에서 새로운 능력 발견 | Absolute Zero, DGM |
| Metacognition | 실패·불확실성을 인식하고 수정 | refinement / self-critique research |
| Alignment | 강한 능력을 인간 의도와 안전조건 안에 유지 | AGI Safety, Superalignment |
§5 · Capability equation
약한 고리 하나가 전체 시스템을 제한한다
\[\boxed{AGI\approx G\times A\times M\times W\times P\times L\times R\times S}\]
G
Generality
A
Adaptation
M
Memory
W
World Modeling
P
Planning / Agency
L
Lifelong Learning
R
Reliability
S
Safety / Alignment
이 수식은 특정 논문의 공식 모델이 아니라 설명을 위한 종합식이다. 곱셈으로 쓴 이유는 어느 한 능력이 거의 0이면 다른 능력이 아무리 강해도 실제 AGI로 기능하기 어렵다는 직관을 표현하기 위해서다.
§6 · 2025–2026 transition
Scaling question에서 general-agent conversion question으로
2022–2024년의 대표 질문이 “LLM scaling으로 어디까지 갈 수 있는가?”였다면, 2025–2026년에는 “scaling으로 얻은 foundation model을 어떻게 학습하고 행동하는 general agent로 전환할 것인가?”가 중심에 놓인다.
Humanity's Last Exam은 기존 benchmark saturation 문제를 겨냥해 2,500개의 다분야·멀티모달 고난도 문제로 frontier academic knowledge와 전문 reasoning을 평가한다. 그러나 HLE 하나로 AGI 전체를 재지는 못한다. ARC-AGI-2는 novel abstraction, ARC-AGI-3는 interactive adaptation, PaperBench는 AI 연구 재현, LifelongAgentBench는 경험 축적과 미래 성능 향상을 본다. 즉 AGI 평가는 static QA에서 life-cycle evaluation으로 이동하고 있다.
§7 · Why AGI?
인간 지능은 정적 함수가 아니라 계속 갱신되는 과정이다
Observe관찰
→
Hypothesize가설
→
Act행동
→
Fail / Succeed실패·성공
→
Revise수정
→
Remember기억
→
Generalize일반화
현재 LLM은 대규모 사전학습으로 방대한 지식을 압축하지만, 배포 뒤 환경이 바뀌었을 때 새로운 사실과 기술을 안정적으로 축적하고 기존 belief를 갱신하는 능력은 상대적으로 약하다. Lifelong learning과 MemoryBench가 이 간극을 겨냥한다.
또 다른 동기는 human-curated data와 curriculum의 확장성 한계다. Absolute Zero는 모델이 스스로 학습문제를 제안하고 검증하는 self-play를 시도한다. 더 나아가 PaperBench, AI Scientist-v2, AlphaEvolve, Darwin Gödel Machine은 AI가 AI 연구 자체를 가속하는 Automated AI R&D의 가능성과 위험을 동시에 드러낸다.
Part III · Evaluation, Challenges & Research Questions
평균 점수는 AGI를 설명하기에 너무 압축되어 있다
Jagged intelligence, contamination, long-horizon compounding error, memory revision, causal grounding, self-improvement stability, scalable oversight가 서로 다른 평가축을 요구한다.
§8 · Evaluation landscape
하나의 benchmark가 아니라 capability battery가 필요하다
| Evaluation | What it primarily probes | Why it matters for AGI |
|---|---|---|
| Humanity's Last Exam | 고난도 다분야·멀티모달 지식과 전문 추론 | frontier academic knowledge/reasoning |
| ARC-AGI-2 | 새 추상 규칙 발견과 few-shot 일반화 | fluid adaptive intelligence |
| ARC-AGI-3 | 탐색·환경 모델링·goal discovery·planning·action | interactive agentic intelligence |
| Long-task / time-horizon | 긴 작업연쇄의 지속적 성공 | autonomy와 reliability |
| PaperBench | AI 연구 재현·구현·실험 | economically/scientifically useful agency |
| LifelongAgentBench | 경험 축적·skill learning·transfer | lifelong adaptation |
| MemoryBench | service-time memory와 continual learning | 지속적 memory update |
| Safety evaluations | misuse·misalignment·oversight | capability–safety co-evolution |
§9 · Eight challenges
AGI를 막는 병목은 정확도보다 시스템 실패모드에 가깝다
Jagged Intelligence
강점과 약점의 비정상적 조합
수학·코딩에서는 강하지만 새로운 추상문제나 장기기억에서 크게 실패할 수 있어 평균 benchmark score가 실체를 가린다.
Contamination
memorization과 generalization의 혼동
공개 benchmark가 학습생태계에 유입되면 knowledge-dependent overfitting과 saturation이 발생한다.
Long Horizon
오류가 단계마다 누적된다
10단계 각각 성공률이 95%라는 단순 독립가정에서도 전체 성공률은 약 60%로 떨어진다. error detection, recovery, replanning, checkpointing이 필수다.
Lifelong Learning
새 능력을 배우면서 기존 능력을 잃지 않기
experience replay조차 불필요한 정보와 context limitation 때문에 충분하지 않을 수 있다.
Memory Revision
저장보다 수정이 더 어렵다
새 evidence가 들어오면 belief를 수정하고 오래된 정보는 폐기하며 provenance와 conflict를 관리해야 한다.
World Grounding
언어 밖의 물리세계와 causal structure
V-JEPA 2와 world-model roadmap은 physical prediction과 planning을 AGI 구성요소로 끌어들인다.
Self-Improvement
개선이 정말 generality를 높이는가
특정 benchmark overfitting, safety property 붕괴, evaluator exploitation을 구분해야 한다. DGM도 sandbox와 human oversight를 사용했다.
Scalable Oversight
약한 감독자가 강한 모델을 어떻게 검증하는가
weak supervisor–strong model problem과 weak-to-strong deception 가능성이 AGI/ASI alignment의 핵심 난제로 남는다.
\[0.95^{10}\approx0.60\]
단일 응답 정확도가 높아도 long-horizon system reliability는 급격히 무너질 수 있다.
§10 · Research questions
2025–2026 AGI 연구를 관통하는 9개 질문
Definition. AGI를 인간의 어떤 능력과 비교하고, 하나의 숫자가 아닌 다차원 capability profile로 어떻게 정의할 것인가?
Generalization. 학습에서 보지 못한 문제에서 기존 지식을 최소한으로 사용해 새로운 규칙을 얼마나 빠르게 발견할 것인가?
Learning Efficiency. brute-force search나 막대한 test-time compute가 아니라 인간에 가까운 적응 효율을 어떻게 달성할 것인가?
Lifelong Learning. catastrophic forgetting 없이 경험을 축적하려면 memory와 model update를 어떻게 결합해야 하는가?
World Models. raw multimodal observation에서 causal하고 predictive한 내부 세계모델을 어떻게 학습할 것인가?
Agency. 명확한 instruction이 없는 상황에서 어떻게 탐색하고 목표를 발견하며 행동을 계획할 것인가?
Self-Improvement. prompt, memory, tool, code, architecture를 스스로 바꾸면서 실제 generalization까지 향상시킬 수 있는가?
Metacognition. knowledge boundary와 uncertainty를 인식해 멈추거나 추가 evidence를 찾게 할 수 있는가?
Safety. 인간보다 강한 AI를 어떻게 감독하고 self-improvement 중에도 safety invariant를 유지할 것인가?
Part IV · Approaches & Methods
AGI 방법론은 한 번의 추론보다 반복적 검증·학습·수정으로 이동한다
Test-time refinement, verifiable RL, agentic search, lifelong memory, world models, self-modification, evaluator-guided evolution이 공통적으로 loop를 중심 구조로 가진다.
§11 · Scaling + Test-Time Reasoning
추론 시점에 search–critique–refinement를 반복한다
Problem입력 문제
→
Candidate후보 생성
→
Evaluate평가
→
Critique오류 분석
→
Refine후보 수정
→
Candidate′개선 결과
ARC Prize 2025 분석에서 refinement loop는 단순 scaling과 구분되는 중요한 패턴으로 부상한다.
§12 · RL with Verifiable Rewards
Absolute Zero: curriculum까지 스스로 만든다
\[\text{Propose Problem}\rightarrow\text{Solve}\rightarrow\text{Verify}\rightarrow\text{Learn}\]
수학·코드처럼 결과 검증이 가능한 영역에서는 RL with verifiable rewards가 강력하다. Absolute Zero는 외부에서 계속 문제를 공급받는 대신 모델이 스스로 reasoning task를 생성·검증하며 curriculum을 확장한다.
§13 · Agentic Search & Multi-Agent
하나의 reasoning path가 아니라 후보 연구경로를 탐색한다
AI co-scientist는 generate–debate–evolve 구조로 과학 가설을 발전시키고, AI Scientist-v2는 agentic tree search를 사용해 과학 연구과정의 후보 경로를 탐색한다. 이 흐름은 agentic reasoning을 정답생성보다 search over plans and hypotheses의 문제로 바꾼다.
§14 · Lifelong Agent Architecture
Perception–Memory–Action이 배포 이후에도 계속 돈다
\[\text{Observation}\rightarrow\text{Perception}\rightarrow\text{Memory Retrieval}\rightarrow\text{Reasoning}\rightarrow\text{Action}\rightarrow\text{Feedback}\rightarrow\text{Memory Update}\]
이 구조에서 foundation model은 고정된 두뇌가 아니라 perception, memory, tools, environment와 결합된 지속적으로 변화하는 agent system의 한 구성요소가 된다.
§15 · World Model
행동 전에 내부에서 미래 상태를 예측한다
\[s_t,a_t\rightarrow\hat{s}_{t+1}\]
\[\text{World Model}+\text{Planner}+\text{Agent}+\text{Evaluator}\]
2026 world-model roadmap은 이러한 hybrid architecture를 Physical AGI의 경로로 제시한다. 핵심은 language model을 넘어 physical/causal state prediction을 내부 모델로 분리하는 것이다.
§16 · Recursive / Evolutionary Self-Improvement
개선 대상이 weight에서 scaffold 전체로 확장된다
Gödel Agent는 agent logic 자체를 수정하고, Darwin Gödel Machine은 여러 변형 agent를 archive에 유지하며 open-ended evolutionary search를 수행한다. 2026 survey는 self-improvement를 foundation model 자체의 개선과 prompt·memory·tool·control logic 같은 scaffold 개선으로 나눠 본다.
§17 · Evaluator-Guided Discovery
AlphaEvolve의 핵심은 생성이 아니라 평가 루프다
\[\text{Generate}\rightarrow\text{Execute}\rightarrow\text{Evaluate}\rightarrow\text{Select}\rightarrow\text{Mutate}\rightarrow\text{Repeat}\]
자동 evaluator가 존재할수록 open-ended improvement를 실제 성능 신호와 연결하기 쉬워진다. 이 패턴은 AGI self-improvement와 AI4Science 모두에서 중요하다.
Part V · Key Applications
AGI의 실증적 시험장은 추상 benchmark보다 긴 폐루프 업무가 되고 있다
Scientific discovery, automated AI research, algorithm discovery, software engineering, robotics는 지식·행동·검증·수정이 함께 필요한 영역이다.
§18 · Scientific Discovery
AI Assistant에서 closed-loop AI Scientist로
2025 AI co-scientist는 drug repurposing, novel target discovery, antimicrobial resistance 등에서 가설 생성과 실험검증의 연결을 시도했다. 2026 Nature의 Robin은 literature search agent와 data-analysis agent를 결합해 가설 생성, 실험 제안, 실험결과 해석, 가설 갱신까지 연결한다.
\[\text{Literature}\rightarrow\text{Hypothesis}\rightarrow\text{Experiment}\rightarrow\text{Observation}\rightarrow\text{Analysis}\rightarrow\text{Revision}\rightarrow\text{New Hypothesis}\]
장기간 이 loop를 반복하는 Autonomous AI Scientist는 AGI의 가장 강력한 실증적 시험장 후보로 볼 수 있다.
§19 · Automated AI Research
AI가 AI 논문과 실험을 재현하고 개선하는가
PaperBench와 AI Scientist-v2는 논문 이해, 코드 구현, 실험, 분석을 AI가 얼마나 자율적으로 수행하는지를 측정한다. 이는 단순 coding assistant를 넘어 AI researcher / AI engineer agent로 이어진다.
§20 · Mathematics & Algorithms
Evaluator가 있는 곳에서 algorithm discovery가 열린다
AlphaEvolve는 evolutionary evaluator loop를 이용해 새로운 알고리즘과 시스템 최적화를 발견한다. 이 사례는 “인간이 모든 후보를 평가해야 한다”는 병목을 자동 평가로 낮춘다.
§21 · Software Engineering
Benchmark intelligence와 economically useful autonomy 사이
SWE-Lancer와 long-task benchmark는 실제 경제적 가치가 있는 복잡한 소프트웨어 업무를 대상으로, 단일 문제정답이 아닌 작업 완수율과 장기 자율성을 평가한다.
§22 · Robotics & Physical Intelligence
Language-only AGI에서 embodied/physical AGI로
V-JEPA 2와 world-model 연구는 internet-scale video self-supervision을 physical prediction과 robot planning으로 연결한다. 언어모델은 knowledge interface, world model은 physical/causal state prediction, planner와 agent는 실제 행동을 담당하는 hybrid 구조가 부상한다.
Part VI · Open Problems
가장 어려운 문제는 AGI를 만드는 것만이 아니라 AGI임을 반증 가능하게 검증하는 것이다
Metric, generalization, memory trust, evaluator objective, causal world models, scalable oversight가 미해결 상태다.
§23 · Six unresolved questions
현재 AGI 연구의 검증 병목
1 · Incomplete AGI metric
HLE, ARC-AGI, PaperBench, long-task, MemoryBench 어느 하나도 AGI 전체를 평가하지 못한다.
2 · Generalization vs Memorization
공개 benchmark는 시간이 지나며 학습생태계에 흡수되어 독립 generalization 측정력이 약해진다.
3 · Trustworthy Long-Term Memory
잘못된 memory 하나가 반복 재사용되면 장기 belief system 전체를 오염시킬 수 있다.
4 · Improve What?
benchmark accuracy, generality, safety, efficiency 중 어떤 objective를 최적화하느냐에 따라 self-improving system의 방향이 달라진다.
5 · Causal World Models
next-frame correlation만으로 counterfactual reasoning과 intervention planning에 충분한 causal structure를 얻는지 불분명하다.
6 · Scalable Oversight
인간보다 강한 AI의 판단을 인간보다 약한 evaluator가 어떻게 검증할 것인지가 alignment의 핵심 난제다.
\[\text{Improve what?}\]
Self-improvement는 “더 좋아짐”이 아니라 어떤 평가함수 아래에서 무엇이 좋아졌는지를 명시해야 연구가 된다.
Part VII · Future Directions & Synthesis
미래의 AGI 연구는 모델 중심에서 폐루프 시스템 중심으로 이동한다
2025–2026 문헌은 benchmark suite, lifelong learning, interactive intelligence, world models, self-generated curriculum, self-evolving agents, autonomous science, safety co-evolution으로 수렴한다.
§24 · Nine transitions
향후 AGI 연구의 9개 방향전환
1 · Benchmark → Suite
Single AGI Benchmark → AGI Evaluation Suite
Knowledge, fluid reasoning, memory, learning, agency, world model, research, safety를 다차원 battery로 결합해야 한다.
2 · Model → System
Model-Centric AGI → System-Centric AGI
Foundation Model + Memory + World Model + Planner + Tools + Agents + Evaluator가 실제 연구단위가 된다.
3 · Pretrain → Lifelong
Train → Deploy에서 Experience → Learn → Update가 포함된 지속 배포로
Lifelong learning은 배포 후에도 능력과 memory를 갱신하는 체계를 겨냥한다.
4 · Reasoning → Interactive
정답을 찾는 문제에서 무엇을 관찰하고 실험할지 결정하는 문제로
ARC-AGI-3는 목표가 주어지지 않은 새로운 세계에서 exploration과 goal discovery까지 요구한다.
5 · LLM → World Model
Language Model + Multimodal Perception + World Model + Agent
Physical AGI를 위해 language interface와 physical/causal prediction을 분업하는 hybrid architecture가 중요해진다.
6 · Consume → Generate
Human-Curated Learning → Self-Generated Learning
Absolute Zero, AlphaEvolve, DGM은 AI가 curriculum을 소비하는 시스템에서 스스로 curriculum과 candidate를 생산하는 시스템으로 이동한다.
7 · Fixed → Evolving
Fixed Agents → Self-Evolving Agents
prompt, memory organization, tool selection, planning algorithm, verification strategy, source code, multi-agent topology까지 변경대상이 된다.
8 · Assistant → Scientist
AI Assistant → Autonomous AI Scientist
literature–hypothesis–experiment–observation–revision loop를 장기간 자율적으로 반복하는 능력이 중요한 시험장이 된다.
9 · Scale → Co-evolve
Capability Scaling → Capability–Safety Co-evolution
misuse, misalignment, mistakes, structural risk를 구분하고 monitoring, access control, interpretability, uncertainty estimation을 defense-in-depth로 결합한다.
§25 · Evaluation suite
AGI는 하나의 숫자가 아니라 capability vector다
\[\text{AGI Evaluation}=\{\text{Knowledge},\text{Fluid Reasoning},\text{Memory},\text{Learning},\text{Agency},\text{World Model},\text{Research},\text{Safety}\}\]
HLE + ARC-AGI-2/3 + Long-Horizon Tasks + PaperBench + LifelongAgentBench + Safety evaluations의 조합은 이러한 다차원 평가 방향을 보여준다.
§26 · System-centric AGI
AGI Model보다 AGI Architecture라는 표현이 더 정확해진다
\[\boxed{\text{Foundation Model}+\text{Memory}+\text{World Model}+\text{Planner}+\text{Tools}+\text{Agents}+\text{Evaluator}}\]
\[\text{Train}\rightarrow\text{Deploy}\rightarrow\text{Experience}\rightarrow\text{Learn}\rightarrow\text{Update}\rightarrow\text{Deploy}\]
모델 weight는 시스템의 중심이지만 시스템 전체와 동일하지 않다. 최근 문헌을 하나의 구조로 묶으면, foundation model은 cognition substrate이고 memory는 경험을 유지하며 world model은 환경을 예측하고 planner/tools/agents는 행동을 만들며 evaluator가 학습과 개선을 닫는다.
§27 · Safe self-improvement
Recursive Self-Improvement보다 Safe Recursive Self-Improvement
\[\boxed{\text{Safe Recursive Self-Improvement}}\]
미래 self-evolving agents는 prompt, memory organization, tool selection, planning algorithm, verification strategy, source code, multi-agent topology까지 스스로 바꿀 수 있다. 그러나 평가 objective와 safety invariant가 함께 설계되지 않으면 “더 좋은 agent”가 아니라 benchmark exploit이나 위험한 specialization을 만들 수 있다.
§28 · Capability–Safety objective
목표함수 자체가 다목적 최적화가 된다
\[\max_{\theta}\left[\text{General Capability}+\text{Adaptability}+\text{Reliability}+\text{Alignment}\right]\]
따라서 미래 AGI 연구는 단순한 \(\max \text{Intelligence}\)가 아니라 capability와 adaptability를 높이면서 reliability와 alignment를 함께 유지하는 문제로 보는 것이 더 적절하다.
§29 · Final synthesis
“어떤 LLM이 AGI인가?”보다 더 좋은 질문
AGI 연구는 “모든 문제에 답하는 모델”에서 “처음 보는 세계에서 스스로 배우고, 탐색하고, 기억하고, 계획하고, 행동하고, 실패를 수정하며, 자신의 학습 방식까지 개선하면서도 안전성을 유지하는 시스템”을 만드는 연구로 이동하고 있다.
Synthesis of the 2025–2026 source corpus\[\boxed{\text{Does the system exhibit general, adaptive, lifelong, agentic, grounded, self-improving and safely controllable intelligence?}}\]
§30 · Priority research axes
2026년 시점에서 특히 주목할 8개 축
01Interactive Fluid Intelligence
→
02Lifelong Learning & Memory
→
03World Models
→
04Long-Horizon Agentic Reasoning
→
05Self-Improving Agents
→
06Autonomous Scientific Discovery
→
07Metacognition & Uncertainty
→
08Scalable Oversight / AGI Safety
이 8개를 서로 독립된 분야로 보는 것보다 하나의 Closed-Loop AGI Architecture로 연결하는 것이 향후 가장 중요한 연구 방향이라는 것이 첨부 자료의 최종 판단이다.
Falsifiable AGI Evaluation
AGI임을 주장하는 시스템을 다차원·동적·반증가능한 protocol로 평가한다.
Interactive Agentic Intelligence
goal discovery, exploration, test-time adaptation, long-horizon recovery를 결합한다.
Lifelong Self-Improving AGI
memory와 model/scaffold update를 결합해 continual capability acquisition을 다룬다.
World-Model-based Physical AGI
multimodal perception, predictive/causal world model, planner, embodied action을 연결한다.
Autonomous AI Scientist
문헌–가설–실험–관측–분석–belief revision의 과학 폐루프를 장기 실행한다.
Safe Recursive Self-Improvement
self-modification 중 generality, reliability, safety invariant를 동시에 추적한다.
References
Core Papers and Source URLs
아래 27개 링크는 첨부 파일에 수록된 출처 목록을 그대로 기반으로 정리했다.
01
A Definition of AGI
AGI를 well-educated adult 수준의 cognitive versatility와 proficiency로 조작화하고 jagged cognitive profile을 강조한다.
02
ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems
지식 회상보다 새로운 추상 규칙 발견과 novel-task adaptation을 평가한다.
03
An Approach to Technical AGI Safety and Security
misuse, misalignment, mistakes, structural risk와 system-level defense-in-depth를 다룬다.
04
Measuring AI Ability to Complete Long Tasks
50%-task-completion time horizon으로 장기 autonomy와 reliability를 측정하는 방향을 제시한다.
05
Lifelong Learning of Large Language Model Based Agents: A Roadmap
Perception–Memory–Action과 지속적 경험축적을 AGI agent architecture의 핵심으로 다룬다.
06
Humanity's Last Exam
2,500개의 다분야·멀티모달 고난도 문제로 frontier academic knowledge/reasoning을 평가한다.
07
Absolute Zero: Reinforced Self-play Reasoning with Zero Data
외부 문제공급 없이 propose–solve–verify–learn의 self-play reasoning curriculum을 만든다.
08
PaperBench: Evaluating AI's Ability to Replicate AI Research
AI가 논문을 이해하고 연구 코드를 구현·재현하는 능력을 평가한다.
09
ARC Prize 2025: Technical Report
refinement loop, test-time adaptation, contamination과 overfitting 문제를 논의한다.
10
LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners
experience accumulation, continual skill learning과 transfer를 평가한다.
11
MemoryBench: A Benchmark for Memory and Continual Learning in LLM Systems
long-context QA를 넘어 service-time memory와 누적 feedback을 이용한 continual learning을 본다.
12
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
video self-supervision과 robot interaction을 물리 예측·계획으로 연결한다.
13
Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents
agent 변형을 archive로 유지하면서 evolutionary search로 self-improvement를 탐색한다.
14
Super(ficial)-alignment: Strong Models May Deceive Weak Models in Weak-to-Strong Generalization
weak supervisor–strong model setting에서 deception 가능성을 제기한다.
15
ARC-AGI-2
인간에 가까운 fluid reasoning과 adaptation efficiency를 평가하는 공개 benchmark context다.
16
Towards an AI Co-Scientist
generate–debate–evolve 방식의 multi-agent scientific hypothesis discovery를 다룬다.
17
A Definition and Roadmap for World Models
world model을 physical AGI의 핵심 구성요소로 연결하는 roadmap을 제시한다.
18
Gödel Agent: A Self-Referential Agent Framework for Recursively Self-Improvement
agent가 자신의 logic을 수정하는 self-referential improvement framework를 탐색한다.
19
AlphaEvolve: A Coding Agent for Scientific and Algorithmic Discovery
generate–execute–evaluate–select–mutate loop를 통해 알고리즘과 시스템 최적화를 발견한다.
20
A Multi-Agent System for Automating Scientific Discovery
literature search와 data analysis agent를 결합해 과학적 가설–실험–해석–수정 폐루프를 연결한다.
21
PaperBench: Evaluating AI’s Ability to Replicate AI Research
PaperBench의 proceedings source로 AI research replication evaluation을 제공한다.
22
Introducing the SWE-Lancer Benchmark
실제 경제적 가치가 있는 software engineering task에서 AI autonomy를 평가한다.
23
The Superalignment of Superhuman Intelligence with Large Language Models
superhuman model에 대한 weak-to-strong alignment와 scalable oversight 문제를 다룬다.
24
Lifelong Learning of Large Language Model Based Agents: A Roadmap
Train–Deploy에서 Experience–Learn–Update가 포함된 지속학습 패러다임으로의 전환을 뒷받침한다.
25
ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence
exploration, goal discovery, world modeling, planning, action을 포함한 interactive benchmark 방향을 제시한다.
26
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
world-model-based Physical AGI 논의에서 language-only intelligence를 넘어선 grounding 사례로 활용된다.
27
Self-Improvements in Modern Agentic Systems: A Survey
model weight와 scaffold-level self-improvement를 구분하며 prompt, memory, tools, control logic, code의 변화까지 taxonomy화한다.