새로운 문제를 푸는 AI에서
스스로 배우는 법을 바꾸는 AI로

Meta-Learning은 무엇을 학습하는가

전통적인 Meta-Learning은 여러 task에서 얻은 transferable knowledge를 이용하여 새로운 task에 적은 데이터로 빠르게 적응하는 학습 패러다임이다. Task \(\mathcal T\sim p(\mathcal T)\)가 주어졌을 때, meta-learner는 새로운 task의 데이터 \(D_{\mathcal T}\)를 받아 learner를 어떻게 갱신할지 학습한다.

여기서 \(\theta\)는 현재 모델, \(U_\phi\)는 적응 연산자, \(\phi\)는 “어떻게 학습할 것인가”를 결정하는 meta-knowledge이다. 2026년 Hoppmann과 Scholz의 survey는 이 계보를 meta-RL과 generalist adaptive agent까지 연결한다.

그러나 Foundation Model과 Agent 시대에는 가중치만 바뀌는 것이 학습이 아니다. 현대 Agent를 다음과 같이 볼 수 있다.

• \(\theta\): model parameters
• \(M\): episodic·semantic memory
• \(P\): prompts와 instructions
• \(\Pi\): policy와 planner
• \(\mathcal K\): knowledge/world model
• \(\mathcal U\): tool repertoire와 tool-selection policy
• \(C\): agent control logic와 scaffold

따라서 현대적 Meta-Learning은 경험 \(E_t\)와 feedback \(F_t\)를 받아 다음 Agent 상태를 만드는 연산으로 해석할 수 있다.

2026년 self-improving agent survey도 foundation model과 prompt, memory, tools, control logic의 결합을 하나의 adaptive system으로 보고, self-improvement를 model parameter 또는 scaffold를 갱신하는 self-induced update operator로 정식화한다.

AGI의 Meta-Learning은 “새 task를 빨리 푼다”보다 넓다

AGI 관점의 문제는 낯선 task나 environment \(\mathcal T\), 제한된 경험 \(E\), 계산·시간 budget \(B\) 아래에서 미래 성능을 빠르게 높이면서 기존 능력을 보존하고, 학습된 전략을 이후 task로 전이하는 adaptation strategy \(U\)를 찾는 것이다.

여기에 AGI 특유의 세 조건이 추가된다. 첫째, task 자체가 미리 정의되지 않을 수 있다. 둘째, 무엇을 업데이트할지도 시스템이 선택해야 한다. 셋째, 단기 적응이 장기적인 intelligence improvement로 누적되어야 한다.

핵심 질문은 “How to update?”에서 “What to change?”로 이동한다

전통 Meta-Learning이 주로 어떻게 weight를 업데이트할 것인가를 물었다면, 현대 Agentic Meta-Learning은 무엇을, 언제, 왜, 어떤 방식으로 바꿀 것인가를 묻는다.

Agent 상태 \(S=\{\theta,M,P,K,T,C\}\)가 있을 때 meta-controller는 현재 experience와 uncertainty를 바탕으로 reasoning을 더 할지, retrieval을 할지, 실험할지, memory를 갱신할지, fine-tune할지, tool이나 planner를 바꿀지 선택해야 한다.

Context는 단순 입력이 아니라 임시 학습 공간이 된다

In-context learning에서는 test 시점에 parameter를 바꾸지 않더라도 demonstrations를 통해 새로운 task에 적응한다. 2025년 Wakayama와 Suzuki는 ICL을 meta-learning framework에서 분석하고, Transformer가 pretraining 중 meta-algorithm을 획득한 뒤 context를 통해 true task의 최적 알고리즘에 빠르게 접근하는 이론적 관점을 제시했다. Braccaioli 등은 여러 작고 domain-specific한 dataset을 이용한 meta-training으로 unseen domain의 in-context generalization을 개선하는 방향을 연구했다.

이 관점의 핵심은 ICL을 prompt trick이 아니라 latent task identification과 fast adaptation으로 보는 데 있다.

Deployment 이후에도 학습은 끝나지 않는다

ICML 2025의 Test-Time Learning for Large Language Models는 unlabeled test data를 이용해 LLM을 test 시점에 동적으로 적응시키는 TLM을 제안한다. 입력 perplexity를 self-supervised signal로 활용하고, 높은 perplexity sample을 선택하며, LoRA로 forgetting을 완화한다. 논문은 AdaptEval에서 original LLM 대비 domain knowledge adaptation 성능이 최소 20% 향상되었다고 보고한다.

또 다른 2025년 연구는 test-time learning ability 자체를 intelligence 평가 대상으로 제안했다. 인간과 비교한 semantic game 실험에서 LLM도 경험을 통해 개선되었지만, cumulative experience에서 개선이 덜 안정적이고 인간보다 느렸다. 이는 static benchmark 점수와 실제 learning ability가 같은 개념이 아님을 보여준다.

SEAL — 모델이 자신의 학습 데이터를 만든다

NeurIPS 2025의 SEAL(Self-Adapting Language Models)은 모델이 자신의 학습 경험을 만드는 쪽으로 Meta-Learning을 확장한다. 중요한 변화는 답을 생성하는 모델이 아니라, 자신에게 어떤 학습 경험을 주어야 더 좋아지는지 생성하는 모델이라는 점이다.

SOAR — Search의 흔적이 다음 Search를 가르친다

ICML 2025의 SOAR는 evolutionary search와 hindsight learning을 번갈아 수행한다. LLM이 후보 program을 생성·수정하고, search trace에서 valid problem–solution pair를 만들어 다시 fine-tune한다. 이렇게 개선된 모델이 다음 search를 수행한다.

SOAR는 ARC-AGI public test set의 52%를 해결했다고 보고한다. 여기서 중요한 것은 단일 attempt의 정답률보다 search 중 얻은 경험이 다음 iteration의 생성·수정 능력으로 환류된다는 구조이다.

ARC Prize 2025 — reasoning은 반복적 adaptation process가 된다

ARC Prize 2025 Technical Report는 2025년의 defining theme로 refinement loop를 지목한다. Candidate를 만들고, feedback으로 평가하고, 이를 다시 수정하는 per-task iterative optimization이 상위 접근들의 공통 패턴으로 나타났다는 것이다.

한 번의 forward pass가 아니라 시도–평가–수정의 구조가 reasoning의 일부가 된다. 이것은 test-time search와 meta-learning의 경계를 흐린다.

ARC-AGI-3 — 정적 추론에서 상호작용적 skill acquisition으로

2026년 ARC-AGI-3는 instruction 없이 novel, abstract, turn-based environment를 탐색하게 한다. Agent는 exploration, goal inference, environment dynamics의 internal model 형성, planning과 action sequence 실행을 수행해야 한다. Technical report는 human test-taker가 모든 environment를 해결한 반면 2026년 3월 당시 frontier AI는 1% 미만의 점수를 기록했다고 보고한다.

여기서 AGI 평가는 “정답을 아는가”가 아니라 처음 보는 세계에서 얼마나 효율적으로 배워 행동을 바꾸는가로 이동한다.

행동은 보상만 얻는 수단이 아니라 “환경을 배우는 실험”이 된다

Meta-Reinforcement Learning에서 Agent는 단순히 어떤 행동이 높은 reward를 주는지 학습하는 데 그치지 않는다. Interaction history를 바탕으로 현재 환경이 어떤 task인지 추론하고, 새 환경에 더 빨리 적응하기 위한 learning policy를 학습한다.

여기서 \(H\)는 observation, action, reward가 누적된 interaction history이다. AGI 관점에서 중요한 질문은 “어떤 행동이 당장 좋은가?”보다 “이 환경을 더 빨리 이해하려면 무엇을 시도해야 하는가?”이다. 즉 exploitation과 exploration 사이의 문제를 넘어, exploration 자체를 학습하는 learning-to-explore 문제가 된다.

2026년 Hierarchical Meta-Reinforcement Learning은 task representation, task-agnostic macro-action, primitive action의 세 계층을 두어 복잡한 multi-task 환경의 빠른 적응을 다룬다. 이 연구가 AGI 자체를 입증하는 것은 아니지만, task 추론과 reusable temporal abstraction을 결합하려는 방향은 generalist adaptive agent에 중요한 설계 단서를 제공한다.

Gödel Agent와 Darwin Gödel Machine — 업데이트 공간이 code와 scaffold까지 넓어진다

ACL 2025의 Gödel Agent는 LLM이 high-level objective 아래 자신의 agent logic과 behavior를 동적으로 수정하도록 한다. Human-designed fixed pipeline이나 predefined meta-learning framework를 넘어 agent design space 자체를 탐색하려는 접근이다.

Darwin Gödel Machine(DGM)은 더 나아가 coding agent의 code를 반복적으로 수정하고 benchmark로 경험적으로 검증한다. 하나의 개선 경로만 좇지 않고 여러 agent의 archive를 유지하면서 open-ended search를 수행한다. 논문은 SWE-bench에서 20.0%→50.0%, Polyglot에서 14.2%→30.7%로 coding performance가 향상되었다고 보고한다.

빠르게 배우는 것과 오래 배우는 것은 다른 문제다

Meta-Learning이 “어떻게 빨리 배울 것인가”를 다룬다면 continual learning은 “새로운 것을 배우면서 어떻게 과거 능력을 유지할 것인가”를 다룬다. 2025년 ACM Computing Surveys의 두 survey는 foundation/large language model의 continual pretraining, adaptation, fine-tuning과 catastrophic forgetting을 체계화한다. 2026년 IEEE TPAMI의 lifelong LLM agent roadmap은 이를 perception, memory, action의 세 모듈로 정리하면서 AGI를 향한 continual adaptation의 중요성을 명시한다.

동시에 meta-cognition은 “내가 무엇을 모르는가?”와 “지금 더 배워야 하는가?”를 다룬다. 2026년 systematic review는 self-monitoring, uncertainty calibration, adaptive control, reflective reasoning을 AGI의 adaptive reasoning과 연결한다. Meta-Learning과 결합하면 다음과 같은 상위 제어 루프가 된다.

Meta-Controller와 Learning Router

통합형 구조에서 중요한 것은 모든 메커니즘을 한꺼번에 실행하는 것이 아니다. 현재 상태와 uncertainty를 보고 어떤 종류의 adaptation이 가장 높은 기대가치를 갖는지 선택해야 한다.

Meta-Controller는 “행동을 선택”하고 Learning Router는 “학습의 위치를 선택”한다. 두 기능을 분리하면 어떤 improvement가 어디에서 발생했는지 실험적으로 추적하기 쉬워진다.

처음 보는 문제인가, 이미 본 문제를 재생하는가

Foundation Model은 방대한 corpus로 pretraining되므로 benchmark task가 정말 unseen인지 확인하기 어렵다. ARC Prize 2025 report가 지적하듯 frontier reasoning의 성능은 knowledge coverage와 benchmark contamination 문제에서 자유롭지 않다. Memorized knowledge와 newly acquired skill을 분리하지 못하면 Meta-Learning을 측정할 수 없다.

더 많이 시도한 것인가, 실제로 전략이 달라진 것인가

많은 후보를 생성해 최선의 것을 고르는 brute-force search와, 실패를 분석해 내부 strategy를 바꾸고 이후 시도 전체를 개선하는 learning은 다르다. 따라서 같은 compute budget 아래에서 search-only baseline과 adaptation-enabled model을 분리해 비교해야 한다.

Task T1에서 배운 것이 T2의 학습 속도를 높이는가

Meta-Learning의 진짜 검증은 \(T_1\)에서 학습해 \(T_1\) 점수가 오른다는 데 있지 않다. 더 강한 test는 다음과 같다.

즉 평가 대상은 task performance가 아니라 learning-to-learn transfer이다.

실패를 기억하지 못하면 같은 실험을 반복한다

현재 self-improving system은 성공한 trajectory와 positive example을 활용하는 데 집중하는 경향이 있다. 그러나 AGI에는 failed hypothesis, invalid strategy, negative evidence, failed experiment도 장기 memory에 남아야 한다. 단순한 episodic storage를 넘어 “다시 시도하지 말아야 하는 조건”까지 표현할 필요가 있다.

새 evidence는 지식에 append되는 것이 아니라 기존 belief를 바꿔야 한다

Counter-evidence가 기존 belief와 충돌할 때 단순히 memory에 추가하는 것으로는 충분하지 않다. confidence를 낮추고, 조건을 분리하고, 잘못된 relation이나 policy를 철회해야 한다. 이 지점에서 Meta-Learning은 continual learning, epistemic reasoning, uncertainty calibration과 결합한다.

Inference-time adaptation에서 architecture-level self-improvement까지

AGI 관점에서 특히 중요한 연구주제 Top 5

2017–2026의 흐름을 한 줄로 읽기

Meta-Learning은 AGI의 “적응 엔진”에서 “폐쇄루프 지능”으로 확장된다

따라서 “Meta-Learning × AGI”를 MAML류의 빠른 파라미터 적응으로만 정의하면 현재의 연구지형을 놓친다. 더 적절한 관점은 reasoning → experience → learning → revision → better reasoning의 폐쇄루프를 어떻게 구성하고 검증할 것인가이다.

이 흐름을 연구주제로 더 밀어붙인다면 Falsifiable Continual Meta-Learning for Self-Improving Agentic AGI가 유망하다. 핵심은 self-improvement를 주장하는 것이 아니라, 새로운 문제에서 uncertainty → hypothesis → exploration → feedback → memory → belief revision → transfer가 실제로 발생했음을 검증할 수 있는 architecture와 benchmark를 함께 제안하는 것이다.