모델 확장에서 시스템 확장으로
가장 강한 에이전트는 모든 것을 기억하고 모든 모델과 도구를 호출하는 시스템이 아니라,
필요한 경험과 계산을 선택하고 충분한 근거가 생기면 멈추는 시스템이다.
Persistent Memory · Agent Orchestration · Budgeted Computation · Multimodal Action
Scalable Multimodal AI Agents
Research Atlas
ICML 2026 SCALE 워크숍의 논문군을 바탕으로 장기·영속 메모리, 멀티모달 추론, 다중 에이전트 오케스트레이션, 테스트 시점 계산 확장, 로봇·GUI 장기 행동, 효율적 추론·서빙, 신뢰성·해석·안전을 하나의 연구 지형으로 재구성한다.
60+프로그램·포스터 논문
8핵심 연구축
15통합 연구질문
15미래 연구방향
00
검토 범위와 해석 원칙
공식 프로그램, 채택 논문 초록, 공개 arXiv·OpenReview·프로젝트 페이지를 교차 검토하고 연구축 중심으로 재구성한다.
전체 논문군
Memory, multimodal agents, embodied control, orchestration, efficient inference, reliability 연구를 포함한다.
주제 중심 종합
개별 논문 나열보다 메모리 lifecycle, compute allocation, agent routing, verifier, long-horizon action의 공통구조를 분석한다.
재현성 유의
워크숍 결과는 model version, environment, verifier, budget, benchmark implementation에 민감하다.
01
전체 연구 지형
SCALE의 핵심은 더 큰 단일 모델이 아니라 기억·전문가·도구·계산·검증을 선택적으로 조정하는 시스템이다.
장기 메모리BenchPreSLongMemEval-V2EARMEME
메모리 보안Before It PersistsWrite-time defenseBelief admission
멀티모달 추론GeoVistaPRISMBeaconChart
장기 행동LOGIVSpecialist VLASeeTraceActASH
오케스트레이션OrchestRAteWISEBOT-OrchTSAS
계산 배분ZEBRACA-MoAAdaptive RAG
학습·자기개선F-TISNEXUSReplication as Learning
신뢰성·효율Judge ReliabilityQuantizationASPIRE
사용자 목표→문맥·위험 분석→메모리 제어→
워크플로 합성→전문가·도구 호출→검증→행동·기억 갱신
02
Definition
확장형 에이전트를 멀티모달 정책, 영속 메모리, 오케스트레이터, 테스트 시점 계산, 세계모델, 검증기의 결합으로 정의한다.
확장형 멀티모달 에이전트
멀티모달 관측, 메모리, 도구, 전문 에이전트와 예산을 조건으로 행동을 선택한다.
에이전트 메모리
Write, index, retrieve, consolidate, revise, forget, verify를 포함하는 정책이다.
영속 메모리
세션 이후에도 유지되어 미래 상호작용과 의사결정에 영향을 준다.
선택적 개인화
저장된 선호를 현재 수신자·업무·규범에 맞을 때만 적용한다.
에이전트 오케스트레이터
전문가 선택, 병렬·순차 실행, 합의, 비용·지연·위험을 조정한다.
테스트 시점 확장
Sampling, search, reflection, debate, verifier를 추론 시점에 적응적으로 추가한다.
멀티모달 세계모델
관측과 행동 이후 환경상태, 객체관계, 실패와 진행상황을 예측한다.
검증기 기반 에이전트
중간 결과와 최종 행동을 외부 checker, simulator, prover, grounding evaluator로 수정한다.
시스템 확장성
모델 크기뿐 아니라 memory, agent 수, horizon, modality, tool, environment 복잡도를 함께 다룬다.
Action policy:
at ~ πθ(a | o≤t, Mt, T, Bt)
Memory update:
Mt+1 = Uφ(Mt, ot, at, rt, vt)
Scalable objective:
max E[Reward − λ TokenCost − μ Latency − γ MemoryCost − η Energy − ρ Risk]
03
Problem Definition
제한된 자원 아래에서 무엇을 기억하고, 어떤 전문가를 호출하며, 언제 계산을 중단할지 결정해야 한다.
예산 제약 장기 의사결정
Token, latency, memory, energy, risk 예산 안에서 장기 보상을 최대화해야 한다.
메모리 선택
Write, retrieval, application 단계 각각에서 잘못된 정보와 문맥오류가 발생한다.
기록이 아닌 경험 축적
상태, workflow, 실패요인, premise 변화와 환경특성을 기억해야 한다.
기억 의존성 갱신
하나의 사실 변경이 관련 entity와 파생결론에 미치는 영향을 전파해야 한다.
오케스트레이터 병목
전문가 자체보다 잘못된 routing·aggregation이 전체 시스템을 실패시킬 수 있다.
계산 배분과 종료
쉬운 문제에 계산을 낭비하지 않고 어려운 문제를 조기 종료하지 않아야 한다.
비단조적 성찰
반복수정이 새로운 오류와 regression을 만들 수 있다.
멀티모달 Grounding
Perception, grounding, symbolization, reasoning, action의 오류가 연쇄적으로 증폭된다.
환경 생성비용
현실적인 software·robot·GUI 환경과 verifier를 수작업으로 구축하기 어렵다.
Memory success
= P(valid write)
× P(correct retrieval | write)
× P(appropriate use | retrieval)
Agent success
= P(correct routing)
× P(agent succeeds | route)
× P(correct aggregation)
04
Core Concepts
메모리 lifecycle, evidence–belief 분리, experienced-colleague memory, constrained orchestration, adaptive compute, continuous telemetry가 핵심이다.
Memory Lifecycle
Observation → evidence → trust assessment → transient memory → consolidation → belief → retrieval → revision.
Evidence–Belief Separation
관측을 즉시 사실로 승격하지 않고 독립 지지와 충돌검사를 거친다.
Experienced-Colleague Memory
문장 회상보다 workflow, 실패함정, 상태전이, 증거위치를 기억한다.
Exploratory–Assimilating Reflection
질의별 탐색과 전역 reranker 학습을 분리한다.
Compressed External Memory
스토리지와 검색 index를 공동 최적화해 장기 메모리 비용을 낮춘다.
Multi-Key Episodic Retrieval
고재현율의 단순 기억과 query-time 국소 확장을 결합한다.
Constrained Orchestration
품질 제약 아래 token, latency, failure cost를 최소화한다.
Specialist–Generalist Composition
전문가 정확성과 routing overhead 사이를 최적화한다.
Agent Diversity
답변 표현보다 오류·탐색경로·inductive bias의 다양성이 중요하다.
Collaborative RL
서로 다른 모델의 off-policy trajectory를 안정적으로 공유한다.
Verifier-Guided Adaptive Compute
문제 난이도와 partial-state precision에 따라 beam·agent·iteration을 선택한다.
Continuous Reasoning Dynamics
추론을 이산 phase보다 표현 이동과 evidence accumulation의 연속 궤적으로 본다.
Reliability–Efficiency Trade-Off
양자화·압축 후 accuracy, calibration, robustness, latency, energy를 함께 측정한다.
05
Introduction
멀티모달 AI는 단일 응답 모델에서 메모리·도구·다중 에이전트·장기 행동·자기개선 시스템으로 발전한다.
단일 응답 멀티모달 모델
이미지·텍스트를 입력받아 한 번의 답을 생성한다.
Tool-Augmented Reasoning
검색, 확대, detector, calculator, code execution을 중간에 호출한다.
Memory-Augmented Agent
여러 세션과 긴 trajectory의 경험을 검색하고 재사용한다.
Multi-Agent System
서로 다른 전문가가 문제를 분해하고 토론·검증한다.
Long-Horizon Embodied Agent
GUI, robot, game, enterprise software에서 수백 단계 행동을 수행한다.
Self-Improving Agentic System
성공·실패를 memory, reranker, skill, policy, workflow로 축적한다.
06
Motivation and Background
긴 context의 한계, 장기 오류 누적, 환경 구축비용, 감사 가능성, deployment cost가 새로운 시스템 설계를 요구한다.
Context Window ≠ Memory
오래된 정보와 최신정보의 충돌, 검색비용, 경험 구조화, 선호의 문맥적 적용은 별도 문제다.
장기 오류 누적
단계별 성공률이 높아도 horizon이 길면 전체 성공률이 급감한다.
모델 크기만으로 불충분
작은 모델도 trajectory, specialist, memory, verifier를 통해 더 큰 generalist를 능가할 수 있다.
실제 환경 구축비용
설치, 데이터, reset, task, success verifier를 포함한 환경 생성이 병목이다.
감사 가능한 멀티모달 판단
Reasoning 중 실제 시각 근거를 실시간으로 보여줄 필요가 있다.
배포비용
계획, memory, tool, expert, verifier의 반복 호출비용이 총 agent cost를 지배한다.
07
Challenges
Memory admission, consistency, poisoning, orchestration overhead, weak verifier, long-horizon credit, representation drift, reliability가 핵심 난제다.
| 도전과제 | 핵심 문제 | 필요한 해결 방향 |
|---|---|---|
| Memory Admission | 너무 많이 쓰면 오염·비용, 너무 적게 쓰면 경험 손실 | Utility–risk threshold, staged commit |
| Memory Consistency | 새 사실과 과거 사실·파생결론의 충돌 | Versioning, belief graph, uncertainty propagation |
| Contextual Personalization | 전역 선호가 공식·민감 문맥에서 부적절할 수 있음 | Norm-aware preference firewall |
| Memory Poisoning | 악성 문서·이미지 instruction이 장기 belief로 승격 | Write-time provenance, quarantine, evidence separation |
| Orchestration Overhead | Agent 수 증가가 중복·지연·합의비용을 만듦 | Minimal sufficient workflow |
| Correlated Errors | 동일 family agent가 같은 오류를 공유 | Model diversity, error correlation monitoring |
| Weak Verifier | 잘못된 검증기가 오류를 강화 | Calibration, external evidence, abstention |
| Non-Monotonic Reflection | 반복수정이 이미 맞는 부분을 훼손 | Edit locking, regression checks |
| Long-Horizon Credit | 수백 단계 뒤 성공·실패의 원인 분리 어려움 | Hierarchical reward, counterfactual replay |
| Representation Drift | Action fine-tuning이 pretrained perception을 손상 | Representation alignment and retention metrics |
| Planner–Executor Mismatch | 정확한 subgoal도 generalist controller가 실패 | Primitive routing, specialist adapters |
| Efficiency–Reliability | 양자화·cache 압축이 calibration과 tool 선택을 변화 | Reliability-aware systems optimization |
| Judge Reliability | 문서별 비이행적·순환 판정 | Conformal sets, transitivity diagnostics |
| Tool Hallucination | 존재하지 않는 tool·parameter 호출 | Schema verification, executable validation |
08
Research Questions
Scaling variable, belief memory, selective personalization, routing, diversity, termination, multimodal grounding, reliability를 중심으로 정리된다.
RQ1
확장 가능한 에이전트의 핵심 scaling variable은 무엇인가?
RQ2
메모리는 정보 저장소인가, versioned belief system인가?
RQ3
어떤 관측이 영속 기억으로 승격되어야 하는가?
RQ4
기억 변경의 영향을 관련 entity와 결론에 어떻게 전파할 것인가?
RQ5
개인화와 사회적·조직적 적절성을 어떻게 함께 최적화할 것인가?
RQ6
어느 문제에 single agent, ensemble, debate, hierarchy가 필요한가?
RQ7
Agent diversity를 오류와 탐색경로 수준에서 어떻게 측정할 것인가?
RQ8
오케스트레이터는 품질·비용·지연·위험을 어떤 신호로 학습해야 하는가?
RQ9
추가 계산의 기대효용이 비용보다 낮아지는 시점을 어떻게 추정할 것인가?
RQ10
Self-reflection의 regression을 어떻게 방지할 것인가?
RQ11
멀티모달 reasoning이 실제 시각 근거에 의존했는지 어떻게 검증할 것인가?
RQ12
행동 fine-tuning 중 pretrained representation을 보존할 수 있는가?
RQ13
작은 모델이 경험·도구·specialist routing으로 큰 모델을 능가하는 조건은 무엇인가?
RQ14
양자화·압축 이후 long-horizon agent 신뢰성은 어떻게 변하는가?
RQ15
현실적 software·robot 환경과 verifier를 자동 생성할 수 있는가?
09
Approaches / Methods
대표 논문을 메모리, 오케스트레이션, 멀티모달, 행동·환경, 학습, 효율·신뢰성 기준으로 필터링해 탐색할 수 있다.
BenchPreS
선호 적용률과 오적용률을 분리해 영속 메모리의 선택적 개인화를 평가한다.
LongMemEval-V2
최대 1억 1,500만 token trajectory에서 경험 많은 동료 수준의 memory를 평가한다.
Exploratory & Assimilating Reflection
질의별 탐색과 global reranker 학습을 분리해 장기 memory retrieval을 개선한다.
Before It Persists
관측을 즉시 belief로 기록하지 않고 지지·충돌 검사를 거쳐 durable memory로 승격한다.
MEME
Multi-entity와 evolving memory의 cascade update와 absence awareness를 평가한다.
The Orchestrator Bottleneck
Dependency graph에 따라 순차·병렬·계층 workflow를 동적으로 선택한다.
WISE
Solver, reflector, orchestrator와 확률적 신뢰도 추정으로 멀티모달 토론을 구성한다.
BOT-Orch
Agent 출력분포와 reference 분포의 optimal-transport distance를 이용해 routing한다.
On-Demand Workflow Synthesis
Meta-agent가 specialist pool과 DAG workflow를 동시에 생성한다.
ZEBRA
단계별 utility curve를 추정하고 knapsack 최적화로 token 예산을 배분한다.
Compute-Aware Mixture-of-Agents
Verifier confidence와 token budget에 따라 aggregation depth를 조절한다.
Adaptive Termination in Multimodal RAG
Cross-modal evidence grounding과 marginal gain으로 retrieval iteration을 종료한다.
Real-Time Visual Attribution Streaming
Thinking model의 중간 reasoning이 실제 이미지 어디에 의존하는지 실시간 추정한다.
PRISM
시각 grounding, 텍스트 enrichment, program-aided reasoning을 전문 agent로 분해한다.
GeoVista
이미지 확대, web search, 지역계층 reward를 결합한 agentic geolocation을 수행한다.
Gym-Anything
Software 설치·데이터·task·evidence·audit를 자동화해 agent environment를 생성한다.
LOGIV
Logic graph와 VAL verification으로 장기 로봇 manipulation plan을 생성·수리한다.
Specialist VLA
Planner가 primitive-specific LoRA를 선택하고 주기적으로 재계획한다.
ASH
장기 게임 중 막히면 관련 web video를 검색해 새로운 embodied skill을 획득한다.
F-TIS
이질적 모델의 off-policy sample을 filtering과 truncated importance weighting으로 공유한다.
NEXUS
LLM planner와 diffusion editor를 공동 RL로 학습한다.
Replication as Learning
완성된 enterprise artifact를 역분석해 hidden workflow와 pipeline을 knowledge로 증류한다.
ASPIRE
Request별 draft length, attention, verification timing을 비동기적으로 조절한다.
Compressed Semantic Retrieval
압축 chunk를 직접 embedding해 storage와 index-refresh 비용을 줄인다.
Reliability Scaling Laws for Quantized LLMs
Bit 수에 따른 accuracy, uncertainty, robustness의 비선형 관계를 분석한다.
Diagnosing LLM Judge Reliability
Conformal set과 transitivity violation으로 개별 판정의 불확실성을 진단한다.
Reasoning Phases Are Continuous
CoT residual stream이 명확한 이산 phase보다 연속 동역학에 가깝다는 증거를 제시한다.
| 대표 논문 | 핵심 결과·설계 | 연구적 의미 |
|---|---|---|
| BenchPreS | 적절 적용과 오적용을 분리 | 개인화를 규범적 선택 문제로 재정의 |
| LongMemEval-V2 | 25M–115M token trajectory, 451 questions | 장기 대화회상에서 경험 memory로 확장 |
| MEME | Cascade·Absence에서 매우 낮은 성능 | 관계적 갱신과 불확실성 전파의 병목 |
| Gym-Anything | 200 software, 10K+ tasks, 500+ step workloads | 환경 생성 자체의 agent화 |
| OrchestRAte | 비용 28–42% 절감 보고 | 다중 agent를 constrained optimization으로 해석 |
| ZEBRA | 예산압력 하에서 무제한 품질의 94.4% 유지 보고 | 계산 배분을 수치최적화 문제로 전환 |
| Specialist VLA | Primitive LoRA + periodic replanning | Planner와 executor의 specialization |
| F-TIS | 이질적 off-policy sample 공유 | 모델 다양성을 학습자원으로 활용 |
10
Key Applications
개인화 비서, 기업 workflow, deep research, computer-use, 로봇, 시각추론, 외부 메모리, agent serving으로 확장된다.
개인화 비서
장기 선호, 업무 스타일, 반복 일정, 수신자별 표현 조절.
기업 업무 자동화
문서, compliance, incident, spreadsheet·SQL·email workflow.
Deep Research Agent
다중 source 조사, evidence gap, 반대견해, citation verification.
Computer-Use Agent
의료, CAD, 과학 분석, 행정, IDE, spreadsheet GUI.
로봇 장기 조작
Task decomposition, primitive routing, replanning, memory-conditioned action.
Agentic Visual Reasoning
지리 위치, chart, 과학·수학 이미지, 3D grounding, ultra-long video.
효율적 RAG·외부 메모리
Compressed corpus, adaptive routing, query-time expansion, evidence termination.
Multi-Agent Enterprise Systems
비용 민감 routing, specialist workflow, trust boundary delegation.
자원 제한형 Serving
Dynamic batching, routing replay, KV compression, speculative decoding, quantization.
11
Open Problems
Versioned belief, causal update, selective forgetting, orchestrator drift, multi-agent security, non-monotonic scaling, agent economics가 미해결이다.
Versioned Belief Memory
시간, 출처, 신뢰도, supersedes, 적용범위, 파생결론을 함께 유지해야 한다.
Causal Memory Update
한 기억의 변경이 관련 결론에 미치는 영향을 자동 무효화·재계산해야 한다.
Selective Forgetting
오래되었지만 중요한 정보와 최근이지만 위험한 정보를 구분해야 한다.
Memory Benchmark 현실성
질문응답을 넘어 행동 성공률, 비용, 위험에 미치는 영향을 평가해야 한다.
Orchestrator Generalization
새로운 agent pool, model version, 비용구조에 routing policy가 전이되는지 불명확하다.
Dynamic Capability Drift
Fine-tuning, quantization, API update로 specialist 능력이 변한다.
Multi-Agent Security
한 agent의 오염된 출력이 orchestrator와 shared memory를 감염시킬 수 있다.
Verifier Independence
Generator와 verifier의 오류 상관을 줄여야 한다.
Non-Monotonic Test-Time Scaling
더 많은 sample·reflection·agent가 언제 성능을 낮추는지 예측해야 한다.
Long-Horizon Credit
성공을 memory, plan, perception, action에 정확히 귀속해야 한다.
Continuous Reasoning Monitoring
이산 phase 대신 trajectory stability와 drift를 실시간 추적해야 한다.
Attribution–Action Causality
올바른 시각 근거가 실제 올바른 행동으로 이어졌는지 평가해야 한다.
Representation Retention
VLM을 VLA·tool agent로 적응하면서 원래 지식과 grounding을 보존해야 한다.
Hardware-Aware Reliability
Bit, cache, batch, accelerator가 calibration과 tool decision에 미치는 영향을 측정해야 한다.
현실적 Agent Economics
Tail latency, index refresh, recovery, human review, hardware utilization까지 포함해야 한다.
12
Future Directions
미래 확장형 에이전트는 운영체계, transactional memory, belief graph, compute market, capability registry, continuous telemetry로 발전한다.
1. Agentic Operating System
User Goal
↓
Risk & Context Analyzer
↓
Memory Controller
↓
Workflow Synthesizer
↓
Budget Broker
↓
Specialist Agents / Tools
↓
Verifier Ecology
↓
Action Executor
↓
Evidence & Belief Update
2. Transactional Memory
Observe
↓
Stage
↓
Validate
↓
Conflict Check
↓
Commit / Reject
↓
Versioned Persistent Memory
3. Belief Dependency Graph
GM = (Vbelief, Esupports, Econtradicts, Ederived, Esupersedes)
4. Norm-Aware Personalization Firewall
Use(p,c) = Policy(p, recipient, domain, risk, institutional norms)
5. Memory Immune System
출처별 trust, 독립증거, 오염격리, 의심 기억 만료, downstream lineage를 관리한다.
6. Compute Market for Agents
i* = argmaxi [E(Qi|x) − λCi − μLi − νUi]
7. Online Capability Registry
Agent
├─ Tasks and modalities
├─ Accuracy posterior
├─ Cost distribution
├─ Latency distribution
├─ Failure signatures
├─ Trust boundary
└─ Last validation time
8. Minimal Sufficient Workflow
W* = argminW C(W) subject to P(Q(W) ≥ qmin) ≥ 1 − δ
9. Edit-Locked Reflection
Initial output
↓
Rubric decomposition
↓
Verified components → LOCK
Failed components → EDIT
↓
Local revision
↓
Regression checks
10. Continuous Reasoning Telemetry
zt = [uncertainty, evidence gain, representation velocity, tool novelty, verifier disagreement, loop probability]
11. Agent Lineage Learning
GL = (Vcandidate, Emutate, Emerge, Erebase)
12. Universal Environment Compiler
Environment Specification
├─ Installation
├─ State schema
├─ Action schema
├─ Reset procedure
├─ Task generator
├─ Success verifier
├─ Safety constraints
└─ Evidence interface
13. Reliability-Aware Quantization
Memory encoder, planner, tool router, verifier, generator의 역할에 따라 precision을 다르게 배정한다.
14. Agent Scaling Surface
Q = F(model size, memory, agents, search width, horizon, tools, budget)
15. Closed-Loop Evaluation
Useful Memory Rate = Future-improving memories / Written memories
Orchestration Efficiency = Quality gain / (Token + Latency + Agent calls)
Recovery Rate = P(success | intermediate failure)
13
Conclusion
SCALE은 긴 context와 많은 agent보다 구조화된 경험, 선택적 개인화, 적응적 계산, 검증 가능한 행동을 강조한다.
긴 Context → 구조화된 경험
상태, workflow, 실패요인, belief와 provenance를 관리한다.
무조건적 개인화 → 선택적 개인화
현재 문맥과 규범에 적절한 선호만 적용한다.
많은 Agent → 적절한 Agent
Dependency, specialist 적합성, 오류 다양성, overhead를 고려한다.
무제한 계산 → 적응적 계산
기대효용과 불확실성에 따라 search·reflection·verification을 확대하거나 종료한다.
최종 응답 → 과정 감사
시각 근거, memory write, tool call, routing, verifier, belief update를 추적한다.
모델 Scaling → 시스템 Scaling
성능은 memory controller, orchestrator, tool, environment, hardware, verifier의 공동설계에서 나온다.
Scalable Agentic Intelligence = Selective Memory + Adaptive Orchestration + Budgeted Computation + Grounded Multimodal Action + Continuous Verification
14
Sources
공식 워크숍, 채택 논문, 장기 메모리, 환경 생성과 대표 연구의 공개 원문 링크.
SCALE 2026 공식 홈페이지Scalable Learning and Optimization for Efficient Multimodal AI Agents
SCALE 2026 전체 채택 논문Titles, abstracts, OpenReview links
SCALE 2026 OpenReviewWorkshop submissions
BenchPreSContext-aware preference selectivity
LongMemEval-V2Agent memory for experienced colleagues
LongMemEval-V2 ProjectBenchmark details and resources
LongMemEval-V2 CodeImplementation and data
Gym-AnythingTurn any software into an agent environment
Gym-Anything ProjectCUA-World and environment generation
Gym-Anything CodeEnvironment compiler implementation
공식 채택 논문 페이지에서 확인 가능한 대표 연구
Real-Time Visual Attribution Streaming, Multi-turn Evaluation of Deep Research Agents, Exploratory and Assimilating Reflection, The Orchestrator Bottleneck, Before It Persists, Adaptive Termination in Agentic Multimodal RAG, WISE, MEME, LOGIV, F-TIS, ASH, ZEBRA, Specialist VLA, NEXUS, On-Demand Multi-Agent Workflow Synthesis의 OpenReview 링크는 공식 채택 논문 페이지에서 제공된다.