중심 명제
Poster Session 2가 보여주는 핵심 방향은 더 긴 답이나 더 많은 parameter가 아니다. Model이 어떤 과정으로 판단했는지 검증하고, 필요한 정보와 계산만 선택하며, 환경과 typed action으로 상호작용하고, 경험을 지속학습하되 safety와 provenance를 유지하는 adaptive agentic system을 구축하는 데 있다.
Process Validity · Typed Actions · Adaptive Memory · Continual Learning · Verifiable Safety
ICML 2026 Poster Session 2
779편의 대규모 논문군을 agentic AI, reasoning·post-training, interactive generation, adaptive computation, continual memory, interpretability, safety, reinforcement learning, optimization, AI4Science와 governance의 관점에서 재구성한다.
779세션 배치 논문
15통합 연구축
24연구질문
22Open Problems
01
전체 연구 지형
Poster Session 2는 ICML 2026의 agentic, interactive, adaptive, verifiable research trend를 압축적으로 보여준다.
Observe→Process-Valid Reasoning→Typed Action→Adaptive Resource Use→Verification→Continual Memory
Reliable Adaptive Intelligence =
Process-Valid Reasoning + Typed Interaction + Dynamic Resource Allocation + Persistent Memory + Verification
02
Definition
Agentic intelligence, process validity, typed actions, dynamic cache, on-policy learning, interactive generation와 biological hierarchy를 정리한다.
Agentic Intelligence
목표 달성을 위해 관찰, 추론, 행동, 검증과 memory update를 반복하는 지능형 시스템이다.
Process-Valid Reasoning
최종 답뿐 아니라 각 reasoning transition이 허용된 규칙과 evidence에 따라 정당한지를 평가하는 개념이다.
Typed Action
입력·출력·precondition·effect가 명시된 semantic operation으로, click·scroll 같은 저수준 동작을 고수준 계약으로 추상화한다.
Visual-Linguistic Curiosity
언어적으로 예측한 다음 상태와 실제 visual observation의 차이를 exploration signal로 사용하는 방식이다.
Dynamic KV-Cache Allocation
Attention head별 정보밀도와 compression sensitivity에 따라 KV cache budget을 다르게 배분한다.
Optimizer-Induced Data Utility
Sample의 raw gradient가 아니라 실제 optimizer가 만드는 effective update 방향으로 data 가치를 측정한다.
On-Policy Self-Distillation
Demonstration을 본 현재 model이 생성한 distribution을 자신의 학습목표로 사용해 새 능력과 기존 능력 보존을 함께 추구한다.
Decision Language Model
State, observation, inter-agent message와 action을 하나의 dialogue sequence로 표현하는 sequential decision model이다.
Reverse Flow Matching
직접 sampling하기 어려운 Boltzmann policy를 posterior mean estimation과 flow matching으로 학습하는 방법이다.
Distribution Matching Policy Optimization
Diffusion LM의 policy distribution을 reward-tilted optimal distribution에 정렬하는 post-training 방식이다.
Interactive Application Generation
HTML·CSS·JavaScript를 생성해 시각적 배치뿐 아니라 interaction과 domain rule이 작동하는 application을 만드는 문제다.
Agent-Native Mid-Training
Static corpus와 agent SFT 사이에 실제 environment trajectory, tool feedback와 repair를 포함하는 중간 학습단계다.
Distribution-Aware Attribution
Architecture artifact와 data distribution effect를 분리해 안정적이고 causal한 attribution을 얻는 접근이다.
Memory Backtracking
현재 prediction을 과거 memory update와 event로 역추적하는 설명방식이다.
Information-Theoretic Hallucination
Hallucination을 제한된 memory capacity 아래 발생하는 rate–distortion trade-off의 결과로 해석하는 관점이다.
Hierarchical Biological Foundation Model
DNA·protein의 multi-scale structure와 biological hierarchy를 architecture와 generation order에 반영하는 model이다.
03
Problem Definition
Active exploration, interaction, cache, data, continual learning, process validity, safety, distribution과 biology의 간극을 정의한다.
Passive Reasoning–Active Exploration Gap
Agent가 이미 본 state만 reasoning하면 자신의 unknown을 발견하지 못한다.
Click-Based Interaction–Semantic Action Gap
UI가 조금만 바뀌어도 저수준 trajectory가 깨지며 semantic task는 유지되지 않는다.
Static Benchmark–Interactive System Gap
HTML 코드나 screenshot 유사성만으로 실제 interaction correctness를 평가할 수 없다.
Uniform Cache–Heterogeneous Attention Gap
Attention head마다 정보량과 compression sensitivity가 다른데 동일 budget을 적용한다.
Static Data Filter–Training Dynamics Gap
Sample utility가 model·optimizer 상태에 따라 변하지만 data filter는 고정되어 있다.
Off-Policy Demonstration–Continual Learning Gap
Expert trajectory와 현재 policy가 방문하는 state distribution이 달라 forgetting과 mismatch가 발생한다.
Outcome Correctness–Process Validity Gap
정답이 맞아도 reasoning이 invalid, fabricated, circular 또는 post-hoc일 수 있다.
Model Confidence–Internal Agreement Gap
Verbalized confidence가 internal computation과 실제 correctness를 반영하지 않을 수 있다.
Textual Diversity–Feature Diversity Gap
표현상 다양한 data가 model 내부에서는 같은 feature만 활성화할 수 있다.
Static Code Pretraining–Agentic Software Engineering Gap
Code completion corpus는 repository navigation, test feedback, repair와 multi-file dependency를 충분히 반영하지 않는다.
Visual Description–Visual Re-Examination Gap
VLM이 '다시 보라'는 instruction을 받아도 실제 visual feature를 재처리하지 않을 수 있다.
Red-Team Effectiveness–Attack Diversity Gap
높은 attack success가 다양한 vulnerability coverage를 의미하지 않는다.
Safety Fine-Tuning–Task Utility Gap
강한 safety constraint가 benign personalization과 domain adaptation까지 저해할 수 있다.
Optimizer Tradition–RL Dynamics Gap
Pretraining에서 익숙한 AdamW가 RLVR에서도 최적이라는 보장이 없다.
Point Estimate–Distributional Reliability Gap
평균 score 하나로 alternate outputs, tail risk, calibration과 mode collapse를 평가할 수 없다.
Single-Target Design–Cross-Context Biology Gap
하나의 target·conformation에 최적화된 design이 실제 multi-state biology에서 실패할 수 있다.
Known-Answer Evaluation–Research-Level Evaluation Gap
Ground-truth solution이 없는 open research 문제를 기존 exact-match 방식으로 평가할 수 없다.
Provenance–Parametric Knowledge Gap
Parameter에 흡수된 지식의 원출처와 lineage를 추적하기 어렵다.
04
Core Concepts
Semantic action, prediction-error curiosity, optimizer geometry, feature coverage, causal circuits, online coverage와 hierarchical generation을 정리한다.
Process Validity
모든 reasoning transition이 허용된 rule을 만족하는지를 final answer correctness와 별도로 평가한다.
Semantic Action Layer
Natural-language goal을 typed action procedure로 변환하고 browser·API implementation과 분리한다.
Exploration by Prediction Error
Agent가 예측한 latent state와 실제 observation의 차이를 epistemic curiosity reward로 사용한다.
Attention-Entropy Budgeting
Head별 attention entropy를 정보분산과 cache sensitivity의 proxy로 사용한다.
Optimizer-Induced Update Geometry
같은 gradient라도 AdamW, Muon과 SGD가 만드는 update geometry가 다르다는 관점이다.
On-Policy Distillation
Demonstration-conditioned current model의 distribution을 student target으로 사용한다.
Interactive Evaluation Agent
Generated app을 실제로 실행·탐색하고 state transition, rule, intention과 security를 평가한다.
Agent-Native Distribution
Observation, action, feedback, error, repair와 test result를 포함하는 interactive trajectory distribution이다.
Distribution-Level Policy Learning
Action 하나가 아니라 complex multimodal action distribution 자체를 학습한다.
Decision-as-Language
Observation과 action을 structured token sequence로 통일해 heterogeneous multi-agent task를 처리한다.
Feature Activation Coverage
Dataset이 model의 interpretable feature 집합을 얼마나 폭넓게 활성화하는지 측정한다.
Causal Circuit Sparsity
특정 behavior에 실제 필요한 neuron 집합이 전체 network보다 훨씬 작을 수 있다는 가정이다.
Motion-Specific Data Attribution
Video generation에서 appearance와 motion influence를 분리해 temporal dynamics에 기여한 data를 찾는다.
Explanation Optimality
Neuron explanation을 구성할 때 heuristic search가 아니라 global optimum과 formal guarantee를 추구한다.
Rate–Distortion Hallucination
Memory budget과 prediction distortion 사이 trade-off로 hallucination의 구조적 원인을 설명한다.
Online Coverage Guarantee
Adversarial stream에서도 장기 miscoverage가 목표 수준 이하가 되도록 prediction interval을 보장한다.
Coarse-to-Fine Biological Generation
Protein topology에서 local backbone과 atomic detail로 점진적으로 refinement한다.
Dynamic Genomic Chunking
고정 tokenizer 대신 biological boundary를 학습해 long genomic sequence를 latent chunk로 압축한다.
05
Introduction
Machine learning은 static prediction에서 verifiable adaptive ecosystem으로 발전한다.
Stage 1 — Static Prediction
Input–model–output 구조와 accuracy 중심 evaluation.
Stage 2 — Foundation-Model Adaptation
SFT, LoRA, preference optimization과 RL로 foundation model을 task에 맞춘다.
Stage 3 — Process-Aware Reasoning
Final answer뿐 아니라 reasoning transition, evidence, confidence와 verifier를 평가한다.
Stage 4 — Interactive·Agentic Generation
Text를 넘어 HTML, code, browser action, GUI trajectory와 scientific artifact를 생성한다.
Stage 5 — Dynamic Resource Allocation
Data, token, cache, tool, model과 sampling step을 input별로 조절한다.
Stage 6 — Continual Memory·Skill Learning
새 skill을 학습하면서 기존 ability와 procedural memory를 유지한다.
Stage 7 — Verifiable Adaptive Ecosystem
Observe, plan, typed action, verify, update와 governance를 하나의 closed loop로 통합한다.
06
Motivation and Background
Agent interface, data wall, context allocation, RL optimization, procedural memory, executable artifacts, causal interpretability와 AI4Science를 중심으로 설명한다.
Agent가 강해질수록 환경 interface가 병목
Reasoning 능력이 높아도 click 좌표, DOM과 app-specific workflow에 의존하면 실제 reliability가 낮다.
Data wall은 양보다 선택을 중요하게 만듦
모든 token을 소비하기보다 현재 optimizer와 model update에 유용한 sample을 선택해야 한다.
Long context의 핵심은 길이가 아니라 allocation
Context window 확대만으로 중요 token, stale information, fragmentation과 tool artifact 문제를 해결할 수 없다.
Reasoning RL은 pretraining과 다른 regime
Sparse reward와 trajectory dependence 때문에 optimizer와 curriculum을 새롭게 설계해야 한다.
Agent는 fact보다 procedure를 학습해야 함
Long-term agent는 같은 tool sequence를 반복 발견하지 않고 skill과 termination condition을 기억해야 한다.
생성물은 text에서 software·scientific artifact로 이동
HTML, code, algorithm, figure, protein과 policy는 실행·검증 가능한 평가가 필요하다.
Interpretability는 post-hoc story가 아니라 causal diagnosis
Neuron circuit, visual feature, memory update와 training data의 실제 기여를 추적해야 한다.
AI4Science는 domain hierarchy와 real screening 반영
Protein·DNA design은 multi-scale structure, multiple conformations와 top-k screening constraint를 고려해야 한다.
07
Challenges
Process validity, typed interaction, active exploration, dynamic memory, continual learning, interpretability, safety, verification와 provenance가 핵심 난제다.
| 도전과제 | 핵심 문제 | 요구되는 방향 |
|---|---|---|
| Process validity | 정답은 맞지만 reasoning이 무효 | Rule-level verification |
| Typed interaction | Click·DOM trajectory가 취약 | Semantic action contract |
| Active exploration | Agent가 unknown을 발견 못함 | Prediction-error curiosity |
| KV heterogeneity | Head별 information density가 다름 | Entropy-aware allocation |
| Dynamic data utility | Sample value가 model·optimizer에 따라 변화 | Online optimizer-aware selection |
| Continual learning | 새 능력 획득 시 기존 능력 손실 | On-policy distillation |
| Agent-native training | Static corpus와 interactive environment 불일치 | Environment-native trajectories |
| Interactive evaluation | Reference output 하나로 평가 불가 | Executable agent evaluation |
| VLM re-examination | 언어적 재검토와 실제 visual update 불일치 | Causal re-attention test |
| Distributional reliability | 평균 score가 mode·tail을 은폐 | Distribution-level metrics |
| Hallucination | 일부 오류가 capacity trade-off에서 발생 | Abstention·external memory |
| Explanation stability | Gradient·attention artifact가 설명 왜곡 | Architecture-aware decomposition |
| Temporal explanation | 과거 memory update 영향 추적 어려움 | Memory backtracking |
| RL optimizer mismatch | Pretraining optimizer가 RL에 비효율적 | Regime-specific optimizer |
| Diffusion-LM RL | Autoregressive objective 적용 어려움 | Distribution matching |
| Sampling policy | Unmasking heuristic가 block size에 취약 | Learned sampling policy |
| Attack diversity | Red-team generator가 mode collapse | Stable distribution matching |
| Harmful fine-tuning | Personalization이 safety 제거 | Gradient buffering·reinforcement |
| Verified code | Test passing이 universal correctness 보장 못함 | Formal·property-based verification |
| Research evaluation | Ground-truth 없는 문제 평가 어려움 | Consequence-based checking |
| GUI generalization | 환경변화에서 급격한 성능저하 | Perception·memory diagnostics |
| Biological hierarchy | Fixed tokenizer와 flat generation 부적합 | Hierarchical representation |
| Cross-context biology | 한 target에만 최적화된 design | Multi-state landscape modeling |
| Multimodal imbalance | Modality별 learning speed와 gradient conflict | Decoupled coordination |
| Provenance | Data origin과 derived knowledge 추적 어려움 | Evidence·lineage ledger |
08
Research Questions
Reasoning validity, semantic actions, adaptive cache·data, continual learning, optimization, safety, research evaluation와 biology를 중심으로 정리한다.
RQ1
Final answer correctness와 reasoning process validity를 독립적으로 어떻게 측정할 것인가?
RQ2
Web·GUI agent가 저수준 click이 아니라 typed semantic action을 사용하도록 ecosystem을 어떻게 표준화할 것인가?
RQ3
VLM agent가 자신의 world model을 반증할 visual evidence를 능동적으로 탐색할 수 있는가?
RQ4
Attention entropy가 KV compression sensitivity의 일반적인 estimator가 될 수 있는가?
RQ5
Long-context reasoning에서 중요한 head와 token을 task reward로 학습할 수 있는가?
RQ6
Optimizer가 만드는 실제 update direction을 이용해 pretraining data utility를 실시간 계산할 수 있는가?
RQ7
Textual diversity보다 model feature diversity가 downstream generalization을 더 잘 예측하는가?
RQ8
Demonstration에서 on-policy training signal을 생성하면 continual learning의 forgetting을 얼마나 줄일 수 있는가?
RQ9
Agent-native mid-training은 일반 code pretraining과 무엇이 본질적으로 다른가?
RQ10
Interactive HTML·website·GUI artifact를 사람 없이 신뢰성 있게 평가할 수 있는가?
RQ11
LLM 내부 neuron agreement와 correctness·uncertainty 사이에 안정적인 관계가 존재하는가?
RQ12
Diffusion·flow policy를 direct target sample 없이 효율적으로 학습할 수 있는가?
RQ13
Diffusion language model의 unmasking order를 reinforcement learning으로 최적화할 수 있는가?
RQ14
LLM RL에서는 AdamW보다 단순한 SGD가 왜 효과적일 수 있는가?
RQ15
Muon의 conditioning과 Adam의 adaptive normalization을 결합할 최적 optimizer는 무엇인가?
RQ16
LoRA의 실제 gradient-descent dynamics를 강한 boundedness assumption 없이 설명할 수 있는가?
RQ17
Hallucination 중 어느 부분이 training defect이며 어느 부분이 capacity-optimal compression의 결과인가?
RQ18
VLM explanation이 실제 visual computation을 반영하는지 causal intervention으로 검증할 수 있는가?
RQ19
Red-teaming에서 attack success와 attack diversity를 동시에 최적화할 수 있는가?
RQ20
Harmful fine-tuning을 막으면서 benign customization 성능을 유지할 수 있는가?
RQ21
Ground-truth가 없는 research-level 수학·과학 결과를 어떤 consequence로 평가할 것인가?
RQ22
Protein과 genomic foundation model이 biological hierarchy를 자동으로 발견할 수 있는가?
RQ23
하나의 protein binder를 여러 target과 conformational context에 맞게 설계할 수 있는가?
RQ24
Agent memory, training data와 parameter provenance를 하나의 lineage system으로 연결할 수 있는가?
09
Approaches / Methods
대표 연구를 agent, evaluation, data, memory, RL, optimization, interpretability, safety, verification와 AI4Science 기준으로 탐색할 수 있다.
GLANCE
Linguistic future prediction과 실제 visual next state의 discrepancy를 curiosity reward로 사용해 active exploration을 학습한다.
Typed Web Actions
Web interaction을 semantic verb, schema, precondition과 side effect가 있는 typed procedure로 추상화한다.
MiniAppBench
Browser automation agent가 generated MiniApp의 intention, static layout와 dynamic behavior를 실행 기반으로 평가한다.
VenusBench-Mobile
Perception, understanding, decision, operation과 memory를 세분화해 mobile GUI agent의 환경변화 robustness를 측정한다.
daVinci-Dev
Repository·PR context와 executable tool feedback을 agent-native mid-training trajectory로 사용한다.
Pareto-Optimal Tool Agents
Success, latency, token, tool calls와 risk를 multi-objective Pareto ranking으로 최적화한다.
EntroKV
Per-head attention entropy로 compression sensitivity를 추정하고 dynamic cache budget을 배분한다.
OPUS
Optimizer-induced effective update와 target direction alignment로 pretraining sample utility를 계산한다.
Feature Activation Coverage
Sparse autoencoder feature space에서 누락된 feature를 찾아 targeted synthetic data를 생성한다.
Self-Distillation Fine-Tuning
Demonstration-conditioned current model의 on-policy soft target으로 새 skill을 학습하고 forgetting을 줄인다.
Decision Language Model
Observation, message와 action을 dialogue sequence로 학습해 heterogeneous multi-agent decision을 통합한다.
Reverse Flow Matching
Boltzmann policy의 posterior mean을 flow matching과 Stein control variate로 학습한다.
DMPO
Diffusion LM policy를 reward-tilted target distribution과 distribution matching objective로 정렬한다.
Learned Unmasking Policy
Masked diffusion sampling을 MDP로 보고 unmasking order를 reinforcement learning으로 학습한다.
SGD for LLM RL
RLVR에서 AdamW의 adaptive update 필요성을 재검토하고 sparse SGD dynamics를 분석한다.
NorMuon
Muon orthogonalization과 row-wise second-moment normalization을 결합한다.
LoRA Convergence
Bounded adapter assumption 없이 low-rank gradient descent의 non-asymptotic convergence를 분석한다.
Online Conformal Prediction
Universal portfolio regret와 long-run coverage guarantee를 연결한다.
Sparse Neuron Circuits
MLP neuron basis에서 gradient attribution과 causal intervention으로 minimal reasoning circuit을 찾는다.
DAVE
ViT gradient에서 local-equivariant signal과 architecture artifact를 분리한다.
Temporal Graph Memory Backtracking
Prediction을 topology와 historical memory update tree로 역추적한다.
MOTIVE
Motion-weighted attribution으로 video training clip의 temporal dynamics 기여를 측정한다.
Stable-GFlowNet
Pairwise contrastive trajectory balance로 효과적이고 다양한 jailbreak를 sampling한다.
Jailbreak-to-Protect
Temporary jailbreak adapter로 harmful gradient를 buffer한 뒤 safety adapter를 merge한다.
AlgoVeri
Algorithm implementation을 output test가 아니라 specification, invariant와 property로 검증한다.
Oracle-Free Research Evaluation
Known answer 대신 candidate가 만드는 verifiable consequence와 witness를 평가한다.
FIDIA
실제 top-k screening 제약을 반영해 protein sequence generation policy를 최적화한다.
Protein Autoregressive Modeling
Coarse topology에서 fine backbone으로 next-scale generation을 수행한다.
Chamaileon
Multi-target·multi-state protein binder landscape를 sequence–structure co-modeling한다.
dnaHNet
Tokenizer-free dynamic chunking으로 biological boundary와 hierarchical latent token을 학습한다.
10
Key Applications
Web·mobile agents, software engineering, interactive apps, long context, personalization, safety, multimodal systems와 biology에 적용된다.
Web·Mobile Agent
Travel, shopping, form submission, mobile automation, GUI testing와 accessibility assistance.
Software Engineering Agent
Repository modification, pull request, test repair, concurrent-code reasoning와 verified implementation.
Interactive AI Assistant
MiniApp, simulation, scientific calculator, interactive visualization, game와 dashboard.
Long-Context LLM Serving
Enterprise document, codebase, legal, scientific literature와 multi-session tool history.
Continual Personalization
User assistant, domain adaptation, new tools, skill accumulation와 personalized workflow memory.
Multi-Agent Decision Systems
Vehicle coordination, network control, resource allocation, robotics와 distributed operation.
AI Safety Engineering
Jailbreak discovery, attack diversity, safe fine-tuning, adapter audit와 predeployment testing.
Video·Multimodal Intelligence
Video QA, mobile manipulation, grasp pressure, generation, website development와 visual evidence checking.
Interpretability·Audit
ViT attribution, temporal graph explanation, neuron circuits, data attribution와 process audit.
Protein·Genomic Design
Protein backbone, binder, fold, variant effect, gene essentiality와 multi-state therapeutics.
Neuroscience
Neural dynamics, neurostimulation, connectivity inference, memory trace와 closed-loop control.
Online Decision·Uncertainty
Prediction interval, financial risk, sequential testing, active sensing와 adaptive experiments.
11
Open Problems
Process validity, typed action, safe exploration, self-distillation, artifact security, explanation causality, provenance와 open-agent safety를 해결해야 한다.
Process Validity without Full Formalization
모든 domain을 theorem prover로 형식화하기 어려우므로 중간 validity representation이 필요하다.
Typed-Action Standardization
Action ontology, version, permission, error semantics와 provider responsibility를 정의해야 한다.
Exploration Safety
Curiosity agent가 위험·privacy-sensitive state를 탐색하지 않도록 constraint가 필요하다.
Cache-Allocation Guarantees
Entropy가 decisive information importance와 항상 일치하는지 worst-case 보장이 부족하다.
Dynamic Data-Selection Feedback Loop
현재 model이 선호하는 data만 선택해 bias를 강화할 수 있다.
Self-Distillation Error Amplification
Current model이 teacher 역할도 수행해 systematic error가 반복증폭될 수 있다.
Procedural Memory Governance
Skill source, scope, verification, expiry, safety class와 revocation을 관리해야 한다.
Interactive Artifact Security
Generated HTML·JavaScript의 XSS, exfiltration, malicious dependency와 dark pattern을 검증해야 한다.
GUI Environment Reproducibility
Online app 변화에 대응하는 versioning, snapshot과 deterministic reset이 필요하다.
Diffusion-LM Credit Assignment
Unmasking action이 미래 denoising에 미치는 영향을 sparse reward로 배분하기 어렵다.
Optimizer Regime Detection
Pretraining, SFT와 RL 단계별로 적합한 optimizer를 자동판정해야 한다.
Hallucination versus Useful Generalization
Unknown fact hallucination과 productive hypothesis generation을 구분해야 한다.
Internal Confidence Faithfulness
Neuron agreement가 cross-model·cross-domain에서도 calibration 가능한지 불명확하다.
Explanation Causality
Attribution이 실제 behavior cause인지 counterfactual intervention으로 확인해야 한다.
Red-Team Distribution Coverage
Attack diversity metric이 실제 open-set vulnerability coverage를 반영해야 한다.
Adaptive Safety under Fine-Tuning
Defense가 다양한 architecture, optimizer와 multi-adapter composition에서도 작동해야 한다.
Oracle-Free Evaluation Robustness
Consequence evaluator 자체가 exploit되지 않도록 independent verifier가 필요하다.
Cross-Context Protein Generalization
Computational score가 wet-lab folding, affinity와 specificity로 전이되는지 검증해야 한다.
Genomic Chunk Interpretability
학습된 chunk boundary가 codon, promoter와 regulatory element에 대응하는지 확인해야 한다.
Provenance–Parametric Divide
Retrieval provenance와 parameterized knowledge lineage를 연결해야 한다.
Open-Ended Agent Safety
새 tool 조합을 사전에 enumerating할 수 없으므로 bounded action space와 safety case가 필요하다.
Evaluation Saturation
Aggregate score가 environment variation, memory, recovery, process validity와 risk를 숨긴다.
12
Future Directions
미래 ML은 process-valid agents, semantic action internet, adaptive context OS, agent-native models, executable benchmarks와 closed-loop biology로 발전한다.
1. Process-Valid Agent Architecture
Goal, typed plan, valid reasoning transition, typed tool action, evidence-bound observation와 outcome verifier를 통합한다.
2. Semantic Action Internet
Service가 action schema, precondition, side effect, permission, cost, rollback와 audit event를 공개한다.
3. Curiosity with Safety Envelope
Epistemic information gain과 operational risk를 함께 최적화한다.
4. Adaptive Context Operating System
Instruction, critical evidence, active context, tool artifact, compressed history와 retrievable memory를 계층화한다.
5. Optimizer-Aware Data Compiler
Current model·optimizer state에서 utility, diversity, fairness와 curriculum을 지속적으로 compile한다.
6. Verified Continual Self-Distillation
Self-generated target을 verifier, ensemble, calibration, safety와 regression gate로 필터링한다.
7. Agent-Native Foundation Model
Observation, typed action, tool output, error, repair, memory write와 verification result를 기본 training unit으로 사용한다.
8. Executable Benchmarking
Generated code·HTML·scientific program을 sandbox에서 실행하고 functional·visual·security test를 수행한다.
9. Distribution-Native Reasoning Models
여러 strategy, answer probability, evidence와 process-validity status를 함께 출력한다.
10. Mechanistic Confidence Certificate
Verbal confidence, circuit agreement, ensemble consistency, evidence, counterfactual stability와 domain validity를 결합한다.
11. Formalized Agent Process Traces
Agent trajectory를 typed DAG로 저장해 replay, audit, counterfactual 수정, failure localization과 rollback을 지원한다.
12. Lifecycle Safety for Customizable Models
Fine-tuning을 sandbox, gradient monitoring, safety reinforcement와 regression testing 안에서 수행한다.
13. AI-Generated Research Artifact Stack
Question, data, method, executable experiment, verified result, illustration와 provenance package를 연결한다.
14. Hierarchical Biological Foundation Models
Nucleotide, motif, gene, protein, complex와 phenotype을 scale별 representation으로 통합한다.
15. Closed-Loop Protein Design
Generation, cheap screening, function predictor, uncertainty selection, wet-lab와 model update를 반복한다.
16. Standard System-Level Evaluation
Task, process, typed action, exploration, memory, compute, distribution, security, safety, provenance와 biological validity를 표준화한다.
13
Conclusion
Poster Session 2는 next-generation AI의 핵심이 valid process, adaptive resources, interactive agency, continual memory와 verifiable safety에 있음을 보여준다.
Answer Correctness → Process Validity
Final answer보다 reasoning rule, evidence와 valid transition이 중요하다.
Low-Level Interaction → Typed Semantic Action
Click sequence가 아니라 검사 가능하고 조합 가능한 procedure를 실행한다.
Passive Reasoning → Epistemic Exploration
Agent가 자신의 world model을 반증할 evidence를 능동적으로 찾는다.
Uniform Memory → Information-Adaptive Memory
KV cache와 context를 head, task와 information density에 따라 배분한다.
Static Dataset → Optimizer-Aware Curriculum
Data value를 현재 model update에 미치는 효과로 정의한다.
Off-Policy SFT → On-Policy Continual Learning
Demonstration을 current model distribution에 맞게 변환해 forgetting을 줄인다.
Text Output → Executable Artifact
Code, HTML, GUI와 scientific output을 execution·interaction·security로 평가한다.
Generic Pretraining → Agent-Native Mid-Training
Tool feedback, failure, repair와 environment state를 학습데이터에 포함한다.
Scalar Reward → Semantic·Distributional Feedback
Critique, probability distribution, verifier와 internal agreement를 함께 사용한다.
Post-Hoc Explanation → Causal·Temporal Attribution
Neuron, memory, motion과 visual evidence의 실제 contribution을 추적한다.
Static Alignment → Adaptation-Resilient Safety
Fine-tuning, adapter와 continual update 이후에도 safety를 보존한다.
Flat Biology → Hierarchical·Cross-Context Modeling
Sequence hierarchy, multi-state structure와 real screening을 model에 반영한다.
미래의 foundation model은 prompt를 받아 text를 생성하는 정적 model이 아니다. 자신이 무엇을 모르는지 탐색하고, typed action으로 환경과 상호작용하며, 필요한 data·cache·compute를 동적으로 선택하고, 경험을 지속적으로 축적하되, reasoning 과정과 safety를 검증 가능한 형태로 남기는 adaptive agentic system이다.
14
Sources
세션 메타데이터, agent interaction, adaptive memory·data, continual learning, RL·optimization, interpretability, safety와 AI4Science 원문 링크.
ICML 2026 Poster Session 2원문·세션·프로젝트 링크ICML 2026 공개 세션 메타데이터원문·세션·프로젝트 링크ICML 2026 공개 논문 메타데이터원문·세션·프로젝트 링크ICML 2026 공식 논문 데이터원문·세션·프로젝트 링크GLANCE원문·세션·프로젝트 링크MiniAppBench원문·세션·프로젝트 링크VenusBench-Mobile원문·세션·프로젝트 링크daVinci-Dev원문·세션·프로젝트 링크Web Agents Should Use Typed Actions원문·세션·프로젝트 링크Decision Language Model원문·세션·프로젝트 링크EntroKV원문·세션·프로젝트 링크OPUS원문·세션·프로젝트 링크Self-Distillation Enables Continual Learning원문·세션·프로젝트 링크Hippocampal Explicit Memory Is the Cornerstone for AGI원문·세션·프로젝트 링크Beyond Reasoning Zombies원문·세션·프로젝트 링크Reverse Flow Matching원문·세션·프로젝트 링크Do We Need Adam?원문·세션·프로젝트 링크NorMuon원문·세션·프로젝트 링크LoRA Gradient Descent Convergence원문·세션·프로젝트 링크Online Conformal Prediction via Universal Portfolios원문·세션·프로젝트 링크Hallucination Is a Consequence of Space-Optimality원문·세션·프로젝트 링크Language Model Circuits Are Sparse원문·세션·프로젝트 링크DAVE원문·세션·프로젝트 링크Temporal Graph Memory Backtracking원문·세션·프로젝트 링크Motion Attribution for Video Generation원문·세션·프로젝트 링크Guaranteed Optimal Compositional Explanations원문·세션·프로젝트 링크Stable-GFlowNet원문·세션·프로젝트 링크Jailbreak to Protect원문·세션·프로젝트 링크VideoKR원문·세션·프로젝트 링크MiniAppBench Project원문·세션·프로젝트 링크UI-Venus원문·세션·프로젝트 링크FIDIA원문·세션·프로젝트 링크Protein Autoregressive Modeling원문·세션·프로젝트 링크Protein Fold Classification at Scale원문·세션·프로젝트 링크Chamaileon원문·세션·프로젝트 링크dnaHNet원문·세션·프로젝트 링크