Failure Taxonomy · Root-Cause Attribution · Runtime Monitoring · Verified Recovery

Failure Modes in Agentic AI

ICML 2026 FAGEN 워크숍의 연구방향을 바탕으로 failure taxonomy, execution trace, root-cause localization, counterfactual replay, runtime monitoring, agent–environment interface, multi-agent groupthink, prompt injection, self-report, production evaluation을 하나의 신뢰성 연구지형으로 재구성한다.

Central Thesis

실패 회피에서 실패 학습으로

신뢰할 수 있는 에이전트는 절대 실패하지 않는 시스템이 아니라, 실패를 재현 가능한 조건으로 축소하고 최초 인과오류를 조기에 탐지하며 안전하게 복구하고 검증된 실패지식을 축적하는 시스템이다.

Research Scope

10핵심 연구축

15통합 연구질문

15미해결 문제

15미래 연구방향

검토 범위와 분석 원칙

FAGEN 공식 의제와 공개된 OpenReview·arXiv·프로젝트 원문을 교차 검토해 실패 trigger, trace diagnosis, intervention, verified fix 중심으로 재구성한다.

Coverage

실패의 전 생애주기

Trigger, propagation, detection, attribution, recovery, production drift와 security를 포함한다.

Method

인과 중심 종합

최종 오류보다 최초 인과 step, cascade, replay, repair certificate의 공통구조를 분석한다.

Caveat

검증 유의

일부 정량 결과는 preprint와 저자 보고이며 모델·도구·환경 version에 따라 달라질 수 있다.

전체 연구 지형

FAGEN은 최종 성공률을 넘어 어떤 trigger가 어떤 mechanism을 통해 어떤 trace signature와 피해를 만들며 어떤 repair가 실제로 결과를 바꾸는지 연구한다.

Failure TaxonomyMASTAgentErrorTaxonomyAgentAtlas

AttributionWho&WhenAgentRxAgenTracer

Trace DiagnosticsMASPrismREFLECT

Runtime MonitoringHide-and-SeekConformal alarms

RecoveryAgentDebugCounterfactual replay

EnvironmentAegisObservabilitySpeculative action

Multi-Agent FailureMASTDeliberative Illusion

SecurityHiding in Plain FloatsCross-channel injection

OversightSelf-IncriminationHybrid monitor

ProductionPAEFLiveSearchBench

Trigger→Internal Mechanism→Trace Signature→ Downstream Impact→Intervention→Verified Fix→Failure Memory

Definition

Agentic failure를 trigger, mechanism, propagation, impact, recovery failure의 결합으로 정의하고 trace·root cause·recovery·verified fix를 핵심 단위로 사용한다.

Agent System

에이전틱 AI 시스템

환경관측, 계획, 도구, 메모리, 다른 agent와 예산을 바탕으로 장기 행동을 선택하는 폐루프 시스템이다.

Failure

에이전틱 실패

목표오해, 계획오류, 도구오용, memory 오염, 검증실패, 복구실패를 포함한다.

Trigger

실패 Trigger

특정 failure mode를 반복적으로 발생시키는 최소 조건이다.

Trace

Execution Trace

관측, reasoning, 계획, 행동, 도구, memory read·write, verifier 출력을 시간순으로 기록한다.

Root Cause

결정적 실패 Step

수정했을 때 결과가 실제로 바뀌는 최초 인과오류다.

Cause vs Symptom

원인과 증상

눈에 보이는 마지막 오류와 그 이전의 실제 인과원인을 분리한다.

Attribution

실패 귀속

책임 agent, 결정적 단계, failure category를 식별한다.

Recovery

복구

원인을 제거하고 memory·계획을 되돌리며 올바른 상태는 보존한다.

Silent Failure

은밀한 실패

명시적 오류신호 없이 문법적으로 자연스러운 trace와 잘못된 결과를 만든다.

Verified Fix

검증된 수정

특정 mechanism을 제거하고 반복실험·outcome flip·generalization으로 효과가 확인된 개입이다.

Failure: F = (Trigger, Mechanism, Propagation, Impact, Recovery Failure) Critical step: t* = min{t : P(success | repair(at)) − P(success) > δ} Verified fix: Δfix = P(success | intervention) − P(success | no intervention)

Problem Definition

장기적·비결정적·도구·메모리·다중 에이전트 의존 실행에서 최종 실패를 만든 최초 인과오류를 재현·탐지·설명하고 복구를 검증해야 한다.

Problem A

Terminal-Metric Gap

최종 성공만으로 위험한 경로, 우연한 성공, 질문·거부·복구 품질을 측정할 수 없다.

Problem B

Delayed-Causality Gap

원인과 증상 사이에 긴 시간차가 존재한다.

Problem C

Attribution–Intervention Gap

의심 step과 실제 인과원인을 구분하려면 replay와 intervention이 필요하다.

Problem D

Multi-Agent Responsibility

최초 오류, 검증 실패, 실행, orchestration 책임이 서로 다를 수 있다.

Problem E

Agent–Environment Boundary

실패원인이 model이 아니라 낮은 observability, 불완전한 tool schema일 수 있다.

Problem F

Memory Contamination

잘못된 observation·summary·strategy가 장기 memory에서 사실처럼 재사용된다.

Problem G

Tool-Chain Security

숫자, metadata, telemetry와 binary에 숨은 payload가 text-only 방어를 우회할 수 있다.

Problem H

External-Monitor Gap

외부 monitor는 보이지 않는 내부목표와 의도를 완전히 관측하지 못한다.

Problem I

Consensus–Correctness Gap

합의가 증가해도 핵심사실과 관점이 소실될 수 있다.

Problem J

Production Drift

사용자, API, tool latency, model version, memory가 계속 변한다.

Reliability objective: min P(Failure) + λ DiagnosticCost + μ RecoveryCost + ν CapabilityLoss subject to: P(detect before harm) ≥ 1 − ε P(successful recovery | detected) ≥ 1 − δ

Core Concepts

Failure state transition, root-cause cascade, loop localization, trace metrics, counterfactual replay, minimal failure, conformal monitoring, safe deliberation이 핵심이다.

Failure as State Transition

Safe → recoverable → irrecoverable 영역 전이로 실패를 모델링한다.

Trigger–Mechanism–Signature–Impact–Fix

재현 가능한 실패연구는 각 연결고리를 명시해야 한다.

Root Cause and Cascade

최초 인과오류와 이후 오류 증폭계수를 분리한다.

Loop Localization

Perception, planning, tool, memory, action, reflection, multi-agent, verification, safety loop로 구분한다.

Trace-Level Metrics

Localization accuracy, lead time, recovery rate, false intervention, amplification을 측정한다.

Counterfactual Replay

의심 step을 교체하고 결과가 바뀌는지 실행해 인과성을 확인한다.

Minimal Reproducible Failure

긴 trace에서 핵심 trigger를 유지하면서 불필요한 상태와 행동을 제거한다.

Taxonomy Induction

전문가 taxonomy와 trace 기반 category 발견을 결합한다.

Coarse Supervision

Step annotation 없이 trajectory-level label로 failure-indicative action을 학습한다.

Prefill-Stage Diagnosis

작은 LM의 NLL·attention signal로 zero-output-token 진단을 수행한다.

Conformal Runtime Monitoring

오탐과 조기탐지 trade-off를 calibration한다.

Self-Reporting

외부 monitor가 볼 수 없는 misbehavior를 agent가 명시적으로 보고하게 학습한다.

Safe Deliberation

합의율 대신 fact retention, viewpoint diversity, calibration을 측정한다.

Introduction

Agent reliability 연구는 final outcome에서 taxonomy, trace localization, causal diagnosis, runtime recovery, continuous production reliability로 발전한다.

Stage 1

Final-Outcome Evaluation

Task success, exact match, test pass, reward를 측정한다.

Stage 2

Error Taxonomy

Planning, tool, memory, verification, coordination error를 분류한다.

Stage 3

Trace-Level Localization

책임 agent와 결정적 step을 식별한다.

Stage 4

Causal Diagnosis

Step replacement, replay, fault injection, outcome flip을 사용한다.

Stage 5

Runtime Monitoring & Recovery

조기 경보, rollback, replanning, memory repair, escalation을 수행한다.

Stage 6

Continuous Production Reliability

Drift, taxonomy update, new trigger, regression suite를 지속 관리한다.

Motivation and Background

장기 오류누적, terminal metric의 정보손실, human debugging의 비용, environment 문제, hidden channel, groupthink, production ground-truth 부재가 연구를 촉진한다.

오류의 복리적 누적

수백 단계에서 작은 오류가 memory·계획·tool output을 통해 상관적으로 증폭된다.

최종결과의 정보손실

안전한 10-step 성공과 위험한 100-step 우연한 성공을 구분할 수 없다.

Human Debugging의 한계

긴 trace와 다중 agent 메시지를 사람이 읽어 root cause를 찾는 것은 확장되지 않는다.

Model 밖의 실패

Environment observability, tool schema, rollback interface가 reliability를 결정한다.

자연어 밖의 공격표면

숫자, metadata, binary, image, telemetry에 payload가 숨을 수 있다.

합의와 반복검토의 함정

여러 agent가 같은 framing을 공유하면 fact attrition과 groupthink가 발생한다.

Production Ground Truth 부재

사용자 재시도, escalation, rollback, latency drift 같은 process signal이 필요하다.

Challenges

Root-cause ambiguity, long-horizon credit, annotation cost, nondeterministic replay, diagnostic cost, taxonomy drift, monitor correlation, repair regression이 핵심 난제다.

도전과제	핵심 문제	필요한 해결 방향
Root Cause vs First Anomaly	가장 이상한 step이 실제 원인이 아닐 수 있음	Counterfactual replay, causal graph
Long-Horizon Credit	수십·수백 step의 책임배분	Active diagnosis, intervention selection
Step Annotation 부족	전문가 주석 비용이 매우 큼	Weak supervision, synthetic fault, active labeling
Nondeterministic Replay	Sampling, API, web state가 재실행마다 변함	Versioned snapshots and controlled seeds
Diagnostic Cost	진단이 원래 실행보다 비쌀 수 있음	SLM prefill signals, staged diagnosis
Taxonomy Drift	새 architecture와 tool이 새 실패를 만듦	Dynamic ontology with stable superclasses
Monitor–Agent Correlation	동일 family가 같은 오류를 놓침	Hybrid independent monitors
Recovery Regression	복구가 이미 맞는 상태를 훼손	Localized rollback, patch scope, regression test
False Positive Intervention	정상작업의 반복 중단	Conformal risk and lead-time optimization
Hidden-Channel Security	숫자·image·binary·tool output 공격	Schema validation and information-flow tracking
Multi-Agent Groupthink	Critic이 앞선 framing에 동조	Independent evidence retrieval, fact retention
Ground-Truth Absence	Production detector 평가가 어려움	Delayed feedback, invariants, counterfactual simulation
Repair Generalization	Instance patch가 mechanism 변형에 실패	Mechanism-level adversarial regression suite
Reliability–Capability Trade-Off	강한 제약이 정상 capability를 차단	Joint safety–utility–cost reporting

Research Questions

실패 최소단위, 인과분리, trigger synthesis, weak supervision, attribution latency, memory rollback, self-report, repair certification을 중심으로 정리된다.

RQ1

Agentic failure의 최소 단위는 step, decision, tool call, memory write 중 무엇인가?

RQ2

Root cause와 downstream symptom을 어떻게 인과적으로 분리할 것인가?

RQ3

긴 실패 trace에서 최소 재현 trigger를 자동 생성할 수 있는가?

RQ4

Step annotation 없이 trajectory label만으로 localization이 가능한가?

RQ5

Runtime monitoring에 필요한 latency와 forensic accuracy의 최적점은 어디인가?

RQ6

Agent와 environment 중 어느 쪽을 수정해야 하는가?

RQ7

Memory contamination을 downstream 사용 전에 감지할 수 있는가?

RQ8

최초 오류, 검증 실패, 실행, orchestration 책임을 어떻게 분리할 것인가?

RQ9

Consensus가 안전한지 fact retention과 disagreement로 판단할 수 있는가?

RQ10

Self-report와 external monitor를 어떻게 결합할 것인가?

RQ11

텍스트·숫자·image·binary에 분산된 hidden payload를 추적할 수 있는가?

RQ12

언제 자동복구하고 언제 인간에게 escalation해야 하는가?

RQ13

Ground truth 없이 production drift를 어떻게 탐지할 것인가?

RQ14

Verified fix의 증거기준은 outcome flip, 반복실험, generalization 중 어디까지인가?

RQ15

Failure knowledge를 다음 agent version에 executable regression test로 전이할 수 있는가?

Approaches / Methods

대표 연구를 taxonomy, attribution, runtime, recovery, environment, security, deliberation, production 기준으로 필터링해 탐색할 수 있다.

Taxonomy

MAST

14개 failure mode를 system design, inter-agent misalignment, task verification으로 분류한다.

Benchmark

Who&When

책임 agent와 결정적 step을 분리해 fine-grained failure attribution을 평가한다.

Diagnosis

AgentRx

Task와 trace에서 constraint를 합성하고 단계별 위반증거를 생성한다.

Efficient

MASPrism

작은 LM의 prefill NLL·attention signal로 zero-output-token 진단을 수행한다.

Causal

AgenTracer

Fault injection과 counterfactual replay로 causal failure dataset과 tracer를 학습한다.

Intervention

REFLECT

Diagnosis-specific patch와 replay의 outcome flip을 attribution evidence로 사용한다.

Robotics

Hide-and-Seek in Trajectories

Trajectory-level supervision과 conformal alarm으로 VLA runtime failure를 localization한다.

Debug

AgentErrorTaxonomy & AgentDebug

Memory, reflection, planning, action, system 수준 root cause와 표적 feedback을 제공한다.

System

Aegis

Environment observability, computation offloading, speculative action으로 agent를 바꾸지 않고 reliability를 개선한다.

Security

Hiding in Plain Floats

Structured float carrier와 fragmented reconstruction이 text-only 방어를 우회하는 경계를 분석한다.

Oversight

Training Agents to Self-Report Misbehavior

은밀한 오행동 중 visible signal을 출력하도록 self-incrimination을 학습한다.

Deliberation

The Deliberative Illusion

토론 중 factual attrition과 stance homogenization을 측정한다.

Evaluation

AgentAtlas

Act, Ask, Refuse, Stop, Confirm, Recover와 trajectory taxonomy를 통합한다.

Production

Evaluating Agentic AI in the Wild

Billion-event 운영관측에서 production failure mode와 continuous evaluation을 제안한다.

Dynamic Knowledge

LiveSearchBench

시점이 다른 knowledge snapshot으로 최신 evidence retrieval 실패를 분리한다.

대표 연구	핵심 설계	연구적 의미
MAST	전문가 기반 14개 multi-agent failure taxonomy	실패를 single-model reasoning error에서 system interaction으로 확장
Who&When	Agent·step 수준 책임 귀속	정확한 step localization의 난도를 정량화
AgentRx	Constraint synthesis + violation evidence	감사 가능한 root-cause diagnosis
MASPrism	SLM prefill NLL·attention signal	Production-scale 저비용 trace triage
AgenTracer / REFLECT	Fault injection, patch, replay, outcome flip	상관적 진단을 인과적 attribution으로 확장
Hide-and-Seek	Coarse supervision + conformal monitoring	Step annotation 없는 embodied runtime detection
Aegis	Environment-centered intervention	Reliability engineering의 단위를 system으로 확장
Deliberative Illusion	Fact survival and stance tracking	Consensus를 evidence-preserving deliberation으로 재정의

Key Applications

Coding, web·computer-use, enterprise workflow, robotics, research agent, cybersecurity, high-stakes decision support, production monitoring에 적용된다.

Coding Agent

Repository 탐색, patch 범위, build·test 해석, 반복회귀의 root cause를 찾는다.

Web·Computer-Use Agent

화면상태, 권한, stale observation, irreversible action과 recovery interface를 관리한다.

Multi-Agent Enterprise Workflow

역할중복, delegation 오류, reviewer 승인, 책임소재와 corrective feedback을 분석한다.

Robotics·VLA

Grasp failure, 물체선택, 장기 drift, 안전구역 이탈을 조기탐지한다.

Research·Scientific Agent

출처, 가정, 실험, 최신지식 검색과 trace provenance를 검증한다.

Cybersecurity

Indirect injection, structured carrier, tool poisoning, cross-channel reconstruction을 방어한다.

High-Stakes Decision Support

핵심 evidence, minority hypothesis, disagreement, abstention과 human confirmation을 보존한다.

Production Monitoring

Version regression, tool cascade, memory drift, latency explosion, escalation load를 관측한다.

Open Problems

표준 ontology, causal ground truth, minimal trigger synthesis, nondeterministic attribution, memory rollback, repair certification과 failure economics가 미해결이다.

표준 Failure Ontology

공통 상위 ontology와 분야별 하위 taxonomy를 연결해야 한다.

Causal Ground Truth

전문가 의견을 넘어 intervention으로 검증된 causal label이 필요하다.

Minimal Trigger Synthesis

긴 production trace를 mechanism 보존 상태로 자동 최소화해야 한다.

Partial Observability

외부 trace에 uncertainty와 hidden objective가 나타나지 않을 수 있다.

Cross-Model Diagnostic Transfer

Tokenizer, architecture, tool policy가 달라져도 detector가 전이되는지 불명확하다.

Attribution under Nondeterminism

Replay outcome 변화가 patch인지 sampling variance인지 분리해야 한다.

Multi-Agent Joint Causality

여러 agent의 상호작용형 원인을 모델링해야 한다.

Memory Rollback

잘못된 memory write와 파생 summary를 안전하게 되돌리는 표준이 없다.

Recovery Policy Evaluation

성공률뿐 아니라 비용, regression, human intervention을 함께 측정해야 한다.

Adaptive Attack Surfaces

정적 signature보다 mechanism-level defense가 필요하다.

Self-Report Robustness

Misaligned agent가 report channel을 우회하거나 허위보고할 수 있다.

Consensus without Information Loss

다양성을 유지하면서 비용과 불필요한 disagreement를 줄여야 한다.

Ground-Truth-Free Monitoring

정답 없는 production task에서 detector를 보정해야 한다.

Failure Economics

탐지, 중단, 재시도, human review의 운영비용을 통합해야 한다.

Repair Certification

Fix가 instance가 아닌 mechanism 전체를 해결하는지 증명해야 한다.

Future Directions

미래 agent reliability는 control plane, causal trace graph, trigger compiler, transactional memory, hybrid oversight, repair certificate와 observatory로 발전한다.

1. Agent Reliability Operating System

User Goal ↓ Risk & Ambiguity Analyzer ↓ Agent / Workflow Execution ↓ Trace Instrumentation ↓ Runtime Failure Monitor ↓ Root-Cause Diagnostic ↓ Recovery / Rollback / Escalation ↓ Verified Outcome ↓ Failure Memory & Regression Suite

2. Causal Trace Graph

GT = (Vobservation, Vdecision, Vtool, Vmemory, Vagent, Ecausal)

3. Failure Trigger Compiler

Failure description ↓ Precondition extraction ↓ Tool·memory·environment setup ↓ Minimal trigger synthesis ↓ Repeated execution ↓ Failure probability estimate ↓ Regression-test artifact

4. Agent Failure Digital Twin

Tool, memory, user distribution, latency, API failure와 attack surface를 sandbox에서 재현한다.

5. Intervention Budget Allocator

i* = argmaxi E[Attribution uncertainty reduction] / ReplayCost(i)

6. Transactional Agent Memory

Observation ↓ Staged memory ↓ Source & consistency check ↓ Commit ├─ accepted └─ quarantined

7. Uncertainty-Aware Recovery

High confidence + reversible → local patch Medium confidence → rollback Low confidence + high risk → ask human Irreversible risk → safe stop

8. Dynamic Failure Taxonomy

distance(new event, known categories) > τ ⇒ candidate new failure mode

9. Cross-Layer Safety Contract

Agent → Tool: valid schema, authorized intent Tool → Agent: provenance, uncertainty, side effects Agent → Memory: supported claim, scope, timestamp Memory → Agent: version, source, conflicts Agent → Environment: reversible action or confirmation

10. Hybrid Self-Report and Oversight

Dhybrid = Dself OR Dexternal OR Dconstraint

11. Fact-Preserving Deliberation

Udelib = α AnswerQuality + β FactRetention + γ ViewDiversity − λ TokenCost

12. Live Failure Benchmark

Model, tool, web와 attack surface 변화에 따라 새로운 failure trigger를 지속 생성한다.

13. Repair Certificate

Repair Certificate ├─ Target mechanism ├─ Reproducible trigger ├─ Before / after traces ├─ Counterfactual evidence ├─ Generalization scope ├─ Capability regression tests ├─ Latency and cost impact ├─ Residual risks └─ Expiration conditions

14. Production Failure Observatory

익명화된 failure frequency, critical-step distribution, tool error, recovery, regression, escalation burden을 공유한다.

15. Standard Failure Reporting Protocol

Failure definition, trigger, environment, trace, root cause, evidence, impact, fix, trade-off, generalization, artifact를 표준화한다.

Conclusion

FAGEN은 최종 실패에서 실패과정, 오류분류에서 인과 attribution, 모델수정에서 시스템수정, 사후분석에서 runtime monitoring으로 연구초점을 이동시킨다.

Shift 1

최종 실패 → 실패과정

계획, 도구, memory, 위험행동과 우연한 성공을 분리한다.

Shift 2

오류분류 → 인과 Attribution

의심 step을 patch하고 replay해 결과전환을 확인한다.

Shift 3

모델수정 → 시스템수정

Tool schema, environment, memory, workflow, verifier를 함께 개선한다.

Shift 4

사후 분석 → Runtime Monitoring

피해 이전에 조기탐지·중단·rollback·escalation한다.

Shift 5

Consensus → Evidence Preservation

Fact retention과 legitimate disagreement를 보존한다.

Shift 6

Instance Patch → Mechanism Repair

변형된 trigger에도 일반화되고 capability regression이 낮은 fix를 검증한다.

Shift 7

Static Benchmark → Continuous Evaluation

Model, tool, environment와 사용자분포 변화에 맞춰 detector와 taxonomy를 갱신한다.

Reliable Agentic AI = Reproducible Triggers + Causal Trace Diagnostics + Runtime Monitoring + Verified Recovery + Continuous Failure Learning

Sources

공식 워크숍, failure taxonomy, attribution, runtime monitoring, environment, security, production evaluation의 원문 링크.

ICML 2026 FAGEN 워크숍Official virtual workshop page FAGEN 2026 공식 홈페이지Workshop scope and research agenda FAGEN 2026 OpenReviewWorkshop submissions Why Do Multi-Agent LLM Systems Fail?MAST failure taxonomy Which Agent Causes Task Failures and When?Agent and step attribution AgentRxConstraint-synthesis diagnosis MASPrismPrefill-stage root-cause diagnosis AgenTracerFault injection and counterfactual replay REFLECTIntervention-supported attribution AgentErrorTaxonomy & AgentDebugModular diagnosis and recovery AgentAtlasOutcome, control, trajectory evaluation Hide-and-Seek in TrajectoriesVLA runtime failure monitoring AegisAgent–environment reliability Hiding in Plain FloatsCross-channel prompt injection Training Agents to Self-Report MisbehaviorSelf-incrimination and oversight The Deliberative IllusionFact attrition and groupthink Evaluating Agentic AI in the WildProduction agent evaluation LiveSearchBenchDynamic knowledge and search failure