Research Scope
핵심 연구축
- Agentic AI uncertainty quantification
- Conformal prediction과 distribution-free risk control
- 다중 에이전트의 오류·불확실성 전파
- 보류, 라우팅, 조기 종료, 롤백
Integrated Research Review · 2026
Agentic AI의 불확실성·검증·의사결정
Conformal prediction, calibration, multi-agent coordination, selective decision, sequential testing, runtime monitoring을 하나의 신뢰성 제어 프레임워크로 통합한 기술 보고서다.
Measure
→
Propagate
→
Compose
→
Decide
→
Monitor
→
Recover
6핵심 불확실성 유형
10주요 연구질문
9통합 방법론 축
7핵심 응용 도메인
Scope 00
검토 범위와 해석 원칙
단일 모델의 confidence를 넘어 다단계 실행 전체의 위험과 검증을 다루는 최신 논문군을 통합한다.
Publication Status
공개 상태
상당수는 ICML 2026 AgenticUQ 워크숍과 연관되지만 CTB, DEMO, DL4C, AdaptFM 및 arXiv 프리프린트가 함께 포함된다.
Interpretation
해석상의 주의
비아카이벌 워크숍 논문과 초기 프리프린트는 확정된 결론이 아니라 최신 연구 가설과 진행 중인 실험 결과로 해석한다.
핵심 관점. 이 논문군의 중심 문제는 “모델이 얼마나 자신 있는가”가 아니라 “불확실성이 실행 그래프에서 어떻게 생성·전파·합성되고, 최종적으로 행동·보류·검증 결정으로 변환되는가”다.
Definition 01
Agentic Uncertainty Quantification
최종 답변의 정확도뿐 아니라 행동 연쇄, 도구 호출, 메시지 교환, 환경 변화와 평가기의 오류까지 다루는 다층 불확실성 프레임워크다.
p(trajectory succeeds | x, a₁:ₜ, o₁:ₜ, m₁:ₜ)
인식적 불확실성
지식 또는 경험 부족에서 발생한다. 추가 검색, 도구 호출, 학습, 전문가 확인으로 감소할 수 있다.
우연적 불확실성
관측과 환경 자체의 확률적 변동성에서 발생한다. 본질적으로 제거할 수 없는 불확실성이다.
궤적 불확실성
현재 답변이 아니라 앞으로 수행될 행동 연쇄 전체가 성공할지에 대한 불확실성이다.
구성적 불확실성
각 구성 요소가 신뢰할 수 있어도 결합된 전체 시스템이 신뢰할 수 있는지는 별개의 문제다.
행동 불확실성
동일 입력에서 검색어, 도구, 추론 경로가 달라지는 정도다. 반복 실행의 경로 다양성이 실패 신호가 될 수 있다.
평가 불확실성
LLM judge, verifier, reward model, 인간 평가자가 잘못된 판정을 내릴 가능성이다.
Problem 02
Problem Definition
에이전트 시스템을 적응형 실행 그래프로 모델링하고, 정확도·비용·지연·위험을 함께 최적화한다.
적응형 실행 그래프
G = (V, E)에서 각 노드는 LLM, 검색기, 도구, 인간 전문가, verifier 또는 하위 에이전트를 나타낸다. 간선은 정보·제어·불확실성의 흐름을 나타낸다.
node v → (Yᵥ, Uᵥ, Cᵥ)
- Yᵥ: 답변, 행동, 중간 상태
- Uᵥ: 불확실성 또는 신뢰도
- Cᵥ: 시간·토큰·금전·위험 비용
신뢰성 제어 정책
정책은 현재 이력과 불확실성에 따라 다음 행동을 선택한다.
π(Hᵥ,Uᵥ) ∈ {act, defer, verify, route, retrieve, stop, rollback, abstain}
minimize E[L(Yₜ,Y*) + λCₜ]
subject to P(L(Yₜ,Y*) > τ) ≤ α
subject to P(L(Yₜ,Y*) > τ) ≤ α
측정
무엇을 어떤 신호로 추정할 것인가
전파
실행 그래프를 따라 불확실성이 어떻게 이동하는가
결정
행동·보류·검증으로 어떻게 변환할 것인가
보장
유한 표본에서 오류율을 어떻게 제어할 것인가
Concepts 03
Core Concepts
Calibration, coverage, coherence, risk, abstention, sequential validity를 구분해야 한다.
Calibration
80% 확신한 사례가 실제로 약 80% 정확한지를 평가한다. 개별 사례의 안전성을 직접 보장하지는 않는다.
Coverage
Conformal prediction은 정답이 prediction set에 포함될 확률을 유한 표본에서 보장한다.
Coherence
여러 주장·확률·행동이 하나의 일관된 공동 모델에서 동시에 성립하는지를 다룬다.
Risk Control
단순 non-coverage가 아니라 임상 위해, 치명적 미탐지, 잘못된 승인 같은 손실을 직접 제한한다.
Selective Prediction과 Abstention
에이전트의 선택지는 답변과 거부의 이분법이 아니라 의미적 해상도와 검증 강도를 조절하는 연속적 제어 문제다.
Fine Answer
→
Coarse Answer
→
Tool Verification
→
Human Defer
→
Abstain
Anytime-Valid Inference
실행 길이를 미리 알 수 없는 agent workflow에서 e-process와 sequential testing을 사용해 반복 검사에도 오경보율을 제어한다.
Prediction-Powered Inference
대량의 저렴한 AI 평가와 소량의 고품질 인간 레이블을 결합해 비용을 줄이면서 통계적 타당성을 유지한다.
Uncertainty Decomposition
총 불확실성을 reducible과 irreducible로 분해해 강한 모델 라우팅과 인간 보류를 구분한다.
U_total = U_reducible + U_irreducible
핵심 전환. 불확실성은 더 이상 수동적 진단값이 아니다. route, verify, resample, early exit, rollback, semantic backoff, human escalation을 결정하는 능동적 제어 신호다.
Introduction 04
왜 단일 모델 평가로는 부족한가
Agentic AI는 여러 단계, 여러 모델, 여러 도구와 evaluator가 결합되므로 새로운 실패 유형을 만든다.
초기 검색 오류
첫 검색어가 틀리면 이후 모든 reasoning과 evidence가 잘못된 경로로 고정된다.
전역 모순
각 하위 에이전트의 답변은 그럴듯해도 결합 결과가 논리적으로 모순될 수 있다.
합의의 환상
다수결이 서로 상관된 환각을 진실로 강화할 수 있다.
평가자 편향
결과의 중요성을 강조하는 문맥만으로 judge 판정이 달라질 수 있다.
Benchmark Gaming
에이전트가 공개 테스트의 구조를 악용해 실제 능력보다 높은 점수를 얻을 수 있다.
과잉 구체화
큰 방향은 맞지만 날짜, 수치, 인과관계를 근거 이상으로 구체적으로 단정할 수 있다.
System reliability = f(component quality, interaction, dependency, monitoring, control, evaluation)
Background 05
Motivation and Background
다수 에이전트, 자기보고 confidence, LLM judge, 강한 모델 호출은 각각 신뢰성의 충분조건이 아니다.
다수의 에이전트가 항상 안전하지 않다
에이전트 오류가 상관되어 있으면 토론과 다수결은 잘못된 공통 신념을 강화한다. 분포 집계, peer prediction, conformal decision set이 필요하다.
자기보고 confidence는 충분하지 않다
trace length와 self-consistency는 유용하지만 confident–consistent hallucination을 탐지하지 못할 수 있다.
평가자도 또 하나의 예측기다
LLM judge는 prompt, model family, aggregation, context framing에 민감하므로 별도의 calibration과 강건 집계가 필요하다.
비용과 신뢰성은 분리할 수 없다
강한 모델과 인간 검증을 모든 사례에 적용할 수 없으므로 불확실성이 실제로 감소할 때만 비용을 지불해야 한다.
Challenges 06
핵심 난제
적응성, 상관성, 분포 변화, evaluator dependence, 인간 적응이 기존 통계 가정을 무너뜨린다.
국소 보장의 비합성성
각 노드의 오류율 보장이 전체 workflow 보장으로 자동 합성되지 않는다. 실행 경로가 적응적으로 변하고 오류가 상관되어 있기 때문이다.
Exchangeability와 적응성의 충돌
에이전트가 중간 결과를 보고 다음 도구와 프롬프트를 선택하면 calibration과 test 데이터의 교환가능성이 깨진다.
유효한 신호의 정책 실패
예측 상관성이 있는 feature도 실제 정책과 결합되면 regime shift 아래에서 성능이 악화될 수 있다.
구조적 blind spot
높은 confidence와 높은 self-consistency를 동시에 가진 잘못된 지식은 출력 수준 UQ의 공통 사각지대다.
평가 오염과 평가 조작
judge bias, 공개 테스트 과적합, 테스트 코드 수정, 취약점 수 편향을 함께 다뤄야 한다.
감지와 수정의 비동일성
오류를 잘 탐지하는 hidden layer가 수정 개입에도 최적이라는 보장은 없다.
인간은 고정된 oracle이 아니다
AI 조언이 인간 판단을 바꾸므로 calibration 시점의 expert와 배포 시점의 expert가 달라질 수 있다.
인과적 해석의 위험
LLM synthetic user의 persona drift 때문에 simulated intervention을 실제 무작위 실험으로 해석할 수 없다.
Questions 07
Research Questions
측정 단위, 합성 가능성, 의사결정, 비용 최적화, 평가 독립성을 중심으로 연구질문을 정리한다.
무엇의 불확실성을 측정해야 하는가
최종 답변, claim, reasoning step, tool call, agent message, trajectory, evaluator 중 적절한 단위는 무엇인가.
하나의 scalar confidence로 충분한가
Epistemic, aleatoric, behavioral, evaluator uncertainty를 하나의 수치로 압축하면 어떤 정보가 사라지는가.
국소 보장은 언제 전역 보장으로 합성되는가
Tree, DAG, cyclic execution graph에서 필요한 조건은 무엇인가.
불확실성을 언제 행동으로 변환해야 하는가
답변, 일반화, 강한 모델 라우팅, 인간 보류, 롤백의 경계는 어디인가.
약한 verifier를 언제 신뢰할 수 있는가
저비용 점검을 채택할지, 강한 검증으로 escalate할지 어떻게 결정하는가.
다중 에이전트 합의를 어떻게 보정할 것인가
다수결, confidence 평균, debate, peer prediction, conformal set 중 무엇이 상관 오류에 강건한가.
오염된 evaluator를 어떻게 다룰 것인가
Prompt sensitivity, adversarial judge, benchmark gaming을 동시에 처리할 수 있는가.
오류를 얼마나 일찍 탐지할 수 있는가
Trace length, hidden state, verifier sequence, 행동 불일치로 최종 실패 이전에 예측할 수 있는가.
분포 변화에서도 보장을 유지할 수 있는가
Prompt variation, marker-panel shift, regime shift, corrupted context에 대응할 수 있는가.
비용–정확도–지연–위험의 Pareto frontier는 무엇인가
최고 성능 모델을 선택하는 것과 최적 시스템을 구성하는 것은 어떻게 다른가.
Methods 08
Approaches and Methods
Conformal inference, calibration, routing, aggregation, sequential testing, runtime correction, auditing을 하나의 방법론 지도에 배치한다.
8.1 Conformal Prediction과 Risk Control
예측집합 기반
Class similarity, adaptive set, group-wise normalization, hierarchical label backoff를 이용해 효율적 prediction set을 구성한다.
위험 중심
CNCRC, conformal policy control, CASCADE는 non-coverage가 아니라 응용별 치명적 손실을 직접 제어한다.
궤적 수준
오류 구간, agent subset, debate decision set, 생성 steering을 conformal object로 확장한다.
8.2 Calibration과 새로운 Uncertainty Signal
Task-Aware Calibration
Token space가 아니라 의미적 latent task space에서 belief를 보정하고 minimum Bayes risk decoding과 연결한다.
Trace Length
긴 추론과 반복 분기는 모델의 내부 난이도와 불확실성을 간접적으로 나타낼 수 있다.
Single-Generation Calibration
오프라인 self-consistency를 단일 생성용 경량 calibrator로 증류한다.
Behavioral Consistency
동일 task 반복 실행의 action-sequence 변동성을 uncertainty signal로 사용한다.
Hidden-State Geometry
Residual stream의 곡률, phase shift, adversarial intent trajectory를 런타임 오류 신호로 활용한다.
External Evidence
Output-level scorer의 blind spot을 보완하기 위해 독립 judge, retrieval, 실행 테스트를 결합한다.
8.3 Learning to Defer와 Routing
π(s) = reject if s<τL · strong verify if τL≤s<τH · accept if s≥τH
Weak/Strong Verification
저비용 verifier의 점수가 불명확한 중간 영역에서만 강한 검증으로 전환한다.
Heterogeneous Routing
단계별 난이도와 역할에 따라 서로 다른 모델·도구·전문가를 선택한다.
Cost-Aware Early Exit
Confidence가 충분하면 verification을 생략하고 reasoning branch의 KV-cache를 공유한다.
8.4 Multi-Agent Aggregation과 Uncertainty Propagation
Conformal Social Choice
여러 에이전트의 답변 분포를 결합하고 singleton이면 행동, 복수 후보면 보류한다.
Peer Prediction
자신의 답과 다른 에이전트의 예상 답을 함께 수집해 정보 우위와 상관 오류를 분리한다.
Temporal Interaction
Hawkes process로 사건 간 시간적 영향을 모델링하고 LLM은 내용 생성을 담당한다.
Robust Judge Panel
기하중앙값과 강건 통계로 오염된 judge panel의 영향을 제한한다.
Diversity-Aware Ensemble
평균 성능이 가장 높은 모델보다 오류 상관성과 정보 다양성이 낮은 조합을 선택한다.
Communication Audit
메시지 교환 과정에서 confidence가 손실·왜곡·증폭되는 지점을 추적한다.
8.5 Sequential Testing과 Optimal Stopping
Pₕ₀(supₜ Eₜ ≥ 1/α) ≤ α
E-valuator는 verifier score sequence를 e-process로 누적해 실패 궤적을 조기 탐지한다. Bayesian optimal stopping은 추가 평가 표본의 기대 정보 가치가 비용보다 작아지는 시점에서 평가를 종료한다.
8.6 Runtime Monitoring, Correction and Rollback
Conformal Rollback
실패 trace 전체를 재시작하지 않고 오류가 포함될 고신뢰 구간 직전으로 되돌린다.
Latent Rollback
Residual phase shift를 감지해 KV-cache를 과거 상태로 복구하고 steering vector를 삽입한다.
Corrupted-Context Early Exit
후기 layer가 잘못된 context에 과적응하면 더 이른 layer의 출력을 사용한다.
8.7 Evaluation, Auditing and Anti-Gaming
Deterministic Workflow Testing
일화적 성공 사례에서 재현 가능한 test case와 deterministic assertion 중심 평가로 전환한다.
Prediction-Powered Evaluation
AI judge와 제한된 인간 레이블을 결합해 비용을 줄이면서 불편 추정과 신뢰구간을 유지한다.
Judge Calibration
Task 간 transferable calibration, panel aggregation, criteria injection의 비용효율을 비교한다.
Benchmark Security
Context framing, 공개 테스트 악용, 테스트 수정, count bias를 별도 공격 표면으로 관리한다.
Continuous Evaluation
Repeated testing과 optional stopping에도 유효한 anytime-valid evaluation을 사용한다.
Replayability
모델 버전, prompt, tool state, random seed, trajectory를 기록해 실패를 재현한다.
8.8 Structured Reasoning과 Energy-Based Verification
E(y) = E_learned(y) + Σₖ λₖPₖ(y)
학습된 품질 점수와 예산 위반, 테스트 실패, 논리 모순 같은 결정적 제약 penalty를 결합한다. Ensemble 평균은 품질, 분산은 epistemic uncertainty로 사용한다.
Applications 09
Key Applications
산업 모델링, 임상, 공급망, 보안, 시뮬레이션, 로봇, 금융에서 uncertainty를 운영 제어로 연결한다.
산업 SysML v2 생성
NEXUS는 extraction, building, verification agent를 분리해 비정형 문서에서 컴파일 가능하고 traceable한 SysML v2 모델을 생성한다.
임상 의사결정
Resp-GRASP, CASCADE, PATCH는 개인 baseline, 계층적 label, 연쇄적 uncertainty를 임상 안전성과 결합한다.
공급망 회복탄력성
ReflectiChain은 정책 해석 LLM과 물리적 공급망 world model을 결합해 epistemic과 aleatoric uncertainty를 분리한다.
소프트웨어·보안
코드 self-correction, test cheating, multi-vulnerability count bias, verifier early exit, claim-level specificity를 다룬다.
LLM 기반 시뮬레이션
Quantile fidelity와 tail risk를 평가하고, synthetic intervention의 persona drift와 confounding을 통제한다.
Vision–Language–Action
Task 진행에 따른 confidence와 action-level calibration을 사용해 로봇 실패의 조기 지점을 탐지한다.
금융·운영 정책
예측 feature의 유효성과 policy robustness를 분리하고 regime shift 아래의 의사결정 실패를 분석한다.
Open 10
Open Problems
이론적 합성, 조건부 보장, 비정상 환경, evaluator independence, 인과 평가가 미해결 핵심 과제다.
Universal Composition Theory
Local e-value, conformal set, calibration guarantee가 어떤 실행 그래프에서 global guarantee로 합성되는지에 대한 일반 이론이 부족하다.
Conditional Guarantee
희귀 집단, 중첩 그룹, 적응적으로 생성되는 그룹에서 marginal coverage를 넘어선 보장이 필요하다.
Nonstationary Agent
모델, 프롬프트, 검색 인덱스, API, 사용자 행동의 변화 속에서 online recalibration을 수행해야 한다.
Meta-UQ
Task별로 entropy, verbal confidence, trace length, behavior, hidden state, external verifier 중 적절한 신호를 자동 선택해야 한다.
Causal Agent Evaluation
Agent 변경이 실제 사용자 outcome을 개선했는지 synthetic drift와 confounding을 분리해야 한다.
Error Attribution Identifiability
최초 오류, 결정적 오류, 복구 불가능 오류, 최종 관측 오류 중 attribution target을 명확히 정의해야 한다.
Evaluator Independence
Generator와 judge가 training data와 편향을 공유할 때 독립 검증이 가능한지 정량화해야 한다.
Utility-Aware Abstention
과도한 abstention을 방지하면서 utility, risk, cost, delay를 동시에 최적화해야 한다.
Sparse Reward와 UQ
Binary reward가 거의 성공과 완전 실패를 구분하지 못하는 문제를 해결해야 한다.
Reproducible Evaluation
모델 버전, temperature, tool state, API 응답, prompt template과 trajectory distribution을 함께 기록해야 한다.
Future 11
Future Directions
불확실성을 표현·전파·결정·회복하는 Agentic Reliability Control Plane으로 발전한다.
Typed Uncertainty Bus
불확실성 유형, 유효 범위, 만료 시점, 감소 비용, 권장 행동을 구조화해 전달한다.
Local Calibrator
LLM, tool, judge, human expert에 개별 calibration 또는 conformal wrapper를 적용한다.
Propagation Algebra
실행 그래프에서 certificate를 합성하고 합성이 불가능한 경계를 명시한다.
Decision Controller
Act, verify, route, defer, stop, rollback을 비용과 위험에 따라 선택한다.
Sequential Monitor
E-process, change detection, behavioral consistency, hidden state를 사용해 장기 실행을 감시한다.
Audit & Replay
Evidence, confidence 변화, routing, rollback을 재현해 사후 분석과 거버넌스를 지원한다.
Structured Certificate
confidence = 0.82
answer correctness: 0.82
unsupported claims: {c3, c7}
coverage set: {A, C}
reducible uncertainty: high
recommended action: retrieve_and_verify
unsupported claims: {c3, c7}
coverage set: {A, C}
reducible uncertainty: high
recommended action: retrieve_and_verify
Passive UQ에서 Active UQ로
a* = argmaxₐ E[U_before − U_after | a] / Cost(a)
불확실성을 측정하는 데서 끝나지 않고, 단위 비용당 불확실성을 가장 많이 줄이는 검색, 도구, 전문가, 실험을 선택한다.
Hierarchical & Graph Conformal
Label뿐 아니라 execution path, error segment, agent subset, tool sequence, policy family를 prediction object로 확장한다.
Causal–Statistical Evaluation
점수 차이, 통계적 유효성, 실제 사용자 outcome의 인과 개선을 분리해 평가한다.
Self-Healing Agents
Detect → attribute → rollback → repair → recalibrate의 통계적으로 통제된 복구 루프를 구현한다.
Reliability SLO. Catastrophic error rate, unsupported-claim rate, unnecessary deferral rate, verification cost, detection delay, subgroup coverage를 운영 수준 목표로 명시해야 한다.
Map 12
논문군별 핵심 지도
제시된 논문을 이론, conformal validity, routing, multi-agent coordination, evaluation, 산업 응용으로 재분류한다.
A. 이론·내부 신호·World Model
The Geometry of Reasoning Failure
Semantic scale trajectory와 추상화 경계에서 reasoning failure를 탐지한다.
Goal-Optimal Agents Necessarily Learn Predictive World Models 원문 확인 제한
Episodic-reset POMDP에서 목표 최적성과 predictive representation의 필요성을 묻는다.
CIRCUS
여러 회로 추출 설정에서 반복적으로 안정한 consensus circuit을 찾는다.
Trace Length is a Simple Uncertainty Signal
추론 길이와 branching behavior를 uncertainty signal로 사용한다.
Harmfulness Propagation Dynamics
Adversarial intent가 transformer layer를 따라 형성·증폭되는 과정을 추적한다.
Latent Phase-Shift Rollback
Residual stream 이상을 감지해 KV-cache를 롤백하고 steering한다.
The DECK Taxonomy
Consistency와 token confidence의 2×2 taxonomy로 UQ blind spot을 분류한다.
When Agents Disagree With Themselves
동일 task의 action trajectory 불일치를 behavioral uncertainty로 사용한다.
B. Conformal Prediction·Risk Control·Sequential Validity
Leveraging Class Similarity for Enhanced Conformal Prediction
Label 유사도를 사용해 비효율적 prediction set을 줄인다.
Prediction-Powered Active Testing
AI proxy를 control variate로 활용해 active testing의 분산을 줄인다.
Conformal Non-Coverage Risk Control
치명적 non-coverage의 응용별 위험을 직접 제어한다.
Conformal Policy Control
신규 정책과 안전한 reference policy 간 실행을 위험 수준에 맞춰 제어한다.
E-valuator
Verifier score를 anytime-valid sequential test로 변환한다.
Betting on Equilibrium
반복 게임에서 equilibrium deviation을 e-value로 감시한다.
Model-Free Assessment of Simulator Fidelity
Sim-to-real discrepancy를 quantile curve와 tail risk로 평가한다.
PATCH
Marker-panel shift 아래 계층적 conformal cell typing을 수행한다.
CASCADE Conformal Prediction
상위 단계 uncertainty를 하위 단계 interval 폭에 반영한다.
Conformal Agent Error Attribution
오류 가능성이 높은 연속 trace 구간을 prediction set으로 반환한다.
C. Calibration·Deferral·Routing
Task-Aware Calibration
의미적 task space에서 calibration과 optimal decoding을 연결한다.
Human-AI Collaborative UQ
인간 prediction set을 해치지 않으면서 AI가 보완한다.
Answer Only as Precisely as Justified
Claim별 fine, coarse, omit을 선택해 과잉 구체화를 제어한다.
AgentRouter
Multi-step workflow의 단계별 heterogeneous model routing을 수행한다.
Flexible Routing via Uncertainty Decomposition
Reducible과 irreducible uncertainty를 routing에 사용한다.
Beyond Augmented-Action Surrogates
Multi-expert learning-to-defer의 surrogate consistency를 분석한다.
Rethinking LLM Confidence
Calibration을 넘어 coherence와 decision usefulness를 평가한다.
When to Trust the Cheap Check
Weak verification과 strong verification 간 최적 전환을 분석한다.
Unsupervised Confidence Calibration from a Single Generation
Offline self-consistency를 single-pass calibrator로 증류한다.
D. Multi-Agent Coordination과 Aggregation
From Debate to Decision
Debate 결과를 distribution-free act-or-defer decision으로 변환한다.
HawkesLLM
Agent event의 시간적 영향과 의미 생성을 분리한다.
Locally Coherent, Globally Incoherent
국소 예측을 전역 coherent polytope와 비교한다.
Bayesian Truth Serum for LLMs?
Answer와 peer forecast를 함께 받아 정보 우위 신호를 탐색한다.
RoPoLL
오염된 judge panel에서 geometric median으로 강건하게 집계한다.
Chorus
Synthetic audience가 결정할 때와 abstain할 때를 구분한다.
Breaking the Martingale Curse
Peer prediction 기반 debate로 상관된 다수 오류를 교정한다.
E. Evaluation·Auditing·Benchmark Integrity
GLIDE
Prediction-powered inference를 GenAI 평가 라이브러리로 산업화한다.
When Valid Signals Fail
Predictive feature가 RL policy에서 regime-dependent하게 실패한다.
Context Over Content
동일 답변의 stakes framing만 바꿔 judge 편향을 측정한다.
Do Coding Agents Deceive Us?
Randomized capped evaluation으로 테스트 악용과 cheating을 탐지한다.
MultiVulnBench
다중 취약점 탐지에서 count bias를 측정한다.
On Cost-Effective LLM-as-a-Judge Improvement
Criteria, ensemble, calibration, escalation의 비용효율을 비교한다.
Knowing When to Stop
평가 표본 수를 Bayesian optimal stopping으로 결정한다.
F. 산업·의료·효율성 응용
NEXUS
비정형 산업 문서에서 검증 가능한 SysML v2 모델을 생성한다.
Resp-GRASP
개인 baseline과 guardrailed RAG로 호흡 신호를 해석한다.
ReflectiChain
공급망 graph world model과 epistemic grounding을 결합한다.
RKSC
Reasoning-aware KV sharing과 confidence-gated early exit을 결합한다.
Distributional Energy-Based Models
학습 scorer, deterministic constraints, epistemic ensemble을 결합한다.
The Illusion of Intervention
LLM synthetic experiment의 user drift와 인과 편향을 분석한다.
Conclusion 13
종합 결론
Agentic UQ는 confidence 모듈이 아니라 에이전트 시스템 전체의 통계적 운영체제로 발전하고 있다.
신뢰할 수 있는 Agentic AI는 확신하는 모델이 아니라, 자신의 불확실성을 구조적으로 표현하고 그 불확실성에 따라 행동을 바꾸며 그 행동의 위험을 통계적으로 통제하는 시스템이다.
Signal Selection
오류 유형에 맞는 uncertainty signal을 선택하는 능력
Guarantee Composition
실행 그래프 전반에서 local guarantee를 합성하는 능력
Risk-Aware Routing
비용과 위험에 따라 모델·도구·인간을 라우팅하는 능력
Early Detection
실패를 최종 출력 이전에 탐지하고 안전하게 롤백하는 능력
Evaluator Audit
Judge와 synthetic environment 자체의 불확실성까지 감사하는 능력
Operational Governance
통계적 보장을 실제 시스템 SLO와 운영 정책으로 연결하는 능력
Sources 14
주요 출처와 안내
문서 내 논문별 원문 링크는 논문군 지도에 포함했다.