중심 명제
효율적인 멀티모달 QA는 작은 VLM을 사용하는 문제가 아니다. 질문에 필요한 modality와 region을 선택하고, evidence를 최소한의 token으로 표현하며, 충분한 근거가 모였을 때만 답하고, 각 결론이 실제 visual evidence에서 유도되었음을 검증 가능하게 만드는 adaptive evidence system이다.
Multimodal RAG · Visual Tokens · Incremental QA · Grounding · Agent Memory
Efficient Multimodal Question Answering
EMM-QA 2026 논문군을 multimodal retrieval, visual-token efficiency, adaptive modality routing, incremental QA, selective prediction, visual grounding, temporal understanding, agent memory, reasoning verification와 human–AI teaming의 관점에서 통합한다.
45+워크숍·챌린지 논문
14핵심 연구축
20연구질문
22Open Problems
01
전체 연구 지형
Multimodal QA를 model-only problem이 아니라 evidence retrieval, token budgeting, timing, grounding, calibration과 human utility를 연결하는 system problem으로 본다.
Question→Modality Router→Evidence Retrieval→Resolution & Token Budget→Grounded Reasoning→Calibrated Decision
Efficient Multimodal Intelligence =
Right Evidence × Right Resolution × Right Time × Right Confidence
02
Definition
MMQA, evidence, visual token, textification, incremental QA, grounding, agent memory와 factual evaluation을 정리한다.
Multimodal Question Answering
질문과 text, image, video, table, audio, 3D scene 중 하나 이상의 modality를 함께 사용해 답을 생성하는 문제다.
Knowledge-Intensive MMQA
현재 input만으로 부족한 경우 외부 multimodal corpus에서 evidence를 검색한 뒤 답하는 문제다.
Efficient Multimodal QA
Accuracy뿐 아니라 parameter, FLOPs, latency, token, memory, retrieval, API와 energy cost를 함께 최적화하는 QA다.
Multimodal Evidence
Answer를 지지하거나 반박하는 modality-specific observation과 provenance를 함께 포함하는 단위다.
Visual Token
Image patch, region, frame, voxel 또는 object를 VLM 내부에서 표현하는 token이다.
Visual Token Compression
Answer-relevant visual information을 유지하면서 token 수를 줄이는 pruning, merging, pooling과 latent compression이다.
Latent Memory
Raw text·image evidence를 하나의 compact latent token으로 압축해 retrieval과 generation에 사용하는 방식이다.
Textification
Image, chart, table와 document를 OCR 또는 parser를 통해 text representation으로 변환하는 과정이다.
Textification Safety Boundary
OCR-only path로 답해도 안전한 질문과 원본 visual path가 필요한 질문을 구분하는 경계다.
Incremental Multimodal QA
질문과 evidence가 순차적으로 공개될 때 answer, wait, retrieve, clarify, abstain을 선택하는 QA다.
Early Exit
현재 evidence와 confidence가 충분할 때 추가 clue·layer·token 처리를 중단하는 전략이다.
Selective Prediction
모든 질문에 답하지 않고 신뢰 가능한 경우에만 answer하고 그렇지 않으면 clarify 또는 abstain하는 방식이다.
Conformal Multimodal QA
Prediction set이 정답을 포함할 finite-sample coverage를 제공하도록 calibration하는 방식이다.
Visual Grounding
Answer와 reasoning step이 실제 image region, frame, table cell 또는 visual fact와 연결되는 성질이다.
Mirage Behavior
Image가 없거나 false image가 있어도 VLM이 언어 prior에 기반해 그럴듯한 답을 생성하는 현상이다.
Temporal Grounding
Video에서 subject, event와 time을 올바르게 연결하는 능력이다.
Multimodal Agent Memory
Agent가 과거 visual·textual observation을 저장, 갱신, 검색하고 실제 action에 사용하는 기능이다.
Missing-Modality QA
필요한 modality가 누락되었을 때 shared cross-modal structure를 이용해 답하거나 복원을 시도하는 문제다.
Cross-Modal Alignment
Pretrained vision과 language encoder를 같은 semantic geometry로 정렬하는 과정이다.
Factually Grounded Evaluation
Prompt뿐 아니라 외부지식상 필요한 visual fact가 생성결과에 포함되었는지 평가하는 방식이다.
03
Problem Definition
Retrieval, reading, resolution, compression, calibration, temporal binding와 human utility의 간극을 정의한다.
Accuracy–Efficiency Gap
가장 정확한 model이 latency, token, memory와 energy 측면에서 실제 deployment에 최적이지 않을 수 있다.
Retrieval–Reading Gap
올바른 document를 검색해도 reader가 table cell, icon, 작은 text와 visual relation을 읽지 못할 수 있다.
Textification–Visual-Fidelity Gap
OCR은 저렴하지만 layout, color, topology, merge와 spatial relation을 손실할 수 있다.
Resolution–Context Gap
높은 resolution은 detail을 보존하지만 visual-token cost를 급격히 증가시킨다.
Visual-Evidence Collapse Gap
System이 language prior나 text evidence만 사용해 visual branch가 사실상 비활성화될 수 있다.
Salience–Fine-Grained Evidence Gap
Global encoder가 dominant object를 우선해 작은 객체와 background detail을 놓칠 수 있다.
Compression–Evidence-Loss Gap
Visual token을 줄이면 cost는 감소하지만 answer-critical evidence가 제거될 수 있다.
Full-Context–Incremental-Evidence Gap
모든 clue를 기다리면 느리고 너무 빨리 답하면 ambiguity 때문에 오류가 증가한다.
Confidence–Correctness Gap
Maximum softmax probability가 높아도 missing image, OOD, early clue에서는 자신 있게 틀릴 수 있다.
Answer–Clarify–Abstain Gap
질문이 모호한 경우와 evidence가 없는 경우를 binary answer/abstain으로 구분하기 어렵다.
Missing-Modality–Hallucinated-Recovery Gap
Imputation이 shared signal을 복원한 것인지 plausible hallucination인지 구분해야 한다.
High-Level Benchmark–Low-Level Perception Gap
VLM이 high-level reasoning에 강해도 blur, distortion, local geometry를 인식하지 못할 수 있다.
Semantic Recognition–Visual Tracking Gap
선, 경로, 지하철 노선을 이해해도 인접 distractor 사이에서 local continuation을 추적하지 못할 수 있다.
Frame Recognition–Temporal Binding Gap
각 event는 인식하지만 어느 subject가 어떤 time에 수행했는지 연결하지 못할 수 있다.
Answer Accuracy–Reasoning Grounding Gap
Final answer가 맞아도 reasoning step이 image에 없는 숫자와 relation을 만들어낼 수 있다.
Reasoning-Length–Reasoning-Value Gap
긴 chain-of-thought가 실제 checking을 수행하지 않으면 token cost만 증가한다.
Static Recall–Dynamic Agent Memory Gap
과거 fact를 기억하는 것과 변화하는 world state를 수정·유지하는 것은 다른 능력이다.
Paired-Data–Alignment Gap
Domain-specific QA에서는 paired image–text data가 적고 unpaired modality data만 풍부할 수 있다.
Model·Client Heterogeneity Gap
Federated setting에서는 client마다 architecture, modality, task와 vocabulary가 다르다.
Machine Accuracy–Human Utility Gap
Model accuracy가 높아도 human adoption, timing과 trust 때문에 team performance가 개선되지 않을 수 있다.
04
Core Concepts
Pareto frontier, evidence utility, routing, calibration, mirage probes, process verification와 low-rank completion을 정리한다.
Accuracy–Cost Pareto Frontier
Accuracy, latency, token, memory와 energy 사이에서 어느 objective도 더 개선할 수 없는 system 집합이다.
Evidence Utility per Cost
Evidence가 answer uncertainty를 줄이는 정보량을 retrieval·token 비용으로 나눈 값이다.
Retrieve–Read–Reason–Decide
Retrieval, modality-specific reading, reasoning, uncertainty estimation과 action decision을 분리한 pipeline이다.
Adaptive Modality Routing
질문과 현재 evidence에 따라 text, image, both, zoom 또는 retrieve 경로를 선택한다.
Coarse-to-Fine Visual Reading
저해상도 overview에서 시작해 질문에 필요한 region만 고해상도로 다시 읽는다.
Evidence Compression
Raw evidence를 compact representation으로 변환하되 retrieval, generation과 reconstruction utility를 보존한다.
Query-Conditioned Token Selection
질문과 visual token의 relevance를 계산해 answer-critical token을 선택한다.
Salience Bias
Visual encoder가 dominant object와 high-contrast region을 과도하게 우선하는 현상이다.
Calibrated Early Exit
Temperature-scaled confidence 또는 calibrated risk가 threshold를 넘으면 추가 computation을 중단한다.
Risk–Coverage Curve
Answer coverage를 낮출수록 conditional risk가 어떻게 감소하는지 나타내는 curve다.
Conformal Risk Control
Calibration data의 nonconformity score를 이용해 finite-sample coverage를 보장한다.
Visual Dependence
Image를 제거했을 때 성능이 얼마나 하락하는지로 질문이 visual input에 의존하는 정도를 측정한다.
Mirage Probe
No-image, false-image, counterfactual-image에서 answer와 confidence 변화를 비교한다.
Local Visual Competition
유사한 인접 distractor가 target path의 continuation을 방해하는 현상이다.
Bag-of-Events Representation
Video를 ordered entity–event graph가 아니라 unordered event set으로 압축하는 실패모드다.
Process Verification
각 reasoning step이 correct하고 image-grounded인지 독립적으로 평가한다.
Factual Rubric
Generated image나 video가 만족해야 하는 implicit visual fact를 QA 형태로 구조화한 평가기준이다.
Action–World Interaction Loop
Observe, write memory, update, retrieve, use, act와 feedback을 반복하는 agent memory lifecycle이다.
Low-Rank Cross-Modal Completion
Observed modality의 shared low-rank structure를 이용해 missing block을 복원한다.
Optimal-Transport Alignment
Unpaired vision·language distribution 사이 relational geometry를 transport plan으로 정렬한다.
05
Introduction
Multimodal QA는 single-image VQA에서 adaptive, auditable, human-centered evidence system으로 발전한다.
Stage 1 — Single-Image VQA
하나의 image와 짧은 question에서 answer를 생성한다.
Stage 2 — Large VLM Reasoning
대규모 vision encoder와 LLM으로 OCR, chart, diagram과 general reasoning을 수행한다.
Stage 3 — Multimodal RAG
외부 image, document, screenshot와 table을 검색해 answer를 생성한다.
Stage 4 — Efficient Evidence Processing
모든 evidence를 처리하지 않고 modality, region, resolution과 token을 선택한다.
Stage 5 — Incremental and Selective QA
증거가 순차적으로 도착할 때 answer, wait, retrieve, clarify와 abstain을 결정한다.
Stage 6 — Robust and Grounded QA
Image absence, distortion, distractor, temporal confusion과 language shortcut을 진단한다.
Stage 7 — Process-Auditable Reasoning
Final answer뿐 아니라 각 reasoning step이 visual evidence에 근거하는지 평가한다.
Stage 8 — Human–Agent Multimodal Intelligence
AI가 적절한 timing과 confidence로 evidence를 제공해 human team performance를 높인다.
06
Motivation and Background
Deployment cost, visual web, high-resolution token cost, answer timing, visual shortcut, safety와 useful reasoning이 연구를 촉진한다.
더 큰 Model만으로 Deployment 해결 불가
Mobile memory, API budget, privacy, latency, battery와 human interaction delay를 함께 고려해야 한다.
Web 지식은 순수 Text가 아님
Table, chart, image, map, formula, layout hierarchy와 icon이 답변 evidence가 될 수 있다.
Visual Input은 비쌈
High-resolution document, long video와 3D scene은 visual token과 context cost를 급격히 증가시킨다.
Interactive QA에는 Answer Timing이 중요
정답 여부뿐 아니라 언제 답하는지가 utility와 human collaboration을 결정한다.
높은 Benchmark 점수는 Visual Understanding을 보장하지 않음
Image 없이도 풀리는 shortcut과 low-level perception failure를 분리평가해야 한다.
의료·주행 QA에는 Abstention이 필수
잘못된 확신은 benchmark error가 아니라 직접적 안전위험을 만든다.
Reasoning Token이 많다고 더 효율적이지 않음
추가 token이 verification과 decomposition을 수행할 때만 가치가 있다.
07
Challenges
Accuracy–cost, textification loss, visual-token overload, calibration, temporal binding, agent memory와 factual evaluation이 핵심 난제다.
| 도전과제 | 핵심 문제 | 요구되는 방향 |
|---|---|---|
| Accuracy–cost trade-off | 높은 성능이 높은 latency·token 비용 요구 | Pareto-aware evaluation |
| Retrieval failure | Answer evidence를 찾지 못함 | Multimodal retriever |
| Reader failure | 검색된 table·image를 읽지 못함 | Retrieval–reading decomposition |
| Textification loss | OCR이 layout·icon·relation 삭제 | Textification safety boundary |
| Resolution cost | 세부정보와 context 비용 충돌 | Coarse-to-fine routing |
| Visual-token overload | Document·video·3D token 폭증 | Query-aware compression |
| Evidence collapse | Visual branch를 사용하지 않음 | Counterfactual visual probes |
| Salience bias | 작은 객체와 background 무시 | Low-attention encoding |
| Confidence error | 높은 confidence의 오답 | Calibration·conformal methods |
| Premature exit | 증거 부족 상태에서 조기응답 | Sequential risk control |
| Over-waiting | 충분한데 계속 추론 | Early exit |
| Clarify–abstain confusion | 모호함과 무지 구분 실패 | Fine-grained decision policy |
| Missing modality | Image·record가 누락 | Low-rank·generative recovery |
| OOD distortion | Blur·noise·rotation 인식 실패 | Low-level perception benchmark |
| Local tracking | 유사 path로 전환 | Sequential visual state tracking |
| Temporal binding | 서로 다른 segment event 혼합 | Subject–event temporal models |
| Reasoning faithfulness | 정답이나 step이 image에 비근거 | Process verification |
| Agent memory | Stale visual state와 잘못된 retrieval | Lifecycle memory evaluation |
| Paired-data scarcity | Vision–text pair 부족 | Semi-supervised alignment |
| Client heterogeneity | Architecture·modality·task 상이 | Collaborative modular alignment |
| Human adoption | 좋은 answer가 팀성과로 이어지지 않음 | Team-aware utility |
| Evaluation contamination | 언어 prior로 visual task 해결 | Modality-ablation protocols |
| Medical safety | 오답비용이 매우 큼 | Selective prediction |
| Factual generation | Prompt와 외부사실 불일치 | Fact-grounded rubrics |
08
Research Questions
Evidence selection, token compression, timing, confidence, grounding, temporal memory, alignment와 team utility를 중심으로 정리한다.
RQ1
멀티모달 QA 효율성을 parameter, FLOPs, latency, token, retrieval와 energy를 포함하는 통합 metric으로 정의할 수 있는가?
RQ2
질문마다 text, image, screenshot, table와 external knowledge 중 어떤 evidence를 선택해야 하는가?
RQ3
OCR textification이 안전한 질문과 원본 pixel이 필요한 질문을 자동으로 구분할 수 있는가?
RQ4
Image resolution과 context coverage를 query-conditioned하게 조절할 수 있는가?
RQ5
Answer-critical visual evidence를 유지하면서 visual token 수를 얼마나 줄일 수 있는가?
RQ6
Evidence item 하나를 하나의 latent token으로 압축하면서 provenance와 inspectability를 보존할 수 있는가?
RQ7
Incremental QA에서 answer timing과 accuracy를 공동최적화하는 stopping policy는 무엇인가?
RQ8
Maximum confidence보다 더 안정적인 early-exit signal은 무엇인가?
RQ9
언제 answer하고 언제 clarify하며 언제 abstain해야 하는가?
RQ10
Missing modality를 복원할 수 있는 cross-modal redundancy의 한계는 무엇인가?
RQ11
VLM이 실제 image를 사용하는지 language prior만 사용하는지를 어떻게 식별할 것인가?
RQ12
왜 model scaling이 distortion perception과 path tracing을 안정적으로 개선하지 못하는가?
RQ13
VideoLLM의 subject–event temporal binding을 강화하려면 어떤 explicit state representation이 필요한가?
RQ14
Reasoning step마다 visual evidence를 검증하는 scalable process verifier를 만들 수 있는가?
RQ15
Long chain-of-thought에서 유용한 checking content와 단순 verbosity를 어떻게 구분할 것인가?
RQ16
Multimodal agent memory에서 write, maintenance, retrieval와 use failure를 어떻게 분리할 것인가?
RQ17
소량 paired data와 대량 unpaired data로 robust vision–language alignment를 학습할 수 있는가?
RQ18
서로 다른 architecture, modality와 task를 가진 client들이 low-rank module을 통해 지식을 공유할 수 있는가?
RQ19
AI의 multimodal answer가 인간팀의 accuracy, speed와 trust를 실제로 향상시키는가?
RQ20
생성 image·video의 factual correctness를 external knowledge와 visual evidence에 기반해 자동평가할 수 있는가?
09
Approaches / Methods
대표 연구를 retrieval, routing, compression, incremental QA, safety, missing modality, robustness, agent memory와 alignment 기준으로 탐색할 수 있다.
PixelRAG
Web page를 screenshot tile로 rendering하고 visual retriever와 VLM reader를 결합해 layout·table·icon 정보를 보존한다.
Read or Look?
Question-conditioned textification risk를 추정해 OCR+LLM과 image+VLM path를 선택한다.
Look Before You Zoom
Low-resolution overview에서 시작해 answer-relevant region만 high-resolution으로 재처리한다.
Latent Memory
Text·image evidence를 하나의 latent token으로 압축하고 unified latent retrieval을 수행한다.
Efficient 3D Visual Token Compression
Voxelization, diversity-aware anchor selection과 spatial merging으로 3D QA token을 줄인다.
LARE
Global encoding과 low-attention region encoding을 결합해 non-dominant object를 보존한다.
Stop Thinking, Start Looking
Long reasoning trace 대신 answer와 supporting document region의 직접 alignment를 학습한다.
Data-Efficient Curation
고정 training budget에서 visual dependence, hard negative와 rare failure를 고려해 sample을 선택한다.
Confidence-Aware Early Exit
Clue prefix마다 calibrated confidence를 계산하고 threshold를 넘으면 조기종료한다.
Calibrated Confidence Is Hard to Beat
복잡한 evidence accumulation policy가 simple calibrated threshold를 안정적으로 이기지 못하는 조건을 분석한다.
Context-Aware Conformal Prediction
Driving planner context와 VLM uncertainty를 결합해 위험상황에서 prediction set을 확대한다.
Answer, Clarify, or Abstain
Frozen medical VLM hidden state에서 세 가지 decision action을 선택하는 router를 학습한다.
Pocket-Dentist
Dental MMQA를 accuracy, latency, memory와 on-device deployment 관점에서 공동평가한다.
Low-Rank Completion for MMQA
LoRA-adapted feature matrix, Robust PCA와 twin retrieval로 missing modality를 복원한다.
Mirage Probes
True, absent, false, counterfactual image에서 answer 변화로 visual dependence를 감사한다.
VLMs Trace Without Tracking
Line-tracing에서 nearby distractor가 target continuation을 끌어당기는 현상을 평가한다.
DistortBench
27개 distortion type과 5단계 severity에서 low-level perception을 평가한다.
Pop-Up Distraction Benchmark
Unrelated advertisement event를 삽입해 subject–event temporal binding failure를 측정한다.
WorldMemArena
Write, maintain, retrieve, use 단계별 agent memory lifecycle을 평가한다.
FAGER
External fact proposal과 reference verification으로 factual QA rubric을 만들고 생성결과를 평가한다.
Auditable Step Verification
각 visual reasoning step이 correct하고 image-grounded인지 generative verifier로 평가한다.
Verbose CoT Analysis
동일 reasoning plan에서 길이만 긴 trace와 useful checking content를 구분한다.
SOTAlign
소량 paired teacher와 대량 unpaired optimal-transport refinement로 vision–language alignment를 학습한다.
Co-LoRA
Heterogeneous client 간 architecture-independent low-rank knowledge sharing과 personalized aggregation을 수행한다.
QANTA 2026 Agents
Tossup은 calibrated timing, bonus는 relation reasoning과 human adoption을 고려하는 task-specific agent를 사용한다.
10
Key Applications
Visual RAG, enterprise documents, medical QA, driving, 3D, video, assistants, edge deployment와 human teaming에 적용된다.
Open-Domain Visual RAG
Web screenshot retrieval, chart·table QA, technical-document assistant와 knowledge-intensive web agent.
Enterprise Document QA
Contract, invoice, report, manual, presentation, spreadsheet screenshot와 scanned archive.
Medical QA
Dental screening, radiology, clarification request, multimodal clinical support와 human escalation.
Autonomous Driving
Driving-scene QA, risk recognition, prediction set, explanation과 uncertainty-aware handoff.
3D·Embodied QA
Indoor navigation, robot scene understanding, spatial relation와 3D instruction following.
Video Understanding
Long-video QA, surveillance, sports, tutorials, action recognition과 temporal attribution.
Multimodal Personal Assistants
Multi-session memory, screenshot history, GUI agent, project state와 user preference.
Edge·On-Device QA
Mobile medical screening, industrial maintenance, offline field assistant와 privacy-preserving local QA.
Human–AI Quiz·Education
Quizbowl teammate, tutor, incremental hints, visual science question와 confidence support.
Generative-Media Evaluation
Text-to-image factuality, AI-video detection, generated-poster audit와 iterative refinement.
11
Open Problems
Efficiency accounting, evidence value, visual grounding, temporal binding, missing-modality identifiability와 team utility를 해결해야 한다.
Unified Efficiency Accounting
Parameter, token, retrieval, network, latency, memory와 energy를 공통단위로 비교해야 한다.
Evidence-Value Estimation
Evidence를 읽기 전에 answer uncertainty를 얼마나 줄일지 예측해야 한다.
Textification Safety Certification
OCR-only path가 특정 question class에서 안전하다는 통계적 보장이 필요하다.
Provenance-Preserving Compression
Latent token으로 압축하면서 original source와 supporting region을 복원할 수 있어야 한다.
Query-Aware Visual Compression
Task-independent salience가 아니라 answer-critical evidence를 선택해야 한다.
Adaptive Resolution Theory
어떤 조건에서 zoom, crop, full page 또는 OCR을 선택해야 최적인지 이론이 부족하다.
Sequential Multimodal Calibration
Clue가 추가될 때 confidence가 일관되게 갱신되지 않을 수 있다.
Clarification versus Abstention
Question ambiguity와 model ignorance를 안정적으로 분리하기 어렵다.
OOD Selective Prediction
Calibration distribution과 deployment distribution이 다르면 coverage guarantee가 깨질 수 있다.
Missing-Modality Identifiability
어떤 information이 다른 modality에서 복원 가능한지 사전에 판단해야 한다.
Visual-Grounding Certificates
Answer와 reasoning step이 실제 image region에서 유도되었다는 검증이 필요하다.
Low-Level Visual Intelligence
Blur, distortion, line tracking과 fine geometry가 model scaling만으로 해결되지 않는 원인을 밝혀야 한다.
Temporal Entity Binding
Video object identity를 긴 시간 동안 추적하는 explicit memory가 필요하다.
Process-Verifier Reliability
Verifier 자체가 image보다 language prior로 step을 평가할 수 있다.
Reasoning-Token Budgeting
어떤 문제에 몇 token의 reasoning이 필요한지 동적으로 결정해야 한다.
Agent-Memory Maintenance
새 observation이 이전 memory를 언제 수정·삭제해야 하는지 자동화해야 한다.
Unpaired Alignment Ambiguity
Optimal transport가 semantic correspondence와 dataset bias를 혼동할 수 있다.
Federated Multimodal Heterogeneity
서로 다른 vocabulary, architecture와 modality를 가진 client 간 transfer를 안정화해야 한다.
Human-Team Utility
AI accuracy와 human-team performance가 일치하지 않을 수 있다.
Factual Multimodal Evaluation
Implicit fact와 scientific constraint를 자동 rubric으로 바꾸는 과정 자체가 오류를 가질 수 있다.
Benchmark Visual Dependence
많은 VQA benchmark가 image 없이도 풀리는 문제를 충분히 제거하지 못한다.
Efficiency-Induced Bias
Token pruning과 early exit가 작은 객체, rare event와 minority group에 더 큰 성능손실을 만들 수 있다.
12
Future Directions
미래 EMM-QA는 multimodal QA OS, evidence contract, cost ledger, inspectable memory, visual certificates와 adaptive policies로 발전한다.
1. Efficient Multimodal QA Operating System
Modality dependence, evidence routing, resolution, token budget, retrieval, verification과 decision을 하나의 policy로 통합한다.
2. Machine-Readable Evidence Contract
Modality, source, region, retrieval score, resolution, token cost, freshness, reliability와 supported claim을 명시한다.
3. Multimodal Cost Ledger
Answer마다 text token, visual token, retrieval count, FLOPs, latency, energy와 API cost를 기록한다.
4. Evidence-per-Token Optimization
Token budget 아래 answer information gain이 최대가 되도록 retrieval과 compression을 공동최적화한다.
5. Textification Safety Router
Question과 page structure에서 OCR-only path의 expected risk를 추정하고 calibrated routing을 수행한다.
6. Hierarchical Visual Processing
Page overview, relevant section, object·cell·line과 high-resolution evidence를 단계적으로 처리한다.
7. Inspectable Latent Memory
Latent evidence token에 provenance pointer, source reconstruction, region visualization, confidence와 deletion을 추가한다.
8. Calibration-Native Incremental QA
Answer, calibration, stopping과 compute cost를 하나의 training objective로 최적화한다.
9. Answer–Clarify–Abstain–Retrieve Policy
네 action을 decision-theoretic 또는 reinforcement learning으로 공동학습한다.
10. Visual Grounding Certificate
Answer와 함께 supporting document, visual region, OCR text, contradiction과 uncertainty를 제공한다.
11. Visual Counterfactual Evaluation
Image removal, replacement, object change, distractor와 temporal-order swap을 benchmark 표준으로 포함한다.
12. Explicit Temporal Binding Models
Entity state를 시간축에서 유지하고 event를 entity ID와 timestamp에 binding한다.
13. Process-Grounded Reasoning
각 reasoning step에 explicit evidence pointer를 연결하고 correctness와 sufficiency를 분리평가한다.
14. Useful-Reasoning Token Controller
다음 reasoning block의 expected checking value가 cost보다 클 때만 추가 computation을 사용한다.
15. Dynamic Multimodal Agent Memory
Memory item에 active, superseded, contradicted, uncertain, expired와 decision-critical state를 부여한다.
16. Uncertainty-Aware Missing-Modality Recovery
여러 plausible completion을 생성하고 answer instability가 크면 abstain 또는 modality acquisition을 요청한다.
17. Semi-Supervised Foundation-Model Alignment
Paired data를 최소화하면서 unpaired geometry, domain shift와 alignment uncertainty를 함께 고려한다.
18. Distributed Multimodal Personalization
Low-rank relation module, task prototype, alignment map, calibration layer와 retrieval policy만 공유한다.
19. Human–AI Teaming Protocol
Adoption, over-reliance, timing, confidence communication, correction efficiency와 team gain을 평가한다.
20. Standard Evaluation Protocol
Answer, retrieval, reading, dependence, grounding, efficiency, calibration, temporal reasoning, agent memory와 team utility를 표준화한다.
13
Conclusion
EMM-QA는 큰 VLM 경쟁에서 selective evidence processing, calibrated timing과 grounded system design으로 연구중심을 이동시킨다.
Large VLM → Resource-Aware System
핵심은 parameter 수가 아니라 retrieval, token, latency, memory와 answer quality의 공동최적화다.
Full Input → Selective Evidence
모든 document, image와 frame을 읽지 않고 answer-relevant evidence만 처리한다.
Text-or-Image → Adaptive Routing
OCR과 pixel을 고정선택하지 않고 question dependence와 uncertainty에 따라 경로를 바꾼다.
Raw Evidence → Compressed Evidence
Evidence를 token-efficient하게 압축하되 provenance와 grounding을 유지한다.
Final Answer → Answer Timing
Incremental QA에서는 무엇을 답하는지만큼 언제 답하는지가 중요하다.
Confidence Score → Calibrated Decision
Confidence는 answer, clarify, abstain과 추가 retrieval을 선택하는 decision variable이 된다.
Benchmark Accuracy → Capability Diagnosis
Image dependence, distortion, local tracking과 temporal binding을 분리평가한다.
Long Reasoning → Useful Reasoning
Token 수가 아니라 verification, decomposition과 evidence integration을 수행하는 content가 중요하다.
Static Context → Dynamic Agent Memory
Memory는 저장량이 아니라 write, update, retrieval와 use lifecycle로 평가한다.
Machine-Only QA → Human–AI Team Intelligence
적절한 timing, evidence와 confidence로 인간의 판단을 개선하는 system이 필요하다.
EMM-QA 2026의 핵심은 모든 image를 더 큰 model에 넣는 데 있지 않다. 질문에 필요한 evidence를 비용효율적으로 선택하고, 충분한 근거가 모였을 때만 답하며, 각 결론과 reasoning step이 실제 visual evidence에 grounded되었음을 검증 가능하게 만드는 데 있다.
14
Sources
공식 워크숍, visual RAG, token compression, incremental QA, selective prediction, robustness, agent memory와 alignment 원문 링크.
ICML 2026 EMM-QA 워크숍 페이지원문 및 프로젝트 링크EMM-QA 2026 공식 홈페이지원문 및 프로젝트 링크공식 채택 논문 목록원문 및 프로젝트 링크EMM-QA Call for Papers원문 및 프로젝트 링크QANTA 2026 Competition원문 및 프로젝트 링크EMM-QA OpenReview원문 및 프로젝트 링크PixelRAG원문 및 프로젝트 링크Read or Look?원문 및 프로젝트 링크Latent Memory원문 및 프로젝트 링크LARE원문 및 프로젝트 링크LARE 코드원문 및 프로젝트 링크A Picture Is Worth a Thousand Tokens원문 및 프로젝트 링크Efficient Visual Token Compression for 3D QA원문 및 프로젝트 링크Stop Thinking, Start Looking원문 및 프로젝트 링크Confidence-Aware Incremental MMQA원문 및 프로젝트 링크Calibrated Confidence Is Hard to Beat원문 및 프로젝트 링크Context-Aware Conformal Prediction 코드원문 및 프로젝트 링크Answer, Clarify, or Abstain원문 및 프로젝트 링크Pocket-Dentist원문 및 프로젝트 링크Missing Modality via Low-Rank Completion원문 및 프로젝트 링크Mirage Probes원문 및 프로젝트 링크VLMs Trace Without Tracking원문 및 프로젝트 링크DistortBench원문 및 프로젝트 링크Pop-Up Distractions / DistractionBench원문 및 프로젝트 링크WorldMemArena원문 및 프로젝트 링크WorldMemArena 프로젝트원문 및 프로젝트 링크WorldMemArena 코드원문 및 프로젝트 링크FAGER원문 및 프로젝트 링크Auditable Step Verification원문 및 프로젝트 링크Does Verbose Chain-of-Thought Really Help?원문 및 프로젝트 링크SOTAlign원문 및 프로젝트 링크SOTAlign 코드원문 및 프로젝트 링크Co-LoRA원문 및 프로젝트 링크Co-LoRA 코드원문 및 프로젝트 링크QANTA 2026 Task-Specific Agents원문 및 프로젝트 링크