중심 명제
AI forecasting은 미래의 정답을 맞히는 단발성 prediction task가 아니다. 시간에 따라 유입되는 evidence를 검색하고, belief를 수정하고, uncertainty를 calibrated probability로 표현하며, outcome이 해소된 뒤 학습하고, 최종적으로 forecast를 실제 decision으로 변환하는 장기 적응형 지능 문제다.
Agentic Forecasting · Calibration · World Replay · Prediction Markets · Decision Intelligence
Forecasting as a New Frontier of Intelligence
AI Forecasting Workshop 논문군을 agentic forecasting, probabilistic calibration, test-time compute, chronological replay, prediction markets, forecast memory, time-series foundation models, physical forecasting, decision awareness와 governance의 관점에서 통합한다.
84공식 채택 논문
16핵심 연구축
20연구질문
24Open Problems
01
전체 연구 지형
Forecasting을 point prediction이 아니라 temporal evidence, belief revision, calibration, decision utility와 outcome learning을 연결하는 lifecycle problem으로 본다.
Question Discovery→Temporal Evidence Retrieval→Belief Update→Calibration & Coherence→Decision→Outcome Learning
Forecasting Intelligence =
Temporal Grounding × Belief Revision × Calibration × Decision Utility
02
Definition
Forecasting, calibration, agentic updating, prediction markets, world replay와 decision-aware forecasting을 정리한다.
Forecasting
현재 시점까지 이용 가능한 정보로 미래 outcome의 분포를 추정하는 문제다.
Probabilistic Forecasting
단일 label이 아니라 각 outcome에 대한 probability distribution을 출력하는 방식이다.
Calibration
예측확률과 실제 사건발생빈도가 일치하는 성질이다.
Proper Scoring Rule
Forecaster가 자신의 진실한 belief를 보고할 때 expected score가 최적이 되도록 설계된 평가규칙이다.
Judgmental Forecasting
News, 정책, expert opinion, 역사적 유사사례와 causal reasoning을 통합하는 자연어 기반 예측이다.
Agentic Forecasting
Search, memory, critique, tool use와 belief update를 반복하는 forecasting agent다.
Linguistic Belief State
수치확률, 지지·반대 evidence, base rate, 불확실성과 update history를 함께 저장하는 persistent state다.
Sequential Bayesian Updating
새 evidence가 들어올 때 prior를 posterior로 갱신하는 반복적 belief revision 과정이다.
Agentic Test-Time Adaptation
Model weight를 바꾸지 않고 search strategy, memory, calibration과 source weighting을 개선하는 능력이다.
Open-Ended Forecasting
정해진 label set을 넘어 세계에서 발생 가능한 다양한 사건을 자연어 질문으로 예측하는 문제다.
Time-Series Forecasting
관측된 numerical sequence에서 미래값 또는 미래분포를 예측하는 문제다.
Forecasting Foundation Model
다양한 domain과 frequency의 time series에서 reusable temporal representation을 학습한 model이다.
Decision-Aware Forecasting
Forecast accuracy보다 forecast를 사용한 downstream decision utility를 최적화하는 접근이다.
Prediction Market
참여자의 분산된 belief가 거래가격으로 집계되는 market mechanism이다.
World-Event Replay
과거 사건을 원래 발생순서대로 재생하면서 미래정보를 차단해 agent를 평가하는 환경이다.
Future-as-Label
예측이 실제 outcome으로 해소되는 미래를 scalable supervision으로 사용하는 학습 방식이다.
03
Problem Definition
Calibration, sequential updating, leakage, compute allocation, market, simulation, coherence와 question discovery의 간극을 정의한다.
Prediction–Calibration Gap
Accuracy가 높아도 probability가 과도하게 자신 있으면 decision risk가 커질 수 있다.
Static Prediction–Sequential Updating Gap
실제 forecast는 시간에 따라 evidence를 받고 probability를 반복수정해야 한다.
Evidence Access–Evidence Use Gap
관련 article을 제공받아도 relevance, timeliness, redundancy와 interpretation이 나쁘면 forecast가 개선되지 않는다.
Accuracy–Decision Utility Gap
높은 forecast accuracy가 trading, medicine, policy와 operation의 높은 utility를 보장하지 않는다.
Forecast–Trade Gap
Market edge가 있어도 spread, liquidity, timing과 position sizing 때문에 profit으로 전환되지 않을 수 있다.
Forecast Volume–Compute Allocation Gap
많은 test-time compute보다 불확실한 질문에 선택적으로 compute를 배정하는 것이 중요하다.
Individual Forecast–Crowd Aggregation Gap
Model들이 동일 bias와 data를 공유하면 단순 평균의 wisdom-of-crowds 효과가 제한된다.
World Knowledge–Knowledge-Cutoff Gap
Knowledge cutoff 이전 사건을 평가하면 forecasting이 아니라 memorized outcome replay가 될 수 있다.
Realism–Controllability Gap
현실 benchmark는 결과가 느리고 simulation은 통제 가능하지만 realism이 낮다.
Point Forecast–Distributional Future Gap
MSE point forecast는 multimodal future, rare transition과 shockwave를 smoothing할 수 있다.
Appearance–Motion Gap
Visual forecasting에서 raw pixel prediction은 appearance와 motion을 혼합한다.
Time-Series Model–Regime Gap
어떤 TSFM도 모든 trend, seasonality, horizon과 domain에서 항상 우수하지 않다.
Forecast Question–Question Discovery Gap
기존 benchmark는 무엇을 예측할지를 사람이 지정하지만 실제 intelligence는 question discovery까지 포함한다.
Long-Form Analysis–Forecast Utility Gap
그럴듯한 장문 분석이 실제 probability quality를 개선한다는 보장은 없다.
Coherence–Marginal Accuracy Gap
개별 forecast가 그럴듯해도 logical, temporal, conditional probability가 서로 모순될 수 있다.
Temporal Leakage–Evaluation Integrity Gap
Training, retrieval, prompt와 benchmark pipeline 어디서든 future information이 누수될 수 있다.
04
Core Concepts
Brier score, belief state, factor memory, hierarchical calibration, coherence projection과 question value를 정리한다.
Brier Score
Binary probability forecast의 squared error로, correctness와 confidence를 동시에 평가한다.
Brier Skill Score
Reference predictor 대비 상대적 forecasting performance를 나타낸다.
Reliability Diagram
예측 probability bin과 실제 event frequency를 비교해 calibration을 시각화한다.
Base Rate
유사한 reference class에서 사건이 역사적으로 발생한 빈도로 prior 역할을 한다.
Bayesian Evidence Update
Prior odds에 likelihood ratio를 곱해 posterior odds를 계산하는 belief update 원리다.
Linguistic Belief State
Probability, base rate, supporting·contradictory factors, uncertainty와 update history를 구조화한다.
Forecast Factor Memory
재사용 가능한 causal factor, indicator, historical analogy와 calibration lesson을 저장한다.
Test-Time Compute Allocation
Global compute budget을 question difficulty와 expected marginal gain에 따라 배분한다.
Hierarchical Orchestration
Cheap direct forecast 후 uncertainty가 높은 question만 retrieval, critique와 ensemble로 escalation한다.
Multi-Trial Aggregation
동일 질문에 여러 independent forecast를 생성하고 logit shrinkage나 weighted average로 결합한다.
Hierarchical Calibration
Domain·source별 base-rate 차이를 반영하는 calibration parameter를 사용한다.
Beta–Bernoulli Calibration
Point probability를 Beta distribution으로 표현해 mean과 epistemic uncertainty를 함께 모델링한다.
Forecast Coherence Projection
Raw forecast vector를 logical·probabilistic constraints를 만족하는 feasible set으로 projection한다.
Wisdom of Crowds
다양하고 독립적인 forecaster의 error가 aggregation 과정에서 상쇄되는 현상이다.
Wager-Weighted Aggregation
Forecast뿐 아니라 confidence·wager를 제출하게 해 incentive-compatible aggregation을 수행한다.
Forecast-to-Decision Layer
Forecast distribution을 utility, risk, cost와 operational constraint를 고려한 executable action으로 변환한다.
Chronological Replay
Evidence를 실제 timestamp 순서대로 공개해 belief trajectory를 평가한다.
Paired Intervention Worlds
같은 initial state에서 intervention만 바꾼 두 world를 비교해 causal forecast를 평가한다.
Anytime Forecasting
Computation 어느 시점에서도 valid forecast를 출력하고 compute가 늘수록 점진적으로 개선되는 구조다.
Question Value
Decision relevance, resolution clarity, uncertainty와 measurement cost를 이용해 forecast할 질문의 가치를 평가한다.
05
Introduction
AI forecasting은 classical statistics에서 self-improving forecasting ecosystem으로 발전한다.
Stage 1 — Classical Statistical Forecasting
ARIMA, exponential smoothing, Gaussian process와 state-space model을 사용한다.
Stage 2 — Deep Time-Series Forecasting
RNN, CNN, Transformer와 graph model로 numerical sequence를 학습한다.
Stage 3 — Time-Series Foundation Models
Heterogeneous time-series corpus에서 reusable temporal representation을 pretrain한다.
Stage 4 — LLM Judgmental Forecasting
News, narrative, historical analogy와 world knowledge로 natural-language event probability를 예측한다.
Stage 5 — Retrieval-Augmented Forecasting
Decision timestamp 이전 evidence를 검색하고 forecast에 반영한다.
Stage 6 — Agentic Forecasting
Search, memory, critique, aggregation과 calibration을 반복 수행한다.
Stage 7 — Continual·Sequential Forecasting
시간에 따라 evidence를 받고 belief를 지속적으로 갱신한다.
Stage 8 — Forecast-to-Decision Intelligence
Forecast를 market, policy, medicine, operation과 experiment action으로 변환한다.
Stage 9 — Self-Improving Forecasting Ecosystem
Agent가 question을 발견하고 forecast, resolution, retrospective와 memory update를 순환한다.
06
Motivation and Background
Forecasting intelligence, delayed labels, LLM objectives, long-horizon agents, market baselines와 decision relevance가 연구를 촉진한다.
미래예측은 지능의 핵심기능
Perception, memory, causality, uncertainty와 decision을 동시에 요구한다.
정답이 늦게 도착함
Outcome이 해소된 뒤에야 label을 얻으므로 benchmark iteration과 RL reward 제공이 느리다.
LLM은 확률예측을 위해 직접 학습되지 않음
Next-token objective와 calibrated event probability objective 사이에 간극이 있다.
Forecasting은 장기 Agent Adaptation 평가에 적합
수개월의 memory, search, belief revision과 outcome-based learning을 측정할 수 있다.
Human Forecast와 Market은 강력한 Baseline
AI는 expert, crowd, prediction market, statistical model과 physics model을 넘어야 한다.
Forecasting은 실제 Decision과 연결
재난, 의료, 투자, 공급망, energy, policy와 scientific experiment에 직접 영향을 준다.
07
Challenges
Temporal leakage, delayed outcome, calibration, evidence quality, memory, compute, coherence, market, physical consistency와 governance가 핵심 난제다.
| 도전과제 | 핵심 문제 | 요구되는 방향 |
|---|---|---|
| Temporal leakage | Decision 시점 이후 정보가 training·retrieval에 포함 | Timestamped corpus·causal masking |
| Delayed outcome | Label 해소까지 오랜 시간 필요 | Simulation·live evaluation |
| Calibration | 자신 있는 오답이 큰 위험 생성 | Proper scoring·hierarchical calibration |
| Evidence relevance | 실제 predictive evidence 선별 어려움 | Temporal retrieval·source scoring |
| Evidence duplication | 동일 정보가 여러 source에 반복 | Provenance-aware deduplication |
| Belief revision | 초기 forecast anchor 극복 실패 | Explicit belief-state update |
| Long-horizon memory | 수개월 reasoning과 factor 유지 | Factor·reasoning memory |
| Test-time compute | 무조건 ensemble·critique하면 비용 증가 | Selective allocation |
| Forecast diversity | Agent들이 같은 bias와 source 공유 | Diverse models·prompts·evidence |
| Market comparison | Market과 AI forecast 시점 불일치 | Freeze-time benchmark |
| Accuracy–profit gap | 정확한 forecast도 거래손실 가능 | Proper betting·risk control |
| Forecast–decision gap | Probability가 action으로 올바르게 변환되지 않음 | Decision-aware objectives |
| Coherence | 관련 질문 probability가 논리적으로 모순 | Coherence projection |
| Presentation sensitivity | 표현형식에 따라 probability 변화 | Format robustness audit |
| Source-induced bias | 특정 media source가 forecast 편향 | Counterbalanced evidence |
| Optimism·alignment bias | Helpful alignment가 낙관적 forecast 유도 | Bias benchmark·recalibration |
| Question selection | 너무 쉽거나 불가능한 질문 | Adversarial discovery |
| Realism–control | 현실 benchmark와 simulation 각각 한계 | Hybrid replay·simulation |
| Tail events | 희귀사건 data 부족 | Synthetic intervention worlds |
| Time-series regime shift | Model ranking이 domain·horizon마다 변화 | Adaptive expert routing |
| Multimodal integration | EHR, image, text, sensor scale 상이 | Modality-aware architecture |
| Physical consistency | 평균오차 최소화가 topology를 평활화 | Physics-aware generation |
| Counterfactuals | Intervention 결과 ground truth 부족 | Paired worlds·causal simulation |
| Agent evaluation | Single·multi-agent 실제 이득 불명확 | Cost·calibration-aware benchmark |
| Forecast provenance | Probability 변화 source 불명확 | Evidence ledger |
| Operational safety | 높은 accuracy가 safe action 보장 안 함 | Utility·risk constraints |
08
Research Questions
Temporal representation, belief revision, evidence value, compute allocation, memory, market, simulation, coherence와 decision utility를 중심으로 정리한다.
RQ1
Auto-regressive language-model pretraining은 어떤 temporal predictive structure를 자연스럽게 학습하는가?
RQ2
LLM의 언어적 world knowledge와 numerical time-series structure를 하나의 forecasting representation으로 통합할 수 있는가?
RQ3
장기간 유입되는 evidence를 처리하면서 belief drift와 anchoring을 어떻게 방지할 것인가?
RQ4
수치확률과 자연어 evidence summary를 결합한 belief state가 calibration을 개선하는가?
RQ5
어떤 evidence가 forecast를 실제로 개선하며, 어떤 evidence는 noise 또는 duplicate인가?
RQ6
Question difficulty를 예측해 test-time compute를 선택적으로 배정할 수 있는가?
RQ7
Static ensemble, predictor–critic과 adaptive orchestrator 중 어느 방식이 가장 좋은 cost–quality frontier를 제공하는가?
RQ8
Forecast agent memory에는 raw event, causal factor, reasoning lesson과 calibration error 중 무엇을 저장해야 하는가?
RQ9
Outcome이 해소된 이후 자동으로 생성되는 signal만으로 forecasting model을 지속학습할 수 있는가?
RQ10
Real-world chronological replay와 simulated world benchmark를 어떻게 결합할 것인가?
RQ11
Prediction market의 crowd belief와 LLM forecast를 어떤 규칙으로 집계해야 하는가?
RQ12
Forecast accuracy advantage를 안정적인 trading profit으로 전환하려면 어떤 mechanism이 필요한가?
RQ13
개별 forecast accuracy와 downstream decision utility를 함께 최적화할 scoring rule은 무엇인가?
RQ14
Forecast probability 사이 logical·temporal·conditional incoherence를 outcome 없이 검출할 수 있는가?
RQ15
LLM forecast가 prompt wording, elicitation format와 evidence order에 얼마나 민감한가?
RQ16
무엇을 예측해야 하는지를 agent가 스스로 발견하고 resolution criterion까지 정의할 수 있는가?
RQ17
Time-series foundation-model pool에서 regime별 최적 expert를 lightweight하게 선택할 수 있는가?
RQ18
Point forecast가 smoothing하는 rare transition과 physical topology를 generative model로 보존할 수 있는가?
RQ19
Clinical·financial·scientific forecasting에서 multimodal agent가 single model보다 실제로 우수한가?
RQ20
Forecasting system의 accuracy, calibration, compute, actionability와 safety를 하나의 평가 protocol로 통합할 수 있는가?
09
Approaches / Methods
대표 연구를 agent, replay, Bayesian updating, compute, market, calibration, time series, physical forecasting와 decision 기준으로 탐색할 수 있다.
FutureSim
Timestamped news를 시간순으로 공개하고 agent가 search, memory, probability update와 outcome resolution을 반복하도록 평가한다.
Bayesian Linguistic Forecaster
Linguistic belief state, multi-trial aggregation과 hierarchical Platt calibration을 결합한다.
Allocation, Not Volume
Cheap direct forecast 후 uncertain question에만 retrieval, critique와 ensemble을 선택적으로 적용한다.
Forecasting Emerges from Auto-Regressive Pretraining
Frozen LM hidden state에서 linear readout으로 latent numerical trajectory를 복원한다.
Forecasting Motion in the Wild
Dense point trajectory를 behavior token으로 사용해 appearance와 motion을 분리한다.
Curating the Future·OpenForecaster
Daily news에서 question을 생성하고 leakage·resolution·quality 기준으로 curation한다.
Future-as-Label
실제 outcome 해소를 proper scoring reward로 사용해 human annotation 없이 학습한다.
Reinforcement Learning for Forecasting
Brier·log score 기반 reward로 calibrated probability generation을 직접 최적화한다.
ForecastCompass
Resolved forecast retrospective를 통해 factor memory와 reasoning memory를 갱신한다.
ForecastBench-Sim
Freeciv rollout로 arbitrary horizon, rare event, conditional과 counterfactual forecast를 생성한다.
Proper Betting Strategy
Forecaster와 market probability 차이를 proper scoring 기반 wager로 변환한다.
Forecast-to-Trade
High-level market direction과 low-level portfolio execution을 분리해 risk와 cost를 반영한다.
Beta–Bernoulli Calibrator
Model probability, crowd belief와 disagreement를 Beta posterior로 변환한다.
TimeRouter
TSFM pool 위에서 selective gate와 ensemble fallback으로 regime별 expert를 선택한다.
Mix, Don’t Pick
하나의 synthetic generator를 고르지 않고 여러 generator를 혼합해 robust corpus를 구성한다.
SC-JEPA
Soft codebook bottleneck과 multi-resolution latent prediction으로 anomaly precursor를 학습한다.
Physics-Aware Generative Traffic Forecasting
Conditional diffusion과 medoid inference로 shockwave topology를 보존한다.
AgentRx
EHR, image와 note에서 single-agent와 multi-agent forecasting의 calibration·integration을 비교한다.
Adversarial Forecasting Tournament
강한 forecaster 간 disagreement를 최대화하는 question generation에 incentive를 부여한다.
Arbitrage-Free Forecasts
Forecast vector를 logical·probabilistic feasible set에 projection한다.
10
Key Applications
Geopolitics, markets, finance, climate, traffic, healthcare, science, industry, autonomous agents와 visual intelligence에 적용된다.
Geopolitical·Policy Forecasting
Election, conflict, policy adoption, sanctions, leadership change와 country risk.
Prediction Markets
Market probability, AI trader, crowd aggregation, wagering, arbitrage와 manipulation audit.
Financial Forecasting
Return, volatility, correlation, limit-order-book, portfolio rebalancing와 macro factor.
Climate·Weather·Public Health
Heatwave, temperature, influenza, extreme event, energy demand와 public warning.
Traffic·Mobility
Traffic speed, congestion shockwave, demand, disruption와 transportation risk.
Healthcare
Postoperative outcome, deterioration, treatment response, multimodal risk와 early warning.
Scientific Discovery
Experiment outcome, discovery pathway, PDE evolution, scientific milestone와 AI progress.
Industrial Operations
Equipment failure, anomaly precursor, heat demand, supply chain와 capacity planning.
Autonomous Agents
Task failure prediction, tool-use risk, planning success, memory failure와 safety monitoring.
Predictive Visual Intelligence
Animal motion, human behavior, robot movement, occlusion-aware trajectory와 navigation.
11
Open Problems
Belief stability, attribution, leakage, rare-event calibration, market reflexivity, physical consistency와 continual learning을 해결해야 한다.
Forecasting Foundation-Model Theory
Autoregressive language pretraining에서 forecasting structure가 왜 출현하는지 설명해야 한다.
Long-Horizon Belief Stability
수개월 belief update 동안 anchoring, drift와 self-conditioning을 억제해야 한다.
Evidence Attribution
Probability 변화가 어떤 evidence와 source에서 발생했는지 정량화해야 한다.
Evidence Independence
동일 원문을 재인용한 article을 독립 evidence로 중복계산하지 않아야 한다.
Source Reliability Dynamics
Source reliability가 domain과 시간에 따라 변하는 문제를 다뤄야 한다.
Temporal Leakage Detection
Training, retrieval, prompt와 evaluation 전체에서 future leakage를 자동감사해야 한다.
Open-Ended Resolution
자연어 event의 명확한 resolution criterion을 자동생성하기 어렵다.
Rare-Event Calibration
관측횟수가 적은 tail event에서 calibration을 평가하기 어렵다.
Counterfactual Forecasting
관측되지 않은 intervention world의 ground truth가 부족하다.
Adaptive Compute Calibration
추가 search·critique·ensemble이 필요한 question을 정확히 예측해야 한다.
Agent Memory Revision
잘못된 factor가 저장되었을 때 descendant memory와 forecast를 함께 수정해야 한다.
Forecast Monoculture
유사 LLM, data와 alignment가 prediction diversity를 제거할 수 있다.
Market Reflexivity
공개된 AI forecast가 market과 event 자체를 바꿀 수 있다.
Decision-Aware Evaluation
Forecasting score가 실제 policy, medicine와 portfolio utility를 개선하는지 검증해야 한다.
Outcome-Free Evaluation
아직 해소되지 않은 forecast를 비교할 신뢰가능한 proxy가 필요하다.
Cross-Horizon Reliability
Short-horizon 우수 model이 long horizon에서 과도한 confidence를 보일 수 있다.
Model–Market Hybridization
AI와 human market belief를 언제 어떤 weight로 결합할지 불명확하다.
Time-Series Regime Routing
Unseen domain과 sudden regime change에서 expert selection이 안정적이어야 한다.
Physical Consistency Metrics
RMSE와 MAE가 conservation, shockwave와 causal propagation을 충분히 측정하지 못한다.
Multimodal Forecast Calibration
Text, image와 structured data 간 불일치가 uncertainty에 반영되어야 한다.
Forecast Question Discovery
중요하고 해소 가능하며 차별력 있는 question을 자동발견해야 한다.
Safety and Manipulation
악의적 evidence, market manipulation과 coordinated source attack에 강건해야 한다.
Forecast Governance
Forecast 시점, evidence, model version, update와 decision use를 audit해야 한다.
Continual Outcome Learning
새 outcome으로 학습하면서 catastrophic forgetting과 temporal contamination을 막아야 한다.
12
Future Directions
미래 forecasting은 intelligence OS, forecast contract, evidence ledger, calibration-native training, collective intelligence와 causal branching으로 발전한다.
1. Forecasting Intelligence Operating System
Question discovery, temporal retrieval, belief state, calibration, decision, outcome learning을 lifecycle로 통합한다.
2. Machine-Readable Forecast Contract
Question, resolution, horizon, probability, base rate, evidence cutoff, sources, uncertainty와 update schedule을 명시한다.
3. Temporal Evidence Ledger
각 probability update의 evidence, source, direction과 numerical change를 기록한다.
4. Calibration-Native Forecasting Models
Language objective와 proper scoring·calibration objective를 함께 pretraining·post-training한다.
5. Forecast Memory Architecture
Event, factor, base rate, source reliability, calibration, failure pattern과 decision outcome memory를 분리한다.
6. Evidence-Value Router
Retrieval relevance가 아니라 expected forecast-quality gain per cost로 evidence를 rank한다.
7. Hybrid Real–Simulated Benchmarks
Real replay, simulation, paired intervention와 live unresolved question을 결합한다.
8. Self-Discovering Forecaster
Emerging signal 탐지부터 question generation, monitoring, resolution과 retrospective까지 자동화한다.
9. Market–Agent Collective Intelligence
Human crowd, market, LLM, TSFM, physics model과 expert를 hierarchical aggregation한다.
10. Causal Branching Forecasts
Unconditional forecast뿐 아니라 intervention별 probability를 제공한다.
11. Decision-Aware Forecast Certificate
Probability, calibration interval, coherence, expected utility, downside risk와 recommended action을 제공한다.
12. Adaptive Forecast Compute
Easy, evidence-sensitive, high-disagreement, high-stakes question별로 서로 다른 pipeline을 사용한다.
13. Forecasting Digital Twin
Historical replay와 simulation으로 source poisoning, memory drift, calibration decay와 decision consequence를 시험한다.
14. Physics–Foundation-Model Hybrid
FM의 broad pattern recognition과 physics model의 conservation·stability를 결합한다.
15. Forecasting Governance Standard
Model, cutoff, evidence, search, update history, human override와 realized outcome을 기록한다.
16. Standard Evaluation Protocol
Accuracy, Brier, calibration, updating, evidence, memory, coherence, compute, market value, decision utility와 leakage를 표준화한다.
13
Conclusion
AI Forecasting은 point prediction 경쟁에서 calibrated belief, temporal replay, adaptive compute, collective intelligence와 decision-aware lifecycle로 연구중심을 이동시킨다.
Point Prediction → Calibrated Belief
정답 label 하나보다 미래 outcome 전체에 대한 probability distribution이 중요하다.
Static Benchmark → Temporal World Replay
한 번의 input–output이 아니라 장기간 evidence와 belief update를 평가한다.
Prompt Engineering → Persistent Belief State
Prior, evidence, counterargument, uncertainty와 update history를 구조적으로 관리한다.
Compute Volume → Selective Allocation
모든 question에 ensemble을 적용하지 않고 uncertainty가 높은 question에 compute를 집중한다.
Human Annotation → Future-as-Label
시간이 지나며 해소되는 실제 outcome을 scalable supervision으로 사용한다.
Individual Model → Crowd·Market Intelligence
AI, human, prediction market와 specialist model을 incentive-compatible하게 결합한다.
Forecast Accuracy → Decision Utility
Forecast가 trading, policy, medicine와 experiment selection을 얼마나 개선하는지가 중요하다.
Reality vs Simulation → Hybrid Evaluation
Chronological replay의 realism과 simulation의 control·counterfactual 능력을 결합한다.
Forecast Answering → Question Discovery
진정한 forecasting intelligence는 미래에 중요한 question을 스스로 찾아낸다.
One-Shot Prediction → Self-Improving Lifecycle
Outcome 해소 후 factor, source, memory와 calibration을 지속적으로 수정한다.
AI Forecasting Workshop의 핵심은 미래에 대한 숫자 하나를 출력하는 model이 아니다. 무엇을 예측해야 하는지 발견하고, 현재시점까지 허용된 evidence만 검색하며, belief를 장기간 수정하고, uncertainty를 calibrated probability로 표현하며, outcome이 해소된 이후 자신의 memory와 decision rule을 개선하는 지속적 forecasting agent를 구축하는 데 있다.
14
Sources
공식 워크숍, agentic forecasting, calibration, world replay, prediction market, time-series, physical forecasting와 decision-aware 연구 원문 링크.
ICML 2026 AI Forecasting Workshop원문 및 프로젝트 링크Forecasting Workshop 공식 홈페이지원문 및 프로젝트 링크공식 채택 논문 84편원문 및 프로젝트 링크Forecast Workshop OpenReview원문 및 프로젝트 링크전체 제목·초록 데이터원문 및 프로젝트 링크FutureSim원문 및 프로젝트 링크Forecasting Emerges from Auto-Regressive Pretraining원문 및 프로젝트 링크Allocation, Not Volume원문 및 프로젝트 링크Bayesian Linguistic Forecaster원문 및 프로젝트 링크Forecasting Motion in the Wild원문 및 프로젝트 링크Curating the Future원문 및 프로젝트 링크OpenForecaster 프로젝트원문 및 프로젝트 링크Future-as-Label원문 및 프로젝트 링크ForecastCompass원문 및 프로젝트 링크ForecastBench-Sim원문 및 프로젝트 링크RL for AI Forecasting원문 및 프로젝트 링크Adversarial Forecasting Tournament원문 및 프로젝트 링크When Do Prophets Profit?원문 및 프로젝트 링크Beyond Accuracy: LLMs in Prediction Markets원문 및 프로젝트 링크Decentralized Aggregation via Wagering원문 및 프로젝트 링크Forecast-to-Trade원문 및 프로젝트 링크Prophet Markets원문 및 프로젝트 링크Beta–Bernoulli Calibrator원문 및 프로젝트 링크When Does Evidence Help?원문 및 프로젝트 링크Arbitrage-Free Forecasts원문 및 프로젝트 링크Outcome-Free Audits and Repairs원문 및 프로젝트 링크TimeRouter원문 및 프로젝트 링크SC-JEPA원문 및 프로젝트 링크Mix, Don’t Pick원문 및 프로젝트 링크Generative Traffic Forecasting원문 및 프로젝트 링크AgentRx원문 및 프로젝트 링크