Offline RL · OPE · World Models · Bayesian Optimization · Safe Adaptation

Decision-Making from Offline Data to Online Adaptation

DEMO 2026 논문군을 바탕으로 offline RL, offline-to-online adaptation, off-policy evaluation, world-model planning, Bayesian optimization, zero-shot RL, limited-feedback learning, generative policy와 social offline RL을 통합한다.

중심 명제

미래의 offline decision system은 과거 data에서 고정정책 하나를 학습하는 모델이 아니라, dataset이 알고 있는 것과 모르는 것을 구분하고 제한된 online interaction의 가치와 위험을 계산하며 안전하게 학습·실행·검증·rollback하는 지속적 의사결정시스템이다.

9핵심 연구축

16통합 연구질문

18미해결 문제

15미래 방향

전체 연구 지형

DEMO는 offline 학습 자체보다 offline knowledge를 안전한 online adaptation으로 전환하는 원리와 평가기준을 다룬다.

Offline RLConservative learningCoveragePessimism

Offline-to-OnlineStability–plasticitySafe fine-tuningTest-time adaptation

Off-Policy EvaluationImportance weightingConfidence intervalsIdentification

World-Model PlanningLatent dynamicsAdaptive horizonModel uncertainty

Bayesian OptimizationMulti-task transferScientific discoveryExperiment selection

Goal-Conditioned RLForward–backwardAbstractionGeneral utility

Generative PoliciesFlow policiesDiffusion policiesValue propagation

Limited FeedbackReward labelingActive acquisitionCost-aware learning

Social Offline RLPartner shiftMixed motivesCoordination

Historical Logs→Coverage Audit→Offline Learning→OPE & Identification→Safe Deployment→Online Adaptation→Monitoring & Rollback

Reliable Offline-to-Online Decision Intelligence = Coverage-Aware Offline Learning + Identifiable Evaluation + Uncertainty-Calibrated Planning + Stability–Plasticity Control + Safe Online Adaptation

Definition

Offline decision-making의 공통 개념과 수학적 단위를 정리한다.

Offline Decision-Making

고정된 logged dataset만을 이용해 새로운 정책이나 의사결정 규칙을 학습하는 문제다.

Offline Reinforcement Learning

환경과 추가 상호작용 없이 trajectory dataset에서 정책을 학습한다.

Offline-to-Online RL

Offline dataset에서 사전학습한 정책·표현을 제한된 online interaction으로 안전하게 적응시킨다.

Behavior Policy와 Target Policy

Behavior policy는 data를 생성한 정책이고 target policy는 학습·평가하려는 정책이다.

Off-Policy Evaluation

Target policy를 실제 배포하지 않고 logged data로 가치를 추정한다.

Offline Black-Box Optimization

기존 입력–결과 dataset만으로 새로운 고성능 설계를 찾는다.

Bayesian Optimization

Surrogate posterior와 acquisition function으로 다음 평가점을 선택한다.

Contextual Bandit

Context가 주어질 때 action을 선택하고 즉시 reward를 관찰하는 제한된 sequential decision problem이다.

Support와 Coverage

Target policy가 선택할 상태–행동이 offline dataset에 얼마나 포함되는지 나타낸다.

Conservative·Pessimistic Decision-Making

Uncertainty가 큰 행동을 낮게 평가하거나 behavior policy와의 divergence를 제한한다.

Zero-Shot Reinforcement Learning

Reward가 사전학습 때 정해지지 않아도 새로운 utility에 즉시 적응하는 policy basis를 학습한다.

World-Model Planning

Offline trajectory에서 dynamics model을 학습하고 deployment 중 candidate trajectory를 rollout한다.

Problem Definition

Coverage, identification, adaptation, world model, reward scarcity와 social shift의 간극을 정의한다.

Coverage–Extrapolation Gap

Dataset 밖 행동을 직접 관찰할 수 없지만 policy improvement는 분포 밖 선택을 요구한다.

Offline Score–Online Performance Gap

높은 offline score가 실제 online improvement를 의미하지 않을 수 있다.

Stability–Plasticity Gap

Offline knowledge를 보존하면 적응이 느려지고 빠르게 적응하면 기존 능력을 잃을 수 있다.

Partial-Observability Gap

현재 observation만으로 true state를 알 수 없어 belief state가 필요하다.

Safe Cross-Domain Deployment Gap

한 환경에서 안전한 정책이 다른 환경에서도 안전하다는 보장이 없다.

World-Model Horizon Gap

짧은 horizon은 장기효과를 놓치고 긴 horizon은 model error를 증폭한다.

Multi-Task Transfer Gap

Source task가 target optimization을 돕기도 하고 negative transfer를 만들기도 한다.

Universal-Representation Gap

하나의 representation이 모든 reward와 downstream task를 지원할 수 있는지 불명확하다.

Limited-Reward Gap

Trajectory는 있어도 reward label이 없거나 일부에만 존재한다.

Generative-Policy Optimization Gap

Flow·diffusion policy를 value로 최적화하려면 solver와 gradient 안정성을 함께 다뤄야 한다.

Social-Data Gap

다중 agent transition은 partner policy에 의존하므로 deployment partner가 달라지면 추가 shift가 발생한다.

Core Concepts

Support, pessimism, belief, policy basis, test-time training과 cost-aware learning을 정리한다.

Dataset Support

Target policy의 occupancy가 behavior distribution 안에 얼마나 포함되는지 학습가능성을 결정한다.

Conservatism과 Pessimism

Coverage 밖 행동의 과대평가를 uncertainty penalty와 policy constraint로 억제한다.

Stability–Plasticity Control

Offline prior 보존 강도를 online drift와 prior quality에 따라 조정한다.

Representation Pretraining

Reward와 무관한 offline trajectory representation을 먼저 학습하고 online policy가 재사용한다.

Prior Policy Reuse

Demonstration과 pretrained policy를 단순 초기화가 아니라 지속적 prior로 사용한다.

Belief-Aware Sequence Modeling

Hidden state를 명시적 belief로 예측하고 action head에 조건화한다.

Model-Predictive Control from Offline Data

Offline dynamics와 value를 이용해 candidate trajectory를 평가한다.

Off-Policy Uncertainty

Weight concentration, sampling variance, model bias, coverage uncertainty를 분리한다.

Identification

관찰분포만으로 관심 policy value를 유일하게 결정할 수 있는지를 묻는다.

Zero-Shot Policy Basis

다양한 utility에 적응할 수 있는 latent policy family를 offline pretraining으로 구축한다.

Absolute·Temporal Abstraction

상대적 state–goal relation과 option을 사용해 경험을 재사용한다.

Test-Time Training

Deployment task에 맞춰 policy parameter를 test time에 업데이트한다.

Cost-Aware Learning

Sample별 label·token·compute 비용 차이를 학습정책에 반영한다.

Introduction

Offline decision-making은 behavioral cloning에서 safe online adaptation과 identification-aware decision system으로 발전한다.

Stage 1 — Behavioral Cloning

Offline action을 모방한다. 안전하지만 dataset의 suboptimal behavior를 넘기 어렵다.

Stage 2 — Offline Policy Improvement

Q-function, pessimism과 policy constraint를 이용해 behavior보다 나은 policy를 학습한다.

Stage 3 — Off-Policy Evaluation

Deployment 전에 target policy의 성능과 uncertainty를 logged data에서 추정한다.

Stage 4 — Limited Online Fine-Tuning

Offline policy를 initialization으로 사용하고 작은 online budget으로 적응한다.

Stage 5 — World-Model Planning

Offline dynamics를 학습하고 deployment 중 model-predictive planning을 수행한다.

Stage 6 — General-Purpose Offline Priors

Reward-independent representation, policy basis와 generative policy를 학습한다.

Stage 7 — Cost·Safety·Identification-Aware Systems

Reward뿐 아니라 safety, confidence, interaction cost, compute와 식별가능성을 함께 고려한다.

Motivation and Background

비싼 online experiment, 편향된 log, scientific discovery와 foundation-model post-training이 연구를 촉진한다.

Online Experiment는 비싸고 위험

환자치료, 로봇, 산업설비, 자율주행, 화학실험과 foundation-model post-training에서 무작위 exploration은 어렵다.

Offline Data는 풍부하지만 편향

Historical log는 특정 behavior policy, 운영규칙과 선택편향 아래 수집된다.

Offline 성능이 Online 성공을 보장하지 않음

Coverage, estimator bias, hidden confounding과 distribution shift를 고려해야 한다.

Scientific Discovery는 전형적인 Offline-to-Online 문제

과거 실험을 prior로 사용하고 제한된 새 실험으로 posterior를 개선한다.

Foundation Model Post-Training도 Logged Decision-Making

Prompt는 state, response는 action, reward model은 reward, rollout은 offline dataset으로 해석할 수 있다.

Challenges

Coverage, OPE uncertainty, identification, safety, world-model error, social shift와 cost heterogeneity가 핵심 난제다.

도전과제	핵심 문제	필요한 방향
Distribution shift	Target policy가 offline distribution을 벗어남	Pessimism, policy constraint
Coverage	필요한 action이 dataset에 없음	Coverage diagnostics, targeted online collection
OPE uncertainty	ESS와 실제 estimator uncertainty 불일치	CI coverage와 sensitivity analysis
Identifiability	Offline observation만으로 online value를 결정할 수 없음	Identification standard
Stability–plasticity	Prior 보존과 online adaptation 충돌	Regime-aware regularization
World-model error	Latent rollout에서 오차 누적	Uncertainty-aware horizon
Partial observability	Hidden state와 belief 불확실	Belief-aware sequence model
Safety transfer	환경변화 후 constraint 위반	Probabilistic safety bounds
Negative transfer	Source task가 target BO를 방해	Correlation diagnostics
Reward scarcity	Offline data에 reward label 부족	Active reward acquisition
Representation mismatch	하나의 representation이 모든 reward를 지원하지 않음	Task-adaptive policy basis
Generative-policy instability	Flow·diffusion solver 역전파가 불안정	Intermediate-value propagation
Social shift	Partner policy가 바뀜	Social offline benchmark
Compute heterogeneity	Sample·sequence별 training cost 차이	Cost-aware sampling
Hyperparameter leakage	Offline method를 online tuning으로 선택	Fully offline selection protocol
Multi-objective conflict	Reward, safety, cost가 상충	Constrained·Pareto decision-making
Benchmark realism	Static score가 deployment를 반영하지 못함	Offline-to-online evaluation curve
Reproducibility	Dataset quality와 behavior policy가 결과를 크게 좌우	Dataset and policy provenance

Research Questions

식별가능성, coverage, stability–plasticity, world-model planning, reward labeling, generative policy와 cost allocation을 중심으로 정리한다.

RQ1

Offline dataset만으로 target policy의 online value를 언제 식별할 수 있는가?

RQ2

Coverage가 부족한 영역을 회피해야 하는가, 제한된 online experiment로 보완해야 하는가?

RQ3

Offline dataset과 pretrained policy 중 어느 prior를 online adaptation 중 보존해야 하는가?

RQ4

Stability와 plasticity를 deployment 중 자동으로 추정할 수 있는가?

RQ5

Effective sample size 외에 OPE uncertainty를 비교할 표준지표는 무엇인가?

RQ6

World-model prediction error가 planning error로 전환되는 지점을 어떻게 탐지할 것인가?

RQ7

고정 planning horizon 없이 state별로 rollout depth를 결정할 수 있는가?

RQ8

Belief calibration과 action performance 사이의 trade-off를 어떻게 제어할 것인가?

RQ9

하나의 unsupervised representation으로 임의의 reward를 최적화할 수 있는가?

RQ10

완전한 zero-shot control보다 한 단계의 안정적 policy improvement가 더 현실적인 목표인가?

RQ11

제한된 reward-label budget에서 어떤 trajectory를 우선 annotation해야 하는가?

RQ12

Diffusion·flow policy의 표현력을 유지하면서 value optimization을 안정화할 수 있는가?

RQ13

Source task와 target task의 transferability를 BO 실행 전에 판단할 수 있는가?

RQ14

Offline social data에서 새로운 partner population에 일반화할 수 있는가?

RQ15

Offline method selection 과정의 hidden online tuning을 어떻게 감사할 것인가?

RQ16

LLM·generative-model post-training에서 token, rollout, evaluator cost를 어떻게 공동최적화할 것인가?

Approaches / Methods

대표 연구를 adaptation, planning, zero-shot, belief, safety, generative policy, BO, reward와 cost 기준으로 필터링해 탐색할 수 있다.

adaptation

Three-Regime Offline-to-Online RL

Offline dataset quality와 pretrained policy quality의 상대적 관계에 따라 regularization, replay, exploration regime을 선택한다.

zero-shot

Soft Forward-Backward Representations

Offline data에서 stochastic policy family를 학습하고 test time에 일반 utility를 최대화하는 latent code를 탐색한다.

zero-shot

One-Step Forward-Backward

모든 reward의 optimal policy 대신 behavior에서 한 단계 개선된 policy basis를 학습한다.

safety

Safe-CDT

Achievability estimate, cost-aware reweighting, LoRA adaptation으로 cross-domain safety를 제어한다.

belief

Belief-Aware Decision Transformer

Observation history에서 structured belief를 예측하고 action head에 조건화한다.

adaptation

XQCfD

Demonstration replay, pretrained policy, online experience와 stationary architecture로 prior를 보존하며 개선한다.

representation

Multimodal JEPA Pretraining

Offline gameplay trajectory에서 visual·multimodal representation을 사전학습한 뒤 online RL policy가 재사용한다.

planning

SHARP-BC

Dynamics ensemble의 horizon별 return variance로 adaptive planning horizon을 soft aggregation한다.

generative

Q-Flow

Flow trajectory의 terminal Q-value를 intermediate latent state로 전파해 solver 전체 역전파 없이 정책을 최적화한다.

generative

Ensemble Exploration for Generative Policies

독립 critic·policy와 trajectory disagreement bonus로 generative policy exploration을 개선한다.

Multi-Task Bayesian Optimization Remedies

Task-specific mean·scale, constrained covariance, colocated design으로 spurious transfer를 줄인다.

Scientific Foundation Model + BO

Molecule·protein representation을 surrogate와 acquisition function에 연결해 고비용 실험을 선택한다.

reward

Uncertainty-Guided Reward Labeling

Reward model uncertainty가 큰 trajectory를 annotation 대상으로 선택한다.

goal

Goal-Conditioned Abstraction

Absolute coordinate 대신 relative state–goal relation과 option으로 경험을 재사용한다.

adaptation

Meta-GC-TTT

Deployment task에서 test-time training 후 성능이 높아지도록 base policy를 meta-training한다.

cost

Cost-Aware GRPO

Sequence별 gradient utility와 token cost를 반영해 rollout selection을 최적화한다.

Key Applications

로봇, scientific discovery, LLM post-training, generative-model alignment, 산업·의료·social systems에 적용된다.

로봇·Embodied Control

Demonstration manipulation, sparse-reward exploration, offline world-model planning, safe online fine-tuning, partial-observation control.

Scientific Discovery

Molecule·protein selection, 재료설계, 실험조건 추천, multi-fidelity experiment와 고비용 simulation.

LLM Training·Evaluation

RLHF·RLVR, reasoning-model adaptation, configuration BO, cost-aware GRPO, evaluation allocation.

Generative Video·Image Alignment

기존 rollout과 reward를 offline data로 사용해 새로운 diffusion·flow generator policy를 학습한다.

에너지·지질·산업

Geosteering, plasma control, power restoration, hybrid power plant control, predictive control.

의료·교육·추천

Historical treatment·interaction log에서 제한된 online experimentation으로 정책을 개선한다.

Social·Multi-Agent Systems

Cooperation, competition, commons management, resource sharing, partner adaptation과 social-policy evaluation.

Open Problems

Identification, coverage certificate, reward-free representation, social generalization, cost-aware theory와 governance를 해결해야 한다.

Offline-to-Online Identification

어떤 offline metric이 online improvement를 실제로 식별하는지 표준이 부족하다.

Coverage Certificate

Dataset이 특정 target policy class를 지원한다는 것을 사전에 인증해야 한다.

Safe Exploration Budget

제한된 online budget을 성능개선과 safety validation에 어떻게 배분할지 미해결이다.

Regime Detection

현재 stability–plasticity regime을 deployment 전에 자동판단해야 한다.

Continual Stability–Plasticity

환경이 계속 바뀌면 regularization strength도 지속적으로 변해야 한다.

Latent World-Model Auditing

Prediction loss가 낮아도 planning-critical information이 보존되는지 검증해야 한다.

Model-Error Propagation

One-step dynamics error가 장기 control loss에 미치는 영향을 정량화해야 한다.

OPE Confidence Calibration

Estimator, horizon, policy class 사이에서 confidence interval을 비교 가능하게 만들어야 한다.

Hidden Confounding

미관측 변수가 logged decision에 영향을 주면 OPE와 offline RL이 편향된다.

Reward-Free Data Utilization

Reward 없는 trajectory에서 downstream utility를 잘 보존하는 representation이 무엇인지 불명확하다.

Universal Utility Representation

모든 reward를 지원하는 representation이 현실적인지 해결되지 않았다.

Generative Policy Evaluation

Likelihood, diversity, value와 safety를 함께 평가하는 표준이 부족하다.

Social Coverage

Offline dataset에 없는 partner policy에 대한 일반화를 보장하기 어렵다.

Multi-Task BO Transfer Diagnosis

Source task가 도움이 될지 해로울지 target evaluation 전에 판단해야 한다.

Fully Offline Hyperparameter Selection

Offline method가 실제로는 online return을 보고 tuning되는 관행을 제거해야 한다.

Cost-Aware Statistical Efficiency

Token, GPU, 실험비용, human label과 failure cost를 포함하는 이론이 필요하다.

Foundation-Model Policy Drift

Offline RLHF data로 학습한 model이 새로운 user distribution에서 어떻게 drift하는지 분석해야 한다.

Offline Dataset Governance

Behavior policy version, reward definition, filtering과 collection protocol을 표준화해야 한다.

Future Directions

미래 DEMO는 identification-first evaluation, coverage-guided acquisition, transactional deployment, digital twin과 cost-native learning으로 발전한다.

1. Offline-to-Online Decision Operating System

Historical log audit, coverage analysis, representation·world model pretraining, OPE, safety-constrained deployment, online adaptation, rollback을 통합한다.

2. Identification-First Evaluation

Estimand, behavior-policy assumption, coverage, confounding, identifiable policy class와 online validation scope를 명시한다.

3. Coverage-Guided Online Data Acquisition

Expected information gain을 risk와 cost로 나눠 가장 가치 있는 online interaction만 수행한다.

4. Regime-Aware Adaptation Controller

Offline data quality, pretrained policy quality, online drift로 adaptation regime을 자동선택한다.

5. Transactional Policy Deployment

Offline OPE, digital twin, shadow, canary, confidence check를 거쳐 commit 또는 rollback한다.

6. World-Model Planning Certificate

Coverage, ensemble variance, chosen horizon, return interval, constraint risk와 nearest trajectory를 보고한다.

7. Belief-Calibrated Decision Transformer

Belief uncertainty가 높으면 information-gathering action 또는 human escalation을 선택한다.

8. Utility-Conditioned Policy Foundation Model

Reward family와 utility embedding을 조건으로 policy distribution을 생성한다.

9. Active Reward Acquisition

Reward uncertainty, policy impact와 coverage gain이 큰 trajectory를 우선 label한다.

10. Generative Policy–Value Co-Design

Flow·diffusion generation trajectory 전체에 value field를 내장한다.

11. Scientific Foundation Model BO

Representation uncertainty, surrogate uncertainty, experiment cost, feasibility와 source-task relevance를 공동학습한다.

12. Social Offline-to-Online RL

Partner policy를 latent variable로 모델링하고 제한된 interaction으로 적응한다.

13. Cost-Native Learning Theory

Data, label, compute, online interaction과 failure cost를 하나의 total decision cost로 모델링한다.

14. Offline Decision-Making Digital Twin

Counterfactual policy test, coverage stress test, safety transfer, model-error amplification과 online-budget planning을 수행한다.

15. Standard Evaluation Protocol

Offline return, online adaptation curve, coverage, OPE, safety, stability, plasticity, model planning, reward labels, compute와 identification을 표준화한다.

Conclusion

DEMO는 offline policy learning에서 safe, identifiable, adaptive decision intelligence로 연구초점을 이동시킨다.

Offline Policy → Offline-to-Online Adaptation

무엇을 보존하고 무엇을 바꿀지 결정하는 것이 핵심이 된다.

평균성능 → Identification과 Uncertainty

Offline score가 online 성능을 의미하려면 coverage와 causal assumptions를 명시해야 한다.

고정정책 → Test-Time Planning

Offline world model과 value를 이용해 deployment 중 계획하되 uncertainty에 따라 horizon을 조절한다.

단일 Reward → General Utility

Policy basis와 goal-conditioned abstraction으로 다양한 objective에 적응한다.

Gaussian Policy → Generative Policy

Diffusion·flow policy의 표현력과 value propagation을 결합한다.

무제한 Data → Limited Feedback

어떤 reward를 label하고 어떤 online experiment를 수행할지 선택한다.

Single-Agent → Social Decision-Making

다른 agent의 policy와 mixed-motive interaction을 offline data에서 학습한다.

Sample Efficiency → Total Decision Cost

Interaction, token, GPU, human label, 실험비와 failure cost를 함께 최소화한다.

DEMO 2026의 핵심은 offline data를 잘 학습하는 것보다, offline evidence가 허용하는 범위를 식별하고 그 범위를 넘어설 때 uncertainty·safety·cost를 계산하며 제한된 online interaction으로 책임 있게 확장하는 데 있다.

Sources

공식 워크숍, offline-to-online RL, OPE, world model, BO, generative policy와 social offline RL 원문 링크.