Tabular · Time Series · Relational · Causal · Trustworthy · Deployment-Aware

Foundation Models for Structured Data

ICML 2026 FMSD 논문군을 바탕으로 tabular foundation model, prior-data fitted network, time-series·relational·causal foundation model, synthetic prior, bounded context, fairness·privacy·provenance, multimodal structured intelligence와 deployment efficiency를 통합한다.

중심 명제

Structured foundation model의 핵심은 모든 표와 시계열을 하나의 거대 Transformer에 넣는 것이 아니라, schema·시간·관계·인과·도메인 제약을 prior, context, token, retrieval, validation 계층에 정확히 배치하는 데 있다.

8Spotlight Oral

10핵심 연구축

15통합 연구질문

15미래 연구방향

전체 연구 지형

Structured FM을 prediction model이 아니라 schema-aware, context-adaptive, trustworthy data intelligence stack으로 본다.

Tabular Foundation ModelsTabPFNPrior-Data Fitted NetworksIn-context prediction

Time-Series Foundation ModelsForecastingEvent predictionHorizon conditioning

Relational & Graph FMsRelational databasesGraph contextSchema-aware inference

Causal Foundation ModelsCausal priorsTreatment effectsIdentification

Synthetic PriorsTask generatorsPrior mixtureReal-schema curricula

TrustworthinessFairnessPrivacyProvenanceCalibration

Deployment EfficiencyDistillationCPU servingBounded context

Agentic Structured IntelligenceRetrievalRoutingValidationDecision support

Structured Data→Schema & Prior→Context Builder→ Foundation Model→Trust Verifier→Decision / Deployment

Reliable Structured Foundation Intelligence = Schema-Aware Representation + Prior-Data Inference + Adaptive Context + Causal and Relational Structure + Trust Verification + Deployment-Aware Design

Definition

Structured data와 foundation-model 핵심 개념을 공통 언어로 정리한다.

Structured Data

관측값이 단순한 token sequence가 아니라 schema, 관계, 시간, 인과와 도메인 제약을 가진 데이터다.

Structured Foundation Model

다양한 structured task와 dataset distribution에서 재사용 가능한 prior, representation 또는 추론절차를 사전학습한 모델이다.

Tabular Foundation Model

Labeled context를 입력으로 받아 dataset-specific optimization 없이 새로운 row의 label distribution을 예측한다.

Prior-Data Fitted Network

다양한 합성 data-generating process에서 학습해 새로운 dataset의 posterior predictive distribution을 한 번의 forward pass로 근사한다.

Time-Series Foundation Model

다양한 domain, sampling frequency와 horizon에서 공통 temporal dynamics를 학습한다.

Relational Foundation Model

Primary key, foreign key와 entity relation으로 연결된 다중 table을 공동으로 처리한다.

In-Context Structured Learning

Example, schema, retrieval result와 time-series segment를 context에 넣어 parameter update 없이 task에 적응한다.

Synthetic Prior

Structured FM이 사전학습할 task와 함수, schema, noise, missingness, causal structure의 분포다.

Structured Validity

결과가 도메인의 논리적·관계적·인과적·운영적 제약을 만족하는 정도다.

Operational Grounding

통계적으로 유사한 model도 실제 비용·SLA·집단별 오류·규정 준수에서는 다르게 작동할 수 있다는 관점이다.

Problem Definition

Schema, prior, context, relation, causal validity, trust와 deployment의 간극을 정의한다.

Schema Heterogeneity Gap

Column 이름, 의미, 단위, 순서와 category가 dataset마다 다르다.

Synthetic-to-Real Prior Gap

합성 task prior가 실제 enterprise·clinical data-generating process를 충분히 덮지 못할 수 있다.

Context-Budget Gap

Stream, large table, relational neighborhood 전체를 제한된 context window에 넣을 수 없다.

Temporal Regime-Shift Gap

금융, 산업, 의료, 기후 dynamics가 시간에 따라 바뀐다.

Relational Context Gap

유용한 정보가 여러 hop 밖에 있지만 너무 큰 neighborhood는 context explosion과 leakage를 만든다.

Semantic–Structural Alignment Gap

Column 의미를 이해하는 것과 수치·시간·관계 구조를 이해하는 것은 다르다.

Causal–Predictive Gap

높은 예측성능이 intervention과 treatment-effect validity를 보장하지 않는다.

Memorization–Inference Gap

Zero-shot 성능이 실제 algorithmic inference인지 pretraining dataset 기억인지 구분하기 어렵다.

Fairness·Privacy·Provenance Gap

고위험 의사결정에서 집단별 오류, 민감정보 노출, pretraining dataset 사용 여부를 감사해야 한다.

Deployment Gap

강한 FM의 GPU latency와 memory가 실제 CPU·millisecond SLA를 만족하지 못할 수 있다.

Core Concepts

Prior, representation, retrieval, context memory, causal structure와 trust-by-design의 공통원리를 정리한다.

Prior as an Algorithm Distribution

Prior는 단순 data distribution이 아니라 가능한 함수, 학습알고리즘, schema와 noise의 분포다.

Schema-Conditioned Representation

Cell value뿐 아니라 column semantics, unit, metadata와 table relation을 함께 인코딩한다.

Task-Conditioned Prediction

동일 dataset에서도 target column, horizon, causal query와 objective가 달라질 수 있다.

Retrieval as Prior Alignment

Retrieval은 비슷한 row를 찾는 것이 아니라 target domain과 pretraining prior를 정렬하는 과정이다.

Context as External Memory

Frozen FM에서 context는 임시 memory이며 admission, retention, eviction 정책이 학습알고리즘 역할을 한다.

Horizon-Conditioned Representation

짧은 horizon과 긴 horizon에 필요한 temporal feature가 다르므로 representation 자체를 horizon에 조건화한다.

Universal Structured Tokenization

수치, category, event, time, relation과 missingness를 공통 token stream으로 변환한다.

Structured Constraint Induction

LLM이 candidate constraint를 제안하고 실제 data와 utility로 검증한다.

Causal Prior and Invariance

여러 environment에서 안정적인 mechanism과 intervention relation을 prior에 포함한다.

Foundation-Model Distillation

강한 in-context teacher의 일반화능력을 leakage-free 방식으로 XGBoost·CatBoost·경량 student에 이전한다.

Trustworthiness by Design

정확성, calibration, fairness, privacy, provenance, interpretability와 operational validity를 pretraining부터 함께 고려한다.

Introduction

Structured FM 연구는 task-specific model에서 in-context, schema-aware, trustworthy, agentic data intelligence로 발전한다.

Stage 1 — Task-Specific Models

각 dataset과 target마다 XGBoost, CatBoost, RNN, GNN 또는 Transformer를 새로 학습한다.

Stage 2 — Shared Encoder Pretraining

여러 dataset에서 representation을 사전학습하고 downstream head를 fine-tuning한다.

Stage 3 — In-Context Foundation Models

새로운 dataset 자체를 context로 입력해 별도 parameter update 없이 예측한다.

Stage 4 — Schema·Relation·Time-Aware FMs

Column semantics, relational graph, event structure와 horizon을 architecture와 prior에 포함한다.

Stage 5 — Causal·Trustworthy Structured Models

공정성, privacy, provenance, causal validity와 uncertainty를 pretraining objective에 통합한다.

Stage 6 — Agentic Structured Intelligence

Model 선택, context retrieval, anomaly 설명, causal query, synthetic generation과 decision support를 수행한다.

Motivation and Background

현실 structured data의 규모, 작은 label regime, 운영복잡성, context 제한과 trust 요구가 연구를 촉진한다.

Structured Data는 현실 의사결정의 핵심

의료, 금융, 제조, 보험, 기후, 에너지와 공급망의 핵심정보는 여전히 table, event log, relational database와 time series에 존재한다.

작은 Dataset에는 강한 Prior가 필요

실제 structured task는 label이 적고 dimension이 높아 task-specific deep model이 쉽게 overfit한다.

Public Benchmark보다 현실이 복잡

High-cardinality, label delay, non-stationary stream, missing-not-at-random, enterprise schema와 regulatory cost가 존재한다.

Context는 무한하지 않음

TFM의 확장문제는 parameter 수보다 어떤 example과 relation을 context에 유지할지의 문제로 이동한다.

Accuracy 이상의 기준

고위험 응용에서는 fairness, privacy, provenance, calibration과 operational utility가 배포 가능성을 결정한다.

Challenges

Schema, prior, context, shift, fairness, privacy, multimodality, latency와 reproducibility의 핵심 난제다.

도전과제	핵심 문제	요구되는 연구방향
Schema heterogeneity	Column 의미·단위·순서가 dataset마다 다름	Schema-conditioned encoder
Synthetic prior mismatch	합성 task가 현실분포를 덮지 못함	Real-schema curriculum과 prior mixture
Context scaling	Row·history·relation을 모두 넣을 수 없음	Retrieval, compression, bounded memory
Regime shift	Temporal correlation과 event dynamics 변화	Online adaptation과 drift detector
Relational explosion	Multi-hop context가 급격히 커짐	Task-aware subgraph extraction
Semantic–numeric mismatch	Text 의미와 수치구조가 불일치	Cross-modal alignment audit
Causal validity	예측변수와 인과변수 혼동	Causal prior와 intervention benchmark
Memorization	규칙학습과 benchmark recall 구분 어려움	Dataset inference와 decontamination
Calibration	높은 confidence가 실제 정확도를 보장하지 않음	Distribution-free calibration
Fairness	집단별 오류와 utility가 다름	Fairness-aware pretraining
Privacy	Context와 pretraining dataset 노출	DP in-context inference
Interpretability	어떤 row·feature·head가 계산을 수행하는지 불명확	Mechanistic intervention
Structured generation	Marginal은 맞지만 row-level 제약 위반	Constraint·ontology-aware generation
Multimodal fusion	Text·image 추가가 실제 정보를 제공하지 않을 수 있음	Modality ablation과 sensitivity audit
Deployment latency	GPU foundation model이 SLA를 초과	Distillation·compression·CPU student
Benchmark generalization	Dataset ranking이 benchmark에 따라 불안정	Generalizability analysis
Agent reliability	LLM explanation이 잘못된 confidence를 줄 수 있음	Reliability-routed explanation
Reproducibility	Context, retrieval, seed와 preprocessing에 민감	표준 protocol과 artifact 공개

Research Questions

Universal token, prior realism, context policy, memorization, causal validity, fairness와 agentic orchestration을 중심으로 정리한다.

RQ1

Structured foundation model의 보편적 단위는 cell, row, column, table, entity, event, time window 중 무엇인가?

RQ2

하나의 모델이 tabular, time series와 relational data를 공동 처리할 수 있는가?

RQ3

Synthetic prior는 현실을 완전히 모사해야 하는가, 넓은 hypothesis space만 제공하면 되는가?

RQ4

Context window에 최근성, uncertainty, diversity, representativeness와 fairness를 함께 고려해 어떤 example을 보존할 것인가?

RQ5

Column rename, unit change, category expansion과 table split에 zero-shot으로 적응할 수 있는가?

RQ6

TFM은 실제 규칙을 추론하는가, pretraining exemplar를 기억하는가?

RQ7

Language pretraining은 structured prediction에 어떤 inductive bias를 제공하는가?

RQ8

Retrieval이 언제 도움이 되고 언제 leakage를 만드는가?

RQ9

Parameter-free relational encoding이 충분한 regime과 trainable encoder가 필요한 regime를 예측할 수 있는가?

RQ10

Causal FM은 effect 값뿐 아니라 identification 조건까지 판단할 수 있는가?

RQ11

공정성을 foundation-model prior에 내장하고 새로운 dataset에서도 forward pass만으로 적응할 수 있는가?

RQ12

Black-box API에서 unauthorized pretraining dataset 사용을 감사할 수 있는가?

RQ13

Marginal fidelity, relation consistency, causal coherence와 ontology validity를 하나의 생성 인증지표로 결합할 수 있는가?

RQ14

어느 시점에서 큰 FM보다 작은 GBDT·RNN·GNN이 더 적합한가?

RQ15

FM, LLM, retrieval engine, database, symbolic validator와 human analyst를 agentic data system에서 어떻게 조정할 것인가?

Approaches / Methods

대표 연구를 tabular, time-series, relational, trust, generation, deployment, multimodal 기준으로 필터링해 탐색할 수 있다.

trust

Dataset Inference

Black-box TFM이 특정 suspect dataset으로 pretraining되었는지 dataset-level response statistics로 감사한다.

timeseries

HEPA

Horizon-conditioned predictor가 미래 latent representation을 예측하고 적은 label로 희귀사건 survival CDF를 학습한다.

tabular

SurvivalPFN

Synthetic survival DGP와 censoring에서 pretraining한 뒤 새로운 dataset의 survival distribution을 한 번에 추론한다.

context

CURE

Recent·uncertain·non-redundant example을 bounded context에 유지하는 stream-learning policy를 학습한다.

multimodal

Images as Tables

Frozen vision encoder의 representation을 500차원 row로 변환해 TabPFN few-shot classifier에 입력한다.

timeseries

Latent Instructions

Instance-adaptive latent prompt를 생성해 frozen TSFM의 task-specific context surrogate로 사용한다.

trust

FairTFM

Prediction loss와 fairness loss를 pretraining 단계에 결합해 새로운 task에서도 즉시 fairness–utility trade-off를 제공한다.

deployment

Pocket Foundation Models

Out-of-fold teacher labels로 leakage를 막고 TFM 지식을 XGBoost·CatBoost student에 증류한다.

finance

TradeFM

거래 event를 scale-invariant universal token으로 변환하고 autoregressive market model을 학습한다.

multimodal

TARPA

Multimodal feature를 직접 넣기보다 retrieval 기반 retention prior를 frozen TSFM 입력형식에 맞춰 제공한다.

generation

EVS

LLM candidate constraint를 data와 downstream utility로 검증해 structured generator에 적용한다.

generation

DataSynK

Causal discovery, 의료 ontology와 symbolic logic을 결합해 clinically plausible EHR을 생성한다.

multimodal

TEMPO

Continuous signal을 finite scalar quantization으로 discrete token화해 text token과 동일 attention stream에서 처리한다.

relational

Parameter-Free Relational Encoders

복잡한 trainable relational encoder가 필요한 조건을 재검토하고 단순 subgraph encoding의 한계를 분석한다.

prior

Mix, Don’t Pick

단일 synthetic generator 선택보다 여러 prior generator의 혼합이 강건한지 평가한다.

Key Applications

의료, 금융, 산업, 기후, 보안, 미디어와 기업 관계형 데이터에 적용된다.

의료·생명과학

Survival prediction, EHR risk, 임상 note, TBI outcome, ophthalmology digital twin, EEG, sleep physiology, perturbation modeling.

금융·경제

Trade-flow simulation, banking event sequence, churn, credit·fraud, stress scenario, 가격 forecasting, algorithmic trading.

산업·제조·에너지

Turbine failure, industrial-control anomaly, drilling, HVAC control, accelerator operation, factory sensor pretraining.

기후·환경

대기질, land-surface modeling, multiregion weather, extreme-event monitoring.

사이버보안

Network traffic classification, industrial anomaly, intrusion detection, noisy-label auditing, long-context attack detection.

마케팅·미디어

Audience retention, churn, multimodal content, AI-generated image detection, event-impact prediction.

공급망·기업 데이터

Global supply-chain risk, customer–order–payment 관계예측, cross-table feature discovery, relational fraud detection.

Open Problems

Universal tokenization, schema evolution, context scaling, causal identification, privacy와 deployment를 해결해야 한다.

Universal Structured Tokenizer

수치, category, date, event, graph edge, missing value와 unit를 공통 vocabulary로 표현해야 한다.

Schema Evolution

새 column, renamed column, split table와 changing unit에 zero-shot으로 적응해야 한다.

Million-Row In-Context Learning

Context 증가에 따른 memory와 attention 비용을 해결해야 한다.

Relational Context Selection

Target 예측에 필요한 join path와 neighborhood를 선택해야 한다.

Synthetic-Prior Governance

Prior에 포함된 bias, assumption과 지원 regime를 versioning하고 문서화해야 한다.

Real-World Benchmark Coverage

Enterprise cardinality, missingness, privacy와 operational cost를 반영해야 한다.

Memorization and Contamination

Pretraining corpus 비공개 상황에서 zero-shot 성능의 의미를 평가해야 한다.

Causal Identification

Effect 예측과 identification 가능성 판단을 구분해야 한다.

Fairness under Context Shift

Context example의 집단구성 변화가 fairness에 미치는 영향을 분석해야 한다.

Private In-Context Learning

Model weight뿐 아니라 사용자 context 자체의 privacy를 보호해야 한다.

Calibration across Datasets

서로 다른 class prior와 loss asymmetry에서도 confidence를 비교 가능하게 만들어야 한다.

Mechanistic Interpretability

Attention head가 어떤 통계적 계산을 수행하는지 밝혀야 한다.

Structured Generative Certification

통계적 realism과 domain validity를 동시에 보장해야 한다.

Multimodal Modality Collapse

Text·image를 추가해도 model이 table feature만 사용하는 현상을 탐지해야 한다.

Continual Structured Learning

Weight, retrieval memory와 context를 분포변화에 맞춰 공동업데이트해야 한다.

Deployment-Aware Model Selection

Dataset regime와 SLA에 따라 FM, GBDT, RNN, GNN을 자동선택해야 한다.

Agentic Reliability

잘못된 column, leakage feature와 causal interpretation을 선택하는 agent 위험을 제어해야 한다.

Decision Utility

AUC·RMSE를 실제 비용·정책·자원할당 가치와 연결해야 한다.

Future Directions

미래 FMSD는 structured-data OS, schema compiler, prior marketplace, trust certificate와 digital twin으로 발전한다.

1. Structured Data Foundation Operating System

Tables, time series, relational DB, event streams, text·image와 ontology를 통합하고 task-conditioned context builder와 model router를 제공한다.

2. Schema Compiler

Data dictionary와 sample value를 semantic type, unit, missingness, key, temporal order, causal role, protected attribute와 constraint로 compile한다.

3. Prior Marketplace

도메인별 synthetic DGP, schema distribution, causal assumption, noise, fairness와 validity constraint를 versioned artifact로 공유한다.

4. Adaptive Context Router

Relevance, diversity, recency, fairness와 leakage risk를 함께 최적화해 bounded context를 구성한다.

5. Causal PFN

Graph discovery, treatment effect, identification, counterfactual outcome, intervention policy와 uncertainty를 공동추론한다.

6. Structured Trust Certificate

Training provenance, schema range, prior assumptions, calibration, fairness, privacy, shift sensitivity, latency와 failure regime를 보고한다.

7. Hybrid FM–Classical Model

FM을 prior provider, feature generator, teacher, context selector, uncertainty estimator로 사용하고 serving은 GBDT·RNN·GNN이 담당한다.

8. Dynamic Distillation

Drift가 감지될 때 최근 window에서 teacher label을 갱신하고 CPU-native student를 재증류한다.

9. Multimodal Structured Tokens

Row, column, image, event, time, relation을 하나의 structured token stream으로 표현한다.

10. Continual Structured FM

Parameter memory, retrieval memory, context memory의 update frequency와 privacy 정책을 분리한다.

11. Mechanistic Audit Layer

Attention head, context row와 feature를 causal intervention으로 제거해 normalization, neighbor, prior, leakage circuit을 식별한다.

12. Federated and Private Pretraining

Federated prior learning, differentially private context, secure aggregation, provenance ledger와 dataset-level opt-out을 결합한다.

13. Decision-Native Structured Models

예측오류가 아니라 downstream utility와 risk를 직접 최적화한다.

14. Structured FM Digital Twin

Structured generative model과 deterministic simulator를 결합해 counterfactual scenario와 stress test를 수행한다.

15. Standard Evaluation Protocol

Prediction, calibration, unseen schema, shift, context sensitivity, memorization, fairness, privacy, structure, utility와 efficiency를 표준화한다.

Conclusion

FMSD는 단일 table prediction에서 구조 전체의 추론과 trustworthy deployment로 연구중심을 이동시킨다.

단일 Table → 구조 전체의 추론

Column과 row뿐 아니라 relation, time, event, ontology와 causal mechanism이 model input과 prior에 포함된다.

Architecture 경쟁 → Prior 설계 경쟁

어떤 synthetic task와 causal·schema prior에서 학습하는지가 architecture만큼 중요하다.

Weight Adaptation → Context Adaptation

Frozen model에서는 retrieval, prompt, admission과 eviction이 학습알고리즘 역할을 한다.

평균 Benchmark → Regime-Aware Evaluation

저차원·고차원, 작은 sample, high-cardinality, shift와 enterprise schema에서 언제 실패하는지 분석한다.

Accuracy → Trustworthy Structured Intelligence

Fairness, privacy, provenance, calibration, 구조적 유효성과 operational utility를 함께 최적화한다.

거대 Model Serving → Hybrid Deployment

FM을 teacher·prior·retrieval engine·verifier로 사용하고 실제 serving은 경량 student가 담당한다.

Prediction Model → Agentic Data System

Structured FM은 schema를 해석하고 context와 tool을 선택하며 결과를 검증하는 data-intelligence stack의 구성요소가 된다.

미래의 structured foundation model은 모든 표와 시계열을 하나의 거대모델에 넣는 시스템이 아니라, 데이터의 schema·시간·관계·인과·제약을 읽고 적절한 prior와 context를 선택하며 결과를 공정성·privacy·운영목표에 맞게 검증하는 범용 데이터 추론시스템이다.

Sources

공식 워크숍, Spotlight Oral, 대표 논문과 공개 구현 링크.