Graph Foundation Models 2025–2026

00 · Review Scope

검토 범위와 해석상의 주의

제시된 논문군은 좁은 의미의 Graph Foundation Model, GFM뿐 아니라 그래프용 in-context learning, prior-data fitted network, 동적·시간 그래프, 지식그래프 기반 RAG, graph Transformer, sheaf·geometry, 관계형 데이터, 분자·의료·금융 응용 및 GFM 평가 연구를 함께 포함한다.

Axis 01

Graph ICL

합성 사전분포와 context 기반 노드·링크·그래프 예측

Axis 02

Temporal & Relational

시간 변화, 관계 스키마, hyper-relational fact 모델링

Axis 03

Graph + LLM

그래프 직렬화, RAG, 증거 판단, agentic relational learning

Axis 04

Evaluation

공정 비교, OOD 전이, schema transfer, benchmark 설계

Axis 05

Scientific Applications

의료·신약개발·분자·금융·복잡계·의사결정

제목 불일치와 공개본 상태
일부 논문은 제시된 제목과 공개 arXiv·OpenReview 제목이 다르거나 검색 시점에 공개 원문이 색인되지 않았다. 공개 원문을 확인하지 못한 논문에 대해서는 제목에서 직접 드러나는 연구 방향만 분류에 반영하며, 세부 구조와 성능 수치는 추측하지 않는다.

제시 제목	확인된 공개 제목 또는 상태
Adapting Tabular Foundation Models for Graph Node-Level Tasks	Turning Tabular Foundation Models into Graph Foundation Models
GraphPFN: A Prior-Data Fitted Network for Graph Node-Level Tasks	GraphPFN: A Prior-Data Fitted Graph Foundation Model
Beyond Accuracy on RelBench...	동일 저자들의 관련 공개 워크숍 제목은 별도 제목으로 확인됨
Edge-aware FlexAttention Network...	Efficient Edge-aware Attention Network for Graph Generation

01 · Definition

Graph Foundation Model의 정의

Graph Foundation Model은 다양한 그래프 분포, 스키마, 속성 공간, 과제 및 도메인에 걸쳐 사전학습되고, 새로운 그래프에 대해 재학습 없이 또는 소량의 context·few-shot·경량 미세조정만으로 노드·링크·그래프·부분그래프 수준의 추론을 수행하는 재사용 가능한 구조 학습 모델이다.

\[ \hat{\mathbf{Y}}_Q = F_{\theta} \left( \mathcal{G}, \mathcal{C}, \tau, m \right) \]

입력 구성

\(\mathcal{G}=(V,E,X,R,T,Q)\): 노드, 엣지, 속성, 관계, 시간, qualifier
\(\mathcal{C}\): 관측 예제와 레이블로 이루어진 context
\(\tau\): 노드 분류, 링크 예측, 사실 생성, 그래프 회귀 등의 과제
\(m\): 텍스트, 분자 좌표, 시계열, 관계형 테이블 등의 부가 modality

실질적 판별 기준

모델 크기보다 미지의 그래프·스키마·레이블 공간·과제로 얼마나 적은 적응 비용으로 전이되는가가 핵심이다.

Foundation이라는 명칭은 대규모 사전학습 자체가 아니라 데이터셋 수준의 적응 능력으로 판단해야 한다.

강한 GFM과 약한 GFM

수준	의미	대표 접근
약한 GFM	여러 그래프에서 사전학습하지만 과제별 미세조정 필요	범용 graph encoder
중간 GFM	새로운 그래프에 few-shot 또는 경량 adapter로 적응	GraphPFN fine-tuning, temporal multi-task model
강한 GFM	새로운 그래프·레이블 공간을 context만으로 추론	G2T-FM, GraphPFN ICL, GILT, TFMLinker

새로운 그래프를 만났을 때 모델 파라미터를 다시 학습하는가, 아니면 그래프와 소수 예제를 context로 읽고 즉시 새로운 예측 규칙을 구성하는가가 강한 GFM을 구분하는 핵심 질문이다.

02 · Problem Definition

문제 정의

그래프 foundation learning의 목표는 사전학습 분포와 다른 미지의 그래프 데이터셋 \(D^\star=(\mathcal{G}^\star,X^\star,Y^\star,\tau^\star)\)가 주어졌을 때, 제한된 context \(\mathcal{C}^\star\)만을 이용해 query의 출력을 예측하는 것이다.

\[ \min_{\theta} \; \mathbb{E}_{D^\star\sim p_{\mathrm{deploy}}} \left[ \mathcal{L} \left( F_\theta(D^\star,\mathcal{C}^\star), Y^\star_Q \right) \right] \]

변화 가능한 요소

노드와 엣지의 의미
feature 차원과 데이터 타입
레이블 개수와 의미
그래프 크기와 밀도
관계 스키마와 qualifier
시간적 진화 규칙
예측 단위와 평가 지표

핵심 관점

GraphPFN은 이를 단일 데이터셋 학습이 아니라 그래프 데이터셋에 대한 amortized Bayesian inference 문제로 본다.

합성 데이터셋 분포에서 context와 query를 반복적으로 샘플링해 posterior predictive distribution을 근사한다.

세부 문제 유형

노드 수준 일반화

\[ f_\theta:(\mathcal{G},\mathcal{C}_{V})\rightarrow Y_{V_Q} \]

새로운 그래프의 노드 분류·회귀를 수행한다. G2T-FM, GraphPFN, Node4All, GILT가 대표적이다.

링크 및 관계 일반화

\[ f_\theta:(u,v,\mathcal{G},\mathcal{C}_{E})\rightarrow p(e_{uv}=1) \]

TFMLinker는 prototype 기반 local-global context를 구성하고 TFM의 ICL 능력을 이용해 데이터셋별 재학습 없는 링크 예측을 지향한다.

Hyper-relational fact generation

KREPE는 단일 missing component를 예측하는 링크 예측을 넘어, 여러 요소가 동시에 손실된 hyper-relational fact의 복원과 완전한 사실 생성을 discrete diffusion으로 통합한다.

시간 그래프 일반화

\[ \mathcal{E}=\{(u_i,v_i,t_i,x_i)\}_{i=1}^{N} \]

TGPM은 개별 노드보다 반복되는 temporal interaction pattern을 학습 단위로 사용한다. Hydra, GRATE, Disentangling Dynamics, DeXposure-FM은 시간 변화와 과제 간 전이를 동시에 다룬다.

Graph-grounded reasoning

\[ \text{Answer Quality} + \text{Evidence Relevance} + \text{Structural Faithfulness} + \text{Traceability} \]

의료·KG RAG에서는 그래프가 단순 저장소가 아니라 추론 경로와 증거 선택을 통제하는 구조적 제약으로 작동한다.

03 · Core Concepts

핵심 개념

3.1 Prior-Data Fitted Network와 합성 그래프 사전분포

PFN은 하나의 데이터셋을 학습하는 대신 데이터셋을 생성하는 분포를 학습한다.

\[ D_i\sim p(D), \qquad \theta^\star = \arg\min_\theta \sum_i \mathcal{L} \left( F_\theta(D_{i,\mathrm{context}}), D_{i,\mathrm{query}} \right) \]

GraphPFN은 stochastic block model, preferential attachment, graph-aware structured causal model을 결합해 attributed graph prior를 구성한다. 실제 그래프를 단순히 더 많이 수집하는 대신 그래프 생성 메커니즘의 범위를 넓히는 접근이다.

3.2 Graph In-Context Learning

\[ \mathcal{C}=\{(v_i,y_i)\}_{i=1}^{k}, \qquad \hat y_q=F_\theta(\mathcal{G},\mathcal{C},v_q) \]

모델은 레이블의 절대 의미를 외우는 대신 feature 중요도, 구조적 이웃, 레이블 경계, homophily·heterophily, local·global pattern을 context에서 유추해야 한다.

3.3 Graph tokenization과 serialization

그래프는 본질적으로 순서가 없지만 LLM 입력 문자열에는 순서가 존재한다. 노드 ID, 엣지 순서, adjacency list의 나열 방식, 문법 형식이 바뀌면 동일 그래프에 대한 답이 달라질 수 있다.

Graph tokenization은 단순한 전처리가 아니라 모델의 귀납적 편향과 일반화를 결정하는 학습 인터페이스다.

3.4 Structural inductive bias

\[ \text{Structural Bias} = \{ \text{adjacency mask}, \text{distance}, \text{edge type}, \text{query-conditioned scaling}, \text{value gating} \} \]

최근 연구는 표현력을 높이는 복잡한 attention보다 topology를 직접 반영하는 adjacency 계열 bias, 과제 조건부 연결성, 학습 가능한 구조 gate가 더 중요할 수 있음을 보여준다.

3.5 Temporal compositionality

\[ \text{Dynamics} = \text{topology change} + \text{attribute drift} + \text{interaction timing} + \text{event order} + \text{task horizon} \]

시간 그래프 foundation model은 특정 노드 ID를 기억하는 대신 burst, diffusion, recurrence, cascade와 같은 재사용 가능한 상호작용 문법을 학습해야 한다.

3.6 Sheaf, bundle, geometry

일반 GNN은 모든 이웃을 동일한 벡터 공간에서 집계하지만, 이질적 그래프에서는 노드마다 의미 공간이 다르고 엣지가 두 공간 사이의 변환을 나타낼 수 있다. Cellular sheaf는 각 셀에 local vector space를 할당하고, relation별 restriction map을 통해 정보 변환과 일관성을 표현한다.

3.7 Evidence-grounded graph reasoning

Retrieve

Structure

Judge

Generate

Verify

그래프 RAG의 핵심은 관련 문서를 많이 가져오는 것이 아니라 질문의 답을 실제로 지지하는 최소 구조적 증거를 검색하고 검증하는 것이다.

04 · Introduction

연구 패러다임의 전환

Conventional

데이터셋별 모델

\[ \text{one graph} \rightarrow \text{one architecture} \rightarrow \text{one training run} \rightarrow \text{one task} \]

Foundation

데이터셋 수준 적응

\[ \text{many graph-generating processes} \rightarrow \text{one reusable model} \rightarrow \text{contextual adaptation} \]

실제 시스템에서는 그래프가 계속 바뀐다. 기업마다 관계형 schema가 다르고, 분자마다 원자 수와 결합 구조가 다르며, 금융 네트워크와 의료 KG는 시간에 따라 갱신된다. 노드 feature도 텍스트, 수치, 범주형, 시계열, 좌표 등으로 달라진다.

G2T-FM은 tabular FM의 feature-space 적응 능력을 그래프에 재사용했고, GraphPFN은 이를 합성 graph prior와 학습 가능한 message passing으로 확장했다. GILT와 Node4All은 데이터셋 경계를 넘어 재사용 가능한 node·graph representation을 지향한다.

공정 평가 연구는 많은 초기 GFM이 잘 조정된 GNN보다 반드시 우수하지 않으며, 실제 foundation 효과는 최근 PFN·ICL 계열에서 더 뚜렷해졌음을 지적한다.

05 · Motivation and Background

동기와 배경

5.1 그래프에는 인터넷 규모의 공통 corpus가 없다

언어는 단어와 문장, 이미지는 pixel grid라는 비교적 통일된 표현을 갖는다. 그래프의 노드와 엣지는 도메인마다 전혀 다른 의미를 가진다. 따라서 공통으로 학습할 수 있는 대상은 노드 의미 그 자체보다 community, sparsity, locality, hierarchy, symmetry, temporal recurrence, relational composition, causal dependency와 같은 구조 생성 원리다.

5.2 반복되는 학습 비용

전통적 GNN은 새로운 데이터셋마다 architecture, sampling, depth, learning rate, label imbalance, positional encoding을 다시 조정해야 한다. PFN·ICL 계열은 이 데이터셋별 최적화 비용을 사전학습 과정에 amortize하려 한다.

5.3 관계형·동적·과학 데이터의 증가

Relational Data

관계형 DB 예측, join 경로, schema transfer

Scientific Graphs

분자, peptide ensemble, phylogeny, cell graph

Dynamic Systems

금융 exposure, temporal interaction, network dynamics

5.4 LLM만으로는 구조적 추론이 충분하지 않다

노드와 엣지의 직렬화 순서에 민감하다.
다중 홉 관계를 누락하거나 존재하지 않는 엣지를 생성할 수 있다.
질문과 무관한 부분그래프에 attention이 분산된다.
답의 provenance와 구조적 충실성을 보장하기 어렵다.

Lost in Serialization, LoReC, REL-RAG, Anchored SubgraphRAG, MedJudgeRAG는 LLM의 언어 능력과 그래프의 구조적 제약을 결합해야 한다는 공통 동기를 가진다.

06 · Challenges

핵심 난제

Cross-dataset heterogeneity

\[ X^{(i)}\in\mathbb{R}^{n_i\times d_i}, \qquad Y^{(i)}\in\{1,\ldots,c_i\}^{n_i} \]

feature 차원, 레이블 수, 데이터 타입과 의미가 모두 달라 단순 padding이나 PCA만으로는 의미 정렬이 불가능하다.

Cross-schema transfer

같은 관계가 서로 다른 table·edge type·qualifier 조합으로 표현된다. 진정한 일반화는 row split이 아니라 schema split에서 측정해야 한다.

Permutation invariance

\[ F(PAP^\top,PX)=PF(A,X) \]

LLM 기반 graph reasoner는 문자열 순서 때문에 이 조건을 자연스럽게 만족하지 않는다.

장거리 관계와 oversquashing

더 많은 연결보다 과제에 필요한 경로를 선택하는 task-adaptive connectivity가 중요하다.

Temporal non-stationarity

\[ p_{t+\Delta}(E,X,Y)\neq p_t(E,X,Y) \]

chronological split, unseen-network split, unseen-horizon 평가가 필요하다.

Synthetic-to-real mismatch

\[ p_{\mathrm{synthetic}}(\mathcal G)\not\approx p_{\mathrm{real}}(\mathcal G) \Rightarrow \text{negative transfer} \]

합성 prior가 실제 그래프의 long-tail 구조를 포함하지 못하면 잘못된 귀납적 편향이 강화된다.

평가의 불공정성

사전학습 규모, tuning budget, label 사용량, transductive·inductive 조건, latency와 memory를 동일 기준으로 비교해야 한다.

신뢰성·근거성·불확실성

\[ \text{Trustworthiness} = \text{accuracy} + \text{calibration} + \text{evidence validity} + \text{traceability} + \text{abstention} \]

계산 및 메모리 비용

GraphPTQ, edge-aware sparse attention, latent-space synthesis는 대규모 모델의 실용적 병목을 줄이는 초기 해법이다.

07 · Research Questions

핵심 연구 질문

어떤 합성 그래프 prior가 실제 그래프의 다양성을 충분히 포괄하는가?
SBM, preferential attachment, motif, hierarchy, heterophily, temporal event, causal generator를 어떤 비율로 조합해야 하는가?

feature와 label의 의미가 달라도 transferable한 graph interface를 만들 수 있는가?
고정 vocabulary 대신 context-conditioned feature interpretation이 가능한가?

GFM의 최소 token 단위는 무엇인가?
노드, 엣지, 부분그래프, motif, temporal patch, relation path, 전체 데이터셋 중 무엇을 선택해야 하는가?

구조적 일반화와 의미적 일반화를 어떻게 동시에 달성하는가?
동일 구조·다른 의미와 동일 의미·다른 구조를 모두 처리할 수 있는가?

시간 그래프의 재사용 가능한 구성요소는 무엇인가?
노드 ID가 아니라 burst, diffusion, recurrence, cascade를 학습할 수 있는가?

미지의 schema에 대한 zero-shot transfer를 어떻게 측정하는가?
table·relation·entity type 자체가 바뀌는 평가가 필요한가?

그래프 RAG는 어떤 증거를 retrieval해야 하는가?
가장 유사한 노드가 아니라 정답을 논리적으로 지지하는 최소 부분그래프를 찾을 수 있는가?

표현력과 학습 가능성을 어떻게 분리해 평가하는가?
이론적으로 강한 GNN이 실제 optimization에서 단순 모델보다 나쁠 수 있는 이유는 무엇인가?

Foundation 효과를 어떻게 검증하는가?
성능 향상이 사전학습 규모, benchmark leakage, inference budget, transferable knowledge 중 어디에서 오는가?

안전한 GFM은 언제 답변을 거부해야 하는가?
근거 충돌, schema ambiguity, OOD graph, temporal drift에서 abstention을 어떻게 구현하는가?

08 · Approaches and Methods

주요 접근과 방법론

8.1 Tabular Foundation Model을 그래프로 확장

G2T-FM

\[ z_v= [ x_v; \operatorname{AGG}_{u\in N(v)}x_u; \operatorname{PE}(v) ] \]

neighborhood aggregation과 structural embedding을 tabular feature로 변환한 뒤 TabPFN·LimiX가 context node와 query node를 처리한다. feature 차원과 레이블 공간이 다른 그래프에서도 ICL을 사용할 수 있지만, 구조 정보가 사전 계산 feature에 의존한다.

GraphPFN

\[ H^{(\ell+1)} = \operatorname{TFMBlock}(H^{(\ell)}) + \operatorname{GraphAdapter}(H^{(\ell)},A) \]

handcrafted structural feature 의존성을 줄이고 Transformer block 내부에 attention 기반 graph adapter를 삽입한다. 합성 그래프 사전학습과 graph-aware SCM을 통해 구조·attribute·target 간 의존성을 함께 학습한다.

TFMLinker

endpoint representation, local neighborhood, global structural context, positive·negative link prototype, topology-aware pair encoding을 구성해 미지의 그래프에서도 in-context link prediction을 수행한다.

GILT

LLM이나 과제별 tuning 없이 numerical graph token을 사용해 노드·엣지·그래프 분류를 공통 인터페이스로 처리한다. 그래프를 반드시 자연어로 번역해야 foundation model을 만들 수 있다는 가정을 거부한다.

Node4All

여러 합성 그래프와 feature channel에서 사전학습하고, 데이터셋·feature dimension·구조가 달라도 사용할 수 있는 fully inductive node representation을 지향한다.

8.2 Temporal Graph Foundation Models

Temporal Graph Pattern Machine

\[ P_v=[e_{t_1},e_{t_2},\ldots,e_{t_k}] \]

temporally biased random walk로 local interaction sequence를 추출하고 masked interaction reconstruction, next interaction time prediction, cross-network transfer를 수행한다.

Hydra

공유 spectral–spatio–temporal trunk와 경량 task head를 결합한다. Laplacian descriptor, temporal GNN, attention pooling을 조합해 여러 시간 그래프 속성을 동시에 예측하고 새로운 네트워크로 전이한다.

Disentangling Dynamics

topology dynamics, node-state dynamics, temporal scale을 단일 latent state에 혼합하지 않고 compositional factor로 분리하는 방향이다. 공개 원문 미확인으로 구체 module과 수치는 단정하지 않는다.

GRATE

inductive KG foundation model에 gated rotary attention을 추가해 timestamp와 relation evolution을 표현하려는 방향으로 해석된다. 공개 원문 미확인으로 세부 수식은 제외한다.

8.3 Knowledge Graph Generation과 Graph RAG

KREPE

\[ p_\theta(f)=p_\theta(h,r,t,q_1,\ldots,q_k) \]

hyper-relational fact의 각 component를 discrete variable로 보고 여러 요소가 mask된 상태에서 반복 복원한다. intra-fact contextual message passing과 sampled global graph context를 결합한다.

TRACE-KG

\[ \text{Text}\rightarrow \{ \text{Schema}, \text{Entities}, \text{Relations}, \text{Qualifiers}, \text{Evidence links} \} \]

사전 정의 ontology 없이 schema와 context-enriched KG를 공동 생성하면서 원문 evidence에 대한 traceability를 보존한다.

Anchored SubgraphRAG

\[ m_{u\rightarrow v}=g(u,v,q)\cdot\phi(h_u,r_{uv},h_v) \]

query와 관련된 anchor entity를 먼저 식별하고, anchor 주변의 다중 홉 message passing을 질문 조건부 gate로 제한한다. retrieval noise와 조합 폭발을 동시에 완화한다.

REL-RAG

\[ \operatorname{score}(P,q) = \operatorname{semantic}(P,q) + \lambda\operatorname{relational}(P,q) \]

entity similarity보다 질문이 요구하는 relation sequence를 우선한다.

MedJudgeRAG

\[ J(a_i) = \operatorname{Support}(a_i,E_i) - \operatorname{Contradiction}(a_i,E_i) \]

의료 객관식 선택지를 개별적으로 검토해 정답 선택과 근거 판단을 분리한다.

MedReason

KG에서 사실 기반 reasoning path를 생성해 정답뿐 아니라 추론 단계 자체를 supervision으로 사용한다.

RelAgent

LLM이 SQL feature program, join 경로, aggregation, 모델 선택, validation feedback을 탐색한다. 배포 단계에서는 결정론적 SQL과 전통적 예측 모델만 사용해 LLM 호출을 제거하고 해석 가능성을 높인다.

Parallel-Synthesis

여러 graph retrieval·reasoning branch의 문자열을 다시 연결하지 않고 각 branch의 KV cache를 latent space에서 직접 통합한다.

8.4 구조·기하·이론적 접근

Dense network의 비보편성

Dense connectivity가 항상 더 보편적인 것은 아니며, 적절한 sparse structure가 표현력에 필수적일 수 있다.

Linear GCN과 implicit bias

표현력 부족보다 optimization bias가 실제 성능 제한일 수 있으며 distillation과 inductive bias 설계가 중요하다.

Deep Neural Sheaf Diffusion

\[ h_v^{(\ell+1)} = \sigma\left( \sum_{u\in N(v)}\rho_{uv}h_u^{(\ell)} \right) \]

\(\rho_{uv}\)는 scalar가 아니라 local space 간 선형 변환으로 heterophily와 이질적 relation을 표현한다.

Hilbert bundle과 cellular sheaf

연속 공간의 local Hilbert space와 이산 cellular sheaf 사이의 수렴과 transferability를 이론화한다.

Edge-aware FlexAttention

희소 엣지와 edge feature를 attention kernel 내부에서 직접 처리해 dense \(O(n^2)\) attention의 병목을 완화한다.

8.5 과학·분자 Foundation Model

KERMT

멀티태스크 미세조정, 데이터 규모 확장, 가속 학습을 통해 drug-discovery GFM을 강화한다.

MixUni

\[ y_{\mathrm{mixture}}\neq\sum_i y_i \]

분자 내부 구조뿐 아니라 분자 간 상호작용, 조성 비율, 조건을 함께 표현해야 한다.

Cyclic peptide ensemble

\[ p(y\mid M)=\sum_{c\in\mathcal C(M)}p(y\mid c)p(c\mid M) \]

단일 대표 구조 대신 conformer ensemble의 분포를 모델링한다.

Uni-Bond

\[ \{(a_i,\mathbf r_i)\}_{i=1}^{n}\rightarrow E_{\mathrm{chemical}} \]

원자 좌표, 원자종, valence, local geometry, global consistency로 chemical bond를 추론한다.

Graph Tokenization Meets JEPA

관측값 자체보다 mask된 부분의 latent representation을 예측해 공간 cell graph의 고수준 구조를 학습한다.

09 · Key Applications

핵심 응용

Node & Link

범용 예측

사기 계정 탐지
논문 분야 분류
추천 링크 예측
단백질 기능 예측
이상 노드 탐지

KG & Medical

지식그래프·의료 QA

임상 근거 탐색
객관식 의료 QA
다중 홉 KGQA
선택지별 증거 검증
provenance-aware generation

Drug Discovery

신약개발·분자과학

ADMET와 molecular property
혼합물 물성 예측
peptide ensemble modeling
3D 좌표 기반 bond inference
assay 간 multi-task transfer

Relational DB

관계형 데이터 자동 분석

feature engineering
join path discovery
SQL program generation
few-shot fraud·churn prediction
schema transfer

Finance

금융 네트워크

protocol exposure
token flow prediction
contagion risk
TVL dynamics
stress testing

Complex Systems

복잡계와 의사결정

super-spreader identification
정보·전염병 확산
사이버 공격 전파
vehicle routing
graph-conditioned policy

10 · Open Problems

미해결 문제

10.1 GFM에 대한 합의된 정의 부재

multi-dataset pretraining, pretrained graph encoder, cross-task model, few-shot model, true graph in-context learner를 구분해야 한다. dataset, schema, task 중 둘 이상에서 OOD transfer를 검증해야 강한 foundation claim이 가능하다.

10.2 Graph prior misspecification

rare motif, extreme heterophily, power-law tail, adversarial topology, temporal regime shift, causal confounding을 합성 prior가 충분히 포함하는지 불분명하다.

10.3 Semantic alignment 없는 구조 전이

topology가 유사해도 의미가 다를 수 있고, 동일한 의미가 서로 다른 schema로 표현될 수 있다. 구조 alignment와 semantic alignment를 독립적으로 측정해야 한다.

10.4 Context selection

\[ \mathcal{C}^{\star} = \arg\max_{\mathcal{C}:|\mathcal{C}|\le B} I(Y_Q;\mathcal{C}\mid \mathcal G) \]

무작위 few-shot보다 diversity, coverage, uncertainty, structural centrality를 고려하는 active context selection이 필요하다.

10.5 Foundation scaling law 부재

\[ \text{Error} = f( \text{number of graphs}, \text{graph size}, \text{structural diversity}, \text{task diversity}, \text{parameters} ) \]

그래프 수, 총 노드 수, 구조 다양성, 과제 다양성 중 무엇이 성능을 지배하는지 확립되지 않았다.

10.6 Benchmark contamination과 중복 구조

서로 다른 benchmark가 동일 원천 데이터나 유사 subgraph를 공유할 수 있다. 텍스트-attributed graph에서는 node text가 사전학습 LLM에 포함됐을 가능성도 검사해야 한다.

10.7 생성 그래프의 validity

\[ \text{validity}\neq\text{plausibility}\neq\text{truth} \]

domain constraint, logical constraint, provenance, uncertainty를 통합해야 한다.

10.8 시간적·인과적 일반화

미래 링크 예측을 넘어 intervention과 counterfactual을 처리해야 한다. 상관 기반 temporal representation을 causal dynamics로 확장할 필요가 있다.

10.9 효율성과 지속 가능성

pretraining FLOPs
inference latency
peak memory
context length
energy consumption
amortization break-even point

10.10 불확실성·거부·human oversight

context 부족, OOD topology, schema mismatch, conflicting evidence, temporal drift에서 발생하는 불확실성을 분해하고, 고위험 상황에서 abstention을 구현해야 한다.

11 · Future Directions

미래 연구 방향

11.1 Graph-Native Foundation Stack

Universal Graph IR

Prior Compiler

Adaptive Connectivity

Context Router

Predict · Verify · Calibrate

Universal Graph Intermediate Representation

\[ \text{Raw Data}\rightarrow\text{Typed Graph IR}\rightarrow\text{Graph Tokens} \]

노드, 엣지, hyperedge, qualifier, timestamp, 좌표, table relation을 함께 표현하고 permutation equivariance, provenance, missing value, schema evolution을 기본 지원해야 한다.

Prior Compiler

\[ p_{\phi}(\mathcal G,\mathcal T) \leftarrow \operatorname{MetaLearn}(D_1,\ldots,D_M) \]

실제 데이터의 meta-statistics를 분석해 deployment graph에서 부족한 구조 regime을 능동적으로 생성하는 자동 사전분포 설계가 필요하다.

Adaptive Connectivity Engine

\[ A_{\mathrm{compute}}=g_\phi(A,X,q,\tau) \]

고정 message-passing graph 대신 query와 task에 따라 계산 그래프를 동적으로 구성해야 한다.

Context Router

어떤 예제를 보여줄지, 어떤 부분그래프를 검색할지, 몇 홉까지 확장할지, 어떤 시간 구간과 modality를 우선할지를 결정한다.

Predictor–Generator–Verifier 분리

\[ \text{Retriever} \rightarrow \text{Predictor/Generator} \rightarrow \text{Graph Verifier} \rightarrow \text{Calibrator} \]

단일 모델이 모든 역할을 수행하기보다 검색, 생성, 구조 검증, calibration을 분리하는 방향이 신뢰성에 유리하다.

11.2 Causal Graph Foundation Model

\[ p(Y\mid \operatorname{do}(X=x),\mathcal G) \neq p(Y\mid X=x,\mathcal G) \]

intervention transfer
counterfactual graph generation
invariant mechanism discovery
network treatment effect
causal temporal forecasting

11.3 Self-Evolving Temporal GFM

\[ \theta_{t+1}=\theta_t+\Delta\theta_t, \qquad \|\Delta\theta_t\|\ll\|\theta_t\| \]

continual graph learning, temporal adapter, drift detector, episodic graph memory, replay-free updating, uncertainty-triggered retraining이 필요하다.

11.4 Schema-agnostic Relational Foundation Model

\[ \text{Database}\equiv\text{Typed attributed hypergraph} \]

새로운 DB를 읽고, schema를 해석하고, 예측 과제를 정의하고, feature query를 생성하며, 검증된 모델을 자동 배포하는 relational scientist agent로 발전할 수 있다.

11.5 Scientific Multimodal GFM

\[ \{ \text{molecular graph}, \text{3D structure}, \text{assay table}, \text{biomedical KG}, \text{text}, \text{temporal experiment} \} \]

신약개발에서는 assay shift, protocol·endpoint 차이, provenance, contradictory evidence, uncertainty, causal mechanism, temporal evidence evolution을 함께 처리해야 한다.

11.6 Foundation Model을 평가하는 Foundation Benchmark

unseen dataset
unseen schema
unseen task와 label space
unseen temporal regime
unseen graph size
adversarial serialization
limited context budget
compute-normalized comparison

\[ S=\alpha A+\beta T+\gamma C+\delta R-\lambda K \]

\(A\): accuracy, \(T\): transferability, \(C\): calibration, \(R\): robustness, \(K\): adaptation·inference cost를 의미한다.

12 · Synthesis

종합 결론

이 연구군이 보여주는 가장 중요한 변화는 그래프 학습의 중심이 representation learning에서 dataset-level adaptation으로 이동하고 있다는 점이다.

과거의 질문

주어진 그래프에서 좋은 node embedding을 어떻게 학습할 것인가?

최근의 질문

새로운 구조·feature·label·schema·시간 규칙을 가진 그래프를 어떻게 읽고, 소수 예제만으로 새로운 예측 알고리즘을 즉석에서 구성할 것인가?

GFM = Graph Prior + Invariant Interface + In-Context Adaptation
+ Task-Adaptive Connectivity + Evidence Verification

G2T-FM과 GraphPFN은 tabular FM과 synthetic prior의 가능성을 보여준다. TFMLinker와 GILT는 링크 및 다양한 graph-level task로 확장한다. TGPM, Hydra, DeXposure-FM은 foundation paradigm을 시간 그래프로 이동시킨다. KREPE와 TRACE-KG는 graph completion을 사실 생성과 schema induction으로 확장한다. MedReason, MedJudgeRAG, Anchored SubgraphRAG, REL-RAG는 그래프를 LLM의 부가 정보가 아니라 검색·추론·검증을 통제하는 구조적 장치로 사용한다.

Foundation claim을 판별하는 세 조건

전혀 새로운 그래프·schema·과제에서 전이되는가?
적응에 필요한 label·시간·계산량이 실제로 감소하는가?
예측의 근거와 불확실성을 검증할 수 있는가?

이 세 조건을 동시에 만족할 때 GFM은 단순한 대규모 GNN을 넘어 새로운 관계형 세계를 읽고 스스로 학습 규칙을 구성하는 범용 구조 추론 시스템이 된다.

Sources

주요 공개 원문 및 프로젝트 URL

A. 원문 또는 명확한 공개본이 확인된 논문

Turning Tabular Foundation Models into Graph Foundation Models
https://arxiv.org/abs/2508.20906

TFMLinker: Universal Link Predictor by Graph In-Context Learning with Tabular Foundation Models
https://arxiv.org/abs/2602.08592

Generative Representation Learning on Hyper-relational Knowledge Graphs via Masked Discrete Diffusion
https://arxiv.org/abs/2605.24064
https://github.com/bdi-lab/KREPE

Temporal Graph Pattern Machine
https://arxiv.org/abs/2601.22454

A Fair Evaluation of Graph Foundation Models for Node Property Prediction
https://arxiv.org/abs/2606.24509

Neural Networks With Dense Weights Are Not Universal Approximators
https://arxiv.org/abs/2602.07618

Position: Reinforcement Learning Foundation Models Should Already Be A Thing
https://arxiv.org/abs/2606.18812

Hydra: Towards Transferable Multi-Task Learning on Temporal Graphs
https://openreview.net/pdf?id=fkU4NMj3e4

MedJudgeRAG
https://github.com/hyu-amllab/medjudgerag
https://openreview.net/forum?id=lrZIKfoRfz

RelAgent: LLM Agents as Data Scientists for Relational Learning
https://arxiv.org/abs/2605.07840
https://github.com/HxyScotthuang/RelAgent

Beyond Predefined Schemas: TRACE-KG for Context-Enriched Knowledge Graph Generation
https://arxiv.org/abs/2604.03496

Linear GCNs Need Better Bias, Not More Expressive Power
https://openreview.net/forum?id=cUJMrMzYVG

Deep Neural Sheaf Diffusion
https://arxiv.org/abs/2605.19021
https://github.com/remibourgerie/deep-neural-sheaf-diffusion

Node4All: Learning Node Representation Beyond Datasets
https://github.com/dooho00/node4all

Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners
https://arxiv.org/abs/2511.10234

MedReason: Eliciting Factual Medical Reasoning Steps in LLMs via Knowledge Graphs
https://arxiv.org/abs/2504.00993
https://github.com/UCSC-VLAA/MedReason

LoReC: Rethinking Large Language Models for Graph Data Analysis
https://arxiv.org/abs/2604.17897

GraphPFN: A Prior-Data Fitted Graph Foundation Model
https://arxiv.org/abs/2509.21489
https://github.com/yandex-research/graphpfn

Towards Direct Latent-Space Synthesis for Parallel Branches in LLM-Agent Workflows
https://arxiv.org/abs/2606.14672

GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning
https://arxiv.org/abs/2510.04567

Consistent Geometric Deep Learning via Hilbert Bundles and Cellular Sheaves
https://arxiv.org/abs/2605.06395

Deep Generative Models for Phylogenetic Inference with Complex Evolutionary Processes
https://openreview.net/forum?id=C3G6LfaLFE
https://github.com/AlanNawzadAmin/DeepPhylo

DeXposure-FM
https://arxiv.org/abs/2602.03981

GraphBench: Next-generation Graph Learning Benchmarking
https://arxiv.org/abs/2512.04475
https://graphbench.github.io/website/

What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs?
https://arxiv.org/abs/2602.02834

Towards Graph Foundation Models for Dynamics in Complex Networked Systems
https://arxiv.org/abs/2606.08306

Efficient Edge-aware Attention Network for Graph Generation
https://openreview.net/forum?id=zJf5SIq74D
https://github.com/vjung99/flexattention-graph-transformer

Large-Scale Pretraining Unlocks Few-Shot Prediction for Relational Data
https://icml-structured-fm-workshop.github.io/accepted-papers/

Providing Context: Enriching Graph Learning Using Language Model Priors
https://github.com/0xZivMor/GINAT

ICML 2026 Workshop on Graph Foundation Models
https://openreview.net/group?id=ICML.cc/2026/Workshop/GFM

B. 검색 시점에 정확한 공개 원문을 확인하지 못한 제목

다음 제목은 목록에 포함되지만 정확히 대응하는 공개 원문을 특정하지 못했거나 색인이 완료되지 않았다. 이들에 대해서는 제목이 시사하는 연구 방향만 전체 분류에 반영하며, 세부 구조와 성능 수치를 단정하지 않는다.

Anchored SubgraphRAG
Disentangling Dynamics
Beyond Accuracy on RelBench의 제시 버전
GraphPTQ
KERMT
Towards Geometry-Grounded Layer-Wise Adaptivity
Per-Link Attention for Cross-Embodiment Graph-Conditioned Diffusion Policies
Graph Learning on Ensembles of Cyclic Peptides
Diagnosing Graph Neural Networks
Learning Task-Adaptive Connectivity for Graph Transformers

MixUni
Schema Is the Benchmark
REL-RAG의 제시 제목 버전
Rethinking Neural Vehicle Routing as Multi-Agent Decision Making
Contractive Monoids
Graph Tokenization Meets JEPA
Uni-Bond
Graph Tokens before Graph Propagation
GRATE