ICML 2026 · Multi-Modal Brain Network Analysis · Korean Technical Webpage

PhenoBrain
표현형 조건부 장거리 통신으로 뇌 네트워크를 개인화해 읽는 프레임워크

이 웹페이지는 논문 “PhenoBrain: Phenotype-Conditioned Long-Range Communication for Multi-Modal Brain Network Analysis”의 전체 내용을 한국어 기술문서 스타일로 재구성한 단일 HTML 문서다. 핵심 메시지는 표현형 정보가 단순 보조 feature가 아니라 뇌 connectome 표현 학습의 통신 경로와 attention 메커니즘을 조건화하는 문맥 변수라는 점이다.

Executive Snapshot

표현형은 classifier 앞에 붙이는 추가 feature가 아니라, 뇌 네트워크가 정보를 어떻게 전달할지 결정하는 조건이다

동일한 functional connectivity 패턴도 나이, 성별, 증상, 임상 서술 문맥에 따라 다른 의미를 갖는다. PhenoBrain은 tabular phenotype과 textual phenotype을 이용해 subject-specific multi-hop routing kernel과 phenotype-modulated attention을 학습한다.

3주요 모듈: multi-modal learning, modulated graph transformer, fusion head
2구성 데이터셋: ABIDE, PIXAR
9비교 baseline 수
200해석성 bootstrap resampling 반복 수
0.7635ABIDE ACC, PhenoBrain 최고 성능
0.8346ABIDE AUC, MGDR 대비 향상
0.9167PIXAR ACC, 최고 성능
0.9259PIXAR AUC, 최고 성능

논문의 중심 명제

기존 phenotypic multimodal brain network 방법은 표현형을 late fusion 단계에서 결합한다. 이 방식은 “표현형이 달라도 connectome 표현 학습 방식은 같다”는 가정을 내포한다. PhenoBrain은 이 가정을 깨고, 표현형이 ROI 간 장거리 통신과 attention score 자체를 바꾸도록 설계한다.

Phenotype Conditioning Functional Connectome Long-Range Routing Graph Transformer Prompt Tokens Neuro-symbolic Interpretability
01 · Motivation

기존 모델은 표현형을 늦게 붙이고, 장거리 뇌 네트워크 상호작용을 충분히 모델링하지 못한다

Figure 1의 핵심은 ASD 환자의 social/control network 접근성이 healthy subject와 다를 수 있고, 같은 뇌 연결도 표현형 조건에 따라 다른 임상적 의미를 갖는다는 점이다.

Traditional Model

같은 표현 학습, 늦은 결합

Brain Graph → Brain Encoder
Phenotype → Phenotype Encoder
[Brain Embedding || Phenotype Embedding] → Classifier

표현형은 decision layer 직전의 추가 feature로만 사용된다. 이 구조에서는 표현형이 ROI 증거 추출과 전파 방식에 직접 개입하지 않는다.

PhenoBrain

다른 표현형, 다른 통신

Phenotype Context → Router Modulation
Phenotype Prompts → Transformer Tokens
Phenotype FiLM → Attention Logits
Brain + Tabular + Text → Gated Fusion

표현형은 brain encoder 내부에서 long-range routing과 attention pattern을 조절한다.

Fusion Drawback

late fusion은 표현형이 증거 생성 과정을 바꾸지 못한다. 결과적으로 “의사결정 결론의 결합”에 머물고 “증거 생성 메커니즘의 결합”을 하지 못한다.

Long-Range Correlation

기억, 사회성, 통제 기능은 가까운 ROI의 지역적 변화보다 cortex-hippocampus, cross-hemisphere, inter-network coupling처럼 먼 경로 협업으로 나타난다.

Personalized Evidence

발달 단계, 증상 스펙트럼, 치료 이력, 임상 서술이 같은 connectome 패턴의 의미를 바꾼다. 모델은 개인별 ROI interaction을 학습해야 한다.

02 · Methodology

PhenoBrain은 표현형 문맥을 뇌 그래프 표현 학습 메커니즘 안으로 주입한다

Figure 2의 전체 구조는 multi-modal learning module, modulated brain graph transformer, multi-modal fusion head로 구성된다.

Module A

Multi-modal Learning Module

tabular phenotype은 MLP로 인코딩하고, textual phenotype은 pre-trained language model로 global text embedding과 token embedding을 생성한다.

z_tab = f_p(t)
z_text, H = f_t(p)
z_pheno = φ([z_tab || z_text])
Module B

Modulated Brain Graph Transformer

PCLR이 표현형 조건부 multi-hop routing을 만들고, PPG가 phenotype prompt token을 생성하며, FiLM-style modulation이 attention logit을 조절한다.

X' = X + E_LR W_lr
Z^0 = [H~ || X']
A = softmax(γ · QKᵀ/√d + β)
Module C

Multi-modal Fusion Head

brain embedding, tabular embedding, text embedding을 같은 차원으로 맞춘 뒤 softmax gating으로 최종 fused representation을 만든다.

g = softmax(W_g [z_brain || z_tab || z_text])
z_fuse = g₁z_brain + g₂z_tab + g₃z_text
1. FC GraphROI time series의 Pearson correlation으로 functional connectivity matrix를 계산한다.
2. Sparse Adjacency|FC| ≥ τ 조건으로 sparse graph adjacency를 만든다.
3. Phenotype Contexttabular + text phenotype을 z_pheno로 결합한다.
4. Long-Range Routinglow-rank phenotype modulation으로 multi-hop communication kernel을 만든다.
5. Attention & Fusionprompt token과 ROI token을 함께 attention하고 gated fusion으로 예측한다.

개념적 장거리 뇌 통신

점은 ROI, 선은 표현형 조건부 routing path를 나타낸다. 장거리 경로는 단순 adjacency를 넘어서 phenotype context에 따라 강화되거나 약화된다.

입력 데이터 정의

각 subject s는 fMRI-derived functional brain network, structured phenotype vector, free-form phenotype description을 갖는다.

G(s) = (V, A(s), X(s))
t(s) ∈ Rdt, p(s) = (w₁, ..., wL)
ŷ(s) = f(G(s), t(s), p(s))

텍스트 phenotype은 disease diagnosis conclusion이나 total scale score keyword를 제거해 label leakage를 줄인다.

03 · Core Mathematics

핵심 수식은 표현형 조건부 routing, prompt 생성, attention modulation, gated fusion으로 요약된다

논문은 PCLR, PPG, phenotype-modulated attention을 통해 표현형이 connectome encoder 내부를 직접 바꾸도록 설계한다.

Functional Connectivity와 sparse graph

각 subject의 ROI time series로 FC matrix를 만들고 threshold τ로 adjacency를 만든다.

Aij(s) = 1(|Cij(s)| ≥ τ), i ≠ j

Global phenotype context

tabular와 text representation을 결합해 모든 조건화의 기준이 되는 z_pheno를 만든다.

ztab(s) = fp(t(s))
ztext(s), H(s) = ft(p(s))
zpheno(s) = φ([ztab(s) || ztext(s)])

PCLR: low-rank phenotype adjustment

표현형에 따라 ROI-to-ROI communication map을 subject-specific하게 조절한다.

ΔF(s) = U diag(Wzpheno(s)) Vᵀ
F(s) = softplus(Fbase(s) + ΔF(s))

Multi-hop long-range propagation

column-normalized routing kernel을 K-hop까지 전파해 장거리 node feature를 만든다.

R(s) = (F(s) ⊙ A(s)) (D(s))⁻¹
ELR(s) = Σk=1..K αk (R(s))k X(s)
X′(s) = X(s) + ELR(s)Wlr

Phenotype prompt generation

text token embedding을 M개의 compact prompt token으로 압축한다. 각 prompt token은 connectome을 질의하는 semantic probe 역할을 한다.

(s) = PPG(H(s), zpheno(s))
Z(s,0) = [H̃(s) || X′(s)]

Phenotype-modulated attention

z_pheno에서 생성한 γ와 β가 attention logit을 affine modulation한다.

γℓ,h(s), βℓ,h(s) = gℓ,h(zpheno(s))
Aℓ,h(s) = softmax(γ · QKᵀ / √dh + β)

최종 목적함수

분류 손실에 brain embedding과 phenotype embedding의 InfoNCE alignment loss를 더해 shortcut reliance를 줄이고 feature consistency를 유도한다.

Lsup = - 1/B Σs∈B Σc yc(s) log softmax(ŷ(s))c
u(s) = Wbzbrain(s), v(s) = Wpzpheno(s)
Lalign = -1/B Σ log exp(sim(u(s), v(s))/τ) / Σs′∈B exp(sim(u(s), v(s′))/τ)
L = Lsup + λLalign
04 · Experiments

ABIDE와 PIXAR에서 PhenoBrain은 최신 phenotypic brain network baseline을 능가한다

비교 모델은 InceptionGCN, PopGCN, LSTMGCN, EV-GCN, Multi-GCN, LGL, MMGL, SPromptGL, MGDR이다. 지표는 ACC, AUC, SEN, SPE를 사용한다.

ABIDE 주요 성능

MethodACCAUCSENSPE
MMGL0.67460.72330.68790.6774
SPromptGL0.70840.75640.82890.6731
MGDR0.73840.80670.88640.6533
PhenoBrain0.76350.83460.83840.6923

ABIDE 해석

MGDR ACC
0.7384
PhenoBrain ACC
0.7635
MGDR AUC
0.8067
PhenoBrain AUC
0.8346

PhenoBrain은 ABIDE에서 ACC와 AUC를 각각 MGDR 대비 3.40%, 3.46% 상대 향상시킨다. SPE 개선은 false positive 감소와 더 균형적인 결정 경계 학습을 시사한다.

PIXAR 주요 성능

MethodACCAUCSENSPE
MMGL0.88820.90870.86760.8448
SPromptGL0.87800.89770.90070.8753
MGDR0.90260.91630.88130.8766
PhenoBrain0.91670.92590.93330.8889

PIXAR 해석

MGDR ACC
0.9026
PhenoBrain ACC
0.9167
MGDR AUC
0.9163
PhenoBrain AUC
0.9259

PIXAR에서는 ACC 1.56%, AUC 1.05% 상대 향상을 보이며, SEN은 SPromptGL 대비 3.62% 높다. ASD를 넘어 developmental setting에서도 일반화된다.

Hop 증가에 따른 성능 경향

Figure 3은 ABIDE와 PIXAR에서 hop count 1-10에 따른 AUC, ACC, SPE, SEN을 비교한다. 기존 GCN 계열은 2-3 hop 부근에서 최고 성능을 보인 뒤 oversmoothing으로 하락한다.

  • MMGL, Multi-GCN, MGDR은 ABIDE에서 각각 2, 3, 3 hop 부근이 최적이다.
  • PIXAR의 baseline 세 모델은 대체로 3 hop에서 최고점을 찍고 이후 하락한다.
  • PhenoBrain은 hop이 증가해도 성능이 안정적으로 유지되거나 상승한다.

장거리 routing의 의미

PhenoBrain의 routing은 local information을 희생하지 않으면서 long-range communication을 명시적으로 모델링한다. 이는 phenotype-conditioned multi-hop kernel이 oversmoothing을 완화하고 원거리 ROI 협력을 학습하기 때문이다.

Short-range gain
제한적
Long-range gain
강함
Oversmoothing resistance
안정

데이터셋

ABIDE는 ASD vs healthy control 분류, PIXAR는 children vs adults 분류를 다룬다. 두 데이터셋 모두 fMRI-derived connectome과 phenotype 정보를 사용한다.

전처리

Pearson correlation으로 FC matrix를 만들고 threshold로 sparse adjacency를 구성한다. structured phenotype은 z-score 정규화와 missingness indicator 기반 imputation을 적용한다.

구현

PyTorch로 구현하고 단일 NVIDIA RTX 5090 GPU에서 Adam optimizer와 standard regularization으로 end-to-end 학습한다.

05 · Ablation Study

텍스트 표현형, phenotype conditioning, PCLR, prompt, attention modulation이 모두 의미 있는 성능 기여를 한다

Figure 4는 w/o PCLR, w/o FiLM, w/o prompt, w/o text, w/o pheno 설정을 통해 각 component와 modality의 중요성을 검증한다.

ABIDE ablation 영향

제거 요소ACC 감소해석
w/o text7.02%임상 narrative가 structured variable 이상의 보완 정보를 제공한다.
w/o pheno7.21%표현형 conditioning 자체가 핵심이다.
w/o PCLR2.04%장거리 communication kernel이 예측 신호를 제공한다.
w/o FiLM2.17%attention logit modulation이 ROI interaction을 개인화한다.
w/o prompt2.58%prompt token은 semantic probe로 작동한다.

PIXAR ablation 영향

제거 요소ACC 감소해석
w/o text22.2%발달 관련 서술 정보가 강한 판별 단서를 제공한다.
w/o pheno15.1%표현형 조건이 없으면 developmental pattern 구분력이 크게 떨어진다.
w/o PCLR7.85%장거리 routing이 PIXAR에서 특히 중요하다.
w/o FiLM10.0%attention modulation의 기여가 크다.
w/o prompt7.43%prompt 기반 semantic query가 성능을 높인다.

ablation 결과는 PhenoBrain의 성능이 단순 feature 추가가 아니라, 표현형이 routing과 attention 학습 과정에 직접 개입하는 구조에서 나온다는 점을 보여준다.

06 · Interpretability

PhenoBrain은 pathway-level routing과 prompt-to-ROI attention으로 뇌 네트워크 증거를 시각화한다

Figure 5-6과 Appendix Figure 7-8은 PhenoBrain이 black-box embedding만 출력하지 않고, 네트워크 수준과 ROI 수준의 해석 가능한 증거를 제공한다는 점을 보인다.

Long-range routing matrix

ROI를 DMN, FPN, CON, SMN, VIS, SUB 등 표준 기능 네트워크로 묶고, PCLR에서 얻은 multi-hop routing strength를 network-level matrix로 집계한다.

.20
.12
.08
.05
.11
.08
.12
.18
.09
.05
.05
.04
.08
.08
.17
.10
.05
.05
.05
.05
.10
.16
.11
.08
.11
.05
.05
.11
.15
.09
.08
.04
.05
.08
.09
.14

위 matrix는 논문의 routing matrix 설명을 웹 시각 요소로 재구성한 예시다.

해석 결과의 neuroscientific 의미

  • ABIDE에서 ASD 환자는 healthy control 대비 DMN 관련 routing이 과활성화되고 cross-network connectivity가 약화된다.
  • FPN 이상은 attention memory, control, social cognition과 관련된 설명으로 해석된다.
  • PIXAR에서 adults는 CON 중심의 더 강한 intra/inter-network connection을 보이며, 이는 성숙한 control-memory system을 시사한다.
  • children은 VIS와 SMN의 내부·상호 연결이 강하고 FPN/CON은 상대적으로 약하다.

Network-level importance

ABIDE에서는 DMN, CON, FPN이 상대적으로 중요하게 나타난다. PIXAR에서는 VIS, AUD, SMN처럼 perception 관련 네트워크가 중요하다.

ROI-level importance

prompt-to-ROI attention score를 ROI별로 평균해 top-20 ROI를 시각화한다. ROI 분포는 network-level 결과와 대응된다.

Bootstrap stability

200회 resampling에서 top-10 ROI overlap을 계산한다. ABIDE 평균 overlap은 0.851, PIXAR 평균 overlap은 0.793으로 안정성을 보인다.

08 · Appendix Digest

부록은 데이터셋, baseline, 구현 세부사항, 해석성 분석을 보강한다

Appendix A는 관련 연구를 확장하고, ABIDE/PIXAR 데이터 구성, baseline 목록, PyTorch 구현, 해석성 figure를 상세히 제시한다.

Used Datasets

ABIDE는 ASD vs healthy control 분류를 따르고, PIXAR는 children vs adults 분류를 통해 developmental setting에서 phenotype-dependent routing을 검증한다.

Compared Baselines

InceptionGCN, PopGCN, LSTMGCN, EV-GCN, Multi-GCN, LGL, MMGL, SPromptGL, MGDR을 동일 지표로 비교한다.

Implementation Details

FC matrix thresholding, z-score normalization, missing value imputation, text truncation/padding, Adam optimizer, standard regularization을 적용한다.

결론과 영향

PhenoBrain은 structured phenotype과 natural language phenotype description을 단순 추가 feature가 아니라 개인 차이를 나타내는 context로 사용한다. 이 context는 brain network 내 정보 전달 방식과 증거 선택을 조절한다. 논문은 이 접근이 예측 성능, 일반화, 해석성을 동시에 향상시키는 방향임을 ABIDE와 PIXAR에서 보인다.

Impact Statement는 기계학습 발전을 목표로 하는 연구이며 특별히 강조할 사회적 결과는 없다고 명시한다. 연구 지원은 National Natural Science Foundation of China, Xiangjiang Laboratory, Hunan Province Graduate Student Innovation Project에서 제공된다.

PhenoBrain의 핵심 기여는 표현형 기반 멀티모달 뇌 네트워크 분석을 “late fusion”에서 “mechanism conditioning”으로 끌어올린 것이다. 표현형은 classifier의 부가 입력이 아니라, 장거리 경로와 ROI attention을 개인별로 바꾸는 제어 신호다.