Foundation Models for Life Sciences
FM4LS 2026 논문군을 multimodal alignment, modality identifiability, virtual-cell world models, protein·molecular foundation models, spatial biology, medical MLLM, biomedical agents, causal utility와 trustworthy evaluation의 관점에서 통합한다.
전체 연구 지형
Foundation model을 multimodal evidence, intervention, uncertainty와 scientific decision을 연결하는 infrastructure로 본다.
Definition
Life-science foundation model, multimodal alignment, virtual cells, agents, grounding과 calibration을 정리한다.
Life-Science Foundation Model
대규모 생물학 data에서 재사용 가능한 biological prior를 사전학습하고 다양한 downstream task에 전이하는 모델이다.
Multimodal Biological Foundation Model
DNA, RNA, protein, structure, image, molecule와 clinical text를 공동 latent space 또는 조건부 생성모델로 통합한다.
Cross-Modal Alignment
동일 biological object나 process를 설명하는 서로 다른 modality를 공통 representation에서 정렬한다.
Weakly Paired Multimodal Data
Instance-level pair 없이 group, perturbation 또는 phenotype label만 공유하는 multimodal data다.
Multi-Omics Foundation Model
Genomics, transcriptomics, proteomics, epigenomics, metabolomics와 phenotype을 공동모델링한다.
Biological Modality Identifiability
최종예측에서 각 modality의 독립적 기여를 관측 data로 유일하게 분리할 수 있는 성질이다.
Biological Grounding
Model representation과 reasoning이 dataset shortcut이 아니라 geometry, energy, anatomy, pathway와 causal structure에 연결되는 성질이다.
Virtual Cell
Cellular state와 perturbation에서 처리 후 cell population 또는 state transition을 예측·생성하는 모델이다.
Virtual-Cell World Model
관측, latent state, context, intervention, biological structure, transition, decoding, uncertainty와 evaluation을 통합한 intervenable model이다.
Perturbation Prediction
Control population과 intervention에서 treated population distribution을 예측하는 문제다.
Generative Cross-Modal Model
한 modality를 조건으로 다른 modality의 조건부분포를 생성한다.
Biomedical Agent
Literature, database, knowledge graph, prediction model과 critic을 조합해 traceable biological conclusion을 생성한다.
Mechanistic Reasoning
Outcome뿐 아니라 state-dependent pathway와 causal process를 설명한다.
Calibrated Biological Prediction
Point estimate와 함께 aleatoric·epistemic uncertainty 또는 finite-sample coverage를 제공한다.
Problem Definition
Paired-data scarcity, scale mismatch, identifiability, intervention, shortcut과 evidence conflict의 간극을 정의한다.
Single-Modality–Biological-System Gap
생명현상은 여러 biological layer의 상호작용으로 형성되지만 많은 model은 하나의 modality에 집중한다.
Abundant-Unimodal–Scarce-Paired Gap
개별 modality dataset은 풍부하지만 동일 sample의 paired multimodal data는 희소하다.
Scale and Resolution Mismatch
bp, Ångström, cell, spot, tissue와 longitudinal time scale이 서로 다르다.
Missing and Unpaired Modality Gap
실제 cohort에서는 imaging, omics와 outcome이 sample마다 불완전하게 측정된다.
Alignment–Mechanism Gap
Embedding similarity가 causal mechanism이나 biological interaction을 학습했다는 보장은 없다.
Aggregate Accuracy–Modality Attribution Gap
전체예측은 정확해도 각 modality의 독립적 기여는 식별되지 않을 수 있다.
Prediction–Reasoning Gap
정답이 맞아도 설명한 pathway와 evidence가 틀릴 수 있다.
Representation–Dynamics Gap
Cell embedding이 phenotype을 구분해도 perturbation 후 transition을 예측한다는 보장은 없다.
Prediction–Intervention Gap
관찰 data에서 높은 accuracy가 intervention effect를 정확히 복원한다는 보장은 없다.
Multimodality–Multiscale Gap
여러 modality를 fusion했다고 molecular→cellular→tissue dynamics를 모델링한 것은 아니다.
Biological Signal–Shortcut Gap
Ligand size, target family, assay source, batch와 cohort identity가 mechanism 대신 사용될 수 있다.
Model Scale–Representation Ceiling Gap
Adapter와 parameter를 늘려도 pretraining representation이 필요한 구조를 담지 못하면 성능한계가 유지된다.
Benchmark Saturation–Capability Identification Gap
Score가 상한에 몰리면 model difference를 식별하는 정보량이 감소한다.
Point Prediction–Distributional Biology Gap
Mean response는 rare responder, bimodal cell fate와 variance shift를 숨길 수 있다.
Single-Agent–Conflicting-Evidence Gap
ML, KG, literature와 guideline evidence가 충돌할 수 있다.
Core Concepts
Fusion, contrastive alignment, continuous tokens, biological priors, causal disentanglement와 evaluation을 정리한다.
Early, Intermediate and Late Fusion
Raw token, encoded representation 또는 prediction 단계에서 modality를 결합하는 서로 다른 fusion 전략이다.
Cross-Modal Contrastive Learning
Biologically related pair의 embedding은 가깝게, unrelated pair는 멀게 학습한다.
Group-Level Alignment
Instance pair가 없을 때 group distribution을 정렬한다.
Continuous Biological Tokens
Quantitative omics profile을 text serialization 대신 compact continuous embedding으로 LLM context에 삽입한다.
Biological Priors as Architectural Constraints
Geometry, hydration, energy와 pathway prior를 attention gate, interaction logit 또는 transition operator에 직접 삽입한다.
Retrieval-Augmented Biological Foundation Models
Inference 시 homolog, structure, literature와 database evidence를 동적으로 검색해 context에 추가한다.
Latent Prediction
Discrete token reconstruction과 함께 masked-position latent representation을 예측한다.
Causal Disentanglement
Mechanism signal과 nuisance signal을 분리하고 counterfactual intervention으로 shortcut sensitivity를 감사한다.
Distributional Perturbation Modeling
Individual cell pair가 아니라 control distribution에서 treated distribution으로의 transition을 학습한다.
Conformal Biological Evaluation
Gene, perturbation, population과 subgroup level에서 distribution-free coverage를 제공한다.
Evidential Uncertainty
Model이 mean뿐 아니라 uncertainty distribution parameter를 직접 예측한다.
Sparse Autoencoder Auditing
Dense activation을 sparse feature basis로 분해해 hazard, shortcut, modality leakage와 biological concept을 감사한다.
Misaligned Baselines
Size-only, family-only, assay-source와 shuffled-structure model로 shortcut 학습 여부를 진단한다.
Identifiability-Aware Benchmarking
Score와 함께 design rank, Fisher information, posterior contrast와 saturation 상태를 보고한다.
Introduction
생명과학 foundation model은 unimodal representation에서 auditable, intervenable biological infrastructure로 발전한다.
Stage 1 — Unimodal Representation
Protein sequence, DNA, transcriptome 또는 image별 encoder를 독립적으로 학습한다.
Stage 2 — Downstream Fine-Tuning
Pretrained representation을 classification, regression, retrieval과 segmentation에 적용한다.
Stage 3 — Multimodal Alignment
Sequence–structure, image–omics, molecule–text와 patient modality를 shared space에 정렬한다.
Stage 4 — Generative Cross-Modal Translation
관측하기 비싸거나 결손된 modality를 다른 modality에서 생성한다.
Stage 5 — Mechanism-Grounded Prediction
Geometry, energy, pathway, anatomy, dynamics와 causal mediator를 architecture에 주입한다.
Stage 6 — Agentic Biological Reasoning
LLM이 literature, KG, predictive model과 tool을 사용해 evidence-based conclusion을 만든다.
Stage 7 — Virtual Cell and Biological World Models
Intervention에 따른 multiscale state trajectory를 uncertainty와 함께 rollout한다.
Stage 8 — Auditable and Identifiable Bio-AI
Modality contribution, causal utility, feature mechanism과 benchmark information을 검증한다.
Motivation and Background
생물학적 multimodality, 측정비용, causal utility, uncertainty, abstention과 shortcut risk가 연구를 촉진한다.
생물학은 본질적으로 Multimodal
Phenotype은 sequence, expression, structure, environment, tissue context와 clinical state의 상호작용으로 형성된다.
모든 Modality를 측정하기 어려움
비용, tissue availability, destructive assay와 batch restriction 때문에 complete multi-omics가 드물다.
평균성능만으로는 부족
Cold-start, intervention fidelity, uncertainty, causal utility와 evidence faithfulness가 실제 연구가치를 결정한다.
Biological Prior는 Data Efficiency를 높임
Curated biophysical·anatomical·pathway feature가 generic scale-up보다 효과적일 수 있다.
Biomedical LLM에는 Abstention이 필요
근거가 부족할 때 plausible explanation을 생성하지 않고 추가실험 또는 human review를 요청해야 한다.
Virtual Cell은 Laboratory Substitute라는 강한 주장
Wet-lab replacement를 주장하려면 distributional calibration, causal utility, temporal consistency와 uncertainty가 필요하다.
Drug Discovery AI에는 Shortcut Audit가 필요
Random split accuracy는 scaffold, target family와 assay source의 shortcut을 숨길 수 있다.
Challenges
Modality heterogeneity, intervention gap, evidence sufficiency, biosecurity와 clinical validity가 핵심 난제다.
| 도전과제 | 핵심 문제 | 요구되는 방향 |
|---|---|---|
| Modality heterogeneity | 입력공간·noise·scale이 서로 다름 | Modality-specific encoder와 shared semantics |
| Paired-data scarcity | 동일 sample의 다중 modality가 부족 | Weak pairing·unimodal alignment |
| Missing modality | Sample별 측정항목 불완전 | Conditional reconstruction·adaptive routing |
| Resolution mismatch | bp, molecule, cell, spot, tissue scale 상이 | Multi-resolution tokenization |
| Aggregate identifiability | 전체예측과 modality 기여 분리 어려움 | Design rank·posterior contraction |
| Biological grounding | Correlation과 mechanism 혼동 | Geometry·physics·pathway prior |
| Shortcut learning | Size, family, batch와 source signal 사용 | Misaligned baseline·counterfactual audit |
| Prediction–intervention gap | 관찰예측이 causal effect를 보장하지 않음 | Perturbation·causal benchmark |
| Representation–dynamics gap | Embedding이 transition을 보장하지 않음 | Explicit state-transition models |
| Distributional heterogeneity | Mean response가 subpopulation을 숨김 | Distribution-level generation |
| OOD generalization | 새 drug, protein, cell, dose에서 실패 | Cold-start·cross-context splits |
| Evidence conflict | ML·KG·literature 결과 불일치 | Conflict-aware aggregation |
| Evidence insufficiency | Agent가 근거 부족에도 답변 | Calibrated abstention |
| Medical grounding | Text answer가 image region과 불일치 | Region-level visual audit |
| Uncertainty calibration | Confidence와 실제 error 불일치 | Evidential·conformal methods |
| Benchmark saturation | 상위 model 차이를 식별하지 못함 | Saturation-triggered redesign |
| Model backdoors | Omics FM에 poisoned biological pattern | Biosecurity-aware training |
| Generative safety | 유해 protein·molecule generation | Feature-level hazard audit |
| Computational scale | Genome·proteome·WSI context가 매우 큼 | Compression·state-space·retrieval |
| Clinical validity | Dataset performance와 patient utility 차이 | External·prospective validation |
Research Questions
Modality identifiability, virtual cells, perturbation, grounding, agents, representation ceiling과 benchmark redesign을 중심으로 정리한다.
RQ1
서로 다른 biological modality가 제공하는 공유정보와 독립정보를 어떻게 분리할 것인가?
RQ2
Aggregate prediction accuracy가 높을 때 modality별 기여가 실제로 식별 가능한지 어떻게 검증할 것인가?
RQ3
Paired data가 거의 없는 상황에서 pretrained unimodal foundation model을 안정적으로 정렬할 수 있는가?
RQ4
Group-level pairing과 instance-level pairing 사이의 supervision gap을 어떻게 메울 것인가?
RQ5
Genomic, epigenomic, spatial과 imaging signal을 각각 어떤 resolution에서 tokenization해야 하는가?
RQ6
Biophysical prior를 feature로 추가하는 것과 architecture를 제약하는 것 중 어느 방식이 더 강건한가?
RQ7
Protein sequence representation에 structure, dynamics, DNA context와 solvent를 언제 추가해야 하는가?
RQ8
Virtual-cell model이 endpoint predictor가 아니라 intervention-capable world model이라는 것을 어떻게 증명할 것인가?
RQ9
Unpaired single-cell perturbation에서 biologically meaningful transport path를 식별할 수 있는가?
RQ10
Mean prediction을 넘어 cell-fate multimodality와 rare responder distribution을 어떻게 평가할 것인가?
RQ11
Perturbation prediction이 downstream causal gene-network recovery에 실제로 기여하는가?
RQ12
Drug–target model이 binding mechanism 대신 ligand size와 contact mass를 사용하지 않는지 어떻게 감사할 것인가?
RQ13
Biomedical agent가 evidence 부족을 인식하고 정확하게 abstain하도록 어떻게 학습할 것인가?
RQ14
ML, knowledge graph와 RAG evidence가 충돌할 때 최종결론을 어떤 규칙으로 집계해야 하는가?
RQ15
Medical MLLM의 답변이 실제 병변·해부학 영역에 grounding되었는지 어떻게 측정할 것인가?
RQ16
Frozen foundation model과 PEFT가 실패할 때 adaptation capacity 문제와 representation ceiling을 어떻게 구분할 것인가?
RQ17
생성형 protein·omics model의 harmful feature와 backdoor를 deployment 전에 탐지할 수 있는가?
RQ18
Benchmark score가 포화될 때 difficulty, information과 mechanism sensitivity를 어떻게 재설계할 것인가?
Approaches / Methods
대표 연구를 epigenomics, protein, drug, single-cell, spatial, agents, medical grounding와 security 기준으로 탐색할 수 있다.
ERVNet
Feature-specific resolution encoding, Hi-C loop-aware propagation과 sequence immunogenicity를 결합해 ERV reactivation을 모델링한다.
PROTEUS
Protein LM, 3D contact graph, PTM과 drug graph를 결합해 ΔΔG와 evidential·conformal uncertainty를 예측한다.
MSA-Evolver
LLM이 informative sub-MSA를 선택·편집하고 folding feedback으로 alternative conformation search를 반복한다.
AMR-Bench-mini
Biomedical agent의 evidence sufficiency, conflict detection, gold annotation error와 abstention을 평가한다.
StructAlign
Clinical concept bottleneck을 latent causal mediator로 사용해 low-data medical reasoning을 안정화한다.
VGMED / VGRefine
Medical MLLM의 visual grounding을 분리평가하고 inference-time attention refinement를 적용한다.
Atlas-CFM
Control-derived anchor, transport-aware pseudo-pairing과 manifold-aware vector field로 perturbation trajectory를 학습한다.
PerturbDiff
Cell population distribution 자체를 Hilbert space에서 diffusion해 latent-context variation을 생성한다.
ConfPert
Population discrepancy를 conformal score로 사용해 gene·perturbation·subgroup level coverage를 제공한다.
PerturbCausal
Virtual-cell prediction을 causal-discovery algorithm에 입력해 GRN edge recovery utility를 평가한다.
Causal-IQD-DTA
Interaction quality와 size·contact opportunity nuisance를 분리하고 counterfactual intervention으로 shortcut을 억제한다.
WACA-DTA
Direct, geometry와 hydration logit을 atom–residue cross-attention에 직접 반영한다.
ImmunoFoundation
Sequence encoder와 3D complex graph transformer를 cross-modal attention으로 결합한다.
ProteinJEPA
MLM과 masked-position latent prediction을 결합해 sequence representation을 개선한다.
E1 / ProtQueSt
Homolog·structure retrieval과 query-conditioned evidence selection으로 protein annotation을 강화한다.
OmicsLM
Quantitative transcriptomic profile을 continuous token으로 LLM context에 삽입한다.
Bolek / MolEmb
Molecular embedding과 natural-language semantics를 양방향으로 정렬해 grounded molecular reasoning을 지원한다.
PhenoSeq
Cell-painting morphology에서 conditional diffusion으로 single-cell transcriptomic profile을 생성한다.
HistoTx / PaSTel / SIGMMA / STMDiT
Histology–spatial transcriptomics를 multi-scale alignment와 bidirectional generation으로 연결한다.
DrugAgent
ML, KG와 RAG evidence의 source-specific reasoning, conflict analysis와 rule-guided final decision을 분리한다.
OmicsDefense / VFUSE
Poisoned omics sample과 virulence-associated protein-generation feature를 탐지한다.
Key Applications
Drug discovery, precision medicine, single-cell, spatial biology, protein science, immunology, imaging와 AI-assisted research에 적용된다.
Drug Discovery
DTA, PTM-conditioned binding, DEL hit prioritization, molecular property, target identification와 immunogenicity.
Hit Discovery·Lead Optimization
Assay, molecular graph, protein sequence, pocket structure, PTM, hydration와 literature evidence를 통합한다.
Precision Medicine
Multi-omics stratification, immunotherapy response, rare disease, EHR risk와 longitudinal patient support.
Single-Cell Biology
Cell annotation, perturbation prediction, cross-modal translation, scATAC, virtual cell와 backdoor defense.
Spatial Biology·Pathology
H&E–gene expression alignment, tumor microenvironment, virtual tissue와 survival-relevant discordance.
Protein Science
Structure, alternative conformation, interaction, variant effect, remote homology와 function annotation.
Immunology·Infectious Disease
Neoepitope, TCR–pMHC, ERV, host–pathogen interaction, AMR와 antimicrobial peptide.
Biomedical Imaging
Medical VQA, report generation, cell segmentation, MRI, chest X-ray와 histopathology.
AI-Assisted Biological Research
Literature-grounded annotation, MSA editing, perturbation reasoning, experiment prioritization와 virtual experiments.
Open Problems
Identifiability, multiscale world models, causal utility, rare states, evidence sufficiency, representation ceilings와 biosecurity를 해결해야 한다.
Modality Identifiability
Aggregate accuracy와 modality contribution claim을 구분하는 일반 통계표준이 필요하다.
Cross-Modal Causal Alignment
Embedding similarity를 넘어 modality 사이 causal mechanism을 식별해야 한다.
Unpaired Multimodal Learning
Paired data 없이 alignment·translation할 때 correspondence ambiguity를 정량화해야 한다.
Missing-Not-at-Random Modalities
비용, 중증도와 기관정책 때문에 결손이 무작위가 아닐 수 있다.
Multiscale State Representation
Molecule, organelle, cell, tissue와 organism state를 일관된 hierarchy로 연결해야 한다.
Intervenable Virtual Cells
Static endpoint prediction이 아니라 sequential intervention과 feedback을 지원해야 한다.
Temporal Virtual Biology
Long-horizon cellular transition과 temporal consistency를 평가하기 어렵다.
Causal Utility Benchmarks
Prediction이 target discovery, pathway recovery와 experiment selection에 주는 실제 utility를 평가해야 한다.
Distributional Calibration
High-dimensional cell distribution과 multimodal output에 적합한 coverage definition이 필요하다.
Rare-State Preservation
Generative model이 rare responder, transitional cell과 minority phenotype을 제거하지 않는지 검증해야 한다.
Biological Shortcut Discovery
Unknown shortcut을 자동발견하는 adversarial·counterfactual audit가 필요하다.
Evidence-Sufficiency Reasoning
Agent가 어떤 결론이 현재 evidence에서 허용되지 않는지 판단해야 한다.
Cross-Source Dependence
ML, KG와 literature evidence가 독립적이지 않아 naive voting이 confidence를 과대평가할 수 있다.
Grounded Medical Reasoning
Text rationale, visual region, clinical concept와 diagnosis 사이의 causal consistency를 검증해야 한다.
Foundation-Model Representation Ceilings
PEFT failure가 optimization, capacity, decoder 또는 pretraining representation 중 어디에서 발생하는지 분리해야 한다.
Benchmark Information Collapse
Score saturation 시 difficult, intervention-sensitive, OOD와 mechanism-sensitive item을 생성해야 한다.
Biosecurity
Backdoor, data poisoning, pathogen-related feature와 dual-use generation을 함께 다뤄야 한다.
External and Prospective Validation
Retrospective public dataset 성능을 laboratory·hospital workflow로 전이해야 한다.
Dataset and Assay Provenance
Protocol, batch, assay, species, cell line와 preprocessing lineage를 표준화해야 한다.
Scientific Claim Governance
Foundation model, mechanistic, causal, world model 용어를 capability certificate 없이 사용하는 문제를 줄여야 한다.
Future Directions
미래 FM4LS는 multimodal biology OS, modality contract, intervention-native pretraining, evidence graph와 capability gates로 발전한다.
Multimodal Biology Operating System
Question, modality registry, model router, alignment, mechanism, uncertainty와 experiment recommendation을 통합한다.
Biological Modality Contract
Scale, resolution, measurement, noise, missingness, pairing, batch, causal status와 applicable task를 명시한다.
Identifiability-First Multimodal Learning
Training 전에 design rank와 latent overlap을 검사하고 식별되지 않는 contribution claim을 제한한다.
Biological Foundation-Model Router
Protein, omics, pathology, literature와 conflict task에 specialist model을 선택한다.
Intervention-Native Pretraining
Masked reconstruction과 함께 perturbation transition과 mechanistic objective를 학습한다.
Virtual-Cell Capability Gates
Representation, endpoint, distributional perturbation, intervenable transition, multiscale world model을 단계별 인증한다.
Calibrated Virtual Experiments
Predicted distribution, coverage, OOD, nearest evidence, causal confidence와 wet-lab validation을 함께 출력한다.
Biological Evidence Graph for Agents
Claim, experiment, dataset, assay와 supports·contradicts relation을 typed graph로 보존한다.
Conflict-Aware Multi-Agent Science
Genomics, structure, literature, assay, causal critic와 uncertainty auditor를 분리한다.
Biological Abstention Layer
Evidence sufficiency가 threshold를 넘지 못하면 추가실험·retrieval·human review를 요청한다.
Mechanistically Grounded Multimodal Tokens
DNA, RNA, protein, structure, PTM, drug와 assay token에 biological role과 provenance를 부여한다.
Cross-Modal Generative Digital Twins
Cheap modality에서 expensive modality를 생성하고 wet-lab feedback으로 posterior를 갱신한다.
Mechanism-Sensitive Benchmarks
Equal shortcut/different mechanism, unseen intervention, rare state, conflict와 insufficiency item을 포함한다.
Misaligned-Baseline Standard
Size-only, family-only, assay-source, control-only, shuffled-modality와 nearest-neighbor baseline을 의무화한다.
Biosecurity-Aware Foundation Models
Poison screening, hazard feature audit, access control, dual-use classification과 red teaming을 포함한다.
Standard Evaluation Protocol
Predictive quality, alignment, identifiability, generalization, causal utility, calibration, grounding, security와 provenance를 표준화한다.
Conclusion
FM4LS는 더 많은 modality를 결합하는 경쟁에서 identifiable evidence, intervention과 calibrated scientific utility로 이동한다.
Single Modality → Biological Systems
Sequence, structure, expression, image와 text를 biological hierarchy와 interaction으로 연결한다.
Fusion → Identifiable Integration
Aggregate accuracy보다 각 modality의 독립정보를 식별할 수 있는지가 중요하다.
Prediction → Intervention
Virtual cell의 핵심은 state classification이 아니라 intervention 후 distribution과 trajectory 예측이다.
Mean Response → Population Distribution
Cell-fate bifurcation, rare responder와 latent context를 distribution 수준에서 모델링한다.
Language Fluency → Evidence Sufficiency
Biomedical agent는 plausible explanation보다 support, contradiction과 abstention을 처리해야 한다.
Generic Scale-Up → Biological Grounding
Geometry, energy, hydration, dynamics, anatomy와 pathway prior가 generic scaling보다 중요할 수 있다.
Benchmark Score → Scientific Utility
Causal network recovery, hit prioritization, patient stratification과 experiment selection utility를 평가한다.
Foundation Model → Auditable Infrastructure
Prediction과 함께 uncertainty, provenance, identifiability, shortcut diagnostic과 applicable regime를 제공한다.
Sources
공식 워크숍, virtual cell, multi-omics, protein, drug discovery, medical MLLM, evaluation와 security 연구 원문 링크.