\[
\mathcal L_{\mathrm{AR}}
=
-\sum_i
\log p_\theta(z_i\mid z_{
Contrastive Alignment
\[
\mathcal L_{\mathrm{con}}
=
-\log
\frac{\exp(\operatorname{sim}(h_a,h_b)/\tau)}
{\sum_j\exp(\operatorname{sim}(h_a,h_j)/\tau)}
\]
Denoising Diffusion
\[
\mathcal L_{\mathrm{diff}}
=
\mathbb E
\left[
\|\epsilon-\epsilon_\theta(X_t,t,C)\|^2
\right]
\]
Multi-task Supervised Pre-training
\[
\mathcal L
=
\sum_{k=1}^{K}\lambda_k\mathcal L_k
\]
4.1 Single-modality에서 Central-Dogma Model로
기존 DNA language model과 protein language model은 분리되어 있었다.
최근 모델은 DNA–RNA–protein–structure–function을 하나의 생물학적 상태와 변환과정으로 연결하려 한다.
4.2 Predictor에서 Generator로
원하는 기능을 갖는 서열 생성
특정 포켓에 결합하는 단백질·저분자 설계
Splicing을 복구하는 서열 편집 제안
특정 활성 profile을 갖는 enhancer 생성
4.3 Static Structure에서 Interaction·Affinity·Dynamics로
\[
\text{Structure}
\not\equiv
\text{Affinity}
\not\equiv
\text{Dynamics}
\not\equiv
\text{Function}
\]
4.4 Adapter-based Fusion에서 Native Multimodality로
초기 모델은 modality별 encoder와 projection layer를 연결했다.
최신 모델은 통합 토큰 공간이나 partial-modality generation을 통해 입력과 출력을 하나의 생성 문제로 다룬다.
4.5 성능 경쟁에서 평가 신뢰성으로
Train–test sequence homology leakage
Temporal contamination
Specialist와 generalist의 불공정 비교
Structure accuracy와 function accuracy의 혼동
Retrospective benchmark와 prospective 성능의 차이
5.1 비표지 데이터와 실험 데이터의 불균형
\[
\text{large unlabeled corpus}
+
\text{small experimental dataset}
\rightarrow
\text{transferable predictor}
\]
5.2 탐색공간의 조합적 폭발
\[
|\mathcal S_{\mathrm{protein}}|=20^L,
\qquad
|\mathcal S_{\mathrm{DNA}}|=4^L
\]
\[
\text{all sequences}
\supset
\text{valid sequences}
\supset
\text{functional sequences}
\supset
\text{task-satisfying sequences}
\]
5.3 생물학적 정보의 결합성
DNA variant가 splicing을 변화시킨다.
RNA structure가 translation efficiency를 변화시킨다.
Protein sequence가 conformational ensemble을 제한한다.
Ligand가 단백질 상태분포를 바꾼다.
Assay condition이 측정 affinity와 activity를 바꾼다.
5.4 실험–계산 폐루프
Design 모델 기반 후보 생성
Build 합성·발현·제조
Test Wet-lab assay
Learn 결과로 모델 갱신
Repeat 다음 실험 우선순위
\[
\text{BioFM Value}
\approx
\frac{\text{실험적으로 성공한 후보 수}}
{\text{총 실험 비용과 시간}}
\]
6.1 데이터 품질과 계통학적 중복
Sequence identity split
Scaffold split
Protein-family split
Species split
Temporal split
Assay- and laboratory-held-out split
6.2 Positive-data Bias와 Negative-data 부족
\[
p_{\mathrm{train}}(z,y)
\neq
p_{\mathrm{real}}(z,y)
\]
공개 데이터에는 알려진 binder, 성공한 구조, 기능이 확인된 서열이 과대표집되고 실패 데이터는 적다.
6.3 Multimodal Alignment
Database identifier 불일치
Isoform과 species·strain 차이
Structure와 assay condition 불일치
일부 modality의 누락
측정 해상도와 시간축 불일치
6.4 긴 문맥과 미세 해상도의 충돌
\[
\text{global context}
+
\text{single-base resolution}
\]
\[
O(L^2)
\]
6.5 구조와 기능의 불일치
결합 친화도
반응속도와 효소 활성
세포 내 기능
선택성
Allosteric effect
6.6 Dynamics와 Thermodynamics
\[
F(X)
=
-k_BT\log p(X)+C
\]
6.7 Assay Shift
\[
y
=
f(
\text{molecule},
\text{target},
\text{protocol},
\text{cell line},
\text{temperature},
\text{readout}
)
\]
6.8 불확실성과 Calibration
\[
p(y\mid x)
=
\int p(y\mid x,\theta)p(\theta\mid\mathcal D)d\theta
\]
6.9 해석가능성과 기전 발견
모델 내부 feature 발견
알려진 motif·domain과 대응
개입 가능한 가설 생성
In silico mutation
실험 검증
6.10 계산 효율성과 접근성
대규모 사전학습
긴 서열 attention
3D 좌표 생성
Complex sampling
Ensemble inference
후보별 affinity 평가
6.11 재현성, 공개성, 라이선스
정확한 data snapshot, 중복제거 기준, training mixture, benchmark contamination, sampling 설정, confidence 산출 방식이 공개되어야 한다.
6.12 Biosecurity와 Dual Use
안전성 문제.
치료 단백질과 유전체 설계를 지원하는 능력은 위해 가능성이 있는 서열 설계에도 악용될 수 있다.
데이터 필터링, capability evaluation, red-teaming, 접근 단계화가 필요하다.
RQ1. 무엇이 BioFM을 진정한 Foundation Model로 만드는가?
Scale, diversity, objective, modality, architecture 가운데 범용성을 결정하는 핵심 요인을 분리해야 한다.
RQ2. Unified Generalist와 Modular Expert 중 어느 구조가 유리한가?
\[
p(y\mid x)
=
\sum_{m=1}^{M}
\pi_m(x)p_m(y\mid x)
\]
RQ3. Central Dogma를 공동 embedding이 아니라 인과적 변환으로 학습할 수 있는가?
\[
\mathrm{DNA}
\xrightarrow{\text{transcription}}
\mathrm{RNA}
\xrightarrow{\text{translation}}
\mathrm{Protein}
\]
RQ4. 서열 Likelihood와 Biological Fitness는 언제 일치하는가?
\[
\log p_\theta(S)
\not\equiv
\operatorname{Fitness}(S,C)
\]
RQ5. 정적 구조 예측기를 Thermodynamic World Model로 확장할 수 있는가?
\[
p(X_t,E_t,I_t\mid S,C)
\]
RQ6. Assay Condition을 일급 입력으로 취급할 수 있는가?
\[
p(y\mid z_{\mathrm{molecule}},
z_{\mathrm{target}},
z_{\mathrm{assay}})
\]
RQ7. 새로운 종, fold, family, scaffold, assay에 일반화하는가?
Unseen species·fold·family·chemical scaffold·assay·interaction type을 분리 평가해야 한다.
RQ8. 모델 Confidence가 실제 실험 성공률과 정렬되는가?
\[
\operatorname{Calibration}(k)
=
\left|
\frac{1}{k}\sum_{i=1}^k\hat p_i
-
\frac{1}{k}\sum_{i=1}^ky_i
\right|
\]
RQ9. Multimodal 정보는 실제로 상보적인가?
\[
\Delta_m
=
\operatorname{Perf}(\mathcal M)
-
\operatorname{Perf}(\mathcal M\setminus m)
\]
RQ10. 모델은 새로운 생물학적 원리를 발견하는가?
Annotation 재현, 알려진 motif 재발견, 새로운 mechanism 제안의 세 수준을 구분해야 한다.
RQ11. Closed-loop Laboratory에서 최적의 탐색정책은 무엇인가?
\[
z_{t+1}
=
\arg\max_z
\operatorname{Acquisition}
\left(
z\mid\mathcal D_t
\right)
\]
RQ12. 안전성과 과학적 개방성을 동시에 확보할 수 있는가?
위험 데이터 제외, sequence-level filtering, capability evaluation, audit log, 접근 단계화를 함께 설계해야 한다.
분류
대표 모델
주요 입력
핵심 방식
강점
주요 한계
Genomic Sequence Model
Evo 2, GENERator, Gene42
Long DNA sequence
Autoregressive long-context modeling
광범위한 종과 장문맥
세포·assay 문맥 제한
Central-dogma Model
LucaOne, MIMIC
DNA, RNA, protein, context
Joint pretraining, partial-state completion
핵산–단백질 통합
정렬 데이터와 인과성
Cross-modal AR Model
Omni-DNA, NatureLM, BioMatrix
Sequence, structure, text
Unified token and next-token prediction
입출력 형식 통합
독립 재현과 데이터 혼합
Protein Multimodal Model
ESM3, ProCyon
Sequence, structure, function, text
Conditional multimodal generation
설명·예측·생성 통합
실험적 일반화
RNA Foundation Model
AIDO.RNA, structRFM, RNAGenesis
RNA sequence and structure
Masked, diffusion, latent generation
RNA 구조·설계 특화
3D·문맥 데이터 부족
All-atom Structure Model
Boltz-2, SeedFold, RF3
Protein, ligand, nucleic acid
Co-folding, pair representation, diffusion
복합체 구조와 affinity
Energetic resolution
Ensemble & Dynamics
BioEmu, OpenComplex2, ProTDyn
Sequence and conformations
Diffusion and trajectory modeling
구조분포와 dynamics
Thermodynamic calibration
Benchmark-centric
PFMBench, NABench, LiveProteinBench
다양한 task·dataset
Contamination-aware evaluation
공정한 범용성 평가
Prospective wet-lab 부족
8.1 Sequence-only Foundation Models
Evo 2
약 9조 염기 규모의 OpenGenome2를 이용하고 최대 100만 token 문맥을 처리한다.
DNA·RNA·protein mutation effect, coding·non-coding variant 평가, genome-scale generation을 수행한다.
GENERator
98 kb 문맥을 갖는 1.2B autoregressive genomic model로 protein-coding DNA와 enhancer 생성 가능성을 탐색한다.
Gene42
최대 192 kb dense attention을 사용해 긴 유전체 문맥에서 state-space model과 dense Transformer의 역할을 재검토한다.
8.2 Unified Nucleic-acid–Protein Models
LucaOne
DNA, RNA, protein sequence와 annotation을 공동 사전학습하며 molecule-type embedding, masked objective, semi-supervised task를 사용한다.
MIMIC
일부 관측된 nucleic-acid, protein, evolution, structure, regulation, context로부터 누락 modality를 복원하고 조건부 설계를 수행한다.
8.3 Cross-modal Autoregressive Models
Omni-DNA
DNA next-token pretraining 후 vocabulary와 task token을 확장해 classification, text generation, DNA-to-image를 하나의 생성 문제로 변환한다.
NatureLM
소분자, 단백질, RNA, 재료, 자연어를 sequence 형식으로 통합해 cross-domain generation을 수행한다.
BioMatrix
Molecular sequence·structure, protein sequence·structure, natural language를 통합 discrete token space에서 next-token prediction으로 처리한다.
8.4 Protein Sequence–Structure–Function Models
ESM3
단백질 sequence, structure, function의 일부 조건을 입력하고 나머지를 생성하며, 새로운 기능성 단백질 설계를 목표로 한다.
ProCyon
Protein sequence, structure, natural language를 이용해 phenotype의 예측과 생성을 instruction 형태로 통합한다.
8.5 RNA Foundation Models
AIDO.RNA
대규모 RNAcentral 서열로 사전학습된 RNA model로 구조·기능 예측과 representation learning을 목표로 한다.
structRFM
RNA sequence와 secondary structure를 공동 사전학습해 sequence-only RNA model의 구조정보 부족을 보완한다.
RNAGenesis
BERT encoder, latent compression, diffusion·autoregressive generation을 결합해 RNA 이해와 de novo generation을 통합한다.
8.6 All-atom Structure and Interaction Models
Boltz-2
단백질, 핵산, 저분자를 포함하는 biomolecular complex structure와 protein–ligand affinity를 공동 예측한다.
SeedFold
Pairformer width scaling과 linear triangular attention을 사용해 biomolecular structure model의 확장을 연구한다.
AtomWorks와 RF3
다양한 biomolecular entity의 구조 데이터 처리, cropping, transformation, task construction을 표준화한다.
8.7 Ensemble and Dynamics Models
BioEmu
단백질 서열에서 평형 conformational ensemble을 생성하는 diffusion 기반 emulator다.
OpenComplex2
여러 biomolecular system의 conformation distribution을 생성하지만 thermodynamic accuracy가 핵심 과제로 남는다.
ProTDyn
Equilibrium ensemble sampling과 시간 순서가 있는 dynamic trajectory simulation을 단일 protein language model에서 통합한다.
Variant Effect Prediction
Coding, non-coding, splice-altering variant, mutation fitness, disease-gene prioritization
Functional Genomics
Expression, chromatin accessibility, histone modification, TF binding, chromatin contact, splice usage
Protein Engineering
Enzyme activity, thermostability, solubility, specificity, antibody, fluorescent protein
RNA Therapeutics
mRNA stability, translation efficiency, ribozyme, aptamer, splice correction, RNA vaccine
Complex Prediction
Protein–protein, protein–ligand, antibody–antigen, protein–DNA/RNA, multi-chain assembly
Drug Discovery
Target understanding, hit generation, virtual screening, affinity, lead optimization, ADMET
Synthetic Biology
Promoter, enhancer, operon, biosynthetic pathway, synthetic chromosome 설계
Dynamics and Allostery
Cryptic pocket, rare state, ligand-induced conformation, allosteric transition 탐색
Drug Discovery Pipeline
Target 기능과 병리기전 이해
Hit 생성·screening
Affinity 구조와 결합력 평가
Lead 선택성·ADMET 최적화
Validate Physics와 wet-lab 검증
10.1 “Foundation”의 표준 정의 부재
파라미터 규모, 데이터 폭, task 수, modality, 생성 능력, 적응성 가운데 최소 요구조건에 대한 합의가 없다.
10.2 Prospective Benchmark 부족
\[
\text{train at }t
\quad\rightarrow\quad
\text{evaluate on discoveries after }t
\]
10.3 Sequence–Structure–Function의 인과적 통합
\[
\text{mutation}
\rightarrow
\text{structure change}
\rightarrow
\text{interaction change}
\rightarrow
\text{cellular phenotype}
\]
10.4 Assay와 실험 문맥의 표준화 부족
Assay ontology, unit normalization, detection limit, censoring, laboratory effect를 입력과 평가에 반영해야 한다.
10.5 Dynamic Multimodality
\[
\mathcal Z(t)
=
\{
S,X(t),I(t),C(t)
\}
\]
10.6 Negative Result와 실패 데이터
Non-binder와 inactive compound
Failed protein design
Insoluble·non-expressed variant
Toxic sequence와 synthesis failure
Assay interference
10.7 결정 중심 평가
Top-\(k\) wet-lab hit rate
Enrichment factor
Experimental cost per success
Pareto-optimal candidate 수
Uncertainty–error calibration
Prospective lead-optimization gain
10.8 Multimodal Missingness
\[
p(\mathcal Z_{\mathrm{miss}}\mid\mathcal Z_{\mathrm{obs}})
\]
10.9 Mechanistic Interpretability
Feature intervention이 출력에 미치는 영향
실험 perturbation 예측 가능성
Feature steering을 통한 기능 생성
모델 간 biological feature 재현성
10.10 물리 모델과 학습 모델의 결합
BioFM 후보 제안
Physics 구조·에너지 refinement
Uncertainty 위험 후보 제거
Experiment Wet-lab validation
Update 모델 재학습
10.11 지속학습과 데이터 시간성
Continual pre-training
Parameter-efficient update
Retrieval augmentation
Temporal data versioning
Catastrophic forgetting 방지
10.12 안전성과 통제가능성
위험 sequence filtering, 사용자 의도 분석, 생성 제한, false-positive safety block 최소화, provenance와 audit가 필요하다.
11.1 Central-Dogma-Native Foundation Model
\[
z_{\mathrm{RNA}}
=
T_{\mathrm{transcription}}
(z_{\mathrm{DNA}},C)
\]
\[
z_{\mathrm{protein}}
=
T_{\mathrm{translation}}
(z_{\mathrm{RNA}},C)
\]
\[
X_{\mathrm{protein}}
=
T_{\mathrm{folding}}
(z_{\mathrm{protein}},C)
\]
Central dogma를 단순한 데이터 상관관계가 아니라 학습 가능한 생물학적 프로그램으로 표현한다.
11.2 Assay-Conditioned BioFM
\[
p(y\mid m,t,a)
\]
Assay type, organism, cell line, endpoint, 농도, 온도, pH, laboratory를 일급 입력으로 사용한다.
11.3 Four-Dimensional Biomolecular World Model
\[
p_\theta
\left(
X_{t+\Delta t},I_{t+\Delta t}
\mid
X_t,I_t,S,C
\right)
\]
11.4 Physics-Grounded Generative Model
\[
p_\theta(z,X\mid C)
\propto
\exp
\left[
-\beta
\left(
E_{\mathrm{physics}}(z,X)
+
E_\theta(z,X,C)
\right)
\right]
\]
11.5 Native Multimodal Tokenization
Residue, atom, local geometry, secondary structure, pocket, motif, domain, molecular fragment,
experimental context를 하나의 compositional vocabulary로 표현한다.
11.6 Geometry-Aware Mixture of Experts
\[
h
=
\sum_m
\pi_m(x,C)
F_m(x)
\]
Long-context genomic, RNA structure, protein sequence, \(SE(3)\)-equivariant structure, molecular graph, dynamics, assay expert를 router가 선택한다.
11.7 Provenance-Aware Biomolecular RAG
\[
p(y\mid x)
=
p_\theta
\left(
y\mid x,
\operatorname{Retrieve}(x)
\right)
\]
UniProt, PDB, ChEMBL, ClinVar, Reactome, assay protocol, 논문, 실패 실험 기록을 검색하고 출처와 데이터 버전을 함께 출력한다.
11.8 Counter-Evidence-Aware Design
\[
S(z)
=
S_{\mathrm{support}}(z)
-
\lambda S_{\mathrm{counter}}(z)
-
\gamma U(z)
\]
Affinity뿐 아니라 off-target, toxicity, aggregation, assay interference, synthetic infeasibility, unstable conformation을 동시에 평가한다.
11.9 Self-Driving Biomolecular Laboratory
Hypothesize 문헌·데이터 기반 가설
Design 분자·서열 후보
Build 합성·발현
Test 자동화 실험
Learn 불확실성 감소
11.10 Continually Updated Living Benchmark
\[
\mathcal B_t
=
\{
\text{data published after model cutoff }t
\}
\]
11.11 Uncertainty-Native BioFM
\[
p_\theta
\left(
\text{sequence},
\text{structure},
\text{function},
\text{assay outcome}
\mid C
\right)
\]
11.12 Molecule-to-Cell-to-Organism Model
\[
\text{Molecule}
\rightarrow
\text{Pathway}
\rightarrow
\text{Cell}
\rightarrow
\text{Tissue}
\rightarrow
\text{Organism}
\]
\[
\boxed{
\text{Sequence Model}
\rightarrow
\text{Multimodal Biomolecular State Model}
}
\]
\[
\boxed{
\text{Prediction}
\rightarrow
\text{Completion}
\rightarrow
\text{Conditional Design}
\rightarrow
\text{Experimental Control}
}
\]
\[
\boxed{
\text{BioFM의 실질적 가치}
=
\text{전이 가능성}
\times
\text{물리적 타당성}
\times
\text{문맥 정렬}
\times
\text{불확실성 신뢰성}
\times
\text{실험 성공률}
}
\]
핵심 전망.
가장 경쟁력 있는 BioFM은 가장 많은 서열을 생성하는 모델이 아니라,
어떤 조건에서 자신이 맞고 틀리는지를 알고 검증 가능한 가설과 실험 후보를 제시하는 모델이 된다.
Central-Dogma Native DNA–RNA–protein–structure–function의 방향성 변환 학습
Assay-conditioned 분자 property를 실험 문맥에 따른 조건부 값으로 모델링
Physics-grounded 4D Ensemble, dynamics, energy landscape 통합
Closed-loop Discovery 근거, 반대증거, 불확실성, wet-lab feedback 결합
Peer-reviewed 또는 정식 출판 논문
01 Simulating 500 million years of evolution with a language model — ESM3 Science, 2025
https://www.science.org/doi/10.1126/science.ads0018
02 Generalized biological foundation model with unified nucleic acid and protein language — LucaOne Nature Machine Intelligence, 2025
https://www.nature.com/articles/s42256-025-01044-4
03 Genome modelling and design across all domains of life with Evo 2 Nature, 2026
https://www.nature.com/articles/s41586-026-10176-5
04 Advancing regulatory variant effect prediction with AlphaGenome Nature, 2026
https://www.nature.com/articles/s41586-025-10014-0
05 Benchmarking DNA foundation models for genomic and genetic tasks Nature Communications, 2025
https://www.nature.com/articles/s41467-025-65823-8
06 Scalable emulation of protein equilibrium ensembles with generative deep learning — BioEmu Science, 2025
https://www.science.org/doi/10.1126/science.adv9817
07 Towards multimodal foundation models in molecular cell biology Nature, 2025
https://www.nature.com/articles/s41586-025-08710-y
08 Multimodal foundation transformer models for multiscale genomics Nature Methods, 2025
https://www.nature.com/articles/s41592-025-02918-6
09 Integrating protein language models and automatic biofoundry for enhanced protein engineering Nature Communications, 2025
https://www.nature.com/articles/s41467-025-56751-8
10 Rapid in silico directed evolution by a protein language model with EVOLVEpro Science, 2025
https://www.science.org/doi/10.1126/science.adr6006
2025년 이후 주요 Preprint 및 Benchmark
11 Boltz-2: Towards Accurate and Efficient Binding Affinity Prediction bioRxiv, 2025
https://www.biorxiv.org/content/10.1101/2025.06.14.659707v1
12 NatureLM: Deciphering the Language of Nature for Scientific Discovery arXiv, 2025
https://arxiv.org/abs/2502.07527
13 Omni-DNA: A Unified Genomic Foundation Model for Cross-Modal and Multi-Task Learning arXiv, 2025
https://arxiv.org/abs/2502.03499
14 GENERator: A Long-Context Generative Genomic Foundation Model arXiv, 2025
https://arxiv.org/abs/2502.07272
15 MIMIC: A Generative Multimodal Foundation Model for Biomolecules arXiv, 2026
https://arxiv.org/abs/2604.24506
16 BioMatrix: Towards a Comprehensive Biological Foundation Model Spanning Sequences, Structures, and Language arXiv, 2026
https://arxiv.org/abs/2606.22138
17 Accelerating Biomolecular Modeling with AtomWorks and RF3 bioRxiv, 2025
https://www.biorxiv.org/content/10.1101/2025.08.14.670328v2
18 SeedFold: Scaling Biomolecular Structure Prediction arXiv, 2025
https://arxiv.org/abs/2512.24354
19 PFMBench: Protein Foundation Model Benchmark arXiv, 2025
https://arxiv.org/abs/2506.14796
20 NABench: Large-Scale Benchmarks of Nucleotide Foundation Models for Fitness Prediction arXiv, 2025
https://arxiv.org/abs/2511.02888
21 LiveProteinBench: A Contamination-Free Benchmark arXiv, 2025
https://arxiv.org/abs/2512.22257
22 A Fully Open Structure-Guided RNA Foundation Model — structRFM bioRxiv, 2025
https://www.biorxiv.org/content/10.1101/2025.08.06.668731v2
23 Towards Unraveling Biomolecular Conformational Landscapes with a Generative Foundation Model — OpenComplex2 bioRxiv, 2025
https://www.biorxiv.org/content/10.1101/2025.05.01.651643v2
24 ProTDyn: A Foundation Protein Language Model for Thermodynamics and Dynamics bioRxiv, 2025
https://www.biorxiv.org/content/10.1101/2025.09.17.676966v1
25 Foundation Models for AI-Enabled Biological Design arXiv, 2025
https://arxiv.org/abs/2505.11610
문서 요약
핵심 개념 9
도전과제 12
연구 질문 12
미래 방향 12
주요 출처 25
키워드
assay
RNA
protein
dynamics
uncertainty
multimodal
physics
foundation
핵심 명제
모델 크기와 modality 수보다, 전이 가능성·물리적 타당성·assay 문맥·불확실성·실험 성공률이 BioFM의 실제 가치를 결정한다.