ByteDance Seed · UIUC
arXiv:2602.04883
단백질 구조 생성 · 자기회귀 프레임워크

멀티스케일 구조 생성을 통한 단백질 자기회귀 모델링

PAR은 거친 형태에서 세밀한 디테일로 나아가는 다음-스케일 예측(next-scale prediction)을 통해 단백질 백본을 생성하는 최초의 멀티스케일 자기회귀 프레임워크다. 단백질의 계층적 본성을 활용해, 마치 조각상을 깎듯이 거친 위상을 먼저 세우고 스케일을 거치며 구조를 정교하게 다듬는다.

161.0FPSD vs. PDB — 확산 모델 능가
2.5×단일 스케일 대비 샘플링 가속
96.6%설계 가능성 (Designability)
ZERO미세조정 없는 제로샷 일반화
깎아 내려가기
Yanru Qu · Cheng-Yen Hsieh · Zaixiang Zheng · Ge Liu · Quanquan Gu ByteDance Seed · University of Illinois Urbana-Champaign · 2026년 5월
Coarse → Fine
01 — 문제

자기회귀 모델은 왜 단백질 구조를 피해 왔는가

자기회귀(AR) 모델링은 언어와 이미지 생성을 이끌어 온 강력한 패러다임이지만, 백본 모델링에는 거의 적용되지 못했다. 두 개의 벽이 가로막고 있었다.

01

이산화 손실

AR 모델을 3차원 원자 좌표 같은 연속 데이터로 확장하려면 흔히 데이터 이산화(discretization)에 의존한다. 이는 단백질의 구조적 충실도와 세밀한 디테일을 훼손하고 생성 성능을 제한한다.

PAR의 해법. 흐름 기반(flow) 디코더로 Cα 원자를 연속 공간에서 직접 모델링해 이산화를 회피한다.
02

양방향 의존성

단백질 잔기는 강한 양방향 의존성을 지닌다. 서열상 멀리 떨어진 잔기가 공간적으로 가까워 수소 결합이나 소수성 접촉을 형성한다. 이는 표준 AR 모델의 단방향 가정과 충돌한다.

PAR의 해법. 잔기 단위가 아닌 스케일 단위로 자기회귀해, 각 스케일 안에서 양방향 관계를 보존한다.
02 — 핵심 아이디어

조각상을 깎듯이, 거친 형태에서 디테일로

단백질 구조는 거친 3D 위상과 3차 폴드 배열, 국소 2차 구조, 가장 미세한 원자 좌표까지 여러 세밀도의 스케일에 걸쳐 있다. PAR은 이 계층성을 이용해, 이전의 더 거친 스케일을 조건으로 각 스케일을 예측한다. 아래 시뮬레이터에서 스케일을 거칠수록 백본이 어떻게 정교해지는지 확인할 수 있다.

Sculpting over scales

스케일 단계를 눌러 거친 위상이 완성된 구조로 다듬어지는 과정을 본다. (L = 250 예시)

1Scale 1 · 위상 형성

다섯 스케일 예시는 S = {L/16, L/8, L/4, L/2, L}로 정의된다. 거친 스케일은 대략적인 전역 배치를 세우고, 이후 스케일이 국소 디테일을 점진적으로 더한다. 이 멀티스케일 정식화는 명확하고 해석 가능한 생성 과정을 낳는다. 최종 구조의 scRMSD는 길이에 따라 0.51(L=50)에서 1.55(L=250) 수준이다.

03 — 세 가지 구성요소

다운샘플링 · AR 트랜스포머 · 흐름 디코더

① 다운샘플링

멀티스케일 다운샘플링

구조 x ∈ ℝL×3를 서열 차원에서 보간해 거친→세밀 스케일 계층 {x¹,…,xⁿ}으로 분해한다. 결정적 매핑이므로 우도 계산에서 주변화가 불필요하다.

② AR 트랜스포머

자기회귀 트랜스포머 Tθ

비등변(non-equivariant) 어텐션 층을 쌓아 앞선 모든 스케일을 인코딩하고, 스케일별 조건 임베딩 zⁱ를 산출해 생성을 유도한다. 60M 규모로도 충분하다.

③ 흐름 디코더

흐름 기반 백본 디코더 vθ

조건 임베딩 zⁱ에 조건화되어 흐름 매칭(flow matching)으로 Cα 좌표를 직접 노이즈 제거한다. 단일 스케일로 제한하면 흐름 기반 모델의 특수 사례가 된다.

# 스케일 단위 자기회귀 우도 (Eqn. 3) pθ(x) = ∏i=1..n pθ(xⁱ | zⁱ = Tθ(X<i)) # 흐름 매칭 목적함수 (Eqn. 5) L(θ) = 𝔼 ‖ vθ(xⁱt, tⁱ, zⁱ) − (xⁱ − εⁱ) ‖²

AR 트랜스포머 Tθ가 스케일별 조건 zⁱ를 만들고, 원자 디코더 vθ가 흐름 매칭으로 이를 최적화한다. 단백질 구조를 토큰으로 이산화하지 않으므로 구조 디테일과 생성 충실도를 보존한다. 추론 시 KV 캐시로 자기회귀 과정을 가속한다.

04 — 노출 편향 완화

학습과 추론의 어긋남을 바로잡는다

AR 모델은 학습 시 실제 데이터를 문맥으로 받지만(teacher forcing), 추론 시에는 자기 예측에 조건화된다. 이 불일치가 노출 편향(exposure bias)이며, 오차가 스케일을 거치며 누적되어 생성 품질을 크게 떨어뜨린다. PAR은 두 기법으로 이를 완화한다.

학습 전략
sc-RMSD ↓
FPSD vs. PDB ↓
FPSD vs. AFDB ↓
개선
Teacher Forcing
2.20기준선
99.66
37.64
—
+ 노이즈 문맥 학습 (NCL)
1.58
89.70
23.69
↓ 28%
+ NCL & 스케줄 샘플링 (SS)
1.48최고
90.66
24.59
↓ 33%

노이즈 문맥 학습(NCL)은 학습 시 실제 이전-스케일 입력에 노이즈를 더해, 완벽하지 않은 문맥으로부터 구조적 지침을 추론하도록 유도한다. 스케줄 샘플링(SS)은 0.5 확률로 실제 문맥을 모델 자신의 예측으로 대체해 학습을 추론 시나리오에 정렬한다. 두 기법은 결합 가능하며, sc-RMSD를 2.20에서 1.48까지 일관되게 개선한다.

05 — 무조건 백본 생성

확산 모델을 능가하는 분포 충실도

FPSD는 이미지 생성의 FID처럼 생성 분포와 참조 분포를 비교해 품질과 다양성을 함께 측정한다. PDB 부분집합에 미세조정한 PARpdb는 FPSD 161.0, 설계 가능성 96.6%를 달성해, 순수 확산 기반 기준선 대비 우월한 분포 충실도를 보인다.

표 1 — 무조건 백본 생성 성능 (굵게 = 최고)
방법Design. %↑sc-RMSD↓FPSD/PDB↓FPSD/AFDB↓Novelty↓
기준선 (Baselines)
FrameDiff (17M)65.4—194.2258.10.82
RFDiffusion (60M)94.4—253.7252.40.85
ESM3 (1.4B)22.0—933.9855.40.90
Genie2 (16M)95.2—350.0313.80.80
Proteina (400M)92.61.09271.3272.60.84
PAR (본 연구)
PAR (200M)87.01.33252.0237.90.83
PAR (400M)96.01.01313.9296.40.85
PAR (400M, γ=0.45)88.01.28231.5211.80.84
PARpdb (미세조정)96.61.04161.0228.40.85

SDE 샘플링의 노이즈 스케일 γ를 0.45에서 0.30으로 낮추면 확률성을 줄여 표본 품질이 향상되고, 설계 가능성이 88.0%에서 96.0%로 오른다. PAR은 단일 스케일 설정으로 제한하면 Proteina로 환원되며, 동일 조건에서 재학습한 Proteina 대비 유사하거나 더 나은 성능을 낸다.

스케일링 — FPSD vs. PDB
187
모델 크기·학습량 확대 시 분포 포착 능력이 지속 향상. 학습 시간만 늘리는 것은 효과가 미미하나 모델 크기 확대는 설계 가능성을 크게 높인다.
AR 모듈 크기
60M
중간 규모 AR 트랜스포머로 충분. 60M→400M 확대는 개선이 없으며, 오히려 노출 편향을 심화시킨다.
디코더 크기
400M
계산 비용을 디코더 용량에 집중. 큰 디코더가 생성 품질을 효과적으로 끌어올린다.
06 — 제로샷 일반화

미세조정 없이 사람의 프롬프트를 따른다

단일 스케일에서 작동하는 확산 모델과 달리, PAR은 다양한 세밀도의 입력을 유연하게 다룬다. 16개의 점만으로도 단백질의 거친 배치를 지정할 수 있으며, 모델은 여기서 완전한 구조를 생성한다. 아래는 논문 Figure 3의 P·A·R 형상 프롬프트를 재현한 것이다.

shape P
shape A
shape R
Zero-shot

프롬프트 기반 생성

5-스케일 PAR(S={16,32,64,128,256})에서 첫 스케일을 16-점 프롬프트로 초기화하고 자기회귀로 업샘플링한다. 지정된 거친 배치를 보존한 새 구조를 만들거나, 완전히 새로운 구조를 탐색한다. 더 긴 프롬프트(예: 32점)로 더 세밀한 제어도 가능하다.

Zero-shot

모티프 스캐폴딩

원자 좌표 수준의 프롬프트도 보존한다. 각 스케일에서 실제 모티프 좌표를 teacher-forcing한 뒤 다음 스케일로 전파해, 조건화나 미세조정 없이 모티프를 높은 충실도로 유지하는 다양한 스캐폴드를 생성한다. 이는 마스크·모티프 조건 미세조정이 필요한 확산/흐름 기반 방식과 대비된다.

07 — 샘플링 효율

멀티스케일이 여는 SDE/ODE 조율

2.5×
길이 200 · 단일 스케일 400-step 대비 가속
거친 첫 스케일은 서열이 짧아 샘플링이 효율적이며, 세밀한 스케일일수록 더 적은 스텝으로 충분하다. 첫 스케일만 SDE로 샘플링하고 나머지를 ODE로 전환하면, 마지막 두 스케일의 확산 스텝을 400에서 2로 극적으로 줄이면서도 설계 가능성 97%를 유지한다.

고품질의 거친 위상이 모델을 고밀도 영역 근처에 위치시키므로, 이후 ODE 샘플링으로 효율적인 정제가 가능하다. 다만 첫 스케일의 SDE 샘플링은 신뢰할 만한 전역 위상 확립에 필수적이며, ODE만 사용하면 설계 가능성이 크게 저하된다.
08 — 논의와 전망

자기회귀 모델링으로 여는 단백질 설계의 잠재력

PAR은 흐름 기반 방법을 특수 사례로 포함하는 일반적 프레임워크로서, 표준 AR 모델의 단방향 의존성·이산화·노출 편향 한계를 해소한다. 여러 세밀도에 걸쳐 구조를 견고하게 모델링해, 강력한 제로샷 일반화를 가능케 한다.