서열로부터 단백질 적합도를 예측하는 머신러닝은 데이터 분포 변화에 민감해, 실제 공학 현장의 일반화에서 한계를 드러낸다. FLIP2는 효소·단백질 상호작용·광감응 단백질을 아우르는 7개의 새 데이터셋과, 실제 공학 캠페인을 모사하는 분할 전략을 도입한다. 그리고 도발적 결론에 도달한다 — 간단한 모델이 파인튜닝된 pLM을 자주 능가한다.
FLIP은 열안정성·결합·바이러스 캡시드 생존성에 대한 초기 벤치마크를 세웠지만, 생명공학의 핵심인 효소 기능을 거의 다루지 못했고 실제 공학의 제약도 반영하지 못했다. FLIP2는 이 간극을 메운다.
FLIP2의 데이터셋은 효소, 안정성, 광감응, 복합체(PPI) 네 범주에 걸쳐 있다. 각 지형은 산업적으로 중요하거나 생물학적으로 이해가 부족한 실제 대상에서 온 것이다.
전분을 분해하며 세제에 쓰인다. 활성부위 거리 기준으로 나눠 예측 가능성을 시험한다.
이민을 아민으로 환원하며 의약 생산에 쓰인다. 마이크로플루이딕 스크린으로 측정.
DNA를 분해해 바이오필름 제거·만성 상처 치료에 잠재력. pH 7 활성을 4구간으로 비닝.
인돌·세린에서 트립토판을 합성. 성장 기반 선택으로 상위성(epistasis) 지형을 측정.
세 단백질(P06241·P01053·P0A9X9)의 코어 잔기 7개를 소수성 아미노산으로 무작위화해 안정성 측정.
광유전학용 막단백질. 75개 미생물 로돕신에서 유래한 서열의 최대 흡수 파장을 예측.
무질서 영역의 짧은 선형 모티프에 결합. PDZ3 도메인과 CRIPT 펩타이드의 이중 돌연변이 결합 친화도를 측정.
FLIP2의 16개 분할은 다섯 범주로 묶인다. 무작위 분할과 달리, 이 분할들은 공학 캠페인의 실제 국면 — 더 많은 돌연변이로의 외삽, 새 위치·야생형으로의 일반화 — 을 모사한다. 아래에서 각 분할이 학습·시험 집합을 어떻게 가르는지 확인할 수 있다.
범주를 눌러 학습(train)과 시험(test)이 어떻게 분리되는지 시각화한다.
16개 분할 각각에서 최고 성능 모델을 집계했다. 놀랍게도 파인튜닝된 pLM은 자신의 복잡도·계산 비용에 비해 저조했고, zero-shot 우도 점수와 단순 릿지 회귀가 그에 못지않거나 더 나았다.
Table A17 집계 · 각 분할에서 최고 Spearman ρ를 낸 모델 유형
파인튜닝 pLM이 최고였던 분할은 4/16에 그친다. zero-shot 점수(6/16)와 릿지 회귀(4/16)를 합치면, 단순한 방법이 절반 이상을 차지한다. 이는 현행 전이학습 기법의 실효성에 의문을 던진다.
어떤 단일 pLM도 모든 데이터셋에서 최적으로 순위를 매기지 못한다. 상관계수 같은 유계·비대칭 지표를 평균 내 비교하는 것은 수학적으로 무의미하며 오해를 부른다. 그래서 모든 분할의 결과를 그대로 보고한다.
| 데이터셋 | 분할 | 유형 | 최고 모델 | ρ |
|---|
zero-shot 우도는 단일 야생형 지형(Amylase·IRED·NucB·TrpB)에서 강력한 기준선이나, 서로 다른 단백질 간 순위 매기기나 두-단백질 지형(PDZ3)에서는 효과가 급락한다. 릿지 회귀에 zero-shot 점수를 더하면 대체로 최고 성능에 가까워지지만, 야생형 분할만은 예외다.
one-hot 서열 기반 단순 선형 모델과 zero-shot 우도가 파인튜닝 pLM과 놀랍도록 경쟁력이 있으며, 특히 어려운 분포 밖(OOD) 분할에서 자주 능가한다. FLIP2 분할은 같은 크기의 무작위 분할보다 확실히 더 어렵다.
CARP-640M 파인튜닝은 zero-shot 대비 7/16 분할에서만 개선됐다. 특히 모든 Amylase 분할과 모든 by-position 분할에서 성능이 하락해, 파인튜닝이 새 위치로의 일반화를 해침을 보인다. 사전학습은 CARP에서 14/16, ESMC에서 9/16 과제만 개선.
모든 기준선이 새 위치나 새 야생형 배경(scaffold)으로는 잘 일반화하지 못한다. 릿지 회귀는 개별 돌연변이 효과의 선형 조합은 잘 포착하나 새 위치·스캐폴드에는 근본적으로 일반화할 수 없다. pLM 확장(scaling)도 일반화를 개선하지 못했다.
이 결과들은 현행 pLM 아키텍처와 학습 패러다임이 단백질 공학에서 발생하는 도전적 일반화 문제에 아직 잘 맞지 않음을 시사한다. 기준선은 적은 돌연변이에서 많은 돌연변이로, 또는 같은 위치의 다른 돌연변이로는 잘 일반화하지만, 야생형 전반이나 새 위치로는 그러지 못한다.
실험 데이터로 학습된 오라클(oracle)이 생성 모델을 조종하는 방향으로 분야가 나아감에 따라, 이 오라클이 점점 더 큰 서열 공간의 간극을 가로질러 일반화하는 능력이 실험 데이터와 대규모 생성 모델의 유용성을 극대화하는 열쇠가 될 것이다.