예측 단백질 구조가 수억 개 규모에 도달한 지금, 구조생물학은 컴퓨터 비전의 "ImageNet 순간"을 맞이할 수 있다. 이 연구는 중복을 제거한 대규모 폴드 분류 벤치마크 TEDBench와, 최대 90% 마스킹으로 구조 표현을 학습하는 자기지도 프레임워크 MiAE를 제안한다.
AlphaFold 데이터베이스는 수억 개의 예측 구조를 제공한다. 그러나 구조생물학에는 중복을 제거한 대규모 지도학습 과제가 부재했고, 이것이 컴퓨터 비전이나 자연어 처리에서 나타난 빠른 반복 개발을 가로막는 병목이었다.
단백질 도메인은 여러 단백질에 반복적으로 나타나는 모듈형 하부 구조이며, 기능적·진화적 단위에 대응한다. CATH 계층은 이 도메인을 거친 형태 클래스부터 세밀한 진화 관계까지 중첩 범주로 배열한다.
Encyclopedia of Domains(TED)는 AFDB를 도메인 단위로 분해하고 구조 기반 매칭으로 CATH 범주에 대응시킨다. 전체 AFDB에서 약 3억 6,500만 개 도메인을 식별하고 군집화한다.
주어진 단백질 구조에서 가장 큰 도메인의 CATH 토폴로지(T-level) 라벨을 예측한다. 구조당 하나의 명확한 타깃을 정의하는 표준 다중 클래스 분류 문제로 정식화된다.
3억 6,500만 개 도메인에는 상당한 구조적 중복이 존재한다. TEDBench는 이를 Foldseek로 군집화한 AFDB의 대표 단백질(약 227만 개)로 제한하고, 평균 pLDDT > 80의 고신뢰 예측만 남긴다. 각 단백질에는 가장 큰 도메인의 CATH 라벨을 부여해 구조당 하나의 타깃을 확정한다.
표본 10개 미만의 희소 T-level 클래스를 동일 A-level 내에서 C.A.x 라벨로 병합해 최소 클래스 크기를 보장한다. 재편성 후 최종 라벨 공간은 965개 클래스로 구성된다.
비중복 구성이므로 단순 무작위 층화 분할을 채택한다. 학습·검증·시험을 8:1:1 비율로 나누고 클래스 비율을 각 분할에서 보존한다.
CATH v4.4의 40% 비중복 집합에서 실험적으로 결정된 27K 단백질을 별도로 구성한다. TEDBench와 완전히 분리되어, 예측 구조에서 실험 구조로의 도메인 전이를 엄격하게 평가한다.
MiAE는 이미지용 마스킹 오토인코더(MAE)의 원리를 3차원 단백질 기하로 확장한다. 각 잔기를 국소 좌표 프레임으로 표현한 뒤, 프레임의 극단적으로 높은 비율(최대 90%)을 무작위로 제거하고 마스킹된 좌표를 복원하도록 학습한다. 공격적 마스킹은 국소 중복을 줄이고, 이웃 잔기로부터의 단순 보간을 통한 자명한 복원을 막는다.
슬라이더를 움직여 잔기 프레임이 제거되는 정도와 그에 따른 복원 오차(RMSD)를 확인한다.
마스킹 비율이 70%일 때도 백본 복원 RMSD는 0.57Å로 낮게 유지된다. 이는 국소 구조 조각이 고도로 상관되어 신뢰성 있게 보간될 수 있음을 뜻한다. 90%를 초과하면 RMSD가 급격히 증가하며, 모델은 더 전역적인 구조 추론에 의존하게 되어 결과적으로 더 유익한 표현을 학습한다. 이는 단백질 백본의 "3차 알파벳"과 재사용 가능한 구조 모티프에 관한 생물학적 관찰과 일치한다.
MiAE는 비대칭 구조를 채택한다. 무거운 SE(3)-불변 인코더는 보이는 프레임(예: 잔기의 10%)만 처리하고, 가벼운 디코더가 잠재 표현과 마스크 토큰으로부터 전체 백본을 복원한다. 마스킹된 프레임은 인코더 단계에서 완전히 제거되므로, 인코더는 전체 서열의 일부만 다루면서 대규모로 확장될 수 있다.
백본 원자 (N, Cα, C)로부터 잔기별 SE(3) 프레임 구성
→최대 90% 프레임을 무작위 제거, 보이는 프레임만 유지
→ESM3 기반 전역 기하 어텐션 · SE(3)-불변 잠재 표현
→잠재 표현 + 마스크 토큰으로 전체 백본 복원 · 토큰당 비용 <10%
→사전학습 후 디코더는 폐기, 인코더만 다운스트림에 사용
각 잔기는 3차원 공간의 강체 위치와 방향을 인코딩하는 국소 좌표 프레임으로 모델링된다. 병진 ti는 Cα의 전역 좌표에, 회전 Ri는 백본 원자 (N, Cα, C)에서 유도한 정규직교 기저에 대응한다.
이 구성은 잔기의 국소 좌표계를 백본에 정렬시켜, 전역 강체 변환에 불변인 표현을 산출한다. 단백질 구조는 결국 잔기 프레임의 서열로 표현되어 MiAE의 기본 입력 토큰이 된다.
TEDBench는 어려운 과제다. 가장 강력한 범용 등변(equivariant) 모델(GotenNet)조차 외부 시험셋에서 macro-F1 65.44에 그친다. MiAE는 처음부터 학습해도 등변 기준선을 10점 이상 앞서며, 사전학습 후에는 더 큰 ESM2·SaProt를 능가한다.
| 모델 | 크기 | test acc | test F1 | ext acc | ext F1 |
|---|---|---|---|---|---|
| 처음부터 지도학습 (Supervised from scratch) | |||||
| GotenNet | 1.9M | 73.33 | 64.02 | 82.61 | 65.44 |
| E3NN | 1.9M | 71.87 | 57.63 | 71.15 | 42.40 |
| MACE | 1.5M | 66.89 | 50.58 | 69.73 | 44.73 |
| MiAE-S | 29M | 78.05 | 70.03 | 88.87 | 74.38 |
| MiAE-B | 102M | 78.36 | 71.60 | 89.06 | 75.02 |
| MiAE-B+seq | 102M | 78.23 | 71.64 | 89.40 | 75.67 |
| MiAE-L | 339M | 78.34 | 70.95 | 89.17 | 75.03 |
| 사전학습 + 파인튜닝 (Pretrained + finetuned) | |||||
| ESM2-35M | 35M | 68.14 | 46.47 | 83.01 | 58.65 |
| ESM2-150M | 150M | 73.26 | 57.07 | 86.21 | 65.85 |
| ESM2-650M | 650M | 76.63 | 66.19 | 88.59 | 72.29 |
| SaProt-35M | 35M | 79.46 | 71.75 | 89.22 | 74.75 |
| SaProt-650M | 650M | 80.31 | 73.48 | 90.22 | 76.78 |
| MiAE-S | 29M | 79.15 | 72.28 | 89.60 | 76.08 |
| MiAE-B | 102M | 79.90 | 73.71 | 89.84 | 75.72 |
| MiAE-B+seq | 102M | 80.31 | 74.56 | 90.08 | 77.34 |
| MiAE-L | 339M | 80.10 | 73.47 | 90.01 | 76.46 |
MiAE-B+seq는 102M 파라미터로 test·external 양쪽에서 최고 F1을 기록해 더 큰 ESM2·SaProt(650M)를 앞선다. 파인튜닝은 모든 MiAE 변형에서 처음부터 학습 대비 약 4% 일관된 향상을 가져온다. 서열 전용 모델(ESM2)은 CATH 토폴로지 라벨이 3차원 구조로 정의되는 만큼, 구조 기반·하이브리드 방식보다 대체로 열세다.
선형 프로빙(linear probing) 기준으로 MiAE의 핵심 설계 요소를 어블레이션한다. 각 결과는 무엇이 성능을 좌우하는지를 명확히 드러낸다.
마스킹 비율 0.0(일반 오토인코더)에서 선형 프로빙 F1은 23.90까지 급락한다. 희소 입력으로부터의 복원이라는 도전이 없으면 전역 구조 특징을 학습하지 못한다.
선형 프로빙에서 MiAE-S에서 MiAE-L로 확장하면 macro-F1이 15점 이상 증가한다. 표현이 이미 폴드 클래스를 효과적으로 분리함을 뜻한다.
서열 수준 감독을 제공하는 역폴딩(inverse folding) 손실 항을 제거하면 성능이 뚜렷이 하락한다. 잠재 표현이 다운스트림에 유용한 정보를 보유하도록 유도한다.
MiAE-B는 사전학습 데이터가 증가할수록 선형 프로빙·파인튜닝 양쪽에서 다운스트림 성능이 향상된다. 평균 풀링이 [CLS] 토큰보다 일관되게 우수하다.
TEDBench는 대규모 구조 기반 표현 학습을 평가하는 도전적이면서 잘 정의된 설정을 제공한다. MiAE는 컴퓨터 비전의 마스킹 오토인코더 원리가 단백질 기하로 성공적으로 확장될 수 있음을 보이며, 향후 구조생물학 과제 전반의 확장 가능한 자기지도 학습을 위한 길을 연다.