dnaHNet은 고정 어휘 토크나이저 없이 원시 뉴클레오티드를 끝에서 끝까지 분절하고 모델링하는 최첨단 자기회귀 모델이다. 미분 가능한 동적 청킹(dynamic chunking)으로 A·C·G·T를 잠재 토큰으로 적응적으로 압축하며, 감독 없이 코돈과 프로모터 같은 계층적 생물학적 구조를 자발적으로 발견한다.
영어와 달리 DNA는 명시적 경계 없이 이어지는 뉴클레오티드 문자열이다. 유전체 기반 모델은 입력 표현에서 근본적 상충에 직면한다.
계산은 효율적이지만, 임의의 분절 경계가 코돈·전사인자 결합부위·스플라이스 신호 같은 생물학적으로 의미 있는 단위를 조각낸다.
생물학적 일관성은 보존하지만, 유전체 문맥이 수백만 염기쌍에 이르기 때문에 감당하기 어려운 계산 비용을 초래한다.
학습으로 분절을 익히는 미분 가능한 동적 청킹으로 두 접근의 한계를 동시에 넘어선다. 압축된 표현의 효율성과 뉴클레오티드 해상도 입력의 생물학적 충실도를 모두 얻는다.
인코더의 경계 예측 모듈은 인접 뉴클레오티드 표현의 코사인 비유사도로 경계 확률 pt를 계산한다. 표현이 크게 달라지는 지점 — 코돈 경계나 조절 요소 전환부 — 에서 경계가 그어지고, 그 지점에서 서열이 압축된다. 아래에서 두 단계 청킹이 어떻게 다르게 작동하는지 확인할 수 있다.
단계를 전환해 경계 선택 패턴의 차이를 본다. Stage 1은 코돈 주기성, Stage 2는 기능 경계에 반응한다.
경계 확률은 pt = ½(1 − CosineSim(Wqht, Wkht−1))로 정의된다. 추론 시 임계값 τ = 0.5로 이산화해, bt=0이면 현재 염기를 인코더 상태에 누적하고 bt=1이면 누적된 청크를 메인 네트워크로 전달한다. 이로써 문맥 의존적 세밀도로 임의 길이 서열을 생성할 수 있다.
각 모듈은 세 개의 미분 가능한 구성요소로 이뤄진다. 이 구조는 재귀적으로 적용되어 유전체 정보의 중첩된 조직을 자연스럽게 반영하는 다단계 압축을 가능케 한다.
4개 Mamba 층 + 1개 트랜스포머 층의 하이브리드 백본으로 정보 밀도가 높은 전환점을 식별하고, 예측된 경계에서 표현을 선택해 서열 L → L′로 다운샘플링한다.
압축된 잠재 서열을 처리한다. 표준 트랜스포머이거나 또 다른 H-Net 모듈이 되어 재귀적 청킹을 이룬다. 파라미터의 70%가 여기 배분된다.
평활화 재귀 ēj=Pjêj+(1−Pj)ēj−1로 잠재를 다듬고 원래 길이로 업샘플링한 뒤, 4× Mamba + 1× 트랜스포머로 다음-뉴클레오티드 분포를 출력한다.
LNLL만 최소화하면 경계 예측기가 모든 위치를 선택하거나 아무것도 선택하지 않는 퇴화 해로 빠진다. 비율 손실이 실제 선택 비율과 연속 확률 추정을 정렬시키며 목표 압축비 Rs를 향하게 한다. 자연어의 계수(α≥0.03)는 다음-뉴클레오티드 예측에 지나치게 공격적이어서 더 작은 값(α≈0.01)이 필요하다.
유전체 서열에 계층적 동적 청킹을 적용하면 자연어에 없는 문제가 생긴다. 체계적 어블레이션으로 안정적 학습에 결정적인 여러 수정을 식별했다.
텍스트 H-Net은 인코더-디코더에 15%만 배분하지만, 코돈·스플라이스 신호 같은 복잡한 국소 의존성을 담으려면 더 큰 인코더 용량이 필요하다. 상대 비중을 두 배로 늘려 30%를 배분한다.
1단계는 삼중 코돈 구조에 맞춰 R₁=3, 2단계는 코돈 쌍 편향에 착안해 R₂=2로 설정한다. 유효 압축비 6배로, 최내부 메인 네트워크의 FLOP을 36배 줄인다.
1~4단계 계층을 탐색한 결과, 더 깊은 계층은 압축을 늘리지만 최적화 난이도를 높이고 2단계 이후 수확 체감이 나타난다. 기본값으로 2단계를 채택한다.
압축이 메인 네트워크의 유효 토큰 길이를 바꾸므로 표준 스케일링 법칙이 그대로 적용되지 않는다. 8×10¹⁹ FLOP에서 최적 dnaHNet은 140B 토큰으로 학습하며, 이는 SH2의 68B보다 크게 많다.
10M에서 1B까지 100개 이상의 모델로 스케일링 법칙을 분석했다. dnaHNet은 동일 FLOP에서 StripedHyena2·트랜스포머보다 일관되게 낮은 perplexity를 달성하며, 격차는 계산이 늘수록 넓어진다.
| 모델 · 과제 | 학습 FLOP | 성능 |
|---|---|---|
| 단백질 변이 효과 예측 — MaveDB (Spearman ρ ↑) | ||
| dnaHNet | 6.40 × 10¹⁹ | 0.3266 |
| StripedHyena2 | 7.11 × 10¹⁹ | 0.3110 |
| Transformer | 8.00 × 10¹⁹ | 0.1555 |
| 유전자 필수성 예측 — DEG (AUROC ↑) | ||
| dnaHNet (3,2) 계층 | 6.40 × 10¹⁹ | 0.6050 |
| dnaHNet (2,2) 계층 | 6.40 × 10¹⁹ | 0.5900 |
| StripedHyena2 | 7.10 × 10¹⁹ | 0.5759 |
두 제로샷 과제 모두에서 dnaHNet은 계산 정합 조건에서 StripedHyena2를 능가하며, 이득이 계산 예산에 따라 단조 증가한다. 필수성 예측에서 (3,2) 계층이 가장 강한 스케일링을 보이는데, 첫 층이 코돈의 생물학적 구조와 일치하기 때문으로 추정된다.
B. subtilis 유전체를 (3,2) 2단계 모델로 처리해 기능 영역·코돈 위치별 토큰 선택률을 분석했다. 두 단계는 서로 다른 수준의 생물학적 구조를 자발적으로 발견한다.
코딩 영역에서 코돈 위치에 정렬된 강한 주기성이 나타난다. 첫 위치는 거의 선택되지 않고(6.5%), 둘째·셋째 위치가 높은 선택률을 보여 서열을 코돈에 대응하는 3-뉴클레오티드 토큰으로 묶는다.
둘째 단계는 국소 문법에서 넓은 유전체 조직으로 이동한다. 프로모터·개시 코돈·유전자 간 영역의 선택률이 코딩 영역(48.4%)보다 훨씬 높게 나타나, 유전체의 기능 지도를 인식한다.