잠재 상태와 좌표 시퀀스가 함께 진화한다 — 오차 기반 예측-보정 패러다임으로 재구성한 신경 연산자 트랜스포머.
신경 연산자를 실제 물리 문제에 적용할 때 마주치는 한계는 표준 트랜스포머의 자기어텐션이 갖는 이차 복잡도 O(N²)에서 비롯한다. 수십만 개의 격자점을 다루는 고해상도 시뮬레이션에서 이 비용은 감당할 수 없다.
이를 우회하는 지배적 전략은 고차원 메시 데이터 X를 저차원 잠재 상태 S로 압축해 선형 복잡도를 얻는 것이다. 그러나 기존 방법은 잠재 표현을 다루는 상호작용 메커니즘이 최적이 아니어서 그 잠재력을 온전히 활용하지 못한다. CoEvol-NO는 이 문제를 두 개의 대립하는 패러다임으로 정리한다.
Coords-Evol은 매 층에서 메시로부터 상태를 다시 계산하므로 정적 기하에는 효과적이지만 물리 진화의 지속적 기억을 유지하지 못한다. 반대로 State-Evol은 입력을 한 번만 인코딩하고 잠재 상태만 진화시키므로 깊은 처리 과정에서 메시 세부 정보와의 연결이 끊어진다. 두 패러다임 모두 단일 운반자에 의존한다는 점이 한계의 근원이다.
CoEvol-NO의 핵심 주장은, PDE의 복잡한 시공간 동역학을 포착하려면 두 운반자를 결합해야 한다는 것이다. S는 층을 거치며 물리 동역학을 누적하고, X는 미세한 기하 세부를 보존해 상태 정제를 안내한다.
이 설계 원리로 고전 수치해석의 예측-보정(Predictor-Corrector) 프레임워크를 채택한다. PC 방법은 미분방정식을 명시적 예측 단계와 근사 오차를 최소화하는 보정 단계로 분해해 푼다. CoEvol-NO는 이 절차를 층별 순전파 과정으로 옮긴다.
상태가 메시를 질의하는 교차 어텐션으로 다음 단계 추정치 Ŝₜ를 만든다. 전역 상태와 메시 세부의 상호작용에서 목표가 도출된다.
현재 값과 예측 목표의 불일치를 정량화하고, 보정 손실의 정확한 기울기를 따라 단일 스텝 경사하강으로 상태를 갱신한다.
보정 손실은 델타 규칙에서 착안한 제곱 Frobenius 노름으로 정의한다. 목표 Ŝₜ가 Sₜ₋₁에 의존하므로, 기울기 계산에는 예측기의 자코비안이 개입한다. 연쇄 법칙으로 유도한 정확한 기울기는 다음과 같다.
메시 시퀀스 X는 N ≫ M이어서 정확한 자코비안 계산이 비용상 금지된다. 따라서 일차 근사를 채택한다. 여기서 저자들은 흥미로운 이론적 관찰을 제시한다.
깊은 언롤 최적화에 내재한 느린 수렴과 기울기 잡음을 완화하기 위해 층별 모멘텀을 도입한다. 속도 버퍼 Vₜ = βVₜ₋₁ + ∇L_corr가 층을 가로질러 기울기의 지수 이동평균을 누적하고, 학습 가능한 스텝 크기(LayerScale)로 상태를 갱신한다. 모멘텀은 일관된 하강 경로를 따라 궤적을 매끄럽게 만드는 저역통과 필터로 작동한다.
고정점 S* = f(S*) 주변에서 선형화된 동역학을 분석하면 두 갱신 방식의 안정성 차이가 드러난다. 일차 근사의 갱신 사상 자코비안은 M_FOA = I − η(I − J)다. 예측기 자코비안 J가 큰 허수 고유값(유체의 강한 회전·대류에서 흔하다)을 가지면 스펙트럼 반지름이 쉽게 단위원을 벗어나 발산한다.
반면 정확한 기울기 갱신은 M_EG = I − η(I − J)ᵀ(I − J)로 지배된다. (I − J)ᵀ(I − J)가 양의 준정부호 행렬이므로 고유값은 실수이고 음이 아니며, (I − J)의 특이값만으로 결정된다. 이 구조가 오차 동역학을 대칭화해 J가 도입한 불안정한 회전 성분을 소거한다.
κ₂ = κ(A)²). 최적화 지형이 더 나빠지는 이 효과를 모멘텀과 LayerScale이 완화하며, 향후 Muon 같은 직교화 옵티마이저가 이론적으로 이를 상쇄할 수 있다.보정 손실의 해석적 폐형 기울기를 유도하면, 계산은 세 연산 — Δ 산출, Hadamard 곱과 행합, K 사영 — 에 의해 지배된다. M ≪ N이므로 모든 연산이 메시 크기 N에 대해 엄격히 선형이며, N × N 어텐션 행렬을 실체화하지 않아 수백만 격자점 규모로 확장된다.
점군, 구조화 메시, 정규 격자를 아우르는 표준 PDE 벤치마크에서 상대 L2 오차(낮을수록 우수)로 평가한다. Elasticity에서 CoEvol-NO-l2는 오차를 0.0036까지 낮춰 Transolver 대비 큰 폭으로 개선하며, 시간 의존 Navier-Stokes에서 CoEvol-NO-dp는 0.0731의 기록적 오차를 달성한다.
| 모델 | Elasticity | Airfoil | Pipe | Navier-Stokes | Darcy |
|---|---|---|---|---|---|
| GNOT (2023) | 0.0086 | 0.0076 | 0.0047 | 0.1380 | 0.0105 |
| ONO (2023) | 0.0118 | 0.0061 | 0.0052 | 0.1195 | 0.0076 |
| Transolver (2024) | 0.0068 | 0.0057 | 0.0039 | 0.1010 | 0.0057 |
| LAMO (2025) | 0.0048 | 0.0047 | 0.0039 | 0.1176 | 0.0054 |
| CoEvol-NO-dp | 0.0038 | 0.0047 | 0.0032 | 0.0731 | 0.0047 |
| CoEvol-NO-l2 | 0.0036 | 0.0048 | 0.0035 | 0.0904 | 0.0045 |
Shape-Net Car(3D)와 AirfRANS(2D) 산업 벤치마크에서 두 변형이 서로 다른 강점을 보인다. AirfRANS에서 CoEvol-NO-dp는 체적·표면 오차를 0.0013과 0.0047로 낮춰 Transolver의 0.0088, 0.0179를 뚜렷이 능가하고, Spearman 순위 상관 0.9990을 기록한다.
잠재 상태 S를 층별로 PCA 투영하면 세 패러다임의 진화 특성이 뚜렷이 갈린다. Coords-Evol은 물리적 관성 없이 무질서하게 정체하고, State-Evol은 지나치게 밀집한 경직된 궤적을 그린다. CoEvol-NO만이 구조화된 "팽창 후 수축" 다양체를 따른다.
Darcy에서 43×43 해상도로 학습한 모델이 421×421까지 제로샷 초해상에서 모든 해상도에 걸쳐 최저 오차를 보여 이산화 불변성을 입증한다. 나아가 PC 메커니즘을 Transolver(Coords-Evol)와 LNO(State-Evol)에 이식하면 8~25% 개선이 나타나, PC가 특정 아키텍처에 국한되지 않는 층별 갱신의 일반 원리임을 시사한다.
저자들은 세 한계를 명시한다 — (1) PC 보정은 예측기의 자코비안을 요구하며, 교차 어텐션 외 대부분의 모듈은 역전파에 의존해야 한다. (2) 모든 모듈에 PC를 동시 적용하면 오히려 역효과가 날 수 있어 선택적 적용 기준이 필요하다. (3) 정확한 기울기는 보정 손실 선택에 따라 조건수 문제를 일으킬 수 있으며, 40층 초과 극단적 깊이에서는 손실 기하와 최적화 동역학의 상호작용에 추가 연구가 필요하다.