무엇을 무엇과 구분해야 하는가
Mamba는 입력에 따라 기억·망각·읽기 경로를 조절하는 selective state-space architecture다. LFM은 Liquid AI의 모델군 이름이다. 둘은 같은 말이 아니며, Liquid Time-Constant network(LTC), Liquid Neural Network(LNN)와도 동일하지 않다.
Mamba
선택적 SSM과 하드웨어 친화적 scan을 결합한 시퀀스 아키텍처. 이번 논문에서는 각 그래프 mesh node별 시간 상태를 유지한다.
GraphCast-Mamba
Frozen GraphCast 예측에 상태가 있는 보정항을 더하는 hybrid residual forecaster. 전체 예보기를 Mamba로 바꾸지 않는다.
LFM2
입력 의존 게이트의 단거리 합성곱과 일부 GQA를 조합한 별도 모델 계열. 이 구조를 모든 LFM 세대나 GraphCast-Mamba에 소급할 수 없다.
Memory closure
관측에서 제거되거나 해상도 아래로 사라진 변수의 영향을 과거 궤적 상태로 근사하는 보정. 본 글의 분석 용어이지, 참 물리 커널의 식별 주장은 아니다.
사실 논문은 Mori–Zwanzig 관점에서 미해결 변수를 제거하면 현재 상태만의 함수가 아닌 memory term이 나타난다고 동기를 제시한다. 해석 따라서 이 모델의 Mamba 상태는 ‘과거 토큰 검색’보다 숨은 동역학을 궤적으로 추정하는 압축 상태에 가깝다.
짧은 관측 창으로 긴 물리 이력을 추정하기
GraphCast는 6시간 간격의 두 대기 상태를 입력으로 받는다. 이 창 밖의 구름 미세물리, 해양 결합, 토양·빙권 상태, 해상도 아래 난류가 이후 예보에 계속 영향을 준다면 입력은 완전한 마르코프 상태가 아니다. 문제는 모델 크기를 늘리는 것보다, 어떤 과거 정보를 유한 상태에 남겨야 다음 오차가 줄어드는가다.
해석 LFM·Mamba 연구의 공통 문제는 정확도만의 극대화가 아니다. 긴 이력, 낮은 추론 비용, 높은 정확도를 함께 만족하는 다목적 설계다. 날씨에서는 여기에 수치적 안정성, 극한현상 보존, 보정항의 물리적 타당성이 추가된다.
선택적 상태와 비마르코프 보정
3.1 Selective SSM
입력별로 달라지는 Āₜ, B̄ₜ, Cₜ는 무엇을 유지하고, 지우고, 읽어낼지를 조절한다. 이것이 ‘선택성’이다. 추론 중 모델 가중치를 다시 학습한다는 뜻은 아니다. GraphCast-Mamba에서는 이 상태가 각 mesh node에서 예보 스텝을 따라 전달되고, 짧은 causal convolution cache도 함께 유지된다.
3.2 Frozen backbone + learned correction
사실 Gθ는 고정된 GraphCast_small, Rφ는 그래프 encoder–processor–decoder와 Mamba 시간층을 가진 보정 가지다. 출력 head는 0으로 초기화되어 학습 시작점에서 원래 GraphCast와 같은 예측을 낸다.
3.3 Memory와 state tracking의 차이
문서 질의의 기억은 특정 증거를 다시 꺼내는 exact retrieval이 중요하다. 날씨의 기억은 매 스텝에서 숨은 힘을 갱신하는 state estimation에 가깝다. 전자는 “어디에 있었나?”를, 후자는 “지금 어떤 잠재 과정이 진행 중인가?”를 묻는다. 두 과제를 같은 long-context 점수 하나로 평가하면 실패 원인을 놓친다.
효율적 연산자에서 기억의 책임소재로
초기 Mamba 담론은 attention의 길이 비용을 줄이는 연산자 설계에 집중했다. 2025–2026년 연구는 점차 “유한 상태가 실제로 무엇을 기억하는가”, “정확 회수와 상태 추적은 어떻게 다른가”, “커널·정밀도·학습법이 그 기억을 어떻게 바꾸는가”로 이동했다.
GraphCast-Mamba의 새로움은 대규모 날씨 모델에 Mamba를 붙였다는 사실만이 아니다. 같은 구조와 학습량을 두고 상태를 이어갈지 초기화할지만 바꾼 통제 실험으로, 파라미터 증가와 지속 기억의 기여를 부분적으로 분리했다. 언어 모델의 needle retrieval과 다른 종류의 장기 의존성을 실험 가능하게 만든 셈이다.
왜 현재 상태만으로는 충분하지 않은가
고해상도 유체계조차 모든 미세 변수를 해석하지 못한다. 대기 모델의 격자와 관측은 실제 시스템의 투영이다. Mori–Zwanzig formalism에서는 제거된 자유도의 영향이 즉시항, 과거에 의존하는 memory term, 미해결 초기조건의 항으로 나타난다. 즉, 관측 벡터가 같아 보여도 그 상태에 도달한 경로에 따라 다음 변화가 다를 수 있다.
저자들은 GraphCast_small의 공간 백본을 유지하면서 시간 방향의 Mamba 상태가 이 누락된 이력을 근사할 수 있다고 본다. 해석 이 설계는 검증된 백본을 폐기하기보다 상태가 있는 residual adapter로 확장하는 보수적 전략이다.
좋아진 예보를 곧바로 ‘Mamba 효과’라 부를 수 없는 이유
기여도 혼합
보정 가지 10.35M 파라미터 중 Mamba 모듈은 0.11M이다. 전체 개선에는 10.24M 규모의 공간·head 파라미터도 관여한다.
유한 상태의 압축 충돌
오래 유지할 신호와 빨리 버릴 노이즈가 같은 상태를 경쟁한다. 극한현상처럼 드문 신호가 평균 오차 최적화에서 지워질 수 있다.
닫힌고리 오차
자기 예측을 다시 입력하면 분포가 변한다. 짧은 teacher forcing에서 좋은 기억이 장기 rollout에서는 drift를 증폭할 수 있다.
저정밀 누적 오차
bf16 연산과 fp32 경계를 사용했지만, 장기 순환의 양자화 안정성은 검증되지 않았다. 엣지 배치에는 별도 분석이 필요하다.
통계적 불확실성
단일 학습 시드, 2023년 한 해, 122개 초기조건이다. 보고 구간은 forecast-sample 변동만 반영한다.
공정 비교
0.25° 공개 GraphCast와는 공통 1.5° 검증 격자에서 비교했다. 해상도·학습 자원·운영 모델 차이가 섞여 있다.
기억과 모델 용량을 분리하는 일은 특히 어렵다. matched reset 통제는 중요한 진전이지만, Mamba를 다른 recurrent operator로 교체한 동량 비교까지 해야 아키텍처 고유 효과를 말할 수 있다.
다음 실험이 답해야 할 질문
- 정보 선택: 동일한 상태 예산에서 대기 궤적의 어떤 시간척도·변수를 반드시 기억해야 하는가?
- 기억 길이: 성능이 포화되거나 악화되는 유효 horizon은 계절·지역·현상별로 어떻게 다른가?
- 귀속: Mamba, 그래프 메시지 전달, 추가 파라미터, 더 긴 closed-loop 학습의 효과를 factorial ablation으로 분리할 수 있는가?
- 전이 표현력: 음의 고유값·복소 상태·MIMO 전이가 주기·진동·다중 변수 결합을 더 안정적으로 표현하는가?
- 저정밀 안정성: int8/4-bit 상태에서 40–1,000 step 누적 오차와 reset 정책은 어떻게 상호작용하는가?
- 실세계 가치: 평균 RMSE가 아니라 극한현상 경보, 오류 복구율, 예보 성공당 Joule에서 이득이 남는가?
- 안전 연결: 합성 state-tracking 점수의 향상이 실제 로봇·설비 agent 성공률과 어떤 상관을 갖는가?
구조, 학습, 통제실험을 함께 읽기
8.1 Architecture
사실 1° GraphCast_small의 약 35.98M 파라미터는 고정된다. 보정 가지는 독립 encoder–processor–decoder를 가지며, 두 번의 GNN message-passing step 각각 뒤에 Mamba 층 두 개를 둔다. 총 네 recurrent layer의 상태는 mesh node와 batch별로 유지된다.
8.2 Training protocol
| 항목 | 설정 | 해석 시 주의 |
|---|---|---|
| 데이터 | ERA5 2015–2021 학습, 2022 개발, 2023 평가 | 다른 기후 regime·연도 전이 미검증 |
| 학습 segment | 96 × 6h = 24일, 24-step window 4개 | window 사이 gradient detach, 상태는 계속 carry |
| window 내부 | 4 teacher-forced + 20 feedback steps | 닫힌고리 노출을 늘려 rollout drift에 대응 |
| 최적화 | AdamW, 500 warm-up + 2,000 main updates, SWA, seed 22 | 한 시드라 학습 분산 미포함 |
| 하드웨어 | A100 80GB 1장, 22.68 GPU-hour, batch 4 | bf16 계산, 필드·상태 경계 fp32 |
| 메모리 | GPU peak 23.15 GiB, host 97.1 GiB | 온디바이스 가능성을 직접 증명하지 않음 |
8.3 Main result — 저자 보고
| 평가 | GraphCast-Mamba 개선 | 조건·제한 |
|---|---|---|
| 10일 rollout 평균 정규화 loss | 14.42% 감소 | 2023년 122개 초기조건, 40 × 6h |
| Day 10 loss | 21.66% 감소 | 예보 후반으로 갈수록 격차 증가 |
| Day 10, 11개 변수군 RMSE | 7.09–14.60% 감소 | 평균장 지표; 세부 구조·극한값 보존은 별도 |
| 2m temperature | 2.67 K → 2.41 K (9.59%) | 저자 재현 프로토콜 기준 |
| 공개 0.25° GraphCast 비교 | Day 10 12개 진단 7.70–11.42% 낮은 RMSE | 공통 1.5° 검증 격자; native-scale 비교 아님 |
| ECMWF ENS 비교 | Day 10 전 12개 진단에서 ENS가 우세 | 모든 조건에서 우월하다는 주장 불가 |
8.4 Persistent-memory controls
| 학습 / 추론 상태 | Rollout 평균 | Day 10 | 무엇을 보여주는가 |
|---|---|---|---|
| carry / carry | 14.42% | 21.66% | 주 모델 |
| reset / reset | 9.16% | 13.64% | 같은 구조·예산의 상태 초기화 통제 |
| 지속 기억의 차이 | +5.26%p [4.70, 5.86] | +8.02%p [7.20, 9.05] | forecast-sample bootstrap, checkpoint 고정 |
| carry / reset | 4.57% | 9.62% | 학습–추론 불일치가 섞인 진단 |
가장 설득력 있는 결과는 절대 성능이 아니라 carry/carry 대 reset/reset의 matched comparison이다. 반면 전체 14.42% 개선을 Mamba에만 귀속하면 안 된다. 보정 가지의 대다수 파라미터가 공간 연산과 head에 있기 때문이다.
텍스트 밖에서 ‘상태’가 필요한 곳
날씨·기후 downscaling
고정된 수치·학습 백본에 이력 보정기를 붙여 미해결 시간척도를 보완하는 연구.
해양·에너지 예측
조류, 파고, 전력 부하처럼 관측 창보다 긴 주기와 숨은 forcing이 있는 스트리밍 계.
산업 digital twin
설비 열화·지연·히스테리시스를 압축 상태로 추적하고, 외부 시뮬레이터의 residual을 학습.
온디바이스 sensor intelligence
로컬에서 고정 크기 상태를 갱신해 통신이 끊겨도 이상 징후의 맥락을 유지하는 보조 계층.
연구 제안 ETRI/Physical AI에서는 센서 상태 추적, 로봇의 고수준 계획, 엣지 운영지능에 이 패턴을 적용할 수 있다. 단, 예보 residual의 성공은 로봇 저수준 제어의 안전성을 입증하지 않는다. 제어 안정성, 최악조건, fail-safe는 별도 검증 대상이다.
아직 닫히지 않은 문제들
- 과제별 기억 한계: 유한 상태가 보존할 수 있는 시간척도와 상호정보량의 실용적 상한은 무엇인가?
- 망각 탐지: 중요한 궤적이 이미 소실됐음을 모델 스스로 감지하고 외부 관측을 요청할 수 있는가?
- drift와 reset: 장기 세션에서 상태 오염을 진단하고 부분적으로만 초기화하는 기준은 무엇인가?
- 극한현상: 평균 RMSE 개선이 태풍 강도, 집중호우, 급격한 전선 발달의 검출·보정으로 이어지는가?
- 재현성: 현재 v1은 코드 공개를 publication 시점으로 예고했다. 다중 시드·다중 연도·동일 FLOPs 비교가 필요하다.
- 물리적 식별: 학습 상태가 어떤 미해결 과정과 연결되는지, 아니면 단지 통계적 오차 보정인지 구분할 수 있는가?
- 한국 환경: 한반도 복잡지형·장마·태풍·해양 결합과 한국어 운영업무의 의사결정 품질을 함께 검증할 benchmark가 부족하다.
특히 정확한 기억, 안정적인 상태, 재현 가능한 비용을 같은 평가판에서 측정하는 일이 남아 있다. 언어·센서·물리계마다 기억의 의미가 다르므로 단일 long-context 점수로는 부족하다.
압축 상태, 선택적 재열람, 외부 증거의 계층형 결합
제안 다음 세대 시스템은 하나의 순환 상태에 모든 책임을 지우기보다 세 층을 결합할 수 있다.
- Compressed dynamical state: Mamba/SSM이 매 스텝 저비용으로 잠재 동역학을 갱신한다.
- Selective local attention: 변화점·불확실성 급증·극한 후보 구간에서만 원시 이력을 재열람한다.
- External evidence memory: 관측소, 레이더, 위성, 정비 기록과 같은 검증 가능한 증거를 별도 저장하고 근거 링크와 함께 호출한다.
기억 예산도 고정할 필요가 없다. 정상 구간에는 작은 상태를 쓰고, 체계적 불확실성이 커질 때 state rank, attention window, 외부 관측 호출을 늘리는 adaptive memory budget을 연구할 수 있다.
종합 해석 GraphCast-Mamba가 던지는 가장 중요한 질문은 “attention을 Mamba로 바꿀 것인가?”가 아니다. 현재 관측에 보이지 않는 과거의 영향에 어떤 상태·증거·계산 예산을 배분할 것인가다. 이 질문은 날씨, 로봇, 설비, 로컬 RAG를 하나의 연구 언어로 연결한다.
References & provenance
- Vilkoviskiy et al., “GraphCast-Mamba: Learning Non-Markovian Corrections for Weather Forecasting”. arXiv:2610.28512. 최초 공개 2026-10-20, v1; 학회 발표 기록 없음. HTML full text.
- Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”. 최초 공개 2023-12-01; 2024년 학회 논문. 본 글에서는 2025년 이전 배경으로만 사용.
- Lam et al., “Learning skillful medium-range global weather forecasting”. Science, 2023. GraphCast 배경.
- Liquid AI, “LFM2 Technical Report”. 최초 공개 2025-11-28. LFM2 아키텍처 경계 확인용; GraphCast-Mamba와 동일 계열이라는 근거가 아님.
- Dao et al., “Mamba-3”. 최초 공개 2026-03-16. exponential–trapezoidal discretization, complex state, MIMO 등 후속 SSM 설계 배경.
- Ren et al., “Samba”. 최초 공개 2024, ICLR 2025. SSM과 sliding-window attention의 hybrid 배경.