MambaFlowNP
Mamba-2의 다방향 scan과 conditional flow matching을 결합한 joint-predictive neural process다. 불규칙한 context와 query 점을 같은 Hilbert 기반 순서에 놓고, 각 query 위치에서 속도장을 읽는다.
New evidence from query-local Mamba memory, mechanism-aware VMamba attribution, and fused nonlinear dynamics
좁은 화면에서는 다이어그램을 좌우로 스크롤할 수 있습니다.
편집 해석이다. 세 연구는 서로 다른 과제를 다루므로 하나의 승패표로 합칠 수 없다. 공통된 설계 질문은 “유한 상태가 과제에 필요한 정보를 보존하고, 그 사용을 감사할 수 있으며, 실제 장치 제약 안에서 실행되는가”이다.
긴 이력을 압축하는 상태가 실제로 필요한 정보를 보존하는지, 그 기여를 검증할 수 있는지, 그리고 하드웨어에서 이론적 복잡도만큼 빠르게 실행되는지를 어떻게 함께 측정할 것인가?
2026년 11월 21일 KST까지 공개된 자료를 11월 20일 후속 글과 대조했다. 새로 확인된 MambaFlowNP, MambaLIFT, DS3M은 각각 상태의 정보 접근성·설명 타당성·하드웨어 실행성에 실질적인 새 근거를 제공한다. Liquid AI 공식 연구·모델 목록에서는 전일 이후 새로운 LFM 논문이나 기술보고서를 확인하지 못했으며, LFM 관련 기존 지식은 배경선으로만 유지한다.
Liquid Foundation Models(LFM)은 Liquid AI의 모델군이다. 반면 Mamba는 입력 의존 선택성을 가진 상태공간(sequence) 아키텍처다. LFM, Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), Mamba를 동일시하면 안 된다. LFM2는 공식 기술보고서가 밝힌 범위에서 입력 의존 게이트 단거리 합성곱과 일부 grouped-query attention(GQA)을 결합하지만, 이를 모든 LFM 세대나 다른 Liquid 계열 연구에 소급할 수 없다.
Mamba-2의 다방향 scan과 conditional flow matching을 결합한 joint-predictive neural process다. 불규칙한 context와 query 점을 같은 Hilbert 기반 순서에 놓고, 각 query 위치에서 속도장을 읽는다.
VMamba의 기준 입력 대비 logit 차이를 공간 위치, VSS block, scan 방향, memory·selection·skip 등의 계산 경로로 분해하는 reference-based attribution 방법이다.
compact nonlinear continuous-time state-space component를 병렬·직렬로 조합하고, 순차 적분을 Triton kernel에 융합하는 system-identification 모델이다. Mamba 논문은 아니며 SSM 하드웨어 공동설계의 인접 근거다.
기억은 과거 정보를 압축하고, 추적은 시간이 흐르며 변하는 잠재변수를 갱신하며, 증거는 출력에 기여한 경로를 설명한다. 세 역할은 같지 않다.
공통 문제는 긴 이력과 불규칙 관측을 다루면서 높은 정확도와 낮은 비용을 동시에 달성하는 것이다. 그러나 이번 근거는 목적함수에 두 항을 더한다. uncertainty calibration과 explanation validity다. 단순히 평균 정확도를 최대화하는 대신 다음 제약 최적화로 보는 편이 정확하다.
해석상태가 고정 크기라는 사실은 필요한 정보를 보존한다는 보장이 아니다. MFNP의 terminal-state ablation은 동일한 recurrence라도 query가 어느 상태를 읽는지가 정확도를 바꾼다고 보고한다. MambaLIFT는 relevance 총합이 맞더라도 finite intervention의 logit 변화와 일치하지 않을 수 있음을 보인다. DS3M은 연산량이 작아도 수백 번의 작은 순차 kernel launch가 실제 시간을 지배할 수 있음을 지적한다.
| 검증 축 | 잘못된 대리변수 | 필요한 측정 | 이번 새 근거 |
|---|---|---|---|
| 정보 유용성 | state dimension, 긴 context 표기 | 과제별 회수·추적·calibration | query-local state vs terminal compression ablation |
| 설명 타당성 | 보존식, 보기 좋은 heatmap | held-out perturbation와 mechanism intervention | protocol sensitivity와 낮은 intervention correlation |
| 실행 가능성 | FLOPs, Big-O | p50/p95, peak memory, kernel launch, Joule/task | Triton fusion의 실측 시간과 SRAM 제약 |
선택성은 입력에 따라 Āt, B̄t, Ct가 달라져 무엇을 유지하고, 무엇을 쓰고, 무엇을 읽을지를 조절한다는 뜻이다. 이는 추론 중 가중치를 새로 학습한다는 뜻이 아니다. 순환 상태 크기가 sequence length와 무관하다는 말도 무한 정보를 완전하게 보존한다는 뜻이 아니다.
전형적 terminal compression은 context를 하나의 최종 벡터로 압축한 뒤 모든 query가 이를 공유한다. MFNP는 context와 query를 공간적으로 직렬화하고 query token은 자기 위치에서 state를 읽되 쓰지 않는다. 따라서 같은 context, latent, routing offset에서 query set을 나누거나 합쳐도 다른 query의 예측을 바꾸지 않는 consistency를 목표로 한다. 단, joint predictive의 자유도는 공유 random-feature latent의 차원 F 이하라는 유한 제약을 갖는다.
conditional flow matching은 source distribution의 표본을 조건부 데이터 분포로 운반하는 velocity field를 학습한다. MFNP는 spatially correlated random-function source를 쓰고, teacher가 만든 결합 표본으로 한 차례 reflow distillation을 수행해 1-step Euler student를 만든다. 따라서 보고된 end-to-end speedup은 linear scan 효과와 sampling-step 감소 효과의 합성이다.
MambaLIFT의 completeness는 relevance 총합이 기준 입력 대비 logit 차이를 재구성한다는 회계적 성질이다. 같은 총합을 보존하는 여러 interaction allocation과 temporal propagation rule이 서로 다른 heatmap을 만들 수 있다. 특정 memory path를 실제로 되돌렸을 때의 출력 변화는 비선형 상호작용 때문에 relevance의 단순 합과 다를 수 있다.
연속시간 system identification은 한 sampling step마다 RK4처럼 여러 vector-field evaluation을 요구한다. 작은 네트워크를 수백 번 순차 호출하면 arithmetic보다 launch와 memory movement가 병목이 된다. DS3M은 compact component의 상태 전파·적분을 한 Triton program에 묶는다. 그러나 weight가 SRAM에 들어가야 하고 구조를 미리 알아야 하므로 “아무 모델에나 적용되는 가속”이 아니다.
11월 19일 글은 안정성 bound, native 2D dynamics, scan order를 “시스템 속성”으로 묶었고, 11월 20일 글은 CoScan과 Slim-Mamba를 통해 적응성을 어디에 배치할지 물었다. 이번 업데이트는 그 다음 단계다. 적응적 state를 만들었다면 어느 query가 어떤 state를 읽는가, 그 state의 기여를 어떻게 감사하는가, 그리고 반복 recurrence를 어떻게 장치에 매핑하는가를 답해야 한다.
이 글은 논문 간 직접 비교를 하지 않는다. MFNP는 probabilistic spatial interpolation, MambaLIFT는 XAI, DS3M은 nonlinear system identification을 다룬다. 각 결과는 저자 보고이며 독립 재현이 아니다. 특히 어느 모델도 모든 데이터 크기·하드웨어·정밀도·업무에서 우월하다고 해석하지 않는다.
표준 full attention의 prefill 연산은 길이 L에 대해 이차이며, KV cache는 길이에 선형으로 증가하고, decode 한 토큰의 attention은 누적 이력 길이에 선형이다. GQA는 KV head 수를 줄여 계수를 낮추지만 길이 의존을 없애지 않는다. 고정 상태 크기의 순수 SSM은 총 sequence 연산이 선형이고 recurrent inference state가 길이에 독립적일 수 있다.
그러나 LFM2처럼 short convolution과 일부 GQA를 섞은 hybrid 전체를 O(1) memory나 완전 선형이라고 부르면 안 된다. MambaFlowNP도 training activation 전체가 항상 상수라는 뜻이 아니다. 저자 주장은 fixed feature/state/depth에서 forward compute가 O(K)라는 범위다. Hilbert key sorting은 운영 범위에서 선형으로 취급되지만 일반적인 비교 기반 sort의 보편적 복잡도 주장과 같지 않다.
| 계보/연구 | 최초 공개 | 핵심 | 이번 글과의 관계 |
|---|---|---|---|
| Mamba | 2023 원논문 · 배경 | input-dependent selective SSM | 선택적 기억의 기초 |
| Mamba-2 | 2024 원논문 · 배경 | state space duality와 효율적 구현 | MFNP backbone |
| Samba | 2024 최초 · ICLR 2025 | SSM + sliding-window attention | hybrid가 기억 압축을 보완하는 선행선 |
| LFM2 | 2025-11-28 | gated short convolution + 일부 GQA, hardware-in-the-loop search | LFM의 공식 구조 범위와 실측 공동설계 배경 |
| Mamba-3 | 2026-03-16 | exponential-trapezoidal discretization, complex state, MIMO | 전이 표현력·안정성의 최신 계보 |
| 이번 업데이트 | 2026-11-18~19 | query-local read, mechanism attribution, fused dynamics | 상태의 책임을 응용·감사·실행으로 확장 |
고정 크기 state는 memory traffic을 줄이지만 query별 세부 evidence를 잃을 수 있다. “기억한다”와 “상태를 추적한다”를 분리해 측정해야 한다.
Hilbert·Morton·lexicographic order는 이웃을 다르게 보존한다. 순서는 모델 바깥 전처리가 아니라 inductive bias다.
합계가 맞아도 interaction 분배와 reference 선택에 따라 attribution map이 변한다. perturbation 방식도 순위를 바꿀 수 있다.
짧은 sequence에서는 dispatch floor가 지배하고, 긴 recurrence에서는 launch·SRAM·memory movement가 지배한다.
상태 갱신 오차는 시간축으로 누적될 수 있다. 이번 연구는 INT8/INT4 장기 drift나 reset 정책을 충분히 다루지 않는다.
architecture, data, distillation, solver, precision, kernel 효과를 분리하지 않으면 큰 speedup을 잘못 귀속한다.
방법context value와 noisy query slice를 frozen random Fourier coordinate feature와 함께 token화한다. 두 Hilbert ordering과 역순을 합쳐 네 방향으로 route하고, distance-aware Mamba-2 scan을 공유 parameter로 실행한다. context token은 state에 쓰고 query token은 zero input·zero step size로 자기 위치 state를 읽기만 한다. per-direction state를 원래 point order로 되돌려 fuse한 뒤 query velocity를 출력한다.
학습CFM teacher 80k step, reflow student 20k step을 사용한다. NOAA에는 최대 40k step의 CRPS fine-tuning이 추가된다. baseline은 100k step이며 CRPS 단계가 없다. 모든 train/evaluation은 NVIDIA L40S에서 수행되고, 각 model-task cell은 train과 10 evaluation seed를 합쳐 100 GPU-hour cap을 둔다.
| 저자 보고 조건 | MFNP | 강한 비교군 | 해석 한계 |
|---|---|---|---|
| 1D Matérn-3/2, K=128, 128 joint draws | MSE 0.0111±0.0003; 29.5±0.2 ms | TNPA MSE 0.0110±0.0003; 735.7±0.4 ms | 한 trained model/cell, 10 eval seed |
| 2D Matérn-3/2, K=256 | MSE 0.0167±0.0005; 103.6±0.3 ms | FNP MSE 0.0137±0.0004; 3526±2 ms | 정확도–지연 trade-off |
| NOAA US, K=5,580, 128 draws | RMSE 1.598±0.003°C; CRPS 0.774±0.001°C; 1.126 s | FNP RMSE 1.695±0.019°C; CRPS 0.864±0.009°C; 883.1 s | 한 변수·고정 station network |
| 2D synthetic scaling, 1 draw, batch=1 | K=10⁶, single forward <1 s | FNP/NDP는 K=16,384/65,536까지 가기 전후 OOM | 10⁶ point predictive quality는 미검증 |
저자 주장terminal context state로 압축한 variant는 full model보다 synthetic MSE가 10–17%, NOAA MSE가 58–65% 높았다. random ordering은 synthetic에서 1.2–1.7×, NOAA에서 2.0–5.0× MSE를 높였고, 1-direction은 1.6–4.2× 높였다. 이는 state dimension뿐 아니라 읽기 위치와 spatial routing이 정보 병목임을 뒷받침한다.
제한regular grid에서는 convolutional NP·FFT GP가 더 효율적일 수 있고, K≲10³에서는 단순 factorised NP보다 느리다. 1D/2D만 평가했으며 held-out region transfer, space-time, scalable spatial baseline, 10⁶ point quality가 남아 있다. reflow pair 생성은 추가 training cost다.
방법VMamba의 class-logit 차이 fc(x)−fc(x⁰)를 multiplier-first rule로 역전파한다. selective injection τtBtut의 3-factor interaction, state carry, readout, D-skip, LayerNorm, CrossScan/CrossMerge, residual fan-out을 각각 처리하고 공유 source에서는 consumer multiplier를 한 번만 합친다.
검증ImageNet-1K의 1,000-image calibration set에서 γ와 reference를 고정하고, 별도 1,000-image held-out set에서 VMamba-T/B를 평가했다. 138/194개 audited interface의 최악 상대 보존 오차는 float64 내부에서 1.7×10⁻¹⁵/1.5×10⁻¹⁵였고, 원래 float32 model의 Δlogit과 relevance 합의 상대오차는 1.2×10⁻⁷/1.8×10⁻⁷이었다.
| held-out pixel flipping | VMamba-T ΔAF | VMamba-B ΔAF | 판정 |
|---|---|---|---|
| Mean-colour · MambaLRP | 3.8756 | 3.7155 | 기준 |
| Mean-colour · MambaLIFT | 4.1599 [4.0612, 4.2555] | 3.8102 [3.7084, 3.9120] | 저자 통계: 양쪽 superior |
| Blur σ=10 · MambaLIFT−MambaLRP | +0.0605; 95% CI [0.0025, 0.1178] | +0.0296; 95% CI [−0.0292, 0.0874] | T non-inferior; B equivalent |
핵심 반례보존되는 exact allocation도 서로 다른 attribution map을 만들었다. memory·selection·content·skip에 대한 local intervention correlation은 대체로 낮았고, global memory intervention–relevance correlation은 0.42–0.45였다. 정확한 relevance 회계는 finite intervention 효과나 causal validity를 보장하지 않는다.
비용·제한RTX 5060 8GB에서 MambaLIFT 4-reference sequential 설명은 VMamba-T/B당 8.66/12.9초로, MambaLRP 0.056/0.082초보다 훨씬 비쌌다. float64와 reference별 backward가 원인이라 matched-precision 비교가 아니다. 더 큰 state, gated SS2D, 다른 selective SSM으로의 일반화도 미확립이다.
방법SUBNET encoder가 짧은 input/output history에서 초기 state를 추정한다. 여러 compact continuous-time nonlinear component를 병렬 head와 직렬 block으로 구성하고, explicit integrator를 포함한 반복 평가를 Triton kernel에 fuse한다. port-Hamiltonian variant도 제시한다.
저자 보고RTX 3090, PyTorch 2.11.0+cu126, Triton 3.6.0, float32에서 CT-SUBNET forward+backward microbenchmark는 T=100/200에서 CUDA eager 대비 151.91×/159.82×, compiled CUDA 대비 42.79×/40.73× 빨랐다. Wiener–Hammerstein에서는 DS3M이 RMSE 0.24mV를 1.5시간에 보고했고, SUBNET은 같은 0.24mV에 200시간 이상을 표기했다.
제한일부 benchmark training time은 서로 다른 hardware의 문헌값이라 공정한 wall-clock 대조가 아니다. fused program 때문에 weight가 관련 SRAM에 들어갈 만큼 작고 network architecture가 미리 정해져야 한다. Silverbox의 distribution-shift trajectory에서 SUBNET 계열의 약점도 남았다. 따라서 kernel fusion은 보편적 모델 우위가 아니라 특정 크기·구조·장치의 공동설계 결과다.
| 응용 | 가능한 역할 | 필수 검증 | 근거 상태 |
|---|---|---|---|
| 환경·보건 공간장 | 불규칙 station에서 온도·강수·질병 위험의 joint predictive field | held-out region, space-time, extreme event calibration | MFNP NOAA temperature는 직접 근거; 나머지는 확장 제안 |
| 온디바이스 비전 감사 | VMamba의 scan direction·memory·selection 기여 분석 | reference robustness, causal intervention, latency budget | MambaLIFT ImageNet-1K 근거 |
| 산업 system identification | 센서 이력에서 nonlinear dynamics model 학습 | OOD trajectory, stability, low precision, device energy | DS3M benchmark 근거 |
| 로컬 RAG·streaming assistant | 압축 state + 필요 구간 attention + 외부 evidence memory | 근거 회수율, 장기 drift, reset, 한국어 전문업무 | 통합 연구 제안 |
| ETRI/Physical AI | 센서 state tracking, robot high-level planning, edge operational intelligence | 통신 단절·state 오염·안전한 fallback·Joule/success | 연구 제안; 저수준 제어 안전성 별도 |
미해결state가 작다는 것은 비용에 대한 장점이지, 기억의 충분성·설명의 정당성·안전성에 대한 증명이 아니다.
제안항상 갱신되는 compact state, 필요 구간만 여는 sparse/local attention, 출처와 시간을 보존하는 external evidence memory를 계층화한다. query-local state는 즉시 추적에, attention은 exact local retrieval에, external memory는 장기 증거에 맡긴다. evidence가 부족하다고 판단될 때만 memory budget을 늘리는 adaptive allocation을 학습한다.
제안conservation-based attribution을 빠른 audit ledger로 사용하되, 중요한 결정에는 reference ensemble, replacement robustness, mechanism intervention, counterfactual replay를 통과시킨다. explanation latency와 peak memory도 시스템 SLO에 포함한다.
제안token/s 대신 Joule/success · p95 latency · peak memory · evidence recall · error-recovery rate를 함께 보고한다. 동일한 quantization, batch, thermal state, compiler, kernel version을 고정하고 failure case를 포함한다.
서지 날짜는 원문 제출·개정 이력과 공식 학회 기록을 구분했다. 실행일 이후 자료는 포함하지 않았다. 실험 수치는 모두 저자 보고이며 독립 재현을 수행하지 않았다. 링크·버전 확인일: 2026-11-21 KST.