Log-timescale perturbation
두 run의 step size Δ 차이를 |log Δ − log Δ̃|≤ρ라는 상대적 조건으로 측정한다. 작은 timescale에서 절대 오차가 input weight보다 커지는 문제를 피한다.
New perturbation bounds, a stability-aware 2D recurrence, and order-sensitive spatial scans redraw the boundary between an efficient operator and a dependable system
좁은 화면에서는 다이어그램을 좌우로 스크롤할 수 있습니다.
셀 정리는 수학적 상계, FM-Mamba·GaussianMamba·SFMambaNet 결과는 저자 보고 실험이다. 서로 다른 과제와 하드웨어의 수치를 직접 순위화하지 않으며, 중앙의 시스템 결론은 이 글의 통합 해석이다.
길이에 무관한 수학적 상계와 안정성 제약이 실제 장기 세션·2D 비전·불규칙 공간의 신뢰성으로 이어지려면 무엇을 더 증명하고 측정해야 하는가?
이번 후속 글은 새 프리프린트 세 편과 실질 개정 한 편을 기존 LFM·Mamba 지식에 통합한다. A Log-Timescale Perturbation Bound는 선택적 scan의 timescale을 절대 차이가 아닌 로그 비율로 측정해 모든 sequence length에 적용되는 셀 상계를 증명한다. FM-Mamba는 2D Fornasini–Marchesini recurrence에 축별 입력 의존 step과 안정 구간 투영을 결합한다. GaussianMamba와 크게 개정된 SFMambaNet은 불규칙 공간을 1D로 읽을 때 scan order 자체가 inductive bias임을 보강한다.
2026-11-19 KST까지 Liquid AI 공식 채널에서 이전 글 이후 새 LFM 학술 논문은 확인되지 않았다. LFM3·d1.2 등 제품·모델 발표는 논문과 분리하며, 본문의 새로운 학술 변화는 Mamba/선택적 SSM 쪽에 한정한다.
LFM(Liquid Foundation Models)은 Liquid AI의 모델군이다. Mamba는 입력 의존적인 선택적 상태공간 아키텍처 계열이다. Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), LFM, Mamba는 서로 다른 연구·제품 계보다. LFM = LTC = LNN = Mamba라는 동일시는 잘못이다.
두 run의 step size Δ 차이를 |log Δ − log Δ̃|≤ρ라는 상대적 조건으로 측정한다. 작은 timescale에서 절대 오차가 input weight보다 커지는 문제를 피한다.
2D 격자의 두 축과 대각 predecessor를 함께 갱신하는 native 2D selective SSM이다. 두 축의 step을 위치·방향별로 선택하고 안정 구간 밖 값은 투영한다.
불규칙 집합을 Mamba가 읽을 sequence로 직렬화하는 규칙이다. 이 순서는 어떤 원소가 가까운 이웃인지 결정하므로 단순 전처리가 아니라 모델 가정이다.
상태 전이의 수학적 안정성, discretization, scan order, 저정밀 오차, kernel 실행, reset·복구를 함께 만족하는 운영 속성이다.
공통 문제는 긴 이력, 낮은 추론비용, 높은 정확도를 동시에 달성하는 것이다. 이를 단일 FLOP 또는 평균 정확도 문제로 축소하면 실제 실패를 놓친다. 품질을 최대화하되 p95 지연, peak memory, 에너지, drift, 오류 복구 제약을 만족하는 다목적 설계로 정의해야 한다.
θ는 전이·하이브리드 구조, D는 데이터·학습 recipe, T는 하드웨어·kernel, O는 scan order와 외부 메모리·reset 정책이다. 새 연구는 안정성이 θ 하나의 성질이 아니라 θ×D×T×O의 상호작용임을 구체화한다.
| 문제 층위 | 새 근거 | 정확한 결론 | 과도한 결론 |
|---|---|---|---|
| 시간축 perturbation | Log-timescale theorem | 가정 아래 scalar cell gap의 길이 독립 상계 | 전체 Mamba block의 tight robustness certificate |
| 2D discretization | FM-Mamba | 축별 step을 안정 구간에 투영하는 native 2D recurrence | 모든 영상 과제·resolution에서 보편 우월 |
| 불규칙 공간 | GaussianMamba·SFMambaNet v2 | 순서 설계가 이웃 관계와 성능·shuffle 민감도에 영향 | 한 가지 순서가 모든 집합 데이터에 최적 |
Ā_t는 이전 상태의 유지·감쇠, B̄_t는 현재 입력의 기록, C_t는 상태의 읽기를 조절한다. 선택성은 입력마다 기억·망각·읽기 강도를 바꾸는 것이며 추론 중 모델 가중치를 업데이트한다는 뜻이 아니다. 순환 상태 크기가 문맥 길이에 독립이라는 사실도 무한 정보를 완전 보존한다는 뜻이 아니다.
정확한 zero-order hold(ZOH)에서 scalar cell은 h_t=Ā_t h_(t−1)+(1−Ā_t)c_t로 쓸 수 있다. 즉 이전 상태와 입력 의존 equilibrium c_t의 볼록 결합이다. timescale을 로그 비율로 제한하면 transition 변화가 같은 step의 input weight 1−Ā_t에 비례한다. 오차를 밀어 넣는 항과 수축 항이 같은 작은 계수를 공유하므로 step별 오차가 길이에 따라 단순 누적되지 않는다.
여기서 η는 equilibrium 변화 상계, M은 perturbed equilibrium/state 범위, ρ는 log-timescale 변화 상계, P_t는 transition 곱이다. 논문은 common start에서 이 상계가 작은 ρ에 대해 가능한 최선의 범용 상계와 약 2배 이내라고 구성으로 보인다. 다만 실제 block certificate는 gradient attack이 찾은 변화보다 10만 배 이상 커 매우 느슨하다.
| 구조 | Prefill | Decode 한 토큰 | 이력 저장 | 주의 |
|---|---|---|---|---|
| 표준 full attention | 길이 L에 대해 이차 연산 | 이력 길이에 선형 | KV cache 선형 | FlashAttention은 상수·메모리 접근을 바꾸지만 길이 차수를 제거하지 않음 |
| 고정 상태 순수 SSM | 총 선형 연산 | 고정 상태 갱신 | 길이에 독립인 순환 상태 | 유한 상태의 exact recall·drift 한계는 남음 |
| SSM + attention hybrid | attention 비중·window에 의존 | KV를 쓰는 층은 이력 의존 | 상태 + KV 공존 | 전체를 O(1) memory·완전 선형이라 할 수 없음 |
| LFM2 | gated short convolution + 일부 GQA | GQA 층은 KV 접근 | KV 계수 감소 | GQA는 선형 길이 의존을 제거하지 않음 |
이전 연구 흐름은 선택적 scan의 효율, hybrid attention의 기억 회수, 음의 고유값과 structured transition의 표현력, Mamba-3의 이산화·complex state·MIMO, GPU 공동설계를 차례로 확장했다. 이번 업데이트는 그 위에 두 종류의 “안정성”을 얹는다. 하나는 입력이 조금 바뀌었을 때 상태가 얼마나 달라지는지에 대한 상계이고, 다른 하나는 2D 격자의 discrete recurrence가 국소 증폭을 일으키지 않도록 step을 제한하는 설계다.
동시에 GaussianMamba와 SFMambaNet v2는 상태 전이가 같아도 무엇을 다음 토큰으로 놓는지에 따라 모델이 보는 이웃이 달라진다는 점을 보여준다. 3D Gaussian primitive는 scale·orientation을 가진 불규칙 집합이고, 이미지 대응점은 대부분 outlier인 unordered set이다. 이 데이터를 임의로 1D sequence로 읽히면 Mamba의 long-range efficiency가 올바른 관계를 보존한다는 보장은 없다.
Mamba 원 논문은 2023년 최초 공개된 배경 연구다. Mamba-2/SSD와 native 2D SSM 다수는 2024년 공개된 배경 연구이며, 2025년 Samba는 SSM과 sliding-window attention의 hybrid를 정식 발표했다. 음의 고유값 연구는 2024년 최초 공개 후 ICLR 2025에 발표되어 state tracking 표현력의 전이 구조 의존성을 강조했다. 2025년 LFM2 기술보고서는 hardware-in-the-loop architecture search, Top-K distillation, curriculum·post-training을 구조와 함께 제시했다.
2026년 Mamba-3는 exponential–trapezoidal discretization, complex-valued state, MIMO를 도입했다. 이후 연구는 GPU kernel fragmentation, persistent multi-state, causal ablation, low-precision recurrence로 확장됐다. 이번 네 근거는 여기에 relative timescale certificate, 2D stability-aware projection, geometry/semantics/frequency-aware order를 추가한다.
| 자료 | 최초 공개 | 학회 발표연도 | 최신 개정 | 이번 글의 역할 |
|---|---|---|---|---|
| Log-timescale bound [1] | 2026-11-16 | 없음 확인 · preprint | v1 | 시간축 안정성 상계 |
| FM-Mamba [2] | 2026-11-17 | 없음 확인 · preprint | v1 | 2D discrete stability |
| GaussianMamba [3] | 2026-11-17 | 없음 확인 · preprint | v1 | 기하·의미 scan order |
| SFMambaNet [4] | 2026-06-03 | 없음 확인 · preprint | 2026-11-17 v2 | 주파수·shuffle 검증 |
| Samba [7] | 2024-06-11 | ICLR 2025 | 2025-02-28 v3 | 배경 · hybrid |
| Negative eigenvalues [8] | 2024-11-19 | ICLR 2025 | 2025-03-18 v5 | 배경 · state tracking |
유한 상태는 이력을 요약한다. 추세와 동역학에는 유리하지만 identifier·근거 문장·과거 사건의 exact recall에는 병목이 된다.
과거 값을 재현하는 기억과 현재 세계 상태를 갱신하는 tracking은 전이 구조, reset, metric이 다르다.
모든 입력에 대한 보증은 공격이 찾은 실제 변화보다 5 orders 이상 클 수 있다. 유효한 정리가 곧 실용적 certificate는 아니다.
BF16·FP8·INT8의 작은 편향이 recurrent update를 따라 누적될 수 있다. 이번 log-timescale 정리는 이를 직접 분석하지 않는다.
scan order가 이웃을 바꾸면 내용 표현력과 permutation sensitivity를 분리하기 어렵다. 크기·경로·capacity 통제가 필요하다.
FM-Mamba의 O(HWn) 계산도 실제 GPU에서는 wavefront dispatch, buffer, graph capture에 따라 p95·memory가 달라진다.
훈련 길이 밖 일반화, 데이터·증류·아키텍처 효과 분리, CPU/GPU/NPU kernel 차이도 남는다. 특히 FM-Mamba의 per-shape dispatch는 throughput을 크게 높이지만 CUDA Graph residency 때문에 peak inference memory가 약 114 MiB에서 468 MiB로 증가했다. 한 지표 개선을 전체 효율로 환원할 수 없다.
저자들은 exact ZOH scalar cell을 이전 상태와 equilibrium의 convex update로 바꾸고, 두 run의 timescale ratio를 e^ρ 이내로 제한한다. transition 차이가 input weight의 고정 비율보다 크지 않다는 ratio lemma에서 출발해 길이에 무관한 cell theorem을 얻는다. 이어 Mamba 공개 코드의 exponential-Euler input term으로 확장하되 timescale upper bound를 추가한다.
FM-Mamba는 현재 위치 (i,j)의 상태를 위, 왼쪽, 대각 predecessor와 현재 입력으로 갱신한다. 두 입력 의존 step Δ₁(i,j), Δ₂(i,j)가 각 축 전파를 조절한다. normalized ratio r_k=a₀,k/(a₁,k a₂,k)에서 closed-form stable interval을 만들고, 밖으로 나간 step을 10% margin 안쪽으로 투영한 뒤 post-training per-position으로 재검증한다.
dual-diagonal wavefront는 두 anti-diagonal buffer만 유지해 저자 분석상 compute O(HWn), depth O(H+W), parallelism min(H,W), state residency O(min(H,W))를 갖는다. 이는 1D flattening의 2~4개 scan과 2D↔1D 변환을 피하지만, 전체 모델의 activation·attention·framework memory까지 길이 독립이라는 뜻은 아니다.
| 비교 | 조건 | 저자 보고 | 제한 |
|---|---|---|---|
| 학습 | COCO 2017 image-level 80-label classification, 224², 40 epochs, RTX 5090 D 32 GiB, AdamW, n=16 | Mamba2D counterpart 대비 최대 절반 이하 time·energy, peak memory 40% 이상 감소 | detector·segmentation 아님; 한 데이터·GPU·recipe |
| 품질 | 공통 4-stage 구조 [3,3,9,3], widths [64,128,320,512] | test mAP가 Mamba2D counterpart와 0.12pp 이내; 최고 설정 52.873% | 여러 seed의 통계 구간 미보고 |
| PSD inference | 3 warm-up 후 3 rounds 평균, data loading 제외 | 83–87 FPS → 365–385 FPS | peak memory 약 114 → 468 MiB; graph capture 비용 |
첫 branch(CGSS)는 Gaussian scale·orientation으로 anisotropic support를 계산하고 locality-preserving traversal을 local swap으로 다듬는다. 둘째 branch(DRSS)는 공간 group을 feature·semantic affinity로 재배치하고 경계의 의미 차이를 support-weighted correction으로 반영한다. 두 Mamba 출력은 서로 다른 scan에서 생긴 local contrast 차이를 이용해 fusion한다.
2026-11-17의 v2는 제목·저자·분석·실험·부록을 크게 확장했다. 대응점을 cluster-by-cluster로 읽어 inlier는 sequence에서 천천히, outlier는 빠르게 변한다는 가설을 세우고 forward/backward Mamba 사이에 learnable frequency gate를 둔다. parameter-free low-pass filter가 같은 규모의 point-wise layer보다 강했고, 학습된 gate는 스스로 low-pass가 되었으며 shuffle 민감도가 줄었다는 저자 보고는 extra capacity만으로 gain을 설명하기 어렵게 만든다.
| 응용 | 이번 근거가 주는 설계 단서 | 검증해야 할 실패 | 근거 상태 |
|---|---|---|---|
| 금융·산업 streaming | log-timescale certificate로 무한 stream의 작은 입력 변화 상계 | 실제 adversarial·distribution shift, state reset, certificate looseness | [1] small order-book models |
| 온디바이스 비전 | native 2D wavefront로 flattening 없이 공간 전파 | 모바일 NPU kernel, p95, graph memory, 저정밀 drift | [2] RTX 5090 D 저자 실험 |
| 3D occupancy·자율주행 | Gaussian 기하·의미별 complementary scan | 큰 primitive set의 latency, rare class, 안전성 | [3] 두 occupancy benchmark |
| 로컬 RAG·문서·센서 집합 | 순서가 semantic neighborhood를 보존하도록 설계 | shuffle, entity collision, 근거 회수율 | 이 글의 전이 가설 |
| 음성·영상 보조 | temporal state와 필요한 구간 attention의 역할 분리 | 훈련 길이 밖 generalization, 양자화, reset | 기존 hybrid/LFM 배경 |
저수준 제어 안전성은 별도 검증 대상이다. 안정한 high-level recurrence나 높은 occupancy mIoU가 actuator constraint, collision avoidance, emergency stop을 보증하지 않는다. 모델 출력에서 실제 행동까지 independent safety monitor와 fail-safe controller가 필요하다.
길이와 무관한 perturbation bound는 상태의 정보 용량을 늘리지 않는다. “작은 입력 변화에 상태가 크게 흔들리지 않는다”와 “수십만 step 전의 식별자를 정확히 회수한다”는 서로 다른 명제다. state dimension, precision, task entropy에 따른 기억 한계가 필요하다.
모델이 틀린 상태를 계속 carry할 때 언제 reset할지, 부분 상태만 고칠지, 원 기록을 replay할지 기준이 없다. 장기 session drift와 reset 비용을 accuracy 밖의 독립 지표로 만들어야 한다.
FM-Mamba의 throughput, GaussianMamba의 IoU, SFMambaNet의 correspondence 지표는 서로 다른 데이터·규모·hardware에서 나왔다. 동일 학습 데이터, parameter·FLOP·tuning budget, precision, batch, kernel maturity를 맞춘 비교 없이는 순위를 만들 수 없다.
한국어 약어, 기관별 장문 문서, 날짜가 바뀐 규정, 다자 지시와 센서 event를 동시에 유지하는 평가가 부족하다. sequence order를 문서 구조·시간·entity 관계로 바꿨을 때 회수율·hallucination·energy가 어떻게 달라지는지 검증해야 한다.
안정성 상계, 실제 robustness, exact recall, 물리적 safety는 서로 대체할 수 없는 네 개의 검증 축이다.
연구 제안. 압축 상태는 빠른 상황 갱신을, 필요한 구간의 attention은 정밀 참조를, 외부 증거 메모리는 원문·출처·장기 기록을 맡게 한다. uncertainty, state drift, 사건 중요도가 임계값을 넘을 때만 기억 크기·attention window·retrieval budget을 늘린다.
압축 상태, attention, 외부 증거를 서로 대체재가 아니라 역할이 다른 계층으로 구성하고, 판단 전에 drift·회수·복구 검사를 둔다.
| 단계 · 제안 | 동일 조건 | 실패 주입 | 핵심 지표 |
|---|---|---|---|
| 1. operator baseline | 동일 데이터·학습 예산·parameter·quantization | 길이 증가, 작은 입력 perturbation, order shuffle | 정확도·근거 회수율·state drift |
| 2. hardware baseline | 동일 CPU/GPU/NPU, batch, runtime, thermal state | memory pressure, kernel fallback, network loss | p50/p95·peak memory·Joule/success |
| 3. recovery baseline | 동일 reset·replay·retrieval budget | 상태 오염, 작업 취소, 통신 단절 | 오류복구율·재시도·사람 개입 |
| 4. 장기 현장 실증 | 로봇·설비의 동일 mission set | rare event·sensor drift·다자 지시 충돌 | 완료율·근거성·안전 incident |
성공 작업당 Joule은 전체 시도와 재시도의 에너지를 성공 건수로 나눠야 한다. p95는 입력 수신부터 검증된 응답 또는 행동 승인까지 측정해야 한다. 성공 건수가 0이면 에너지 비용을 유한한 좋은 값으로 보고하지 않는다.
다음 경쟁은 상태를 더 오래 유지하는 모델이 아니라, 언제 기억을 늘리고 언제 의심하며 어떻게 복구할지를 측정 가능한 계약으로 만드는 시스템이다.
서지 날짜는 원문의 제출·개정 이력 기준이다. 실행일 이후 자료는 포함하지 않았다. 실험 수치는 모두 저자 보고이며 독립 재현을 수행하지 않았다. 링크 확인일: 2026-11-19 KST.