상태가 고정 크기라고
운영비용까지 고정되지는 않는다

PART 01 · DEFINITION

상태는 텐서가 아니라 생명주기를 가진 시스템 객체다

확인된 사실 Mamba는 입력 의존 선택성을 갖는 상태공간 아키텍처이고, LFM은 Liquid AI의 모델군이다. LFM2는 게이트 단거리 합성곱과 일부 GQA를 결합한 별도 하이브리드다. ReplaySSM을 포함한 Mamba 연구를 LFM2 전체에 직접 소급할 수 없다.

PART 02 · PROBLEM DEFINITION

고정 상태의 숨은 비용과 오염을 함께 최소화한다

기존 다목적 문제는 정확도를 최대화하면서 p95 지연, 피크 메모리, 에너지를 제약하는 것이었다. 새 근거는 여기에 상태 I/O, rollback 비용, 양자화 오차 재주입, 설명 편향, 상태 간섭을 명시적으로 추가한다.

편집 해석 O(1) 상태 크기는 용량 척도이지, 매 토큰 상태를 읽고 쓰는 비용·되돌리기·오염·설명가능성을 보장하는 운영 계약이 아니다.

PART 03 · CORE CONCEPTS

recurrence를 세 가지 방식으로 다시 읽는다

Checkpoint + replay buffer

Mamba-2의 상태 갱신은 다음처럼 쓸 수 있다.

ReplaySSM은 두 번째 unrolled form을 시스템 표현으로 채택한다. 매 step 완성 상태를 저장하는 대신 최근 입력 {α, v, k}를 buffer에 넣고, window가 찰 때만 checkpoint로 합친다. 논문은 L=16을 기본값으로 사용한다.

State as evidence

READ는 classifier가 읽는 위치의 recurrence를 입력 토큰별 기여로 분해한다. 한 번의 forward pass에서 공간·시간 relevance map을 만들며, 전체 네트워크 logit의 정확한 완전 분해가 아니라 block 내부의 정확한 분해와 block 사이 1차 근사를 결합한다.

State compatibility

IsoMamba는 shared state에 상충하는 토큰이 들어오면 state contention이 생긴다고 본다. 학습된 Δ를 갱신 성향의 proxy로 사용해 토큰을 군집화하고, 호환 그룹을 독립 Mamba expert state로 보낸다.

PART 04 · INTRODUCTION

linear-time이라는 말 뒤에 남은 시스템 질문

표준 full attention의 prefill 연산은 문맥 길이에 대해 이차적이고 KV cache는 선형으로 증가한다. 고정 상태 SSM은 총 scan 연산이 선형이고 순환 상태 크기는 길이에 독립적이다. 그러나 hybrid model의 실제 decode에서 각 SSM layer가 매 token 큰 FP32 state를 HBM에서 읽고 다시 쓰면 arithmetic intensity가 낮아질 수 있다.

저자 보고 Nemotron-3-Super-120B-A12B, batch 256, B300 한 장 조건에서 논문은 SSM state update가 약 100K token까지 가장 큰 latency component로 남을 수 있다고 보고한다. 이 모델은 SSM layer가 attention layer보다 5배 많고, SSM layer당 FP32 state는 sequence당 4 MiB로 제시된다. [4]

즉 고정 상태는 길이 성장 문제를 완화하지만, 큰 batch에서 반복되는 state memory traffic을 자동으로 제거하지 않는다.

PART 05 · MOTIVATION AND BACKGROUND

기억의 값보다 기억을 다루는 정책이 병목이 된다

SSM의 강점은 긴 이력을 압축하는 것이다. 하지만 conventional serving은 recurrence 수식을 그대로 실행 정책으로 취급해, 매 step 상태를 load–update–readout–store한다. speculative decoding에서는 거부된 draft suffix를 되돌리기 위해 token마다 상태 snapshot을 만들 수 있고, 저정밀 상태는 rounding error가 다음 recurrent update로 되먹임된다.

ReplaySSM의 통찰은 수학적 동치 표현을 시스템 정책으로 바꾸는 것이다. READ는 같은 recurrence가 예측 근거의 전달 경로임을 이용한다. IsoMamba는 한 상태에 모든 토큰을 넣는 압축이 곧 좋은 조직화는 아니라고 지적한다. 편집 해석 세 연구는 모두 state를 결과가 아니라 관리 대상으로 바꾼다.

PART 06 · CHALLENGES

재생 창, 설명 근사, 격리 기준은 새 실패모드다

상태 최적화는 “더 작게”가 아니라 “어떤 역할의 상태를 어떤 정밀도·주기·격리 규칙으로 유지할 것인가”의 문제다.

PART 07 · RESEARCH QUESTIONS

상태 lifecycle을 실험 가능한 질문으로 바꾼다

1. 동일한 state budget에서 checkpoint 주기와 replay window를 batch·context·하드웨어별로 어떻게 동적 선택할 것인가?
2. output용 low-precision state와 recurrent update용 high-precision state 사이의 최소 정밀도 조합은 무엇인가?
3. 설명 map의 faithfulness가 실제 오류 복구·사용자 신뢰·agent 성공률을 예측하는가?
4. state contention을 온라인에서 감지하고 stream을 생성·병합·reset할 수 있는가?
5. 합성 state-tracking 점수와 실제 robot/agent 장기 세션의 상태 오염률은 어떤 관계인가?
6. 성공 작업당 Joule, p95 latency, rollback 비용, 설명 충실도, 복구율을 한 protocol에서 비교할 수 있는가?

PART 08 · APPROACHES (METHODS)

세 연구의 방법과 결과를 조건까지 읽는다

A. ReplaySSM — 저장하지 않고 재생한다

저자 주장 checkpoint와 bounded input buffer로 상태를 표현해 non-flush step의 full-state write를 없앤다. speculative decoding의 rollback은 buffer pointer 이동이 되고, output-only verification은 중간 상태를 materialize하지 않는다. high-precision recurrence checkpoint와 low-precision output copy를 분리해 후자의 rounding error가 다음 update로 재주입되지 않게 한다.

모두 FP32 SSM state, window L=16, tuned vLLM baseline 조건이다. 저자 보고 B=256에서 isolated SSM kernel은 1.46–1.80×, 전체 decode는 1.20–1.47×이며, 두 120B급 모델의 speculative serving throughput은 vLLM 대비 약 1.8×다. 반면 B=1 전체 decode는 0.96–0.99×로 이점이 없다. 어느 모델·배치에서도 보편적으로 빠르다는 뜻이 아니다. [4]

B. READ — recurrence에서 증거를 읽는다

저자 주장 VideoMamba classifier readout의 상태를 token contribution으로 분해한다. VideoMamba-M, RTX 4090, batch 1에서 attribution 추가 비용은 한 forward·no backward 기준 125ms/3.47GB, streaming 구현은 172ms/0.06GB다. 비교표의 standard forward는 37ms/0.51GB이고 fused MambaLRP는 143ms/7.01GB다. 저자들은 COIN에서 세 backbone 모두 더 높은 temporal localisation을 보고한다. [5]

C. IsoMamba — 호환 가능한 토큰끼리 상태를 공유한다

저자 주장 Δ-derived update representation을 label-free clustering해 독립 Mamba expert로 route한다. UIEB/LSUI 합동 학습, RTX 4090, 300K iteration, batch 2 조건에서 IsoMamba는 UIEB PSNR 25.32dB를 보고했고 shared-state decoder는 24.04dB였다. 같은 expert bank 비교에서 Δ-guided Top-1은 25.32dB, soft mixing은 24.17dB다. 이는 특정 영상복원 설정의 결과이지 언어 Mamba나 LFM의 보편적 성능 증명이 아니다. [6]

PART 09 · KEY APPLICATIONS

고처리량 서빙에서 센서 증거 추적까지

연구 제안 ETRI/Physical AI에서는 센서별·객체별 상태를 무조건 하나로 합치기보다, 정상 운용 상태·이상 징후 상태·안전 관련 상태를 분리하고 필요할 때만 cross-state coordination을 수행할 수 있다. 고수준 계획과 진단에는 설명 map을 붙이고, low-level control은 별도의 실시간 안전 검증과 fallback controller가 필요하다.

PART 10 · OPEN PROBLEMS

상태를 운영 대상으로 만들면 감사 가능성도 필요하다

• Adaptive flush: 고정 L 대신 traffic, acceptance rate, context, drift를 반영한 flush controller가 필요하다.
• State provenance: checkpoint와 buffer가 어떤 입력·도구 호출·센서 사건을 요약했는지 추적해야 한다.
• Contamination detector: incompatible update가 상태를 훼손했음을 출력 오류 전에 감지하는 기준이 없다.
• Reset and merge: 장기 session에서 state를 언제 reset, fork, merge할지 학습된 정책과 안전 규칙이 필요하다.
• Fair comparison: 같은 데이터, quantization, batch, context, kernel tuning, 하드웨어에서 attention·SSM·hybrid를 비교해야 한다.
• Korean professional tasks: 한국어 전문문서, 로봇 작업지시, 설비 로그에서 recall·tracking·설명 충실도를 함께 검증한 근거가 부족하다.

설명가능한 상태와 빠른 상태가 같은 표현이어야 할 필요는 없지만, 둘 사이의 일치 여부를 검증할 계약은 필요하다.

PART 11 · FUTURE DIRECTIONS

Adaptive State Operating System으로 확장한다

연구 제안 다음 세 층을 결합한 Adaptive State OS를 제안한다.

1. Storage plane: 압축 state + 최근 입력 replay buffer + 필요 구간 attention/KV + 외부 증거 memory를 계층화한다.
2. Governance plane: 상태별 provenance, contamination score, attribution map, precision, age, reset 조건을 유지한다.
3. Control plane: p95·energy·회수 실패·state drift를 관측해 window, 정밀도, stream 수, external retrieval을 동적으로 배정한다.

벤치마크는 token/s 하나가 아니라 성공 작업당 Joule, p95 latency, peak HBM, exact evidence recall, rollback cost, attribution faithfulness, state contamination detection, error recovery rate를 함께 보고해야 한다.

ETRI 단계적 검증 ① 동일 학습데이터·양자화·하드웨어의 attention/SSM/hybrid 비교, ② 상태 오염·통신 단절·센서 누락 주입시험, ③ 장기 로봇·설비 실증에서 상태 reset/rollback 감사, ④ high-level planning 이득과 low-level safety를 분리 검증한다.

최종 해석 Mamba의 다음 경쟁력은 상태를 얼마나 작게 만드는가보다, 상태를 얼마나 싸게 갱신하고 정확히 설명하며 안전하게 격리·복구하는가에서 결정될 가능성이 크다.