4비트 상태는 처음에는 기억한다.
문제는 천 토큰 뒤다.

PART 01 · DEFINITION

반복 상태 양자화는 저장 압축이 아니라 폐루프 수치 동역학이다

확인된 사실 일반적인 weight quantization은 고정된 텐서를 낮은 정밀도로 근사한다. recurrent-state quantization은 매 token마다 상태를 읽고 갱신한 뒤 다시 양자화한다. 그러므로 이전 step의 반올림·clipping 오차가 다음 step의 입력이 된다.

동적 방식은 현재 상태에서 scale s_t를 계산한다. 상태가 오차로 커지면 scale도 커지고, 커진 scale은 작은 성분의 해상도를 낮춰 다시 상태를 바꾼다. 이것이 scale–state feedback이다. 반대로 persistent scaling은 calibration에서 정한 scale을 유지해 이 feedback edge를 끊는다.

선택성은 입력마다 기억·망각·쓰기·읽기를 조절한다는 뜻이지, 추론 중 가중치를 학습한다는 뜻이 아니다. 또한 fixed-size state는 메모리 크기가 길이에 독립이라는 뜻이며 무한한 과거를 완전 보존한다는 보장은 아니다.

PART 02 · PROBLEM DEFINITION

품질·지연·에너지 제약에 “노출 지평”을 추가한다

공통 목표는 긴 이력을 유지하면서 정확도와 처리 효율을 확보하는 것이다. 그러나 저정밀 recurrent model에서는 같은 INT4라도 상태가 몇 step 동안 반복 양자화되었는지에 따라 전혀 다른 모델이 된다.

편집 해석 배포 승인 질문은 “INT4가 되는가?”가 아니라 “목표 세션 길이까지 INT4 상태가 무상태 기준보다 여전히 가치가 있는가?”여야 한다. Vision Mamba에서는 여기에 static compilation 가능성과 runtime statistics 부재가 제약으로 추가된다.

PART 03 · CORE CONCEPTS

세 개의 축을 분리해야 실패가 보인다

확인된 사실 표준 full attention은 prefill 연산이 문맥 길이에 대해 이차적이고 KV cache가 선형 증가하며, decode 한 token의 attention은 이력 길이에 선형이다. 순수 고정상태 SSM은 총 scan 연산이 선형이고 recurrent state 크기가 길이에 독립적이다. 하지만 상태를 매 token 읽고 쓰는 비용과 양자화 누적 오차는 남는다.

LFM2는 입력 의존 gate를 가진 단거리 convolution과 일부 GQA를 결합한다. GQA는 KV cache 계수를 줄이지만 길이에 대한 선형 의존을 없애지 않는다. LFM = LTC = LNN = Mamba라는 동일시는 잘못이며, 모든 LFM 세대에 LFM2 구조를 소급할 수도 없다.

PART 04 · INTRODUCTION

짧은 benchmark가 안전한 bit-width를 과대평가한다

저자 보고 “When Dynamic Scaling Fails”에서 per-token dynamic INT4는 quantized exposure H=0에서 합성 needle recall을 완전히 유지하지만, GDN-0.8B는 H=1024에서 0.08, H=2048에서 0이 된다. Mamba-2-1.3B는 더 늦게 무너지지만 INT4 recall이 H=1024 1.00에서 H=2048 0.33으로 떨어진다. 12개 seed 기준이며, Mamba-2의 full-precision 자체도 H=8192에서는 probe를 풀지 못한다. [1]

더 중요한 점은 retrieval probe가 기능 손상을 늦게 본다는 것이다. 사실 하나를 회수해도 자연문장 NLL은 크게 나빠질 수 있다. “기억했다”와 “좋은 언어모델로 남아 있다”는 같은 검사가 아니다.

편집 해석 효율적 sequence model 연구의 중심이 연산자 복잡도에서 기억 회수·상태 추적·수치 안정성·커널 및 하드웨어 공동 설계로 이동하고 있다. 이번 두 논문은 그 이동을 시간축과 공간축에서 각각 보여준다.

PART 05 · MOTIVATION AND BACKGROUND

고정 상태가 작아도, 정밀도와 traffic은 공짜가 아니다

긴 decode에서 recurrent state는 순수 SSM의 전체 cache이며, hybrid model에서도 moderate context와 큰 batch에서 무시하기 어렵다. 첫 논문이 든 예에서 Mamba-2-1.3B state는 96MB이고 attention layer가 없어 모든 길이에서 cache 전체를 차지한다. Qwen3.5-0.8B의 recurrent state는 18MB이며, attention KV와 합친 cache 중 비중은 2K에서 43%, 8K에서 16%, 32K에서 4.5%로 줄어든다. 모델·dtype·batch에 따라 절대치는 달라진다.

한편 이미지 복원에서는 선택적 스캔 뒤 activation range가 공간 token마다 크게 다르다. 하나의 layer-wide clipping range는 작은 범위 token에 해상도를 낭비하거나 큰 응답을 잘라낸다. 실행 중 post-scan 통계를 쓰면 그룹은 좋아지지만 같은 block을 먼저 관찰하고 다시 실행해야 하므로 저비트 가속이 사라질 수 있다.

공통 동기는 압축률 자체가 아니라 모델 내부 상태의 역할을 보존하면서 메모리 traffic과 실장치 시간을 줄이는 것이다.

PART 06 · CHALLENGES

수치 안정, 기능 보존, 하드웨어 실현 가능성은 서로 다르다

“폭주를 막았다”는 곧 “정보를 보존했다”가 아니며, “정확도를 회복했다”는 곧 “실장치에서 빨라졌다”가 아니다.

PART 07 · RESEARCH QUESTIONS

비트 수를 넘어 검증 가능한 질문으로 바꾼다

1. 동일한 memory budget에서 어떤 layer·channel·state mode를 우선 보호해야 하는가?
2. scale–state feedback의 onset을 online norm, entropy, clipping rate, NLL proxy로 조기 탐지할 수 있는가?
3. architecture마다 persistent single scale과 group-wise scale의 우열이 바뀌는 조건은 무엇인가?
4. training-free fake quantization에서 관찰한 실패가 실제 integer kernel과 end-to-end task에서 얼마나 재현되는가?
5. Vision Mamba의 pre-scan feature가 post-scan quantization regime을 예측하는 최소 표현은 무엇인가?
6. 한국어 장문 생성·도구사용 agent·센서 stream에서 합성 recall과 실제 성공률의 관계는 무엇인가?
7. 성공 작업당 Joule, p95 latency, state-value horizon, 근거 회수율, 오류 복구율을 한 protocol에서 비교할 수 있는가?

PART 08 · APPROACHES (METHODS)

시간축은 feedback을 끊고, 공간축은 oracle을 정적으로 근사한다

A. Scale–state feedback 실험

저자 방법 Qwen3.5 GDN 0.8B·2B와 Mamba-2 1.3B에서 recurrent state만 training-free fake quantization하고, 나머지는 full precision으로 둔다. natural continuation의 excess NLL, NIAH recall, state norm, zero-state control을 H에 따라 측정한다. scale yoking, cap, periodic reset, persistent static/group-wise scale로 causal intervention을 구성한다.

저자 보고 16개 독립 문서, single batch 결과다. dynamic INT4는 세 모델 모두 zero-state보다 나빴다. group-wise는 두 GDN에서 유리했지만 Mamba-2에서는 single persistent scale보다 0.16 nat 나쁘고 modeled rate도 4.0에서 5.0 bit/element로 늘었다. 즉 “group-wise가 항상 우월”하지 않다. [1]

GDN-0.8B의 7개 33,024-token concatenated context에서 group-wise INT4와 zero-state의 차이는 H=2048에 1.23 nat였으나 32K에서 0이 됐다. 32K에서는 상태를 유지한 비용을 냈지만, 버린 상태보다 정보 가치가 더 남지 않았다. 다만 이 장기 32K 실험은 Mamba-2에서 동일하게 재현되지 않았다.

B. Token-Group Quantization

저자 방법 calibration 때 post-scan activation descriptor를 K-means해 quantization regime pseudo-label을 만든다. inference 때는 quantized scan 이전 feature를 두 층 FFN이 읽어 group을 예측하고, layer·site·group별로 고정된 clipping-bound table을 선택한다. runtime statistics, dynamic clipping update, post-scan assignment가 없다. FPR은 full-precision teacher와 quantized student 출력의 Fourier amplitude와 phase를 함께 맞춘다.

저자 보고 96개 LR calibration patch, 기본 K=8, clipping-bound refinement 3,000 iteration, batch 8, RTX A6000 3장 조건이다. full pipeline 5 seed 표준편차는 W4A4에서 0.03dB 미만, W2A2에서 0.05dB 미만으로 보고됐다. predicted groups는 oracle gain의 Set14 82.3%, Urban100 81.3%를 회복했다. [2]

timing은 image마다 5회 warm-up, 10회 반복 평균이며 graph construction은 제외하고 predictor·lookup·quant/dequant·저비트 linear 실행은 포함한다. 저자들은 grouped path의 base 대비 overhead를 A6000 3.4%, Orin 2.2%로 보고한다. 이는 저자 구현·Set5·batch 1 조건의 결과이지 모든 NPU/해상도에서의 보편적 속도 우위가 아니다.

PART 09 · KEY APPLICATIONS

장문맥 서빙과 엣지 비전은 같은 평가 철학을 공유한다

연구 제안 ETRI/Physical AI에서는 설비 로그·카메라·음향 stream마다 state exposure counter와 정밀도 이력을 기록하고, drift threshold를 넘으면 state reset이 아니라 high-precision replay 또는 외부 evidence memory로 복구하는 계층형 정책을 검증할 수 있다.

로봇 고수준 계획과 운영지능에는 유망하지만 low-level control 안전성은 별도 검증 대상이다. 양자화 상태의 지연된 붕괴는 평균 benchmark가 아니라 worst-case hazard로 다뤄야 한다.

PART 10 · OPEN PROBLEMS

“언제부터 기억이 쓸모없어졌는가”를 아직 온라인으로 모른다

• Task-specific memory limit: 유한 상태가 어떤 정보 조합을 얼마 동안 보존할 수 있는지 일반 경계가 없다.
• Forgetting detector: state norm이 안정적이어도 기능 손실이 남으므로 norm만으로 망각을 탐지할 수 없다.
• Drift/reset policy: 장기 session에서 reset·checkpoint·precision escalation의 비용과 회복률을 함께 최적화해야 한다.
• Real integer recurrence: 첫 논문의 state-only fake quantization 결과를 fused integer update와 end-to-end serving에서 재검증해야 한다.
• Architecture transfer: GDN에서 유리한 group-wise policy가 Mamba-2에서는 역전됐다. Mamba-3·hybrid·LFM2로의 전이는 미검증이다.
• Fair benchmark: 동일 데이터·training recipe·bit allocation·kernel tuning·hardware·batch·H에서 비교해야 한다.
• Korean professional work: 한국어 장문 전문문서·RAG·도구사용에서 NLL, exact evidence recall, hallucination, recovery를 함께 본 근거가 부족하다.

양자화 상태의 품질은 tensor error가 아니라 미래 작업에 남아 있는 조건부 정보 가치로 측정해야 한다.

PART 11 · FUTURE DIRECTIONS

State Quantization Contract: 정밀도에 만료일을 붙인다

연구 제안 향후 시스템은 단순한 “INT4 지원” 대신 다음 계약을 공개해야 한다.

1. Certified horizon: 모델·task·bit-width별로 ΔNLL, recall, state-value가 허용범위를 만족하는 최대 H.
2. Adaptive budget: 평시에는 persistent low-bit state를 쓰고, drift·불확실성·위험도가 상승할 때 group 수·bit 수·attention window·외부 memory를 확장.
3. Evidence hierarchy: 압축 recurrent state + 필요한 구간 attention + 외부 근거 memory를 결합해 정확 회수와 저비용 누적을 분리.
4. Recovery protocol: state reset 전에 checkpoint replay, higher precision re-run, tool evidence re-fetch를 순서대로 시도하고 복구율을 기록.

ETRI 단계적 검증 ① 동일 학습데이터·양자화·hardware의 attention/SSM/hybrid 비교, ② 상태 오염·scale drift·통신 단절·센서 누락 주입시험, ③ 한국어 RAG·설비 진단의 장기 session, ④ robot high-level planning의 주 단위 실증으로 확장한다. 각 단계에서 low-level safety controller는 생성형 상태모델과 독립 검증한다.

최종 해석 Mamba의 저비트 미래는 더 작은 상태가 아니라, 언제까지 믿을 수 있는지 측정되고 실패 전에 정밀도를 늘릴 수 있는 상태에 달려 있다.