The State Cache Is Part of the Model: bf16 Rounding and Hybrid Mamba Reasoning

THE CENTRAL QUESTION

같은 모델 가중치와 같은 bf16 저장량이라도, 순환 state를 매 토큰 어떻게 반올림하느냐가 “생각이 끝나는가”까지 바꾼다면 state cache는 모델의 일부로 평가해야 하지 않는가?

2026년 11월 9일 최초 공개된 Lost in Rounding은 이 질문에 직접 답한다. 저자들은 6개 공개 hybrid reasoning 모델에서 순환 상태만 FP32↔bf16으로 바꾸고, bf16 round-to-nearest(RTN)가 5개 모델의 출력을 길게 만들며 cap hit를 늘린다고 보고했다. 같은 bf16 폭의 stochastic rounding(SR)은 affected model 5개 중 4개에서 길이·cap·정확도를 FP32 수준으로 되돌렸다. 이는 단순한 메모리 절감 문제가 아니라 closed-loop behavior의 문제다.

FACT = 검증된 서지·설정AUTHOR CLAIM = 저자 보고 결과INTERPRETATION = 본 글의 종합PROPOSAL = 검증 전 연구 제안

Definition

모델, mixer, state cache를 구분한다

LFM은 Liquid AI가 개발한 foundation model 제품군이다. Mamba는 입력 의존 selection을 갖는 state-space architecture다. Hybrid reasoning model은 attention과 Mamba-2 또는 Gated DeltaNet(GDN) 같은 recurrent mixer를 층별·병렬·교차 방식으로 결합한 생성 모델이다. State cache는 각 요청의 순환 state를 decode 동안 유지하는 serving-side 저장소다.

FACTLFM=LTC=LNN=Mamba라는 동일시는 틀리다. LFM2는 입력 의존 게이트 단거리 합성곱과 일부 GQA를 결합하지만, 모든 LFM 세대에 이 구조를 소급할 수 없다. 이번 새 실험은 Liquid AI의 LFM/LFM2/LFM3를 측정하지 않았다.

RTN(round-to-nearest)은 FP32 계산값을 가장 가까운 bf16 값으로 결정론적으로 반올림한다. SR(stochastic rounding)은 두 인접 bf16 값 중 하나를 정확한 값의 상대 위치에 비례해 선택해, 기대값에서 반올림을 비편향으로 만든다. 둘은 저장 폭이 같지만 누적 오차의 방향성이 다르다.

INTERPRETATIONstate dtype과 rounding mode는 “엔진 튜닝 값”이 아니라 모델의 유효한 전이함수(effective transition function)를 구성한다. 같은 weights라도 state transition을 다르게 근사하면 실제 생성 과정은 다른 동역학을 따른다.

Problem Definition

공통 목표는 긴 이력에서 품질을 최대화하면서 p95 latency, peak memory, energy, output budget 제약을 동시에 만족하는 것이다. recurrent cache를 FP32에서 bf16으로 줄이면 요청당 cache가 절반이 되어 동시 요청 수를 늘릴 수 있다. 그러나 반올림이 종료 확률을 낮추고 생성 토큰을 늘리면 저장 절감이 decode 시간·전력·GPU 점유로 되돌아온다.

maximize Quality(θ, q) subject to p95 ≤ L, PeakMemory ≤ M, Energy/Success ≤ E, CapRate ≤ C, LoopRate ≤ R

여기서 q는 state format과 rounding policy다. 정확도만 비교하면 cap에서 멈춘 실패와 정상 종료를 혼동하고, memory만 비교하면 길어진 생성 비용을 놓친다. 따라서 상태 압축은 resident bits/value, 처리량, output length, cap hit, loop, task success를 함께 측정해야 한다.

BOUNDARY표준 full attention은 prefill이 길이에 대해 이차 연산, KV cache가 선형 메모리, decode 한 토큰의 attention이 이력 길이에 선형이다. 고정 상태 순수 SSM은 전체 연산을 선형으로 하고 순환 state를 길이와 독립적으로 유지할 수 있다. 그러나 LFM2나 full-attention hybrid 전체를 O(1) memory·완전 선형이라고 부를 수 없다. GQA는 KV 계수를 줄일 뿐 길이 의존을 제거하지 않는다.

Core Concepts

3.1 선택적 상태 전이

h_t = Ā_th_t−1 + B̄_tx_t, y_t = C_th_t

선택성은 입력마다 무엇을 기억·망각·읽을지를 조절한다는 뜻이지, 추론 중 model weights를 다시 학습한다는 뜻이 아니다. 순환 state의 크기가 sequence length와 독립이라는 말도 무한 정보를 완전 보존한다는 뜻이 아니다. 유한 state에는 task-dependent compression과 interference가 남는다.

3.2 반복 반올림과 write erasure

bf16은 8개의 유효 비트를 갖고, 논문은 최소 상대 half-spacing을 u=2⁻⁹로 둔다. 한 step의 state 변화가 저장된 값에 비해 대략 u보다 작으면 RTN이 update를 없애 state가 움직이지 않을 수 있다. 저자들의 leaky-integrator illustration에서는 decay rate가 r≲u일 때 RTN이 decay를 얼리고, u<r≲4u에서 왜곡하며, SR은 기대값에서 비편향이었다.

AUTHOR CLAIM이 toy는 mechanism을 보여주지만 어떤 실제 head가 중요한지는 예측하지 못한다. 실제 Nemotron-Nano-v2에서는 0.57u≤r<4.1u 구간의 25% head에 SR을 적용하면 길이 효과가 거의 사라졌지만, 이 선택 규칙은 Nemotron-3과 Qwen3.5-9B에 일반화되지 않았다.

3.3 same-width causal test

FP32와 bf16을 비교하면 resolution과 rounding bias가 함께 변한다. 반면 bf16 RTN과 bf16 SR은 storage width가 같고 반올림 bias만 다르다. 따라서 SR이 행동을 회복하면 “bf16 비트 수가 부족해서”라는 설명보다 “결정론적 반올림 편향이 반복 누적돼서”라는 인과 설명을 더 강하게 지지한다.

3.4 test-time feature learning과 weight update의 경계

2025년 10월 14일 최초 공개되고 2026년 11월 8일 NeurIPS 2026 camera-ready v4로 개정된 Mamba ICL 이론은 단일-index 비선형 target에서 pretrained Mamba가 context examples로 task-relevant direction을 추출할 수 있음을 보인다. 저자들은 nonlinear gating이 핵심이라고 분석한다. 이는 prompt를 통해 state representation이 적응한다는 이론이지, inference 중 weights가 gradient descent로 갱신된다는 뜻이 아니다.

Introduction

최근 Mamba 연구는 “attention보다 선형인가”라는 operator 비교에서, 무엇을 유한 state에 남길지, 언제 정확히 회수할지, low precision에서 transition이 얼마나 오래 안정적인지, 실제 kernel에서 효율이 남는지를 묻는 방향으로 이동하고 있다. 10월 25일의 기존 글은 periodic INT4/8 quantization과 buffer를 사용해 state memory를 줄이는 PACE를 분석했다. 이번 새 근거는 다른 질문을 다룬다.

구분	기존 PACE 분석	이번 Lost in Rounding
핵심 변화	INT4/8 혼합, periodic materialization, 최근 token buffer	FP32↔bf16 RTN↔같은 폭의 bf16 SR
주 질문	resident state memory와 throughput을 얼마나 줄이는가	반올림 정책이 generation behavior를 바꾸는가
주 지표	bits/value, 5-task 평균, TPOT	output length, cap hit, exact loop, accuracy/pass@1
핵심 새 근거	period를 늘리면 반올림 횟수를 줄일 수 있음	같은 bf16 storage에서 bias 제거만으로 행동 회복 가능

INTERPRETATION상태 연구의 흐름은 효율적 operator → memory capacity → access와 state tracking → numerical transition integrity → closed-loop termination으로 확장되고 있다. memory byte가 줄어도 종료하지 못해 더 많은 토큰을 만들면 성공 작업당 효율은 악화될 수 있다.

Motivation and Background

recurrent hybrid는 KV cache 성장을 줄이고 긴 decode에서 유리할 수 있지만, 각 sequence마다 state cache가 필요하다. 논문 저자들의 서버에서는 bf16 state가 FP32의 절반이라 동시 요청을 두 배까지 수용했다. 이 장점은 온디바이스·로컬 RAG·agent serving에서 중요하다. 동시에 state는 다음 state의 입력이므로 rounding error가 피드백되고, 아주 작은 update가 계속 지워지면 모델이 사실상 다른 memory dynamics를 따른다.

Lost in Rounding은 Mamba-2 hybrid 세 계열, GDN hybrid 두 모델, attention–Mamba-2 병렬 모델 한 개를 포함한다. weights와 activations는 bf16으로 고정하고 recurrent state dtype만 바꿨다. 따라서 관찰된 차이는 weight quantization이나 prompt 변경보다 state cache policy에 더 직접 귀속된다.

FACT서지 상태: Lost in Rounding은 2026-11-09 arXiv v1(13쪽, 표 7개)이며 학회 채택 기록이 없는 preprint다. Mamba ICL 논문은 2025-10-14 v1, 2026-11-08 v4이며 NeurIPS 2026 camera-ready라고 명시한다. Liquid AI는 2026-10-27 LFM3 제품군을 공식 발표했지만, 이번 실행일 현재 이 두 새 근거와 연결된 새 LFM technical report는 확인되지 않았다.

Mamba 원논문(2023 최초 공개)과 Mamba-2(2024)는 배경 연구다. 이번 글은 2025-01-01 이후의 새 연구만 업데이트 근거로 사용하며, 2024년 이전 자료는 개념 배경으로만 표기한다.

Challenges

정확 회수와 압축 충돌

고정 state는 길이와 무관한 storage를 주지만, task-relevant detail과 작은 update를 모두 무손실로 담지는 못한다.

수치 오차의 feedback

state가 다음 step의 입력이라 rounding bias가 coherent하게 반복될 수 있다. 단일-step error로 장기 행동을 예측하기 어렵다.

종료와 cap의 혼입

32K cap에서 정답이 잘리면 accuracy gap은 capability, verbosity, non-termination을 섞는다. 128K 재실험과 loop count가 필요하다.

teacher-forced와 closed-loop의 차이

고정 trace의 KL이 큰 head가 실제 자유 생성의 길이를 지배한다고 보장할 수 없다.

kernel 비용

SR의 RNG가 비싸면 memory 이득이 latency에서 사라진다. Philox 구현과 integer-hash 구현의 결과가 크게 달랐다.

일반화 경계

head decay band 선택은 한 lineage에서만 성공했다. engine, GPU, task, seed, model family가 바뀌면 결과가 달라질 수 있다.

여기에 훈련 길이 밖 일반화, 데이터·증류·architecture 효과 분리, CPU/GPU/NPU kernel 차이, 한국어 전문업무의 회수·종료 특성이 남는다. 수치 precision은 평균 정확도만의 문제가 아니라 장기 session drift, reset 정책, 오류복구 가능성의 문제다.

Research Questions

Memory budget: 동일 resident memory에서 어떤 head·channel·time scale의 update를 우선 보존해야 하는가?
Minimal attention: exact retrieval과 state tracking을 회복하는 최소 attention 비율과 배치는 무엇인가?
Transition expressivity: 더 풍부한 state transition과 parallel training·stable low-precision inference의 균형점은 어디인가?
Precision stability: bf16·FP16·FP8·INT8·INT4에서 RTN/SR/dither가 long-horizon state와 종료 확률에 미치는 효과를 통일해 설명할 수 있는가?
Closed-loop selection: teacher-forced KL보다 generation length·loop·success를 잘 예측하는 head 중요도 지표는 무엇인가?
Theory-to-system: nonlinear gating의 test-time feature learning이 low precision에서도 유지되는가, 아니면 작은 feature update가 write erasure로 사라지는가?
Agent validity: synthetic state-tracking 점수와 실제 agent 성공률·오류복구율·성공 작업당 Joule은 얼마나 상관하는가?

Approaches (Methods)

8.1 여섯 hybrid 모델의 paired serving 실험

AUTHOR METHOD모델은 Nemotron-Nano-9B-v2·12B-v2(Mamba-2 hybrid), Nemotron-3-Nano-30B-A3B(Mamba-2 MoE hybrid), Qwen3.5-9B·Qwen3-Next-80B-A3B-Thinking(GDN hybrid), Falcon-H1R-7B(attention과 Mamba-2 병렬)이다. 수학은 MATH-500+AIME 2024/2025+HMMT 2025로 총 590문제다. output cap은 32,768 new tokens, engine은 SGLang 0.5.21, hardware는 RTX PRO 6000 Blackwell 8장이다. 대부분 DP8이고 Qwen3-Next는 TP4×DP2다.

모델	recurrent mixer	bf16 RTN / FP32 길이	32K cap FP32→bf16	accuracy FP32→bf16
Qwen3.5-9B	GDN	×1.265	118→223	85.6→70.8
Qwen3-Next-80B-A3B	GDN	×1.070	16→24	95.9→94.6
Nemotron-Nano-9B-v2	Mamba-2	약 ×1.20	1→31(주 SR 표의 arm)	89.3→88.8
Falcon-H1R-7B	parallel Mamba-2	×1.008	26→27	92.9→93.4

AUTHOR CLAIM6개 중 5개 모델에서 bf16 RTN이 output을 길게 했고, 이 5개 모두 cap hit가 늘었다. Falcon-H1R은 null이며 저자들은 이유를 설명하지 못했다. greedy decoding에서도 Nemotron-Nano-9B-v2와 Qwen3.5-9B의 효과가 유지돼 sampling artifact만으로 설명되지 않는다.

8.2 128K budget은 “더 생각”과 “끝나지 않음”을 분리한다

Qwen3.5-9B에서 32K cap에 걸린 268개 item을 128K로 다시 실행했을 때 미종료는 FP32 44개, bf16 RTN 93개였다. 이 중 exact repetition loop는 42개와 79개다. rerun item의 median output은 19,951 대 41,949 tokens였고, 전체 590문제의 relaxed accuracy는 93.6% 대 86.6%였다. 즉 budget을 4배 늘려도 gap이 사라지지 않았다.

INTERPRETATION모델별 failure mixture가 다르다. Nemotron-Nano-9B-v2는 주로 “더 많은 token을 써서 결국 끝나는” 비용이었고, Qwen3.5-9B는 exact loop와 non-termination이 함께 늘었다. 따라서 output length 자체를 reasoning quality로 해석하면 안 된다.

8.3 같은 bf16 폭의 SR이 행동을 회복한다

모델	cap FP32 / RTN / SR	accuracy FP32 / RTN / SR	결론
Nemotron-Nano-9B-v2	1 / 31 / 0	89.3 / 88.8 / 89.7	FP32 수준 회복
Nemotron-Nano-12B-v2	0 / 17 / 0	90.0 / 90.5 / 90.3	FP32 수준 회복
Nemotron-3-Nano-30B-A3B	36 / 81 / 41	92.5 / 87.3 / 92.2	tail·accuracy 회복, 길이 bulk shift 잔존
Qwen3.5-9B	118 / 223 / 111	85.6 / 70.8 / 87.6	대부분 회복
Qwen3-Next-80B-A3B	16 / 24 / 15	95.9 / 94.6 / 96.1	FP32 수준 회복

Qwen3.5-9B의 integer-hash SR은 cap 113, accuracy 85.6%로 FP32의 118과 85.6%에 맞았고, end-to-end 10,393 tokens/s로 같은 날 bf16 RTN 10,163 tokens/s보다 느리지 않았다. 그러나 기본 Philox를 사용한 GDN SR kernel은 batch에 따라 RTN 속도의 30–60%에 그쳤다. SR이라는 수치 방법과 RNG/kernel 구현을 분리해 평가해야 한다.

8.4 code generation에서도 재현되지만 finished-only metric은 뒤집힌다

LiveCodeBench 175문제×2 sample에서 Nemotron-Nano-9B-v2는 bf16 RTN으로 길이 ×1.37, cap 36→162, pass@1 58.3→45.7이었고 SR은 cap 30, pass@1 59.4로 회복했다. Qwen3.5-9B는 길이 ×1.09, cap 169→233, pass@1 46.3→32.9였고 SR은 45.4까지 회복했다. 그러나 완료한 sample만 보면 bf16 RTN pass@1이 오히려 높았다. 이는 긴 실패가 cap으로 탈락해 생긴 selection bias다.

8.5 head localization과 반례

Nemotron-Nano-9B-v2의 3,456 Mamba head 중 decay rate가 0.57u–4.1u인 864개(25%)에만 SR을 적용하면 전체 excess length의 1.03[0.86,1.23]을 제거했다. 반면 teacher-forced KL이 가장 큰 slowest head 조합은 0.59만 제거했고, 가장 느린 octile 단독은 효과가 없었다. 같은 decay band는 12B parent에서 재현됐지만 Nemotron-3과 Qwen3.5-9B에는 전이되지 않았다.

LIMITATION모든 run은 SGLang 한 버전과 RTX PRO 6000 Blackwell 한 종류에서 수행됐다. 대부분 arm은 single seed다. 128K 분석은 두 모델뿐이고, SR은 decode에만 적용돼 prefill은 RTN이다. head localization의 엄격한 control은 9B 한 모델에서만 수행됐다. 따라서 어느 model·hardware에서도 SR이 우월하다고 주장할 수 없다.

8.6 Mamba ICL v4: 표현력에 대한 별도의 이론 축

AUTHOR CLAIMOh, Huang, Suzuki는 simplified one-layer Mamba+MLP와 single-index target y≈g*(〈β,x〉)에서 pretrained Mamba가 context examples로 relevant direction β를 추출하는 test-time feature learning을 증명한다. sample complexity는 분석된 linear Transformer보다 낫고 nonlinear Transformer와 comparable하다고 주장한다. nonlinear gating이 purely linear recurrent update의 한계를 넘는 핵심이다.

INTERPRETATION두 논문은 직접 같은 실험을 하지 않았다. 하나는 simplified theory에서 gating의 feature extraction 가능성을, 다른 하나는 production-scale open models에서 finite-precision state transition의 행동 영향을 보인다. 함께 읽으면 “표현할 수 있는가”와 “serving precision에서 그 update가 살아남는가”를 별도 검증해야 한다는 연구 의제가 생긴다.

Key Applications

온디바이스 reasoning

memory budget 때문에 bf16/FP16 state를 쓰더라도 cap·loop·energy를 함께 추적해 배터리와 응답시간을 보호한다.

로컬 RAG

긴 문서 회수 뒤 생성이 끝나지 않는 failure를 retrieval miss와 분리하고 state dtype을 재현성 metadata에 포함한다.

code agent

pass@1을 completed sample에만 계산하지 않고 전체 요청, cap hit, exact loop, retry cost와 함께 보고한다.

스트리밍 음성·비전

작은 지속적 update가 반복 소거되는지 장기 stream에서 검사하고 reset·checkpoint 주기를 함께 설계한다.

PROPOSALETRI/Physical AI에서는 sensor state tracking, robot high-level planning, edge operation intelligence에 이 원리를 적용할 수 있다. 다만 저수준 motor control은 생성형 reasoning보다 더 엄격한 안정성·worst-case 검증이 필요하므로 별도 safety loop와 deterministic fallback을 둬야 한다.

Open Problems

유한 state의 과제별 한계: 정확 회수, parity, counting, latent world state가 요구하는 최소 상태와 precision을 연결하는 하한이 부족하다.
망각 탐지: update가 RTN으로 사라졌는지, 모델이 의도적으로 잊었는지 runtime에서 구분하기 어렵다.
장기 session drift: 수십만·수백만 token의 state drift, reset, checkpoint, cross-session contamination을 실험한 공개 benchmark가 부족하다.
precision allocation: teacher-forced KL, decay rate, activation scale가 closed-loop importance를 안정적으로 예측하지 못한다.
공정 비교: weights, data, prompt, decoding, engine, kernel, batch, cap, state dtype를 고정한 reproducible benchmark가 필요하다.
한국어 전문업무: 수학·영문 code를 넘어 한국어 법률·과학·운영 문서의 장기 회수와 termination을 검증해야 한다.
LFM 외삽 금지: 이번 결과가 Liquid AI의 LFM2/LFM3에 적용되는지는 공개 architecture·state dtype·kernel 조건을 확인하기 전 알 수 없다.

Future Directions

11.1 State-cache contract를 공개한다

PROPOSAL모델 카드와 serving benchmark에 resolved state dtype, rounding mode, prefill/decode 정책, cap rate, output-length distribution, exact-loop rate, 성공 작업당 Joule을 필수로 기록한다. engine flag가 아니라 실제 kernel에서 resolve된 dtype을 남긴다.

11.2 계층형 memory와 adaptive precision

압축 state로 stream 전체를 추적하고, exact evidence가 필요한 구간에는 attention을 사용하며, 외부 evidence memory로 출처를 보존하는 계층형 system을 설계한다. state uncertainty·decay rate·update magnitude·loop precursor를 이용해 필요한 때만 FP32 또는 SR budget을 늘리는 adaptive policy를 시험한다.

11.3 closed-loop benchmark를 우선한다

teacher-forced KL은 진단 지표로 남기되, free generation에서 length, cap, loop, task success, retry와 recovery를 primary outcome으로 둔다. 32K 하나가 아니라 8K/32K/128K budget curve를 보고해 “더 생각하면 풀림”과 “끝나지 않음”을 분리한다.

11.4 ETRI용 단계적 검증

통제 실험: 동일 weights·data·quantization·hardware에서 FP32, bf16 RTN, bf16 SR, FP16을 비교한다.
고장 주입: state 오염, 통신 단절, sensor dropout, session reset, cap 변경을 시험한다.
task 연결: synthetic state-tracking과 실제 robot/설비 task success의 상관을 측정한다.
현장 실증: p95 latency, peak memory, success/Joule, 근거 회수율, 오류복구율을 장기 운영에서 보고한다.

최종 설계 기준은 “몇 bit인가”가 아니라 “유효한 update를 보존하면서 정확히 끝내고, 제한된 에너지 안에서 성공하는가”다. state cache가 행동을 바꾼다면, state cache는 이미 모델의 일부다.

Sources & Version Ledger

Lost in Rounding: bf16 Recurrent State Makes Hybrid Reasoning Models Think Longer. arXiv:2611.12127. 최초 공개/현재 v1: 2026-11-09. 학회 기록 없음. Abstract · HTML
Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning. arXiv:2510.12026. 최초 공개: 2025-10-14. v4 개정: 2026-11-08. NeurIPS 2026 camera-ready. Abstract · v4 HTML
Mamba: Linear-Time Sequence Modeling with Selective State Spaces. 2023년 최초 공개, 2024년 학회 발표. 본문 개념 배경. arXiv
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality. 2024년 공개된 Mamba-2 배경. arXiv
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States. 2026-10-21 최초 공개. 새 논문과의 중복·차이를 확인하기 위한 기존 분석의 원문. arXiv
LFM2 Technical Report. Liquid AI, arXiv:2511.23404. 최초 공개: 2025-11-28. LFM2 architecture 경계 확인용. arXiv
Introducing LFM3. Liquid AI 공식 제품 발표, 2026-10-27. 논문이 아닌 기업 발표로 구분. Official blog

EVIDENCE POLICY표의 수치는 원문 저자 보고다. 모델·규모·engine·GPU·context/output cap·precision·batch가 다른 연구 사이의 수치를 직접 순위화하지 않았다. 이 글은 특정 architecture가 모든 조건에서 우월하다고 주장하지 않는다.