The Batch That Never Learned: Near-Zero Tokens and Silent Stalls in Mamba Training

THE CENTRAL QUESTION

손실값도 NaN도 멀쩡해 보이는데, 왜 어떤 Mamba 적응 학습은 배치의 정보를 조용히 버리는가?

2026년 11월 3일 최초 공개된 arXiv v1 프리프린트 Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models은 이 문제를 희귀 토큰, untied embedding, zero-at-origin gate, Pre-RMSNorm, FP32 global-norm clipping이 이어지는 수치적 고장 사슬로 설명한다. 정식 학회·저널 발표 및 개정본은 조사 기준일까지 확인되지 않았다.

[사실] arXiv v1 · 2026-11-03[저자 주장] 291 repositories audited[해석] training reliability ≠ inference complexity[제안] update-retention benchmark

PART 01 · DEFINITION

정의: 상태공간의 문제가 아니라 학습 경로의 문제

Mamba와 selective SSM

Mamba는 입력에 따라 상태 갱신과 읽기를 조절하는 selective state-space sequence architecture다. 순환 상태를 이용해 시퀀스를 처리하므로 순수 고정상태 SSM의 추론 상태 크기는 문맥 길이에 직접 비례하지 않는다. 그러나 이는 무한한 정보를 완전하게 보존한다는 뜻이 아니며, 수치적으로 안정적인 학습을 자동 보장하지도 않는다.

Near-zero token embedding과 silent training stall

논문은 도달 가능한 토큰의 입력 embedding row가 ‖e_t‖₂<10⁻⁶인 경우를 near-zero token으로 다룬다. silent stall은 FP32 전역 gradient norm이 무한대로 넘치면서 clipping scale이 0이 되어 현재 배치의 gradient가 모두 0으로 사라지지만, 예외나 NaN loss가 나타나지 않는 현상이다.

검증된 경계LFM은 Liquid AI의 모델군이고 Mamba는 아키텍처 계열이다. LFM2는 입력 의존 gated short convolution과 일부 GQA를 결합하며, LFM3는 별도의 tri-hybrid 제품군이다. 따라서 이 논문의 Mamba·Mamba-2·gated hybrid 결과를 LFM 전체, LTC 또는 LNN에 자동으로 소급할 수 없다.

PART 02 · PROBLEM FORMULATION

문제 정의: 빠른 모델이 실제로는 학습하지 않는 역설

기존 효율성 논의는 정확도, prefill·decode 연산량, KV cache 또는 순환 상태 크기에 집중했다. 하지만 현장 적응에서는 얼마나 빠르게 계산했는가보다 유효한 업데이트를 얼마나 보존했는가가 먼저다. 이를 다음과 같은 제약 최적화로 확장할 수 있다.

maximize Quality(θ) subject to p95 latency ≤ L, peak memory ≤ M, energy/task ≤ E, and update-retention ≥ R

19.8%의 학습 step이 조용히 사라진다면 이론적 선형시간 이점만으로 시스템 효율을 설명할 수 없다. 유효 연산량은 단순 FLOPs가 아니라 총 연산 × 유효 업데이트 비율과 함께 봐야 한다.

구성	Prefill / 전체 처리	Decode 한 토큰	이력 저장	이번 연구가 추가한 위험
표준 full attention	길이에 대해 이차 연산	이력 길이에 선형	KV cache가 길이에 선형	동일 near-zero row가 있어도 비초기 위치의 attention 문맥이 scale을 회복할 수 있음
고정상태 순수 SSM	총 선형 연산	순환 갱신	길이와 독립인 고정 상태	현재 토큰 gate가 0에서 사라지면 과거 상태 readout도 억제될 수 있음
Hybrid / LFM류	배치된 operator에 따라 혼합	attention 층 수·배치에 의존	SSM state + attention KV	첫 attention 이전의 연속 gated block 수가 수치 위험을 좌우할 수 있음

GQA는 KV cache의 계수를 줄이지만 길이에 대한 선형 의존을 없애지 않는다. 마찬가지로 gated recurrence는 추론 메모리를 줄여도 학습 안정성 문제를 없애지 않는다.

PART 03 · CORE CONCEPTS

핵심 개념: 0에 가까운 입력이 10³⁰배 gradient가 되는 경로

선택적 상태 갱신과 “선택”의 정확한 의미

h_t = Ā_th_t−1 + B̄_tx_t, y_t = C_th_t

선택성은 입력별로 무엇을 쓰고, 무엇을 잊고, 무엇을 읽을지 조절하는 것이다. 추론 중 가중치를 새로 학습한다는 의미가 아니다. 이 논문이 다루는 취약점은 상태 전이 자체보다, 현재 토큰으로 계산한 SiLU gate 또는 linear query가 0 입력에서 사라져 과거 상태를 출력으로 읽는 경로를 약화시키는 데 있다.

세 단계의 수치적 증폭

형성: 사전학습 중 한 번도 나타나지 않은 untied input row는 입력 gradient를 받지 못하지만 AdamW decay는 계속 적용된다.
전파: SiLU(0)=0인 gate가 과거 상태 readout을 거의 0으로 만들면 residual stream도 작은 상태로 여러 층을 통과한다.
붕괴: RMS magnitude가 √ε 아래일 때 Pre-RMSNorm은 층마다 최대 1/√ε, ε=10⁻⁶이면 약 10³배를 역전파에 곱한다. gradient entry가 1.84×10¹⁹를 넘으면 제곱 합이 FP32 범위를 넘어 ∞가 되고, finite gradient를 ∞로 나눈 clipping 결과는 정확히 0이 된다.

해석이 현상은 “기억이 없어서”라기보다 기억을 읽는 현재 토큰의 경로가 0 근방에서 닫히고, 정규화가 역전파에서 그 작은 신호를 폭증시키는 문제다. 기억 보존, 상태 접근, 수치 안정성은 분리해 평가해야 한다.

PART 04 · INTRODUCTION

도입: 손실 곡선이 알려주지 않는 실패

희귀 언어 subword, 새로운 스크립트, 코드의 CRLF 조각, 새 chat template tag는 일반 benchmark에서 거의 등장하지 않는다. 출력 head는 정상일 수 있어 inference 성능도 멀쩡해 보인다. 그러나 full-parameter continual pretraining이나 instruction tuning에서 해당 토큰이 처음 등장하면 문제는 optimizer 단계에서 터진다.

저자들은 291개 open-weight repository, 280개의 고유 embedding table을 조사했다. weight-tied 모델에서는 도달 가능한 near-zero row가 0%였지만, untied gated/hybrid checkpoint에서는 52.6%(20/38)였다. Untied Transformer에서도 30.9%(47/152)가 발견됐으나 비초기 위치 또는 BOS가 있는 조건에서는 attention이 이전 value를 주입해 scale을 회복했다.

저자 주장문제는 loss가 NaN이 되지 않아 표준 대시보드에서 놓치기 쉽다. 실제로 Nemotron-3-Nano-4B의 Telugu continual pretraining에서는 기본 FP32 global clipping이 평균 198.3±9.9개의 1,000 step, 즉 약 19.8%에서 현재 배치의 gradient를 사실상 잃었다.

PART 05 · MOTIVATION & BACKGROUND

필요성과 배경: 장기 문맥 경쟁이 만든 새로운 신뢰성 표면

Mamba 연구의 초기 동기는 긴 이력과 낮은 추론 비용, 높은 정확도를 동시에 달성하는 것이었다. 2025–2026년 흐름은 효율적인 operator 그 자체에서 기억 회수, 상태 추적, hybrid 배치, 저정밀 안정성, 하드웨어·학습 공동설계로 이동했다. 이번 결과는 여기에 어휘와 optimizer가 만드는 학습 신뢰성을 추가한다.

왜 multilingual adaptation인가

저자 audit에서 영향을 받은 row에는 Telugu·Basque subword, Cyrillic Mongolian 단어 등이 포함됐다. 저자 분석에 따르면 낮은 자원 언어 적응은 기존 benchmark가 거의 만지지 않던 토큰을 반복적으로 호출하므로 취약점이 드러나기 쉽다.

왜 chat template인가

새 special tag가 tokenizer에서는 도달 가능하지만 사전학습에는 없었다면 untied input row만 decay될 수 있다. Full-parameter tuning prompt에 이 tag가 포함되면 매 step의 공통 트리거가 될 수 있다.

왜 weight tying인가

입력과 출력 embedding을 공유하면 해당 토큰이 입력에 없더라도 softmax output gradient가 같은 row를 갱신해 scale을 유지한다. Untied 구조에서는 이 보호 경로가 없다.

왜 Mamba 계열인가

Attention은 이전 토큰 value를 현재 위치로 불러올 수 있지만, zero-at-origin gate를 쓰는 recurrence는 현재 토큰이 0에 가까울 때 과거 상태 readout 자체가 축소될 수 있다.

Frozen-embedding LoRA와 inference는 이 gradient-clipping 고장 경로의 직접 대상이 아니다. 다만 full-parameter RL update가 near-zero chat tag를 포함한 prompt를 사용하면 다시 대상이 될 수 있다는 것이 저자들의 범위 구분이다.

PART 06 · CHALLENGES

난제: 발견하기 어렵고, 고치면 다른 것을 바꿀 수 있다

난제	왜 어려운가	이번 연구의 답	남은 경계
도달 가능성 판정	vocabulary padding이나 unreachable byte row를 세면 위험을 과대평가	decode 후 단독·8개 template에서 re-tokenize하는 round-trip test	실제 배포 prompt 분포와 빈도는 별도 측정 필요
무음 진단	loss·exception·NaN이 정상처럼 보일 수 있음	embedding norm, non-finite global norm, effective backbone update scale 계측	분산 optimizer·다른 precision의 공통 진단 표준 부재
수정의 보존성	row 재초기화는 rare-token logit을 바꾸고 mask는 학습을 막음	GroupClip으로 embedding과 backbone clipping 분리	다양한 optimizer·sharding에서 독립 검증 필요
예방 설계	Sigmoid는 0에서 양수지만 positive output을 제한해 PPL 악화 가능	SiLU(z)+δ의 GateFloor	from-scratch 실험은 최대 370M, 1–2 seeds
LFM 일반화	LFM2/3은 공개된 연산자 조합과 학습법이 Mamba와 다름	직접 결과 없음	특정 gate·normalization·weight tying을 확인한 뒤 판단해야 함

또 다른 난제는 현장 지표다. CPU/GPU/NPU kernel 차이, 양자화 누적 오차, 훈련 길이 밖 일반화와 마찬가지로, optimizer 안정성도 논문상 FLOPs와 실제 성공 작업당 에너지 사이의 간극을 만든다.

PART 07 · RESEARCH QUESTIONS

연구 질문: “기억할 것”에서 “학습할 수 있을 것”으로

동일한 메모리 예산에서 어떤 정보를 state에 보존해야 하는가뿐 아니라, 어떤 tokenizer row가 학습 업데이트를 안전하게 전달해야 하는가?
첫 attention 층 이전에 허용할 수 있는 연속 gated block 수와 수치 안정성 사이의 Pareto frontier는 무엇인가?
GroupClip이 AdamW 외 optimizer, ZeRO/FSDP sharding, FP8 master state, NPU 학습에서도 유효한가?
GateFloor의 δ를 고정값이 아니라 layer·token norm·training phase에 따라 적응시키면 품질과 안정성을 함께 개선할 수 있는가?
희귀 토큰 silent stall이 한국어 전문용어, 기관 약어, 제어 코드, chat template의 실제 task success에 미치는 영향은 얼마인가?
합성 gradient probe의 통과가 장기 agent 성공률, 오류 복구율, 성공 작업당 Joule과 어떤 상관을 갖는가?

열린 질문near-zero row를 “나쁜 토큰”으로 삭제하는 것이 아니라, 해당 row가 처음 나타나는 순간에도 전체 배치의 학습 신호를 보존하는 것이 핵심 목표다.

PART 08 · APPROACHES / METHODS

접근법: census → mechanism → repair → prevention

1. Open-weight census

저자들은 HTTP byte-range request로 input/output embedding과 tokenizer를 읽고, 291개 repository의 280개 고유 table을 조사했다. Raw row 92개 모델이 threshold 아래였지만, round-trip test 후 도달 가능한 near-zero token을 가진 것은 67개(23.0%)였다. 979개 표본 중 92%는 output-head norm이 vocabulary 중앙값의 0.3배 이상으로 유지돼, input row만 decay한다는 가설과 부합했다.

2. Mechanistic gradient probe

저자들은 정상 문맥 중 한 토큰의 embedding norm을 1에서 10⁻³⁰까지 줄이고 architecture별 input-gradient를 측정했다. Mamba·Mamba-2·Gated DeltaNet의 SiLU gate와 xLSTM의 linear query처럼 0에서 사라지는 current-token factor가 연속 gated block의 small-signal gain을 누적한다는 두 영역 scaling을 제시했다.

3. GroupClip: 공개 checkpoint를 위한 복구

GroupClip은 input embedding gradient와 나머지 backbone gradient를 서로 다른 group으로 clipping한다. Embedding norm은 FP64 또는 scale-rescaled 계산으로 overflow를 피한다. 이는 재초기화처럼 logit을 바꾸지 않고, mask처럼 대상 row의 학습을 막지도 않는다.

저자 보고 실험	기본 FP32 global clip	GroupClip	조건과 해석 한계
Nemotron-3-Nano-4B · Telugu CPT	stalled 198.3±9.9 / 1,000; PPL 13.44±0.17	stalled 0; PPL 13.04±0.19	3 seeds, FineWeb-2, 32×512 tokens/step, BF16 autocast, FLORES-200 devtest
Falcon-H1-1.5B · Mongolian CPT	stalled 11.7±3.5; PPL 15.68±0.11	stalled 0; PPL 15.58±0.10	96.6% trigger batches이나 주된 spike는 overflow 이하; 3 seeds
H100 overhead	median 2.88 s/step	FP64 2.84 s; rescaled 2.85 s	동일 Telugu batch, 15 timed steps+3 warm-up; 광범위 hardware 결론 아님

4. GateFloor: 처음부터 막는 gate 설계

g_δ(z) = SiLU(z) + δ, δ ∈ [0.01, 0.1] recommended in the paper

GateFloor는 0 입력에서도 δ만큼 과거 상태 readout 경로를 연다. 저자들은 FineWeb-Edu에서 165M Mamba-2와 203M·370M 3:1 hybrid를 1.05B–1.57B token으로 학습했다. 370M hybrid 단일 seed에서 δ=0.1은 near-zero gradient를 1.6×10²⁸에서 0.13으로 줄였고, PPL은 22.45에서 22.28, 처리량은 527.2k에서 542.8k tok/s였다.

저자 보고 + 제한GateFloor가 28 orders of magnitude를 줄였다는 결과는 최대 370M, 1–2 seeds의 from-scratch 실험이다. 4B continual-pretraining 결과와 동일한 규모의 예방 검증으로 읽어서는 안 된다. 어느 방법도 모든 조건에서 우월하다고 단정할 근거는 아직 없다.

PART 09 · KEY APPLICATIONS

핵심 활용: 언어·템플릿·현장 적응의 신뢰성 계층

저자 근거 · 저자원 언어 CPT

Telugu·Mongolian 실험은 near-zero subword가 실제 batch update를 잃게 하는 경로와 GroupClip 복구를 직접 측정했다.

직접 적용 가능 · Full-parameter tuning

새 vocabulary·chat tag·코드 토큰을 쓰는 full-parameter SFT/CPT 파이프라인에 embedding-norm census와 update-retention logging을 추가할 수 있다.

연구 제안 · Local RAG와 edge assistant

한국어 전문용어와 기관 약어를 포함한 도메인 적응에서 토큰 coverage, stalled-step rate, 근거 회수율을 함께 측정해야 한다.

연구 제안 · Physical AI

센서 tag, 장비 ID, 로봇 명령 token이 희귀한 온디바이스 협업지능에서 상태 오염·통신 단절 시험과 함께 optimizer silent stall을 주입 시험한다.

저수준 로봇 제어의 안전성은 별도 검증 대상이다. 이 논문은 token-level language-model training 고장을 다루며 실시간 제어 안정성, 센서 노이즈, actuator safety를 검증하지 않는다.

PART 10 · OPEN PROBLEMS

미해결 문제: 한 번의 수정이 신뢰성 보증이 되기까지

규모: GateFloor 예방 실험은 370M까지다. 1B–70B, MoE, 긴 문맥 및 multimodal model에서 동일한 품질·안정성 결과가 필요하다.
정밀도와 시스템: FP32 master gradient를 가정한 경로가 FP8, block floating point, NPU optimizer와 어떻게 달라지는지 공정 비교가 없다.
장기 drift: near-zero row를 한 번 회복한 뒤 장기 세션·continual learning에서 재축소·오염·reset이 어떻게 나타나는지 미확인이다.
실제 비용: H100의 짧은 step-time 측정 외 p95, peak memory, 성공 작업당 Joule, 분산 통신량이 없다.
원인 분리: architecture, tokenizer, data coverage, weight tying, optimizer, normalization의 효과를 동일 학습데이터·예산에서 분리해야 한다.
LFM 검증: 공개 자료만으로 모든 LFM 세대의 gate·embedding tying·optimizer를 알 수 없다. LFM=Mamba라는 전제에서 취약성을 주장하는 것은 잘못이다.
한국어 전문업무: 과학기술 용어, 약어, 한글·영문 혼용 token에서 stalled update가 업무 정확성과 근거 회수에 미치는 독립 검증이 없다.

PART 11 · FUTURE DIRECTIONS

향후 방향: 효율성 벤치마크에 “학습 신호 생존율”을 넣는다

1. Adaptive numerical budget

필요한 때 기억 크기를 늘리는 적응형 state budget과 마찬가지로, token norm과 layer gain에 따라 clipping precision·group·gate floor를 조절하는 적응형 수치 예산이 필요하다. 단, δ를 키울수록 표현력과 optimization landscape가 바뀔 수 있으므로 검증 가능한 controller로 설계해야 한다.

2. Hierarchical memory with reliability gates

압축 상태 + 필요 구간 attention + 외부 증거 메모리의 계층형 시스템에 token health monitor를 추가한다. 상태가 정보를 기억하는지, 필요한 순간 읽는지, 그 학습 신호가 optimizer까지 살아남는지를 각각 측정한다.

3. Outcome-level benchmark

성공 작업당 Joule · p95 지연 · 근거 회수율 · 오류 복구율 · 유효 업데이트 비율을 같은 표에 올려야 한다. Gradient spike를 줄였다는 미시 지표가 실제 agent 성공률로 이어지는지 연결하는 것이 다음 단계다.

4. ETRI 온디바이스 협업지능 실증 제안

연구 제안동일 학습데이터·tokenizer·양자화·hardware에서 Transformer, Mamba-2/3, hybrid 및 공개 가능한 LFM 계열을 비교한다. ① 한국어 전문어·센서 ID·chat tag 주입, ② embedding norm과 batch update-retention 계측, ③ 통신 단절·상태 오염·reset 시험, ④ 장기 로봇·설비 업무의 근거 회수와 복구 성공률, ⑤ 실제 단말 Joule/task 순으로 단계적으로 검증한다. 저수준 제어는 별도의 safety case와 fail-safe controller 아래에서만 실증한다.

연구 흐름의 다음 질문은 “어떤 operator가 더 빠른가?”가 아니라 “어떤 정보와 학습 신호가, 어떤 비용으로, 끝까지 살아남아 실제 결과를 바꾸는가?”다.

SOURCES · PRIMARY FIRST

↗

출처와 버전 기록

Xin Liu et al., “Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models.” arXiv:2611.04449. 최초 공개 2026-11-03, v1; 조사 기준일 현재 개정·정식 학회 발표 미확인. Abstract · PDF
Albert Gu, Tri Dao., “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” 최초 공개 2023-12-01 — 2025년 이전 배경 연구. arXiv
Tri Dao, Albert Gu., “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality.” 최초 공개 2024-05-31 — 2025년 이전 배경 연구. arXiv
Aakash Lahoti et al., “Mamba-3: Improved Sequence Modeling using State Space Principles.” 최초 공개 2026-03-16; ICLR 2026. arXiv · 공식 학회 기록
Liquid AI., “LFM2 Technical Report.” 최초 공개 2025-11-28. LFM2 구조를 위한 공식 기술보고서이며 Mamba 논문과 구분. arXiv
Liquid AI., “Introducing LFM3.” 2026-10-27 공식 제품 발표·모델 정보이며 peer-reviewed 논문이 아님. 공식 발표

실험 해석 원칙본문의 모든 수치는 논문 저자 보고값이다. 모델 규모, hardware, precision, token 수, batch/sequence 조건, seed 수를 가능한 범위에서 함께 제시했으며 독립 재현 결과로 표현하지 않았다.