Runtime allocation
어느 layer와 subspace가 정보흐름의 병목인지 찾고 activation을 2× 또는 5× 증폭한다.
Mamba의 다음 효율성 전선은 더 빠른 scan 하나가 아니다. 유용한 내부 경로를 증폭하면서 중복된 상태전이 파라미터는 제거하는 기억–압축 공동 설계다.
이 글은 기존 게시물에서 누락됐던 두 ICML 2026 논문을 통합한다. Activation Subspace Bottlenecks는 Mamba 내부의 병목을 찾아 test-time steering과 Stable-Mamba로 완화하고, SparseSSM은 시간에 공유되는 상태전이 행렬의 중요도를 추정해 one-shot pruning을 수행한다. 두 결과는 상보적이지만 결합 실험은 아직 없다.
PART 01 · TERMS AND BOUNDARIES
01
Definition
서로 다른 두 개의 “희소성”
Activation Subspace Bottleneck은 모델의 많은 표현 방향 가운데 소수의 활성화 하위공간에 정보 라우팅이 과도하게 집중되는 현상을 가리킨다. 논문은 sparse autoencoder, dictionary learning, Stochastic Parameter Decomposition(SPD), implicit attention mapping으로 이를 찾고, 입력 의존 상태 갱신에 민감한 delta-sensitive subspace를 조작 대상으로 삼는다.
SparseSSM은 추론 중 활성화가 희소하다는 뜻이 아니라, 사전학습된 Mamba의 가중치—특히 시간에 공유되는 상태전이 파라미터 A_log—중 중요도가 낮은 항을 재학습 없이 제거하는 one-shot pruning 방법이다.
VERIFIED BOUNDARYLFM과 Mamba는 같은 모델이 아니다. LFM은 Liquid AI의 모델군이고 Mamba는 selective SSM 아키텍처다. LFM2의 입력 의존 gated short convolution과 일부 GQA 구성을 Stable-Mamba나 SparseSSM에 소급할 수 없으며, LFM=LTC=LNN=Mamba라는 동일시는 틀리다.
PART 02 · MULTI-OBJECTIVE DESIGN
02
Problem Definition
공통 문제는 긴 이력에서 정확도를 유지하면서 추론비용을 낮추는 것이다. 하지만 오늘의 질문은 “선형시간인가?”보다 더 구체적이다. 상태와 가중치에 제한된 예산이 있을 때 어느 경로를 유지·증폭하고 어느 파라미터를 제거해야 실제 작업 성공률이 최대가 되는가다.
maximize Q(θ, g, m) subject to Lp95≤τL, Mpeak≤τM, Etask≤τE, Risk≤τR
여기서 (g)는 activation steering 또는 gate 정책, (m)은 pruning mask다. 성능 향상과 파라미터 감소는 p95 지연·피크 메모리·성공 작업당 에너지를 자동으로 보장하지 않는다.
표준 full attention의 prefill 연산은 문맥길이에 대해 이차적이고 KV cache는 선형으로 증가한다. decode 한 토큰의 attention 비용도 이력 길이에 선형이다. 고정 상태의 순수 SSM은 전체 시퀀스에 선형 연산과 길이에 독립적인 recurrent state를 가질 수 있지만, 이는 무한 정보를 완전 보존한다는 뜻이 아니다. full attention을 포함하는 hybrid나 LFM 전체를 O(1) 메모리·완전 선형이라고 부를 수도 없다.
PART 03 · STATE, ROUTING, SALIENCY
03
Core Concepts
Selective state update
ht = Ātht−1 + B̄txt, yt = Ctht
선택성은 입력마다 무엇을 기억하고 잊고 읽을지 조절하는 것이다. 추론 중 모델 가중치를 새로 학습한다는 뜻이 아니다. Stable-Mamba 연구의 steering은 이미 학습된 내부 activation을 배율로 조정하며, SparseSSM은 추론 전에 고정 mask를 만든다.
Parameter allocation
각 상태전이 항이 시간축 전체에서 얼마나 사용되는지 추정해 중요도가 낮은 파라미터를 제거한다.
Structured sparsity
개별 weight가 아니라 상태 채널 또는 N:M 패턴을 제거해 실제 kernel이 활용할 형태를 만든다.
Evidence boundary
활성화 해석의 인과성, pruning 후 품질, 하드웨어 가속은 서로 다른 실험으로 확인해야 한다.
PART 04 · WHY THESE PAPERS MATTER
04
Introduction
Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks는 2026-02-26 arXiv v1, 2026-05-21 v2로 공개됐고 ICML 2026 PMLR 306에 정식 수록됐다. SparseSSM은 2025-06-11 arXiv v1로 처음 공개되고 같은 ICML 2026 공식 기록에 수록됐다.
둘의 연결점은 단순하다. 첫 논문은 “모델이 이미 가진 용량을 어디에 쓰는가”를 묻고, 둘째 논문은 “그 용량 중 무엇을 지워도 되는가”를 묻는다. 연구 흐름이 효율적 연산자 설계에서 기억 회수·상태 추적·내부 라우팅·하드웨어 공동 설계로 이동하고 있다는 증거다.
INTERPRETATION두 논문은 함께 학습하거나 공동 최적화하지 않았다. “증폭할 subspace”와 “제거할 state channel”이 서로 일치하는지, 혹은 충돌하는지는 아직 열린 문제다.
PART 05 · FROM LINEAR COMPLEXITY TO USEFUL CAPACITY
05
Motivation and Background
Mamba의 고정 크기 상태는 긴 문맥의 메모리 회계를 단순화하지만, 모든 과거 정보를 손실 없이 담는 저장소는 아니다. 장거리 정확 회수와 압축은 충돌한다. 더구나 모델 내부에서 일부 표현경로만 과도하게 사용된다면 명목상의 파라미터 수와 실제로 사용되는 기능적 용량 사이에 간극이 생긴다.
Stable-Mamba 논문은 Mamba-130M의 특정 Layer 20에서 SPD entropy와 post-ablation KL이 급증하는 병목을 보고한다. SparseSSM은 A_log가 시간에 공유되므로 단일 token의 중요도만으로 pruning mask를 만들면 다음 상태전이까지 손상될 수 있다고 지적한다.
AUTHOR CLAIM공식 PMLR 초록은 Stable-Mamba steering이 7개 SSM·6개 benchmark에서 평균 8.27% 향상됐다고 보고한다. SparseSSM 공식 초록은 SSM weight 50% pruning에서 “limited performance degradation”을 보고한다. 이는 모든 크기·과제에서 무손실이라는 뜻이 아니다.
SparseSSM의 arXiv v1 초록은 “no zero-shot accuracy loss”라는 더 강한 표현을 사용하지만, ICML 공식 기록은 “limited performance degradation”으로 완화한다. 이 글은 정식 발표 문구를 우선한다.
PART 06 · FAILURE MODES
06
Challenges
| 난제 | 왜 어려운가 | 현재 근거의 한계 |
|---|---|---|
| 병목의 인과성 | entropy·sparsity 상관이 실제 실패원인인지 구분 필요 | 특정 layer steering ablation은 있으나 대규모 모델 일반화 미확인 |
| 복합 변경의 귀속 | Stable-Mamba는 multi-timescale, global context, gating, compression, gradient·residual scaling을 함께 변경 | 각 구성요소 독립 ablation이 없음 |
| 정확 회수–압축 충돌 | 중복처럼 보이는 channel이 희귀 장거리 사건에서 중요할 수 있음 | calibration data와 실제 session 분포가 다르면 pruning mask가 취약 |
| 희소성–속도 간극 | zero weight는 kernel이 활용하지 못하면 지연을 줄이지 못함 | SparseSSM의 1.72×는 SSM 모듈, end-to-end 가속은 modest |
| 저정밀 누적오차 | pruning·quantization·긴 recurrence가 오차를 누적 | 두 논문 모두 장기 저정밀 안정성을 직접 검증하지 않음 |
| 실세계 지표 | 평균 accuracy와 실제 성공률·p95·Joule가 다름 | CPU/NPU·한국어 전문업무·장기 agent 검증 부재 |
PART 07 · TESTABLE QUESTIONS
07
Research Questions
- 동일한 메모리 예산에서 무엇을 보존해야 하는가? 평균 token 기여가 아니라 희귀 사건·안전 신호·오류복구에 필요한 상태를 식별할 수 있는가?
- Activation bottleneck과 pruning saliency는 정렬되는가? 증폭 대상 subspace에 연결된 state channel을 pruning하면 성능이 붕괴하는가?
- 최소 attention 비중과 배치는 무엇인가? Stable-Mamba의 sparse global context가 장거리 exact retrieval에 필요한 최소 주기·layer를 갖는가?
- 저정밀 장기 안정성은 유지되는가? pruning+4/8-bit quantization에서 spectral radius, state norm, 회수율이 session 길이에 따라 어떻게 변하는가?
- 합성 state-tracking이 실제 agent 성공률을 예측하는가? RULER·LRA 개선이 도구사용·로봇 계획·설비 진단의 오류복구율로 이어지는가?
- 실제 단말에서 성공 작업당 에너지는 얼마인가? CPU/GPU/NPU에서 p50·p95·peak memory·Joule/task를 함께 측정할 수 있는가?
PART 08 · METHODS AND EVIDENCE
08
Approaches (Methods)
8.1 Activation bottleneck → steering → Stable-Mamba
연구진은 implicit attention matrix로 token 영향도를 구성하고, hidden state의 가중합으로 activation subspace를 정의한다. SPD 통계로 layer-level entropy spike를 찾고, 입력별 (Delta) 변화에 민감한 subspace를 ablation으로 선별한다. 선택된 subspace는 test time에 2× 또는 5× 증폭된다.
activation subspace = Σt=1…T w̃t · ht
Stable-Mamba는 multi-timescale state, ensembled output, sparse global context, learned gating, adaptive compression, gradient scaling, scaled residual을 함께 추가한다. 연구진은 256개 파라미터 증가라고 설명하지만, RTX 3090·LongBench v2 표에서 130M 모델 latency는 0.709→0.776s, peak memory는 1.668→1.815GB, throughput은 1444→1320 tokens/s다. 2.8× FLOPs를 GPU 병렬화로 약 9% latency 증가에 억제한 결과이지, 비용이 0이라는 뜻은 아니다.
+8.27%
저자 보고 · 7 SSM / 6 benchmark 평균 steering 개선
+15.3 pp
Stable-Mamba · RULER QA 최대 개선
+35 pp
Stable-Mamba · LRA PathFinder 최대 개선
CONDITIONRULER 문맥은 1,000 tokens, LRA는 100, LongBench v2 입력은 256으로 절단됐다. 따라서 이를 32K·256K 세션의 장거리 안정성 증거로 일반화할 수 없다. Stable-Mamba의 여러 변경은 개별 ablation되지 않았다.
8.2 Time-aware OBS → SparseSSM
SparseSSM은 diagonal state-transition parameter의 OBS 중요도를 hidden-state 사용량으로 근사한다. 각 시점에서 pruning 후보를 고른 뒤, 시간축에서 가장 자주 제거 후보로 선택된 항으로 최종 mask를 만든다.
Id,nlog ∝ Alog,d,n2 · Σb,i hb,i−1,d,n2
FFN에는 Hessian trace를 이용한 sensitivity-aware sparsity를 적용한다. in_proj와 out_proj가 다른 선형 모듈보다 민감하다는 관찰에 따라 동일 비율로 자르지 않는다. calibration은 WikiText-2에서 2,048-token segment 128개를 사용하며, ablation에서는 64 samples가 품질–계산 절충점으로 보고됐다.
| 저자 보고 결과 | 조건 | 정확한 해석 |
|---|---|---|
| SSM module 2.766→1.608ms, 1.72× | Mamba-370M, structured 50% | 전체 모델 가속이 아니라 SSM 모듈 가속 |
| Whole-model avg 53.98→47.24 | Mamba-1.4B, unstructured 50%, 5 zero-shot tasks 평균 | 다른 pruning baseline보다 우수하지만 dense 대비 손실 존재 |
| Structured avg 47.49→46.31 | Mamba-370M SSM module, structured 50% | SSM 부분 pruning의 제한된 품질 저하 |
실험 서버는 dual Xeon Platinum 8457C, DDR5 512GB, RTX 4090 24GB 8장이다. 저자가 end-to-end 가속은 modest하다고 직접 제한한다. CPU·NPU·batch별 kernel 효율과 에너지는 보고되지 않았다.
8.3 두 연구를 연결하는 제안
PROPOSALBottleneck-aware pruning. activation subspace의 causal importance와 state parameter의 time-aware Hessian saliency를 공동 제약으로 사용한다. steering으로 반복 증폭되는 경로는 pruning 보호집합에 넣고, 장기 session에서 사용되지 않는 channel만 구조적으로 제거한다. 이 결합은 아직 실험적으로 검증되지 않았다.
PART 09 · DEPLOYMENT SURFACES
09
Key Applications
On-device assistant
한국어 전문업무의 중요 상태는 보호하고, 중복 channel은 structured pruning해 메모리·지연 예산을 맞춘다.
Local RAG
근거 token 회수와 source attribution에 민감한 subspace를 추적해 pruning 후 근거 회수율이 유지되는지 평가한다.
Streaming analytics
센서 drift·고장 전조처럼 드문 사건을 보존하면서 평상시 중복 상태를 줄이는 adaptive memory budget을 연구한다.
Physical AI planning
고수준 robot plan과 장기 작업상태를 유지하는 경로를 steering하고, 저수준 안전제어는 별도 검증 계층으로 분리한다.
ETRI RESEARCH PROPOSAL온디바이스 협업지능에서 동일 학습데이터·동일 양자화·동일 하드웨어로 vanilla Mamba, steering, structured pruning, joint method를 비교한다. 센서 상태 오염, 통신 단절, state reset 지연을 주입하고 장기 로봇·설비 실증은 고수준 계획부터 단계적으로 확대한다. 저수준 제어 안전성은 별도 인증 대상으로 둔다.
PART 10 · WHAT REMAINS UNPROVEN
10
Open Problems
- 유한 상태의 과제별 기억 한계: 어떤 정보가 상태에 표현됐는지와 출력에서 실제 사용되는지를 분리해 측정해야 한다.
- 망각 탐지: pruning 또는 steering 뒤 특정 사실이 사라진 시점을 online confidence로 감지하는 방법이 없다.
- 장기 session drift/reset: 반복 증폭이 state norm을 오염시키는지, reset 이후 복구가 되는지 검증이 부족하다.
- 공정 비교: 데이터·training token·kernel·precision·batch·context를 맞춘 Stable-Mamba–Mamba-3–hybrid 비교가 없다.
- 실제 sparse execution: unstructured sparsity가 CPU/GPU/NPU에서 wall-clock·Joule 감소로 이어지는지 불명확하다.
- 해석의 안전성: 내부 경로를 조작하면 편향·유해행동도 함께 증폭할 수 있다.
- 한국어·Physical AI: 한국어 행정·과학 문서와 센서–행동 장기 이력에서 독립 재현이 없다.
PART 11 · A RESEARCH AGENDA
11
Future Directions
1. 압축 상태 + 필요 구간 attention + 외부 증거 메모리
상시 이력은 compressed recurrent state로 유지하고, exact retrieval이 필요한 구간만 sparse attention으로 재개방하며, 출처가 필요한 사실은 외부 evidence memory에 보존한다. 내부 state 하나에 모든 기능을 강요하지 않는다.
2. 필요한 때만 늘어나는 memory budget
activation bottleneck, uncertainty, novelty, safety event를 감지하면 state rank·attention window·외부 검색 예산을 임시로 늘린다. 평상시에는 pruning된 경량 경로를 사용한다.
3. 성공 작업당 효율 benchmark
Score = task success / (Joule × p95 latency × peak memory) + evidence retrieval + recovery
단일 throughput 대신 성공 작업당 Joule·p95 지연·근거 회수율·오류복구율을 함께 보고한다. 비교모델·규모·하드웨어·문맥길이·정밀도·batch를 고정하고 평균뿐 아니라 분산과 tail을 공개한다.
4. 3단계 검증
| 단계 | 실험 | 통과 조건 |
|---|---|---|
| Mechanism | subspace causal patching, pruning-mask overlap, state norm | 희귀 신호 보존과 병목 완화의 재현 |
| System | CPU/GPU/NPU, 4/8/16-bit, batch·context sweep | p95·memory·Joule Pareto 개선 |
| Field | 통신 단절·센서 오염·장기 로봇/설비 작업 | 성공률·복구율·안전 gate 동시 충족 |
BOTTOM LINE어느 모델이 모든 조건에서 우월하다고 결론낼 근거는 없다. Stable-Mamba는 “어디를 더 쓸 것인가”, SparseSSM은 “어디를 덜 남길 것인가”를 보여준다. 다음 단계는 두 결정을 실제 하드웨어와 장기 작업에서 공동 최적화하는 것이다.
SOURCES · PRIMARY RECORDS FIRST
S
Sources and Research Notes
- Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks.arXiv v1: 2026-02-26 · v2: 2026-05-21 · ICML 2026 / PMLR 306arXiv · PMLR · Code
- SparseSSM: Efficient Selective Structured State Space Models Can Be Pruned in One-Shot.arXiv v1: 2025-06-11 · ICML 2026 / PMLR 306 · 별도 arXiv 개정 없음arXiv · PMLR · Code
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces.배경 연구 · 최초 2023-12-01, 2024년 이전 원논문arXiv
- Mamba-3: Improved Sequence Modeling using State Space Principles.비교 배경 · 2026-03-16arXiv
- LFM2 Technical Report.개념 경계 확인 · 2025-11-28arXiv
수치는 저자 보고값이며 원 실험을 독립 재현한 결과가 아니다. 모델·데이터·hardware·precision·batch·context 조건이 다르므로 논문 간 숫자를 직접 순위화하지 않았다. 이 글의 bottleneck-aware pruning과 ETRI 실증 설계는 기존 근거에서 도출한 연구 제안이다.