Mamba는 무엇을 잊는가.
더 먼저, 언제 알아차리는가.

PART 01 · DEFINITION

관련성 타이밍은 “무엇”과 “언제”의 정렬 문제다

확인된 사실 Mamba의 selective SSM은 입력에 따라 이산화된 전이·쓰기·읽기 계수를 조절한다. 개념적으로 h_t = Ā_t h_(t−1) + B̄_t x_t, y_t = C_t h_t로 쓸 수 있다. 선택성은 입력별 기억·망각·읽기의 조절이며, 추론 중 모델 가중치를 새로 학습한다는 뜻이 아니다. [3]

편집 정의 relevance timing은 token representation에 “이 정보가 현재 과제에 중요하다”는 신호가 형성되는 깊이와, selection gate가 그 신호를 이용해 state update를 결정하는 깊이 사이의 정렬이다. 길이에 독립적인 순환 상태 크기는 무한 정보를 완전 보존한다는 뜻이 아니다.

범주 구분 LFM2는 Liquid AI의 2025 기술보고서가 설명한 입력 의존 gate의 단거리 합성곱과 일부 GQA의 혼합 모델이다. 모든 LFM 세대가 같은 구조라는 뜻도, Mamba와 동일하다는 뜻도 아니다. [4]

PART 02 · PROBLEM DEFINITION

용량 제약 아래 중요한 순간에만 비싼 기억을 써라

목표는 품질만 최대화하는 것이 아니다. 길이 L의 입력에서 회수·추적 정확도 Q를 최대화하되 p95 latency, peak memory, energy, 추가 pass의 제약을 만족해야 한다.

여기서 r은 어떤 위치·채널·계층에 전역 상태 갱신을 허용할지 정하는 routing policy다. 새로운 핵심 변수는 state capacity만이 아니라 relevance lead time—관련성 신호가 결정 계층보다 얼마나 먼저 도착하는가—다.

문제의 재정의 회수 실패는 “저장 공간이 부족해서”뿐 아니라 “쓸 가치가 있다는 판단이 늦어서”도 생긴다. 충분한 용량을 주거나 query-first로 만들어도 selection이 늦으면 정보는 적절히 기록되지 않는다.

PART 03 · CORE CONCEPTS

상태, 게이트, 놀람, 전역 채널을 분리해 읽는다

핵심 연결 probe는 “신호가 언제 생기는가”, gate patching은 “그 gate가 결과를 실제로 바꾸는가”, routing은 “갱신 예산을 어디에 쓸 것인가”를 묻는다. 세 질문을 섞으면 상관관계, 인과, 시스템 처방을 혼동하게 된다.

PART 04 · INTRODUCTION

질의를 먼저 보여줘도, 모델 내부에서는 늦을 수 있다

“Beyond State Capacity”는 phonebook의 찾을 이름을 먼저 제시한 뒤 긴 목록에서 전화번호를 회수하게 한다. 이 query-first 설정에서는 무엇을 찾아야 하는지 미리 알기 때문에 모든 key–value를 보존할 필요가 없다. 따라서 실패가 계속된다면 고정 상태 용량 하나만으로 설명하기 어렵다.

저자들은 target entry 앞에 target이라는 짧은 국소 flag를 붙인 최소 편집 쌍을 만든다. 그 flag는 Nvidia-Mamba 8B의 긴 phonebook 정확도를 두 배 이상 높였다. 표현 probe에서는 관련 정보가 더 이른 계층부터 state에 해독 가능했고, selection gate의 target–distractor 분리도 앞당겨졌다. [1]

저자 근거 target 전화번호 10개 digit token의 gate만 flagged prompt 값으로 바꾸면 unflagged 성능이 flagged 수준으로 이동하고, 반대 patching은 성공을 실패로 바꾼다. Oracle gate scaling도 거의 완벽한 정확도와 거의 0에 가까운 정확도 사이를 만든다. 게이트의 표현력 부족보다 게이트가 사용할 관련성의 도착 지연이 병목이라는 인과 정황이다.

PART 05 · MOTIVATION AND BACKGROUND

연산자 효율에서 기억 배분의 시간표로

표준 full attention의 prefill 연산은 길이에 대해 이차적이고 KV cache는 선형으로 증가한다. decode 한 token의 attention 비용도 이력 길이에 선형이다. 반면 고정 상태의 순수 SSM은 전체 scan이 선형이고 순환 상태 크기는 길이에 독립적이다. 그러나 LFM2처럼 attention을 섞은 전체 모델을 O(1) memory·완전 선형이라고 부를 수 없고, GQA 역시 KV cache의 계수는 줄여도 길이 의존성은 없애지 않는다.

2025–2026 연구의 초점은 “더 싸게 모든 token을 처리하는 operator”에서 “어떤 token·channel·layer가 긴 기억을 담당할지”로 이동했다. MemMamba의 상태 요약, Mamba–Transformer hybrid, state replay, oscillatory dynamics, recurrent-state quantization은 모두 state를 단순 hidden tensor가 아니라 수명주기와 배분 규칙을 가진 시스템 자원으로 보기 시작했다.

연구 흐름 이번 두 논문은 여기에 관련성 계산의 깊이와 전역 update 예산의 위치를 추가한다. “기억하라”는 명령이 있어도 representation → gate 경로가 늦으면, 기억 장치는 제때 작동하지 않는다.

PART 06 · CHALLENGES

선별은 이득을 주지만, 이유와 비용이 아직 분리되지 않았다

• 관련성 지연: unflagged representation의 relevance는 약 10개 계층 뒤에 plateau하며 gate는 그보다 더 늦다.
• 압축과 정확 회수의 충돌: 고정 상태는 중요한 사실을 선택해야 하지만, relevance가 늦으면 잘못 압축한다.
• 기억과 상태추적의 차이: key–value retrieval과 parity·agent state tracking은 다른 update 규칙을 요구한다.
• signal 대 sparsity: Mamba2-1.3B에서 random routing 19.33이 raw surprisal 16.33보다 높다. 선택 제한 자체와 surprisal의 의미 정보를 분리해야 한다.
• 두 번째 pass: SuPER-Mamba는 offline context-scoring forward pass를 추가해 compute와 latency를 늘린다.
• 고정 task-category 설정: Top-K와 pooling kernel이 개별 입력 난이도에 적응하지 않는다.
• 모델 일반화: timing 연구는 Mamba-2 두 모델과 합성 과제에 한정되고, routing 이득은 Zamba2에서 거의 없었다.
• 저정밀 누적: gate·state quantization이 relevance lag와 결합할 때 장기 오류가 어떻게 증폭되는지 불명확하다.
• 실장치 격차: GPU throughput과 CPU/NPU p95 latency·energy는 다른 결론을 낼 수 있다.

무작위 라우팅이 이미 큰 이득을 낸다는 사실은 “surprisal이 중요성을 정확히 찾는다”는 강한 해석을 제한한다. local pooling까지 더한 20.85와 full 21.56은 추가 이득을 주지만, 베이스 8.09 대비 대부분의 상승은 sparse global update 자체와 공유한다.

PART 07 · RESEARCH QUESTIONS

얼마나 일찍 알아야 하고, 무엇에 예산을 써야 하는가

1. 동일 state memory에서 retrieval-critical layer보다 관련성이 몇 계층 먼저 나타나야 하는가?
2. token representation이 아니라 query summary·상위 계층 state를 gate 입력으로 주면 lag가 줄어드는가?
3. 동일 update budget에서 random, surprisal, query relevance, learned router의 순수 기여는 각각 얼마인가?
4. 최소 attention 비중과 최적 배치는 SSM 전·후·병렬 중 어디인가?
5. 저정밀 gate/state에서 relevance timing과 오류 누적의 상호작용은 무엇인가?
6. 합성 phonebook의 gate-alignment lag가 실제 agent 성공률·근거 회수율을 예측하는가?
7. 추가 scoring pass를 포함한 성공 작업당 Joule과 p95 latency는 baseline보다 나은가?

연구 제안 Relevance Clock Benchmark를 제안한다. layer별 representation probe 시점 d_rep, gate probe 시점 d_gate, causal-critical layer d_crit를 함께 기록해 lag = d_gate − d_rep와 deadline miss = d_gate > d_crit를 측정한다.

PART 08 · APPROACHES (METHODS)

원인을 건드리는 개입과 처방을 시험하는 라우팅

1 · Minimal-pair probe와 gate intervention

실험 조건 Nvidia-Mamba 8B base(56 layers, d_state=128)와 Codestral-Mamba 7.3B instruction-tuned(64 layers, d_state=128)를 사용했다. 기본 분석 길이는 각각 150·400 phonebook entries이며, 정확도 곡선은 20–200·20–500 entries에서 각 조건 500 samples, batch 1, greedy generation 20 tokens로 측정했다. 전체 실험은 대략 단일 GPU 1,000시간 규모이며 NVIDIA L40S 48GB를 사용했다.

각 sample은 instruction, 서로 다른 두 demonstration, phonebook, 질의로 구성된다. flagged/unflagged는 target entry 앞의 한 단어만 다르다. layer별 linear probe는 15,000 samples를 80/20으로 나눠 state에서 target profession을 읽고, gate patching은 같은 내용의 counterfactual prompt 사이에서 target digit의 gate만 교환한다.

저자 결론 bidirectional patching과 oracle scaling은 gate가 결과를 결정할 필요성과 충분성을 함께 지지한다. 다만 linear probe는 해독 가능한 정보가 실제 downstream 계산에 쓰였음을 보장하지 않아, 저자들도 probe를 상관 증거로 제한한다.

2 · SuPER-Mamba의 두 단계 routing

1. pretrained model의 next-token distribution으로 각 context 위치 surprisal을 계산한다.
2. task category별 mean/max local pooling과 kernel k로 spike를 주변과 합친다.
3. Top-K historical content와 최근 R=32 content를 선택한다.
4. instruction·query는 원래 update를 유지하고, 선택 content만 predefined global channels를 갱신한다. local channels와 전체 recurrent input은 보존한다.

저자 보고 · 13 LongBench-E tasks, 총 3,668 test samples, batch 1. 각 task score는 0–4K·4–8K·8K+ 세 구간 official metric의 동등 평균이며, 전체는 13 task의 동등 평균이다. LAMB의 Mamba1·Zamba2 결과는 공개 script 부재로 논문 설명에 따라 저자들이 재현했다.

저자 보고 Mamba2 길이 구간별로 base는 14.98/5.45/3.85, LAMB는 22.41/22.32/19.15, SuPER는 23.64/21.18/19.85였다. Code task에서 LCC는 41.65→49.03, RepoBench-P는 34.02→42.20으로 개선됐다. 이는 model·metric·routing setting을 고정한 저자 보고이며 모든 조건의 우월성을 뜻하지 않는다.

PART 09 · KEY APPLICATIONS

긴 스트림에서 “중요한 순간”이 희소한 업무

ETRI / Physical AI 제안 센서 상태추적·로봇 고수준 계획·edge 운영지능에는 query-aware relevance clock과 surprisal event detector를 병렬로 두고, 둘이 불일치할 때 원시 evidence buffer를 연다. 저수준 실시간 제어와 비상정지는 이 학습 모델에서 분리하고 별도의 안전 검증 대상으로 둔다.

PART 10 · OPEN PROBLEMS

늦은 관련성을 어떻게 감지하고 되돌릴 것인가

• 과제별 유한 상태 한계: 어떤 정보가 state에 남아야 하는지 사전에 예측하는 이론이 부족하다.
• 망각 탐지: 필요한 token을 잘못 gate한 사실을 정답 없이 online 감지하기 어렵다.
• 깊이 deadline: 관련성 신호가 어느 layer 이전에 도착해야 하는지 모델·과제별 임계값이 없다.
• 장기 session drift/reset: 잘못된 routing이 누적될 때 reset·checkpoint·외부 검색 시점을 모른다.
• 공정 비교: 동일 학습 데이터·state size·precision·update budget·extra pass·hardware 조건이 필요하다.
• 원인 분리: sparse allocation, surprisal, local pooling, global channel 설계의 효과가 얽혀 있다.
• 자연 데이터 일반화: synthetic phonebook의 명확한 target과 실제 대화·agent의 암묵적 목표는 다르다.
• 한국어 전문업무: 교착어 tokenization과 긴 기술문서에서 관련성 timing을 검증한 공개 benchmark가 부족하다.

현재 증거는 gate를 고치면 회수가 바뀐다는 것까지는 강하지만, 자연언어에서 무엇을 언제 gate해야 하는지에 대한 일반 해답은 아니다. 특히 Mamba-3로의 일반화는 저자 추정일 뿐 아직 직접 검증되지 않았다.

PART 11 · FUTURE DIRECTIONS

Relevance Clock을 가진 계층형 기억 시스템

창의적 연구 제안 Relevance-Clock Memory를 제안한다. ① 저비용 recurrent state가 모든 stream을 처리하고, ② 초기 계층의 query-conditioned relevance predictor가 gate deadline을 감시하며, ③ 신호가 늦거나 불확실하면 필요한 구간의 sliding attention과 외부 evidence memory를 연다. memory budget은 고정 Top-K가 아니라 task uncertainty와 state pollution에 따라 늘고 줄어든다.

최종 해석 차세대 효율 모델의 경쟁력은 상태가 작은가만이 아니라, 중요한 증거가 사라지기 전에 알아차리고 기억 예산을 재배치할 수 있는가에 달려 있다. LFM2의 hardware-in-the-loop 설계와 Mamba의 선택적 state를 같은 실장치 계약—정확도, p95, peak memory, energy, 근거 회수, 오류복구—아래 비교하면 architecture·data·distillation 효과를 분리할 수 있다.