Research Brief · 17 Oct 2026

Spend Global Compute Once per Block.

TurboMamba는 Mamba-3의 전역 상태를 매 토큰이 아니라 블록마다 한 번 갱신하고, 가벼운 국소 Transformer와 어휘 메모리가 블록 내부의 정확성을 보완한다. 핵심은 더 빠른 연산자가 아니라 서로 다른 시간척도에 계산을 배치하는 법이다.

Mamba-3 × Local AttentionLexical Memory3M parameters · Apple M4Evidence cutoff: 2026-10-17 KST
TurboMamba의 두 시간척도 계산 구조 완료된 토큰 블록이 전역 Mamba-3 상태를 한 번 갱신하고, 그 문맥과 경계 토큰 및 최근 토큰 빈도가 국소 Transformer의 매 토큰 예측을 돕는 구조 MULTI-RATE LANGUAGE MODEL 완료된 블록B = 4 tokens Global Mamba-3블록당 1회 상태 갱신압축된 장기 문맥 Local Transformer토큰마다 블록 내부 예측블록 경계에서 KV reset 다음토큰 경계 토큰 임베딩이전 블록과 연결 최근 토큰 빈도W = 128 lexical memory 잔차 vocab 보정정확한 표면형 복원 설계 명제: 전역 추론의 시계는 느리게, 국소 예측의 시계는 빠르게 — 품질·지연·상태 예산의 Pareto 설계
해석 논문의 구성요소를 시간척도 관점으로 재배열한 설명도다. 화살표는 정보 흐름을 뜻하며 개별 구성요소의 인과 효과를 입증하지 않는다.
분홍 — 정의·오해 교정노랑 — 저자 보고 결과파랑 — 분석·해석초록 — 연구 제안
Executive abstract. 2026년 10월 14일 처음 공개된 TurboMamba는 3M 매개변수 규모에서 전역 Mamba-3 계산을 4토큰 블록마다 한 번만 수행하고, 2층 국소 Transformer와 세 가지 어휘 신호로 블록 내부 예측을 보완한다. 저자는 같은 180초 학습 예산에서 Mamba-3보다 테스트 NLL이 9.4% 낮고 학습 처리량은 2.60배, 특정 생성 조건의 지연은 최대 3.12배 개선됐다고 보고한다. 그러나 Block Transformer가 더 빠르고, 실험은 Apple M4·FP32·짧은 문맥·단일 데이터셋에 한정된다. 따라서 결론은 “Mamba의 보편적 승리”가 아니라 전역 상태 갱신 주기와 국소 정확도 보정의 공동 설계가 새로운 Pareto 축이라는 것이다.
1 Definition

한 모델, 두 개의 시계

사실 TurboMamba는 순수 Mamba도, 순수 Transformer도 아니다. 완료된 블록의 요약을 처리하는 전역 Mamba-3, 현재 블록 내부에서 매 토큰을 예측하는 국소 causal Transformer, 그리고 경계 토큰·최근 빈도·잔차 어휘 헤드로 구성된 계층형 언어모델이다.

느린 전역 시계
블록마다 장기 상태 갱신
→
빠른 국소 시계
토큰마다 정밀 예측

LFM은 Liquid AI의 모델군이고 Mamba는 선택적 상태공간 아키텍처다. LFM2는 입력 의존 게이트를 갖는 단거리 합성곱과 일부 GQA를 결합한 별도 설계다. 그러므로 LFM = LTC = LNN = Mamba라는 동일시는 틀리며, LFM2의 세부 구조를 모든 LFM 세대에 소급해서도 안 된다. 이번 신규 근거는 Mamba-3 기반 연구이며 LFM2에 대한 직접 실험이 아니다.

해석 “블록당 한 번”은 계산을 생략한다는 뜻보다 전역 추론의 해상도를 낮춘다는 뜻에 가깝다. 잃어버릴 수 있는 어휘적 세부는 빠르고 저렴한 국소 경로가 되받는다.
2 Problem Definition

정확도 하나가 아니라 제약된 다목적 최적화

공통 문제는 긴 이력을 처리하면서 낮은 추론비용과 높은 정확도를 동시에 얻는 것이다. 실제 단말에서는 평균 처리량보다 꼬리 지연, 피크 메모리, 에너지가 실패를 결정한다. 이를 다음과 같은 제약 문제로 볼 수 있다.

maximize  Q(θ, B, W)
subject to  p95-latency ≤ L*, peak-memory ≤ M*, energy/task ≤ E*

여기서 B는 전역 상태를 갱신하는 블록 크기, W는 최근 토큰 빈도 메모리 창이다. B가 커질수록 전역 계산은 줄지만 블록 내부의 전역 문맥은 더 오래 낡아진다. W가 커지면 표면형 재현은 쉬워지지만 메모리·검색 비용과 오래된 빈도 편향이 늘 수 있다.

전역 상태의 비용

Mamba-3를 매 토큰 호출하면 선택적 상태 전이의 비용을 매번 지불한다. TurboMamba는 이를 B개 토큰당 한 번으로 상각한다.

국소 정확도의 비용

현재 블록은 작은 attention으로 직접 접근한다. 캐시가 블록 경계에서 초기화되므로 전체 이력에 비례해 늘지는 않지만, B에 따른 유한 비용은 남는다.

3 Core Concepts

압축 상태, 국소 접근, 어휘적 우회로

Selective SSM은 입력마다 기억·망각·읽기를 조절한다

ht = Āt ht−1 + B̄t xt,    yt = Ct ht

사실 선택성은 입력에 따라 상태에 무엇을 쓰고, 무엇을 잊고, 무엇을 읽을지 조절하는 것이다. 이는 추론 중 모델 가중치를 다시 학습하는 것이 아니다. 순환 상태 크기가 시퀀스 길이와 무관하다는 말도 무한한 정보를 완전 보존한다는 뜻이 아니다.

블록 단위 전역 상태

TurboMamba는 완료된 블록을 투영해 하나의 전역 입력으로 만들고, 6개 Mamba-3 SISO 층을 통과시킨다. 이 전역 문맥은 다음 블록의 국소 Transformer 앞에 prefix처럼 공급된다. 현재 블록이 끝나기 전에는 전역 상태를 다시 계산하지 않는다.

세 가지 lexical memory

  1. 경계 토큰 연결: 직전 블록의 마지막 토큰 임베딩으로 단절을 완화한다.
  2. 최근 토큰 빈도 혼합: 길이 128의 최근 창에서 얻은 어휘 분포를 모델 분포와 섞는다.
  3. 잔차 vocabulary correction: 압축된 전역 상태가 놓친 정확한 표면형을 별도 로짓 경로로 보정한다.
사실 논문의 ablation은 세 요소를 묶은 lexical package와 Plain block 모델을 비교한다. 따라서 총 개선량을 특정 한 요소의 인과 효과로 배분할 수 없다.
4 Introduction

“무엇을 기억할까?” 다음의 질문: “언제 비싼 생각을 할까?”

최근의 Mamba 연구는 효율적인 연산자 자체에서 기억 회수·상태 추적·하드웨어 및 학습 공동 설계로 이동하고 있다. TurboMamba는 그 흐름에 전역 계산 빈도라는 축을 더한다.

어제까지의 관련 연구가 토큰의 중요도나 surprisal을 이용해 “언제 기억해야 하는가”를 물었다면, 이번 연구는 “언제 전역 모델을 다시 실행해야 하는가”를 묻는다. 모든 토큰이 세계 상태를 바꾸지는 않는다. 조사, 구두점, 상용구처럼 국소적으로 예측 가능한 부분에 장기 상태 갱신을 반복한다면 계산 예산의 배치가 비효율적일 수 있다.

해석 TurboMamba의 신선함은 Mamba 블록 하나가 아니라 semantic clock과 lexical clock을 분리한 데 있다. 다만 고정 B=4는 콘텐츠의 실제 사건 경계와 일치한다고 보장되지 않는다. 이 약점이 곧 적응형 후속 연구의 출발점이다.

5 Motivation and Background

복잡도 표어보다 실행 경로를 보라

계열Prefill / 총 연산Decode 상태·캐시정확히 말해야 할 점
표준 full attention길이 n에 대해 전형적으로 O(n²)KV cache O(n); 새 토큰 attention O(n)GQA는 KV 계수를 줄이지만 선형 길이 의존을 없애지 않는다.
고정 상태 순수 SSM전체 길이에 선형순환 상태는 길이와 무관고정 상태가 완전한 장기 회수를 보장하지 않는다.
LFM2 혼합단거리 gated convolution + 일부 GQAattention 층에는 KV가 남음모델 전체를 O(1) 메모리·완전 선형이라 부르면 안 된다.
TurboMamba전역 Mamba를 B토큰당 1회 + 유한 국소 attention전역 유한 상태 + 블록 내부 KV + 최근 W 빈도B와 W를 고정하면 생성 이력 길이에 대한 상태는 제한되지만 정보 용량도 유한하다.

배경 Mamba의 원 논문은 2023년 최초 공개된 배경 연구다. Mamba-3는 2026년 3월 공개되어 exponential–trapezoidal 이산화, 복소수 상태, MIMO 변형을 제안했다. TurboMamba는 그중 작은 SISO 구성요소를 전역 모듈로 사용한다. 즉 이번 결과를 대규모 Mamba-3 전체의 성능으로 일반화할 수 없다.

6 Challenges

속도를 얻는 순간 생기는 여섯 개의 빚

① 낡은 전역 문맥

블록 도중 중요한 사건이 발생해도 다음 경계 전까지 전역 상태에는 반영되지 않는다.

② 압축과 정확 회수의 충돌

유한 SSM 상태는 긴 이력을 압축한다. 어휘 메모리가 표면형을 돕더라도 의미적 증거 회수까지 해결하지 않는다.

③ 경계 민감도

고정 4토큰 경계는 문장·코드·센서 사건의 자연 경계와 무관할 수 있다.

④ 품질–처리량 혼입

동일 180초에서는 빠른 모델이 더 많은 학습 토큰을 본다. 이는 시스템 예산 비교로는 타당하지만 순수 표본 효율 비교는 아니다.

⑤ 저정밀 누적 오차

이번 실험은 FP32다. INT8/INT4에서 전역 순환 상태 오차와 lexical mixture가 장기적으로 어떻게 상호작용하는지 미검증이다.

⑥ 커널과 하드웨어 격차

Apple M4/MPS의 구현 순위가 CUDA GPU, CPU, NPU에서 유지된다는 근거는 없다.

7 Research Questions

다음 실험은 고정 블록을 깨야 한다

  1. 적응형 전역 시계: surprisal, 상태 변화량, 위험도에 따라 B를 동적으로 줄이거나 늘리면 동일 계산량에서 품질이 향상되는가?
  2. 기억 예산: 동일 메모리에서 SSM 상태, 국소 KV, 최근 빈도, 외부 증거 저장소에 각각 얼마를 배정해야 하는가?
  3. 최소 attention: 장거리 정확 회수를 위해 필요한 국소·희소 attention의 최소 비중과 배치는 무엇인가?
  4. 표현력 대 병렬성: 더 풍부한 상태 전이와 병렬 학습·효율적 커널 사이의 최적 균형은 어디인가?
  5. 저정밀 안정성: 수천 블록 뒤 INT4/INT8 상태 오차와 lexical bias는 어떤 drift를 만드는가?
  6. 현실 타당도: 합성 state-tracking 점수가 실제 agent 성공률, 근거 회수율, 오류 복구율을 예측하는가?
  7. 운영 효율: 토큰/초가 아니라 실제 단말의 성공 작업당 Joule에서 이점이 남는가?
8 Approaches (Methods)

저자 보고 결과와 그 경계를 함께 읽기

실험 프로토콜

사실 모델은 정확히 3,000,753개 매개변수, 블록 크기 4, 폭 128, 64차원 순환 상태, 6개 전역 Mamba-3 SISO 층, 2개 국소 Transformer 층, 4 query/2 KV heads, 4,096 어휘, 최근 메모리 창 128로 구성된다. FineWeb-Edu 10BT 표본을 사용했고, 모든 구현은 약 0.56% 이내로 매개변수를 맞췄다. Apple M4 24GiB, PyTorch 2.13.0, MPS FP32에서 3개 seed로 평가했다.

학습은 짧은 learning-rate pilot 뒤 seed마다 180초 wall-clock으로 수행됐다. 테스트는 256토큰 문맥 뒤 128토큰 continuation 1,024개 창이다. 지연 측정은 입력 복사, 검사, prefill, temperature 0.8/top-p 0.9 순차 샘플링, 모든 상태 갱신, 출력 전송과 동기화를 포함하며, 4회 warm-up 뒤 12개 batch를 측정해 3개 seed median의 평균을 썼다.

모델테스트 NLL ↓학습 처리량 k target/s ↑지연 ms, batch 1 ↓지연 ms, batch 32 ↓
Transformer5.29017.50215.61457.1
Mamba-35.4556.83336.01595.5
Block Transformer5.20122.67150.5269.9
Cache Transformer5.00117.50232.01503.5
Plain block5.36619.06150.6470.8
TurboMamba4.94117.77166.0510.6
Jamba adaptation5.3286.33457.91801.8
Zamba adaptation6.0443.69522.33173.4
MBLM6.11019.77170.5506.2
H-Net5.34916.10494.61388.2

표 1. 논문 Table의 저자 보고값. 지연은 prompt 256 / generation 128 조건. NLL·학습 처리량은 3개 seed 평균이며 원문에는 표준편차가 함께 제시된다. 하드웨어·정밀도·배치·문맥이 달라지면 순위가 바뀔 수 있다.

저자 주장 TurboMamba는 Mamba-3보다 NLL 9.4% 감소, 학습 처리량 2.60배, batch 32의 256/128 생성 지연 3.12배 개선을 보고한다. Jamba·Zamba adaptation 대비 해당 지연 개선은 각각 3.53배·6.21배다.

해석 하지만 “가장 빠른 모델”은 아니다. Block Transformer는 학습과 두 지연 열 모두 더 빠르다. TurboMamba의 위치는 이 표에서 가장 낮은 NLL과 중상위 속도를 결합한 Pareto 선택지다. 또한 Jamba 구현은 MPS에서 4개 expert를 모두 계산한 뒤 top-2를 합치므로 속도 비교는 구현 특이적이다.

저자 보고 lexical package는 Plain block의 NLL을 5.366에서 4.941로 0.426 nats/token 낮췄고, seed/document paired exploratory 95% interval은 [0.410, 0.442]다. 제한: 세 구성요소를 개별 분리하지 않았으며, 180초 예산 비교는 아키텍처 효과와 더 많은 학습 토큰 노출을 함께 측정한다.

관련 방법의 위치

  • LFM2: hardware-in-the-loop 탐색, Top-K distillation, curriculum과 사후학습을 함께 최적화한다. TurboMamba와 직접 비교된 것은 아니다.
  • Mamba-3: exponential–trapezoidal 이산화, 복소 상태, MIMO로 상태 전이 표현력을 확장한다. TurboMamba는 작은 SISO 전역층을 사용한다.
  • Samba: SSM과 sliding-window attention을 결합해 압축 기억과 정확 국소 접근을 병치한다.
  • Hybrid 분석·MemMamba: sequential/parallel 배치, paraphrase 데이터, 상태 요약과 교차 계층·토큰 attention으로 회수를 개선한다.
  • 표현력 연구: 음의 고유값, 통합 입력 의존성, 구조화 전이가 parity와 state tracking에 왜 필요한지 이론적으로 탐색한다.
9 Key Applications

항상 켜져 있지만 항상 깊게 생각할 필요는 없는 시스템

온디바이스 텍스트·음성·비전 보조

대부분의 프레임·토큰은 국소 경로로 처리하고 의미 사건에서 전역 상태를 갱신하는 다중 속도 보조기.

로컬 RAG

압축 상태는 대화 흐름, attention은 현재 증거 구간, 외부 메모리는 원문 근거를 담당하는 계층형 회수.

스트리밍 분석

센서·로그의 미세 변화는 값싼 국소 연산, 이상·전환점은 전역 상태 갱신으로 보내는 이벤트 중심 분석.

장기 agent 세션

행동 루프의 국소 문맥과 느리게 변하는 목표·제약을 분리하되, 망각 감지와 외부 증거 검증을 함께 둔다.

연구 제안 ETRI/Physical AI에서는 센서 상태 추적, 로봇 고수준 계획, 엣지 운영지능을 후보로 삼을 수 있다. 다만 이번 언어모델 결과는 저수준 제어의 안정성·실시간성·안전을 입증하지 않는다. 제어기는 별도의 형식 검증, fail-safe, 물리 실증을 거쳐야 한다.
10 Open Problems

3M 모델의 예쁜 결과가 답하지 못한 것

  • 스케일링: 3M에서의 Pareto 관계가 수억·수십억 매개변수에서 유지되는가?
  • 장문맥: 256+128토큰을 넘어 수만 토큰·수일 세션에서 정확 회수와 상태 drift가 어떻게 변하는가?
  • 유한 상태 한계: 과제별로 필요한 기억량을 사전에 추정하고, 기억 포화를 온라인으로 탐지할 수 있는가?
  • 망각과 reset: 오래된 오염 상태를 언제 요약·교체·초기화해야 하는가?
  • 공정 비교: 같은 학습 데이터·토큰 수·wall-clock·커널 최적화·양자화·하드웨어를 각각 통제한 재현 가능한 비교가 필요하다.
  • 실세계 안전: 상태 오염, 통신 단절, 센서 누락, 적대 입력에서 실패를 감지하고 복구할 수 있는가?
  • 한국어 전문업무: 형태소가 풍부한 한국어, 코드 혼용, 기술문서, 행정·제조 용어에서 lexical count가 같은 이익을 주는가?

범위 제한 공개된 실험은 FineWeb-Edu 일부, Apple M4, FP32, 짧은 문맥에 한정된다. CPU/GPU/NPU, 양자화, 에너지, p95 지연, 실제 RAG·agent 성공률은 보고되지 않았다. 어느 모델이 모든 조건에서 우월하다고 결론낼 근거가 없다.

11 Future Directions

고정 블록에서 사건 구동형 기억 시스템으로

연구 제안 다음 세대는 압축 상태 + 필요한 구간의 attention + 외부 증거 메모리를 하나의 적응형 예산 관리자 아래 두는 계층형 시스템이어야 한다.

Event-triggered global clock

고정 B 대신 surprisal, 상태 변화량, 위험도, 증거 부족 신호가 임계값을 넘을 때 전역 Mamba를 갱신한다.

Elastic memory budget

평상시에는 작은 상태로 동작하고, 정확 회수나 안전 검증이 필요한 순간에만 KV·외부 증거·상태 크기를 늘린다.

Evidence-aware reset

상태와 외부 근거가 충돌하면 압축 상태를 신뢰하지 않고 재검색·재구성·부분 reset을 실행한다.

Task-level benchmark

토큰/초 대신 성공 작업당 Joule, p95 지연, 근거 회수율, 오류 복구율을 동시에 측정한다.

ETRI 온디바이스 협업지능 검증 로드맵

  1. 1단계 — 통제 실험: 동일 학습데이터·토큰·양자화·하드웨어에서 Mamba-3, TurboMamba, sliding-window hybrid, Transformer를 비교한다.
  2. 2단계 — 고장 주입: 상태 오염, 경계 이동, 통신 단절, 센서 지연, 메모리 포화와 reset 정책을 시험한다.
  3. 3단계 — 장기 실증: 로봇·설비에서 수시간에서 수주로 세션을 늘리며 성공/Joule, p95, 근거 회수, 복구율, 안전 위반을 측정한다.
결론적 제안 TurboMamba를 “Mamba를 더 빠르게 만든 모델”로만 읽으면 설계 기회를 놓친다. 더 큰 아이디어는 계산 빈도를 정보 변화의 시간척도와 맞추는 것이다. 미래의 효율 모델은 하나의 긴 시퀀스를 동일 속도로 처리하지 않고, 변화가 느린 세계 상태와 빠른 표면 예측을 서로 다른 시계로 운영할 가능성이 크다.

References & provenance

  1. TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory. arXiv:2610.20682. 최초 공개 2026-10-14, v1. Abstract · PDF
  2. LFM2 Technical Report. arXiv:2511.23404. 최초 공개 2025-11-28. arXiv
  3. Mamba-3: Improved Sequence Modeling using State Space Principles. arXiv:2603.15569. 최초 공개 2026-03-16. arXiv
  4. Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling. 최초 공개 2024, ICLR 2025 발표. ICLR proceedings
  5. Understanding and Enhancing Mamba-Transformer Hybrids. 2025. arXiv
  6. MemMamba. 2025. arXiv
  7. The Computational Limits of State-Space Models and Mamba. 2025. PMLR
  8. Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues. 최초 공개 2024, ICLR 2025 발표. ICLR proceedings
  9. Parity Requires Unified Input Dependence and Negative Eigenvalues in SSMs. 2025. arXiv
  10. Structured Linear CDEs. 2025. arXiv
  11. LFM2.5 product announcement. 기업 발표·논문 아님. Liquid AI

날짜 원칙: 최초 공개일과 학회 발표연도를 구분했다. 2024년 최초 공개 논문은 2025년 학회 논문이더라도 배경으로 표기했다. 실험 수치는 모두 저자 보고이며 2026-10-17 KST 이후 자료는 포함하지 않았다. arXiv v1 외 개정이 확인되지 않은 신규 논문에는 별도 개정일을 만들지 않았다.