MAMBA-3 · GPU CO-DESIGN · CAUSAL ATTRIBUTION · PERSISTENT STATE

Mamba-3 Meets the GPU

Hardware co-design, causal ablation, and persistent state reveal why sequence efficiency must be measured across the whole architecture–hardware–evaluation stack

PUBLISHED 2026-11-18 KST · EVIDENCE CUTOFF 2026-11-18

Mamba 연구의 세 검증 축 RescuCore는 Mamba-3 연산의 GPU 실행 단편화를 줄이고, MambaVision의 size-matched null은 블록 제거 피해가 내용보다 위치를 반영할 수 있음을 보이며, Latent Lattice는 층별 지속 상태를 추가한다. 세 결과는 구조, 하드웨어, 평가의 공동설계를 요구한다. THREE NEW EVIDENCE AXES · ONE SYSTEM-LEVEL QUESTION HARDWARE · RESCUCORE 22–26 kernels / layer전용 파이프라인으로 결합 Accel-Sim + RTL synthesis · not silicon VALIDATION · NULL ABLATION 제거 피해 ≠ 내용 기여위치·크기 통제 필요 50k ImageNet · one hybrid family MEMORY · LATENT LATTICE 층별 수평 지속 상태vertical residual과 병행 20B–30B tokens · context 2,048 ARCHITECTURE × HARDWARE × EVALUATION 품질 최대화s.t. p95 · peak memory · Joule · recovery 연산량, 실제 실행, 인과 기여를 같은 실험 계약으로 묶기 SUPPORTED 공동설계의 잠재력상호작용 기반 평가 DO NOT INFER 실제 A100 속도 보증무한 기억 · 보편 우월 NEXT TEST 실기기 p95 · Joule/tasknull-controlled ablation

좁은 화면에서는 다이어그램을 좌우로 스크롤할 수 있습니다.

핵심 요약 · 최신 흐름은 더 빠른 recurrence 하나를 찾는 경쟁이 아니라, 연산을 어디에서 실행하고 무엇을 기여로 측정하며 어떤 상태를 얼마나 유지할지를 함께 설계하는 경쟁이다.

RescuCore의 속도·에너지 수치는 시뮬레이션과 합성 기반 저자 보고이고, MambaVision 결과는 한 비전 하이브리드 계열에 한정되며, Latent Lattice는 2,048 토큰 학습 조건의 언어모델 결과다. 서로 다른 조건의 숫자를 직접 순위화하지 않는다.

THE CENTRAL QUESTION

선형 시간 복잡도가 실제 GPU 속도, 신뢰할 수 있는 기능 귀속, 더 나은 장기 기억으로 이어지려면 무엇을 더 검증해야 하는가?

2026년 11월 14–16일 제출된 세 연구는 답을 서로 다른 층위에서 제시한다. Integrated GPU Core for Mamba-3는 Mamba-3 한 층이 22–26개 커널로 쪼개지는 실행 병목을 측정하고 GPU 안에 전용 파이프라인을 넣는 RescuCore를 제안한다. Size-Matched Nulls는 MambaVision 블록 제거 피해의 상당 부분이 블록의 내용보다 교란의 위치와 크기를 반영할 수 있음을 보인다. Latent Lattice Language Models는 층마다 시간축으로 지속되는 추가 상태를 두어, 상태 크기와 계산 능력을 새로운 축으로 확장한다.

3 NEW PREPRINTS · 2026-11-14–16HARDWARE SIMULATIONCAUSAL VALIDATIONPERSISTENT STATEAUTHOR-REPORTED RESULTS
형광 밑줄 범례 분홍 핵심 위험·반증 조건노랑 저자 주장·수치파랑 확인된 구조·사실초록 해석·연구 제안 색은 근거 수준이 아니라 읽기 우선순위를 표시한다. 본문에서는 [사실]·[저자 주장]·[해석]·[제안]을 별도로 표기한다.
PART 01
01

Definition

같은 이름처럼 보이는 것부터 분리한다

LFM(Liquid Foundation Models)은 Liquid AI가 개발하는 모델군이다. Mamba는 입력에 따라 상태의 기억·망각·읽기를 조절하는 선택적 상태공간 아키텍처 계열이다. Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), LFM, Mamba는 제품 계보와 수학적 구성이 다르다. 따라서 LFM = LTC = LNN = Mamba라는 동일시는 잘못이다.

사실LFM2 기술보고서가 공개한 구조는 입력 의존 게이트가 있는 단거리 합성곱과 일부 grouped-query attention(GQA)의 결합이다. 이는 LFM2에 한정된 설명이며 모든 LFM 세대에 소급할 수 없다. 이번 새 논문 세 편은 Liquid AI의 LFM 논문이 아니라 Mamba-3 실행, MambaVision 검증, 범용 언어모델 상태 확장을 다룬다.

세 새 개념

RescuCore

Mamba-3의 이산화·정규화·RoPE·MIMO·상태 갱신·게이팅을 GPU SM subpartition 내부 전용 파이프라인에서 처리하는 제안이다. dense projection·attention·MLP는 기존 Tensor/CUDA Core에 남긴다.

Size-matched null

실제 ablation과 동일한 크기·위치의 교란을 채널 shuffle 또는 sign flip으로 만들고, 둘의 피해 차이만 내용 기여로 해석하는 인과 귀속 대조군이다.

Latent Lattice

깊이 방향 vertical residual 외에 각 층에 시간 방향 horizontal latent를 두는 구조다. 이 상태는 attention, KV write, MLP, decoding을 직접 조건화한다.

후속 글의 범위

기존 종합 글의 정의·복잡도를 반복하지 않고, 새 근거가 바꾼 시스템 설계와 검증 기준을 통합한다.

PART 02
02

Problem Definition

공통 문제는 긴 이력, 낮은 추론비용, 높은 정확도를 동시에 얻는 것이다. 그러나 FLOPs 또는 asymptotic complexity 하나로는 충분하지 않다. 실제 목표는 품질을 최대화하면서 tail latency, peak memory, 에너지, 오류 복구 제약을 만족하는 다목적 설계다.

maximize  Quality(θ, D, T)   subject to   p95≤L*, PeakMemory≤M*, Joule/task≤E*, Recovery≥R*

여기서 θ는 구조와 학습법, D는 데이터, T는 하드웨어·컴파일러·커널이다. RescuCore는 T가 바뀌면 같은 θ의 실제 효율이 크게 달라질 수 있음을, null ablation은 Quality의 내부 원인을 잘못 측정할 수 있음을, Latent Lattice는 θ의 상태 수 자체를 확장할 수 있음을 보여준다.

해석연구의 초점은 “효율적인 연산자”에서 “기억·실행·검증을 묶는 공동설계”로 이동하고 있다. 알고리즘의 선형성은 출발점이지 제품 수준 효율의 결론이 아니다.
측정 층위잘못된 단일 결론필요한 확인
복잡도O(L)이므로 GPU에서도 빠르다kernel launch, occupancy, register pressure, data movement
Ablation제거 피해가 크므로 그 블록의 내용이 중요하다동일 크기·위치 null, 상호작용, seed·family 대조
상태 크기상태가 길이와 독립이므로 기억도 충분하다과제별 정보 용량, 회수율, drift, reset, 외부 기억
PART 03
03

Core Concepts

선택적 상태공간 모델

이산 selective SSM의 핵심은 다음과 같이 쓸 수 있다.

ht = Ātht−1 + B̄txt,    yt = Ctht

Ā_t는 이전 상태의 유지·감쇠, B̄_t는 현재 입력의 기록, C_t는 상태의 읽기를 조절한다. 선택성은 입력마다 기억·망각·읽기 강도를 바꾸는 것이며 추론 도중 모델 가중치를 학습하는 것이 아니다. 순환 상태의 저장 크기가 문맥 길이에 독립이라는 말도 무한 정보를 완전 보존한다는 뜻이 아니다.

Mamba-3가 하드웨어에 추가한 것

Mamba-3는 이전과 현재 입력을 함께 쓰는 exponential–trapezoidal 이산화, real tensor의 2차원 회전으로 구현하는 complex-valued dynamics, 하나의 상태에 여러 입력·출력 특징을 결합하는 MIMO를 도입한다. MIMO는 상태 접근당 산술집약도를 높이지만, 시간 t의 상태는 여전히 t−1에 의존한다. 이질적 연산이 한 층 안에서 연속되므로 GPU에서는 dense matmul 사이에 작은 elementwise·순차 커널이 반복된다.

Attention과 상태 메모리의 정확한 비용 경계

구조PrefillDecode 한 토큰이력 저장주의
표준 full attention길이 L에 대해 이차 연산이력 길이에 선형KV cache 선형구현·FlashAttention에 따라 상수항은 달라짐
고정 상태 순수 SSM총 선형 연산고정 상태 갱신길이에 독립인 순환 상태유한 상태는 exact recall 병목을 가짐
SSM + attention hybridattention 배치·window에 의존KV를 쓰는 층은 이력 의존상태 + KV 공존전체를 O(1) memory라 할 수 없음
LFM2gated short convolution + 일부 GQAGQA 층은 KV 접근KV 계수 감소GQA는 선형 길이 의존을 제거하지 않음
Latent Lattice수평 상태 scan + backbone층별 persistent state 갱신추가 유한 상태Jacobi refinement는 추가 forward pass 비용
PART 04
04

Introduction

이번 업데이트의 핵심은 세 논문 각각의 숫자보다 세 질문의 연결이다. 첫째, 이론적으로 효율적인 recurrence가 왜 실제 GPU에서 수십 개 커널로 분해되는가? 둘째, 하이브리드 안에서 Mamba 또는 attention 블록의 역할을 어떻게 정직하게 귀속할 것인가? 셋째, 단일 압축 상태가 부족할 때 attention을 늘리는 것 외에 어떤 상태 확장 축이 있는가?

RescuCore는 Mamba-3 hybrid의 SSM 부분이 평가 구성에서 전체 simulated GPU cycle의 30–96%를 차지하고, 한 층이 22–26개 kernel을 실행한다고 보고한다. decode에서는 저자들의 launch-latency model 아래 kernel launch가 simulated cycle의 56%를 차지했다. 한편 MambaVision 연구는 단일 블록 mean ablation의 피해가 size-matched shuffled null과 거의 같은 경우가 많다고 보인다. Latent Lattice는 “더 깊은 네트워크” 대신 “토큰 사이에 지속되는 계산 상태의 수”를 늘린다.

경계세 연구는 직접 비교 실험이 아니다. RescuCore는 modified Jamba·MaTVLM·MOL-Mamba의 simulation, MambaVision은 ImageNet-1k의 한 hybrid family, Latent Lattice는 주로 2,048 context의 FineWeb-Edu 학습이다. 공통 서사는 연구자 해석이지 세 논문이 공동으로 입증한 단일 정리와 다르다.
PART 05
05

Motivation and Background

Mamba 원 논문은 2023년 최초 공개된 배경 연구이고, Mamba-2/SSD는 2024년 공개·발표된 배경 연구다. 2025년 이후 흐름은 Samba의 SSM+sliding-window attention, hybrid 배치 분석, MemMamba의 상태 요약과 교차 attention, 계산 한계와 음의 고유값·구조화 전이 표현력 연구로 넓어졌다. 2026년 Mamba-3는 이산화·복소 상태·MIMO를 통해 표현력과 산술집약도를 다시 설계했다.

동시에 LFM2는 실제 장치에서의 비용을 탐색 루프에 포함하는 hardware-in-the-loop, Top-K 증류, curriculum·post-training을 보고했다. 이 두 계열은 동일하지 않지만 중요한 공통 동기를 가진다. 연산자, 학습 recipe, 하드웨어가 따로 최적화되면 실제 Pareto frontier를 놓친다.

출처 구분2025년 LFM2 문서는 Liquid AI의 공식 기술보고서다. 2026년 11월의 RescuCore·MambaVision null·Latent Lattice는 현재 arXiv v1 preprint이며 실행일 기준 정식 학회 발표 기록을 확인하지 못했다. 기업 제품 블로그와 모델카드는 논문 결과와 분리해 다룬다.

왜 지금 하드웨어·검증·상태가 만나는가

  • 하드웨어: 계산량을 줄여도 kernel fragmentation과 data movement가 지연·에너지를 지배할 수 있다.
  • 검증: hybrid block의 깊이와 종류가 얽히면 naive ablation이 구조적 취약성을 기능적 기여로 오해할 수 있다.
  • 상태: 한 개 압축 상태의 용량을 키우는 것과 여러 지속 상태를 병렬로 두는 것은 서로 다른 설계 축이다.
PART 06
06

Challenges

1 · 장거리 정확 회수 vs 압축

유한 상태는 이력을 압축한다. 추세 추정에는 유리하지만 identifier·근거 문장·과거 사건의 정확 회수에는 충돌이 생긴다.

2 · 기억 vs 상태 추적

과거 값을 그대로 복원하는 기억과, 현재 세계 상태를 지속 갱신하는 state tracking은 필요한 전이 구조와 지표가 다르다.

3 · Algorithm–GPU gap

작은 kernel, launch, register pressure, occupancy, synchronization 때문에 O(L) 연산자가 낮은 p95를 보장하지 않는다.

4 · 저정밀 누적 오차

상태는 시간축으로 반복 갱신된다. BF16·FP8·INT8의 작은 편향이 긴 session에서 drift를 만들 수 있다.

5 · 기여 귀속의 혼란

블록 종류와 깊이, 교란 크기와 방향, 데이터와 seed가 얽히면 ablation 피해를 구조의 고유 기여로 오인한다.

6 · 훈련 길이 밖 일반화

2,048 토큰에서 perplexity가 좋아도 수십만 토큰 상태 안정성, reset 정책, rare-event recall은 별도 문제다.

또한 데이터·증류·아키텍처 효과 분리, CPU/GPU/NPU kernel 차이, 평균 지연과 p95의 격차가 남는다. RescuCore의 기술 scaling은 실제 배치와 다르고, MambaVision은 한 checkpoint per size라 training seed 분산을 측정하지 못했다. Latent Lattice의 일부 Jacobi 설정은 여러 sweep이 필요해 inference 비용까지 함께 비교해야 한다.

PART 07
07

Research Questions

  1. 동일 메모리 예산에서 무엇을 상태로 유지해야 하는가? 단일 큰 상태, 층별 작은 상태, KV, 외부 증거 메모리의 최적 분배는 과제별로 어떻게 달라지는가?
  2. 최소 attention 비중과 배치는 얼마인가? direct retrieval이 필요한 순간에만 attention을 쓰면 품질·p95·energy Pareto가 개선되는가?
  3. 전이 표현력과 병렬 학습의 균형은 어디인가? complex/negative eigenvalue, MIMO, multi-state가 parallel scan을 유지하면서 어떤 state-tracking 언어를 추가로 표현하는가?
  4. 저정밀 장기 안정성은 얼마인가? 상태 길이, reset 주기, quantization format에 따라 drift·calibration·회수율이 언제 무너지는가?
  5. 합성 state tracking이 실제 agent 성공률을 예측하는가? parity·copy·counter 점수와 로봇·설비 agent의 작업 완료·오류 복구 사이 상관은 있는가?
  6. 실제 단말 성공 작업당 에너지는 얼마인가? simulation speedup이 CPU/GPU/NPU 실기기의 Joule/success와 p95에서도 유지되는가?
  7. Ablation의 null은 무엇이어야 하는가? 크기·위치·방향·분포·재학습 효과를 단계적으로 통제하면 Mamba와 attention의 고유 기여가 어떻게 바뀌는가?
PART 08
08

Approaches (Methods)

8.1 RescuCore: GPU 안에 Mamba-3 전용 실행 경로

저자들은 Jamba, MaTVLM, MOL-Mamba의 기존 Mamba/Mamba-2 mixer를 Mamba-3로 교체하고 나머지 구조를 유지했다. baseline GPU는 A100으로 모델링하며, RescuCore는 각 SM subpartition에서 register file, shared memory, warp scheduler를 공유한다. dense input/output projection은 기존 GPU에 남기고 그 사이의 이질적 연산을 deeply pipelined datapath로 묶는다.

항목조건저자 보고해석 제한
대표 workloadJamba: IMDB/AG-News/SST2, L=256, N=128, R=4, B=32
MaTVLM: CIFAR-10/SVHN/EuroSAT, L=64, N=64, R=1, B=64
MOL-Mamba: BBBP/BASE/ClinTox, L=200, N=64, R=1, B=32
원 모델과 비슷한 accuracy를 갖도록 Mamba-3 구성 선택원래 공개 대형모델 inference와 동일한 workload가 아님
설계BF16, native N′=32, R′=4, one unit / SM subpartitionA100 die 대비 추정 area 5.9%FreePDK45 합성 후 7nm scaling
평가 도구Accel-Sim + Verilog RTL synthesis + AccelWattchprefill 1.4–9.4× speedup, 1.4–5.0× energy reductionfabricated chip 실측 아님
Decode동일 fixed-size core, 큰 N/R은 반복 pass 포함1.3–2.8× speedup, 1.2–2.6× energy reductionsimulation launch model·mapping에 민감
저자 주장Mamba-3 mixer의 full-model runtime share는 acceleration 후 prefill에서 40–83%에서 5% 미만으로 내려갔고, 전체 prefill은 최대 9.4× 빨라졌다. 그러나 이는 cycle-accurate simulation과 synthesis-informed power model 결과이며 실제 A100 개조 실리콘의 측정값이 아니다.

8.2 Size-matched null: “제거했다”와 “내용을 잃었다”를 분리

MambaVision-T/S/B의 모든 mixer block에 mean ablation을 적용하고, 같은 perturbation의 channel을 shuffle하거나 sign flip한 null과 비교한다. null은 크기와 삽입 위치를 맞추되 원래 내용과의 정렬을 깨뜨린다. real damage와 null damage 차이 C를 content effect로 본다.

저자 주장50,000개 ImageNet validation image에서 MambaVision-T의 pooled content effect는 top-1 기준 90% interval [−0.044,+0.016] percentage points였다. DeiT-Small과 Swin-T 대조군에서는 real ablation이 null보다 각각 최대 4.2pp, 1.0pp 더 나빠 test가 content를 감지할 수 있음을 보였다.

그러나 “Mamba block이 불필요하다”는 결론은 성립하지 않는다. 같은 type의 모든 block을 제거할 때 피해는 single effect 합의 3.7–8.4배로 누적됐고, MambaVision-T의 여섯 Mamba mixer 전체 기여는 3.9pp였다. input-dependent selection을 모두 freeze했을 때 selection이 Mamba contribution의 20–32%를 담당했으며 주로 B, C projection에서 왔다.

제한Mamba mixer가 stage 안에서 attention보다 항상 앞에 있으므로 type과 depth를 완전히 분리하지 못한다. 한 family, ImageNet-1k, size별 하나의 공개 checkpoint에 한정되고 training seed 분산은 없다.

8.3 Latent Lattice: 계산 상태의 수를 늘린다

각 층의 horizontal latent rᶩ_t는 시간축으로 유지되고 vertical stream hᶩ_t와 상호작용한다. attention의 query/key/value와 KV write, MLP, 최종 decoding을 직접 조절한다. base update는 affine recurrence를 유지해 parallel scan이 가능하고, 선택적으로 top-to-bottom feedback을 Jacobi sweep으로 근사한다.

rℓt = gℓt ⊙ rℓt−1 + bℓt
저자 주장20B FineWeb-Edu token으로 학습한 406M parameter Lattice는 parameter-matched Transformer의 validation perplexity를 15.41→14.40으로 낮췄다. hyper-connections와 input residual을 함께 쓴 variant는 13.61로, 같은 enhancement를 넣은 Transformer의 14.22보다 낮았다. Gated DeltaNet, Mamba-2, Triadic GDN, GDN–Mamba-2 hybrid에서도 tested native state size마다 개선을 보고했다.

공통 학습 조건은 sequence length 2,048, global batch 512, 8 GPU, BF16이며 scan/FiLM 일부는 FP32다. 30B token 확장 결과도 있지만, 이 결과는 장기 session의 exact recall, 실기기 energy, state corruption 복구를 검증하지 않는다.

8.4 기존 방법과의 연결

접근핵심 방법새 근거와의 연결남는 제한
LFM2hardware-in-the-loop, gated short convolution, 일부 GQA, Top-K distillation, curriculum·post-training구조–하드웨어 공동설계의 제품 지향 사례LFM2 고유 구조; Mamba와 동일시 금지
Mamba-3exponential-trapezoidal, complex states, MIMORescuCore가 직접 가속하는 이질적 연산유한 상태와 sequential dependency
Samba / hybridSSM + sliding-window attention, sequential/parallel 배치null-controlled attribution 필요성attention KV 비용과 recipe confound
MemMamba상태 요약, cross-layer/token attentionLatent Lattice와 다른 memory expansion 축추가 메모리·복잡도
Negative eigenvalue / structured transition부호·입력 의존·구조화 전이state tracking 표현력의 이론적 축합성 과제–실세계 전이 미확정
PART 09
09

Key Applications

검증된 방향과 제안 방향을 구분한다

온디바이스 텍스트·음성·비전 보조

해석작은 KV와 streaming state는 유리하지만, RescuCore는 A100-class GPU architecture study다. 모바일 NPU 성능으로 바로 환산할 수 없다.

로컬 RAG

제안순환 상태로 대화·센서 흐름을 압축하고, exact evidence는 외부 index와 제한 attention으로 회수한다. 출처와 state를 분리한다.

스트리밍 분석

해석지속 상태는 센서·로그·음성의 연속 갱신에 적합하지만 drift detector와 reset policy가 필수다.

하이브리드 모델 해석·pruning

사실size-matched null은 naive ablation 기반 block importance와 pruning 결정이 위치 취약성을 따라갈 위험을 드러낸다.

ETRI / Physical AI를 위한 연구 제안

제안센서 상태 추적, 로봇 고수준 계획, edge operation intelligence에 계층형 상태를 적용한다. 빠른 순환 상태는 최근 상황, 제한 attention은 이상 구간, 외부 evidence memory는 정비 이력·안전 규칙을 담당한다. 저수준 제어에는 latency bound, stability, fail-safe를 별도로 검증하며 언어모델 성공을 직접 안전성으로 해석하지 않는다.

제안현장 실증은 먼저 replay 가능한 로그에서 상태 오염·통신 단절·sensor dropout을 시험하고, shadow mode, 제한 자율, 장기 자율 순으로 진행한다. 모든 단계에서 작업 성공당 Joule, p95, 근거 회수율, 오류 복구율을 함께 기록한다.
PART 10
10

Open Problems

  1. 과제별 유한 상태 한계: 어떤 entropy·dependency 구조에서 고정 상태가 exact retrieval을 포기해야 하는가?
  2. 망각 탐지: 모델이 필요한 정보를 상태에서 잃었다는 사실을 출력 전에 감지할 수 있는가?
  3. 장기 session drift/reset: 어느 신호로 state를 checkpoint, merge, decay, reset할 것인가?
  4. 공정 비교: 동일 데이터·token budget·parameter·quantization·hardware·kernel maturity에서 구조 효과를 분리할 수 있는가?
  5. 실리콘 검증: RescuCore의 45nm synthesis→7nm scaling과 simulation speedup이 실제 구현의 timing closure, routing, power, compiler에서 유지되는가?
  6. 인과 귀속 일반화: size-matched null 결론이 다른 hybrid family, dense prediction, language model, 여러 seed에서도 재현되는가?
  7. 상태 수의 최적화: Latent Lattice의 층별 state가 큰 native SSM state, KV cache, external memory보다 언제 유리한가?
  8. 실세계 안전성과 한국어 전문업무: 한국어 기술문서 회수, 장비 운영, 규정 준수에서 근거·calibration·복구가 유지되는가?
해석이 미해결 문제들은 “Mamba가 Transformer보다 우월한가?”라는 단일 질문보다 생산적이다. 어느 모델도 모든 조건에서 우월하지 않으며, task–context–hardware–precision–batch가 바뀌면 Pareto 순위도 달라진다.
PART 11
11

Future Directions

1 · 계층형 기억 시스템

제안압축 상태 + 필요 구간 attention + 외부 증거 메모리의 세 층을 둔다. compressed state는 빠른 상황 갱신, attention은 불확실 구간의 정밀 참조, external memory는 provenance와 exact record를 담당한다. Latent Lattice류 층별 상태는 compressed state 안에서 기능별 workspace로 사용할 수 있다.

2 · 적응형 기억·하드웨어 예산

제안항상 같은 state size와 attention window를 쓰지 말고 사건 중요도, 불확실성, 망각 위험에 따라 state slot·attention span·external write를 늘린다. 동시에 compiler/runtime은 recurrent pipeline과 dense path 사이의 배치를 동적으로 조절한다.

3 · 성공 작업 중심 벤치마크

축필수 지표반증 조건
품질task success, 근거 회수율, calibrationperplexity 개선이 작업 성공으로 이어지지 않음
지연prefill/decode p50·p95·p99, cold start평균만 개선되고 tail 악화
자원peak memory, Joule/success, thermal throttlingtoken당 energy는 낮지만 재시도로 task energy 증가
회복state corruption 탐지, reset 후 복구율장기 session에서 silent drift
귀속real ablation − matched null, interaction effectsingle-block score가 null·seed에 따라 역전

4 · ETRI 온디바이스 협업지능 실증

제안동일 학습 데이터, tokenizer, quantization, hardware power mode에서 pure attention, pure SSM, hybrid, hierarchical-memory를 비교한다. CPU/GPU/NPU별 optimized kernel을 고정하고 p95·peak memory·Joule/success를 측정한다. 상태 오염, sensor spoofing, 통신 단절, 장기 idle 후 재개를 포함한다.

실증은 (i) 로그 replay와 synthetic state tracking, (ii) 제한된 lab robot/설비, (iii) operator shadow mode, (iv) human override가 있는 장기 현장 운영의 네 단계로 진행한다. 각 단계의 진입 기준은 accuracy가 아니라 안전한 recovery와 evidence trace까지 포함해야 한다.

최종 제안RescuCore의 hardware path, null-controlled causal attribution, multi-state memory를 하나의 co-design loop에 넣는다. 후보 구조를 학습한 뒤 실제 target device에서 latency·energy를 측정하고, matched-null intervention으로 기능 기여를 확인하며, 망각 위험이 높은 작업에만 state와 attention 예산을 늘린다.
EVIDENCE LEDGER
§

Sources and Date Ledger

실행일 2026-11-18 KST 이후 자료는 포함하지 않았다. 수치는 저자 보고이며 독립 재현값이 아니다.

  1. Integrated GPU Core for Mamba-3. arXiv:2611.20409 v1. 최초 제출·공개 2026-11-16, 실행일 현재 개정 없음, 정식 학회 발표 기록 미확인. Abstract · HTML · PDF
  2. Size-Matched Nulls Reveal What Block Ablation Measures in MambaVision. arXiv:2611.19248 v1. 최초 제출 2026-11-14, 실행일 현재 개정 없음, 정식 발표 기록 미확인. Abstract · HTML · PDF
  3. Latent Lattice Language Models. arXiv:2611.21608 v1. 최초 제출·공개 2026-11-16, 실행일 현재 개정 없음, 정식 학회 발표 기록 미확인. Abstract · HTML · PDF
  4. Mamba-3: Improved Sequence Modeling using State Space Principles. arXiv:2603.15569. 최초 공개 2026-03-16. exponential–trapezoidal discretization, complex state, MIMO의 배경 원문. arXiv
  5. LFM2 Technical Report. Liquid AI 공식 기술보고서, arXiv:2511.23404. 최초 공개 2025-11-28. LFM2 고유 구조와 hardware-in-the-loop의 배경. arXiv
  6. Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling. 최초 공개 2024년, ICLR 2025 정식 발표. 2024년 원논문이므로 배경 연구로 사용. ICLR proceedings
  7. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. 최초 공개 2023-12-01, COLM 2024. 2024년 이전 원논문 배경. arXiv
  8. LFM and Mamba: Memory, State Tracking, and Efficient Edge Intelligence. 기존 종합 글, 2026-10-08. 정의·복잡도·2025–2026 연구 지형. Blog
  9. Recurrence Along Time, Attention Across Variables. 직전 Mamba-3 후속 글, 2026-11-15. 축별 hybrid와 장문맥 표적 회수. Blog