RescuCore
Mamba-3의 이산화·정규화·RoPE·MIMO·상태 갱신·게이팅을 GPU SM subpartition 내부 전용 파이프라인에서 처리하는 제안이다. dense projection·attention·MLP는 기존 Tensor/CUDA Core에 남긴다.
Hardware co-design, causal ablation, and persistent state reveal why sequence efficiency must be measured across the whole architecture–hardware–evaluation stack
좁은 화면에서는 다이어그램을 좌우로 스크롤할 수 있습니다.
RescuCore의 속도·에너지 수치는 시뮬레이션과 합성 기반 저자 보고이고, MambaVision 결과는 한 비전 하이브리드 계열에 한정되며, Latent Lattice는 2,048 토큰 학습 조건의 언어모델 결과다. 서로 다른 조건의 숫자를 직접 순위화하지 않는다.
선형 시간 복잡도가 실제 GPU 속도, 신뢰할 수 있는 기능 귀속, 더 나은 장기 기억으로 이어지려면 무엇을 더 검증해야 하는가?
2026년 11월 14–16일 제출된 세 연구는 답을 서로 다른 층위에서 제시한다. Integrated GPU Core for Mamba-3는 Mamba-3 한 층이 22–26개 커널로 쪼개지는 실행 병목을 측정하고 GPU 안에 전용 파이프라인을 넣는 RescuCore를 제안한다. Size-Matched Nulls는 MambaVision 블록 제거 피해의 상당 부분이 블록의 내용보다 교란의 위치와 크기를 반영할 수 있음을 보인다. Latent Lattice Language Models는 층마다 시간축으로 지속되는 추가 상태를 두어, 상태 크기와 계산 능력을 새로운 축으로 확장한다.
LFM(Liquid Foundation Models)은 Liquid AI가 개발하는 모델군이다. Mamba는 입력에 따라 상태의 기억·망각·읽기를 조절하는 선택적 상태공간 아키텍처 계열이다. Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), LFM, Mamba는 제품 계보와 수학적 구성이 다르다. 따라서 LFM = LTC = LNN = Mamba라는 동일시는 잘못이다.
Mamba-3의 이산화·정규화·RoPE·MIMO·상태 갱신·게이팅을 GPU SM subpartition 내부 전용 파이프라인에서 처리하는 제안이다. dense projection·attention·MLP는 기존 Tensor/CUDA Core에 남긴다.
실제 ablation과 동일한 크기·위치의 교란을 채널 shuffle 또는 sign flip으로 만들고, 둘의 피해 차이만 내용 기여로 해석하는 인과 귀속 대조군이다.
깊이 방향 vertical residual 외에 각 층에 시간 방향 horizontal latent를 두는 구조다. 이 상태는 attention, KV write, MLP, decoding을 직접 조건화한다.
기존 종합 글의 정의·복잡도를 반복하지 않고, 새 근거가 바꾼 시스템 설계와 검증 기준을 통합한다.
공통 문제는 긴 이력, 낮은 추론비용, 높은 정확도를 동시에 얻는 것이다. 그러나 FLOPs 또는 asymptotic complexity 하나로는 충분하지 않다. 실제 목표는 품질을 최대화하면서 tail latency, peak memory, 에너지, 오류 복구 제약을 만족하는 다목적 설계다.
여기서 θ는 구조와 학습법, D는 데이터, T는 하드웨어·컴파일러·커널이다. RescuCore는 T가 바뀌면 같은 θ의 실제 효율이 크게 달라질 수 있음을, null ablation은 Quality의 내부 원인을 잘못 측정할 수 있음을, Latent Lattice는 θ의 상태 수 자체를 확장할 수 있음을 보여준다.
| 측정 층위 | 잘못된 단일 결론 | 필요한 확인 |
|---|---|---|
| 복잡도 | O(L)이므로 GPU에서도 빠르다 | kernel launch, occupancy, register pressure, data movement |
| Ablation | 제거 피해가 크므로 그 블록의 내용이 중요하다 | 동일 크기·위치 null, 상호작용, seed·family 대조 |
| 상태 크기 | 상태가 길이와 독립이므로 기억도 충분하다 | 과제별 정보 용량, 회수율, drift, reset, 외부 기억 |
이산 selective SSM의 핵심은 다음과 같이 쓸 수 있다.
Ā_t는 이전 상태의 유지·감쇠, B̄_t는 현재 입력의 기록, C_t는 상태의 읽기를 조절한다. 선택성은 입력마다 기억·망각·읽기 강도를 바꾸는 것이며 추론 도중 모델 가중치를 학습하는 것이 아니다. 순환 상태의 저장 크기가 문맥 길이에 독립이라는 말도 무한 정보를 완전 보존한다는 뜻이 아니다.
Mamba-3는 이전과 현재 입력을 함께 쓰는 exponential–trapezoidal 이산화, real tensor의 2차원 회전으로 구현하는 complex-valued dynamics, 하나의 상태에 여러 입력·출력 특징을 결합하는 MIMO를 도입한다. MIMO는 상태 접근당 산술집약도를 높이지만, 시간 t의 상태는 여전히 t−1에 의존한다. 이질적 연산이 한 층 안에서 연속되므로 GPU에서는 dense matmul 사이에 작은 elementwise·순차 커널이 반복된다.
| 구조 | Prefill | Decode 한 토큰 | 이력 저장 | 주의 |
|---|---|---|---|---|
| 표준 full attention | 길이 L에 대해 이차 연산 | 이력 길이에 선형 | KV cache 선형 | 구현·FlashAttention에 따라 상수항은 달라짐 |
| 고정 상태 순수 SSM | 총 선형 연산 | 고정 상태 갱신 | 길이에 독립인 순환 상태 | 유한 상태는 exact recall 병목을 가짐 |
| SSM + attention hybrid | attention 배치·window에 의존 | KV를 쓰는 층은 이력 의존 | 상태 + KV 공존 | 전체를 O(1) memory라 할 수 없음 |
| LFM2 | gated short convolution + 일부 GQA | GQA 층은 KV 접근 | KV 계수 감소 | GQA는 선형 길이 의존을 제거하지 않음 |
| Latent Lattice | 수평 상태 scan + backbone | 층별 persistent state 갱신 | 추가 유한 상태 | Jacobi refinement는 추가 forward pass 비용 |
이번 업데이트의 핵심은 세 논문 각각의 숫자보다 세 질문의 연결이다. 첫째, 이론적으로 효율적인 recurrence가 왜 실제 GPU에서 수십 개 커널로 분해되는가? 둘째, 하이브리드 안에서 Mamba 또는 attention 블록의 역할을 어떻게 정직하게 귀속할 것인가? 셋째, 단일 압축 상태가 부족할 때 attention을 늘리는 것 외에 어떤 상태 확장 축이 있는가?
RescuCore는 Mamba-3 hybrid의 SSM 부분이 평가 구성에서 전체 simulated GPU cycle의 30–96%를 차지하고, 한 층이 22–26개 kernel을 실행한다고 보고한다. decode에서는 저자들의 launch-latency model 아래 kernel launch가 simulated cycle의 56%를 차지했다. 한편 MambaVision 연구는 단일 블록 mean ablation의 피해가 size-matched shuffled null과 거의 같은 경우가 많다고 보인다. Latent Lattice는 “더 깊은 네트워크” 대신 “토큰 사이에 지속되는 계산 상태의 수”를 늘린다.
Mamba 원 논문은 2023년 최초 공개된 배경 연구이고, Mamba-2/SSD는 2024년 공개·발표된 배경 연구다. 2025년 이후 흐름은 Samba의 SSM+sliding-window attention, hybrid 배치 분석, MemMamba의 상태 요약과 교차 attention, 계산 한계와 음의 고유값·구조화 전이 표현력 연구로 넓어졌다. 2026년 Mamba-3는 이산화·복소 상태·MIMO를 통해 표현력과 산술집약도를 다시 설계했다.
동시에 LFM2는 실제 장치에서의 비용을 탐색 루프에 포함하는 hardware-in-the-loop, Top-K 증류, curriculum·post-training을 보고했다. 이 두 계열은 동일하지 않지만 중요한 공통 동기를 가진다. 연산자, 학습 recipe, 하드웨어가 따로 최적화되면 실제 Pareto frontier를 놓친다.
유한 상태는 이력을 압축한다. 추세 추정에는 유리하지만 identifier·근거 문장·과거 사건의 정확 회수에는 충돌이 생긴다.
과거 값을 그대로 복원하는 기억과, 현재 세계 상태를 지속 갱신하는 state tracking은 필요한 전이 구조와 지표가 다르다.
작은 kernel, launch, register pressure, occupancy, synchronization 때문에 O(L) 연산자가 낮은 p95를 보장하지 않는다.
상태는 시간축으로 반복 갱신된다. BF16·FP8·INT8의 작은 편향이 긴 session에서 drift를 만들 수 있다.
블록 종류와 깊이, 교란 크기와 방향, 데이터와 seed가 얽히면 ablation 피해를 구조의 고유 기여로 오인한다.
2,048 토큰에서 perplexity가 좋아도 수십만 토큰 상태 안정성, reset 정책, rare-event recall은 별도 문제다.
또한 데이터·증류·아키텍처 효과 분리, CPU/GPU/NPU kernel 차이, 평균 지연과 p95의 격차가 남는다. RescuCore의 기술 scaling은 실제 배치와 다르고, MambaVision은 한 checkpoint per size라 training seed 분산을 측정하지 못했다. Latent Lattice의 일부 Jacobi 설정은 여러 sweep이 필요해 inference 비용까지 함께 비교해야 한다.
저자들은 Jamba, MaTVLM, MOL-Mamba의 기존 Mamba/Mamba-2 mixer를 Mamba-3로 교체하고 나머지 구조를 유지했다. baseline GPU는 A100으로 모델링하며, RescuCore는 각 SM subpartition에서 register file, shared memory, warp scheduler를 공유한다. dense input/output projection은 기존 GPU에 남기고 그 사이의 이질적 연산을 deeply pipelined datapath로 묶는다.
| 항목 | 조건 | 저자 보고 | 해석 제한 |
|---|---|---|---|
| 대표 workload | Jamba: IMDB/AG-News/SST2, L=256, N=128, R=4, B=32 MaTVLM: CIFAR-10/SVHN/EuroSAT, L=64, N=64, R=1, B=64 MOL-Mamba: BBBP/BASE/ClinTox, L=200, N=64, R=1, B=32 | 원 모델과 비슷한 accuracy를 갖도록 Mamba-3 구성 선택 | 원래 공개 대형모델 inference와 동일한 workload가 아님 |
| 설계 | BF16, native N′=32, R′=4, one unit / SM subpartition | A100 die 대비 추정 area 5.9% | FreePDK45 합성 후 7nm scaling |
| 평가 도구 | Accel-Sim + Verilog RTL synthesis + AccelWattch | prefill 1.4–9.4× speedup, 1.4–5.0× energy reduction | fabricated chip 실측 아님 |
| Decode | 동일 fixed-size core, 큰 N/R은 반복 pass 포함 | 1.3–2.8× speedup, 1.2–2.6× energy reduction | simulation launch model·mapping에 민감 |
MambaVision-T/S/B의 모든 mixer block에 mean ablation을 적용하고, 같은 perturbation의 channel을 shuffle하거나 sign flip한 null과 비교한다. null은 크기와 삽입 위치를 맞추되 원래 내용과의 정렬을 깨뜨린다. real damage와 null damage 차이 C를 content effect로 본다.
그러나 “Mamba block이 불필요하다”는 결론은 성립하지 않는다. 같은 type의 모든 block을 제거할 때 피해는 single effect 합의 3.7–8.4배로 누적됐고, MambaVision-T의 여섯 Mamba mixer 전체 기여는 3.9pp였다. input-dependent selection을 모두 freeze했을 때 selection이 Mamba contribution의 20–32%를 담당했으며 주로 B, C projection에서 왔다.
각 층의 horizontal latent rᶩ_t는 시간축으로 유지되고 vertical stream hᶩ_t와 상호작용한다. attention의 query/key/value와 KV write, MLP, 최종 decoding을 직접 조절한다. base update는 affine recurrence를 유지해 parallel scan이 가능하고, 선택적으로 top-to-bottom feedback을 Jacobi sweep으로 근사한다.
공통 학습 조건은 sequence length 2,048, global batch 512, 8 GPU, BF16이며 scan/FiLM 일부는 FP32다. 30B token 확장 결과도 있지만, 이 결과는 장기 session의 exact recall, 실기기 energy, state corruption 복구를 검증하지 않는다.
| 접근 | 핵심 방법 | 새 근거와의 연결 | 남는 제한 |
|---|---|---|---|
| LFM2 | hardware-in-the-loop, gated short convolution, 일부 GQA, Top-K distillation, curriculum·post-training | 구조–하드웨어 공동설계의 제품 지향 사례 | LFM2 고유 구조; Mamba와 동일시 금지 |
| Mamba-3 | exponential-trapezoidal, complex states, MIMO | RescuCore가 직접 가속하는 이질적 연산 | 유한 상태와 sequential dependency |
| Samba / hybrid | SSM + sliding-window attention, sequential/parallel 배치 | null-controlled attribution 필요성 | attention KV 비용과 recipe confound |
| MemMamba | 상태 요약, cross-layer/token attention | Latent Lattice와 다른 memory expansion 축 | 추가 메모리·복잡도 |
| Negative eigenvalue / structured transition | 부호·입력 의존·구조화 전이 | state tracking 표현력의 이론적 축 | 합성 과제–실세계 전이 미확정 |
해석작은 KV와 streaming state는 유리하지만, RescuCore는 A100-class GPU architecture study다. 모바일 NPU 성능으로 바로 환산할 수 없다.
제안순환 상태로 대화·센서 흐름을 압축하고, exact evidence는 외부 index와 제한 attention으로 회수한다. 출처와 state를 분리한다.
해석지속 상태는 센서·로그·음성의 연속 갱신에 적합하지만 drift detector와 reset policy가 필수다.
사실size-matched null은 naive ablation 기반 block importance와 pruning 결정이 위치 취약성을 따라갈 위험을 드러낸다.
제안센서 상태 추적, 로봇 고수준 계획, edge operation intelligence에 계층형 상태를 적용한다. 빠른 순환 상태는 최근 상황, 제한 attention은 이상 구간, 외부 evidence memory는 정비 이력·안전 규칙을 담당한다. 저수준 제어에는 latency bound, stability, fail-safe를 별도로 검증하며 언어모델 성공을 직접 안전성으로 해석하지 않는다.
제안압축 상태 + 필요 구간 attention + 외부 증거 메모리의 세 층을 둔다. compressed state는 빠른 상황 갱신, attention은 불확실 구간의 정밀 참조, external memory는 provenance와 exact record를 담당한다. Latent Lattice류 층별 상태는 compressed state 안에서 기능별 workspace로 사용할 수 있다.
제안항상 같은 state size와 attention window를 쓰지 말고 사건 중요도, 불확실성, 망각 위험에 따라 state slot·attention span·external write를 늘린다. 동시에 compiler/runtime은 recurrent pipeline과 dense path 사이의 배치를 동적으로 조절한다.
| 축 | 필수 지표 | 반증 조건 |
|---|---|---|
| 품질 | task success, 근거 회수율, calibration | perplexity 개선이 작업 성공으로 이어지지 않음 |
| 지연 | prefill/decode p50·p95·p99, cold start | 평균만 개선되고 tail 악화 |
| 자원 | peak memory, Joule/success, thermal throttling | token당 energy는 낮지만 재시도로 task energy 증가 |
| 회복 | state corruption 탐지, reset 후 복구율 | 장기 session에서 silent drift |
| 귀속 | real ablation − matched null, interaction effect | single-block score가 null·seed에 따라 역전 |
제안동일 학습 데이터, tokenizer, quantization, hardware power mode에서 pure attention, pure SSM, hybrid, hierarchical-memory를 비교한다. CPU/GPU/NPU별 optimized kernel을 고정하고 p95·peak memory·Joule/success를 측정한다. 상태 오염, sensor spoofing, 통신 단절, 장기 idle 후 재개를 포함한다.
실증은 (i) 로그 replay와 synthetic state tracking, (ii) 제한된 lab robot/설비, (iii) operator shadow mode, (iv) human override가 있는 장기 현장 운영의 네 단계로 진행한다. 각 단계의 진입 기준은 accuracy가 아니라 안전한 recovery와 evidence trace까지 포함해야 한다.
실행일 2026-11-18 KST 이후 자료는 포함하지 않았다. 수치는 저자 보고이며 독립 재현값이 아니다.