STATE SPACE MODELS · RETRIEVAL RANK · THEORY & SYSTEMS

When a Diagonal State
Is Not Enough

Diagonal equivalence, multi-value routing, and what SSD-MIMO and HybridMamba actually prove

PUBLISHED 2026-11-08 KST · EVIDENCE CUTOFF 2026-11-08

대각 동치에서 retrieval rank와 실제 언어모델 검증까지 전이 행렬들의 교환성과 개별 대각화 가능성이 고정 기저 대각 동치를 결정한다. 이 클래스 안에서도 로컬 인터페이스가 한 시점에 전달하는 독립 값의 수가 retrieval rank를 제한한다. SSD-MIMO는 다중 값 라우팅을, HybridMamba는 여러 감쇠와 회전 법칙의 혼합을 확장하지만 대규모 언어모델에서는 높은 라우팅 랭크의 우위가 확인되지 않았다. STRUCTURE → ROUTING → EMPIRICAL BOUNDARY THEOREM 8 pairwise commute+ diagonalizable FIXED BASIS 독립 scalar modesmasked linear attention LOCAL RETRIEVAL RANK ≤ min(O, rank Bₛ)한 step의 독립 값 수 SSD-MIMO R,O > 1 · independent valuesshared decay within head HYBRIDMAMBA per-coordinate decay + headscomplex rotation + two-endpoint write SMALL RECALL hard tier: rank 2/4 강점설정 효과는 미분리 H100 · BF16 matched SISO kernel gainsshape·metric dependent 500M LM · ONE SEED routing rank 우위 불발Mamba 3 MIMO가 앞섬

좁은 화면에서는 다이어그램을 좌우로 스크롤할 수 있습니다.

개념 요약 · 논문의 이론–설계–실험 관계를 재구성한 설명도다. 점선은 아키텍처 표현력이 언어모델 성능으로 자동 이어지지 않는 검증 경계를 뜻한다.

핵심은 “상태가 대각인가”와 “한 시점에서 몇 개의 독립 값을 쓸 수 있는가”가 서로 다른 축이며, 둘 다 실제 성능을 단독으로 보장하지 않는다는 점이다.

THE CENTRAL QUESTION

선형시간 상태공간 모델의 상태를 독립 좌표로 분해할 수 있다면, 왜 정확한 다중 값 회수는 여전히 어려운가?

2026년 11월 2일 arXiv에 최초 공개된 v1 Diagonal Equivalence in State Space Models는 두 질문을 분리한다. 전이들이 하나의 고정 기저에서 대각화되는 조건은 무엇인가? 그리고 한 로컬 인터페이스가 한 시점에 몇 개의 독립 값을 상태로 전달하고 다시 꺼낼 수 있는가? 논문은 전자를 교환성과 개별 대각화 가능성으로, 후자를 local retrieval rank로 정식화하고 SSD-MIMO와 HybridMamba를 제안한다.

[사실] arXiv:2611.03101 · v1[저자 주장] exact baseline recovery[해석] diagonalization ≠ retrieval capacity[제안] task-adaptive rank
PART 01 · DEFINITION
01

정의: 대각 동치와 retrieval rank

고정 기저 대각 동치(fixed-basis diagonal equivalence)란 모든 입력과 시점에서 실현되는 전이 행렬 Aₜ를 하나의 동일한 가역행렬 S로 대각화할 수 있다는 뜻이다. 출력만 같은 다른 시스템이 존재한다는 input–output equivalence보다 강하다. 시점마다 달라지는 기저는 출력을 보존할 수 있어도 계수 계산에 전체 prefix가 필요해질 수 있다.

hₜ = Aₜhₜ₋₁ + Bₜuₜ,   yₜ = Cₜhₜ + Dₜuₜ

Local retrieval rank는 한 source 시점의 입력이 이후 한 target 시점의 출력에 미칠 수 있는 독립 방향 수다. 논문의 정리 21은 전이 Φₜ,ₛ가 주어질 때 이 rank가 min(O, rank Bₛ) 이하이며, 적절한 readout에서는 그 상한에 도달할 수 있음을 보인다.

사실대각화 가능성과 retrieval rank는 같은 성질이 아니다. 대각 전이는 상태 좌표의 독립적 갱신을 가능하게 하지만, 로컬 write가 scalar 하나만 받으면 한 source step의 독립 값 수는 여전히 제한된다.

LFM은 Liquid AI의 모델군이고 Mamba는 selective SSM 아키텍처다. LFM2의 입력 의존 게이트 단거리 합성곱과 일부 GQA를 이 논문의 SSD-MIMO/HybridMamba와 동일시할 수 없으며, LFM=LTC=LNN=Mamba라는 등식도 성립하지 않는다.

PART 02 · PROBLEM FORMULATION
02

문제 정의: 상태 크기뿐 아니라 값의 통로를 설계한다

공통 목표는 긴 이력, 낮은 추론비용, 높은 정확도를 동시에 만족시키는 것이다. 이를 품질 최대화와 p95 지연·피크 메모리·에너지 제약의 다목적 문제로 쓰면, 이번 논문은 여기에 로컬 라우팅 rank와 계수 conditioning window를 추가한다.

maximize Quality(θ) subject to p95≤L, peak memory≤M, Joule/task≤E, recall≥R, local rank≤K

표준 full attention의 prefill은 문맥 길이에 대해 이차 연산이고 KV cache는 선형으로 증가한다. decode 한 토큰의 attention은 과거 길이에 선형이다. 고정 상태 순수 SSM은 총 선형 연산과 길이에 독립적인 순환 상태를 갖지만, 이는 무한 정보를 완전 보존한다는 뜻이 아니다. GQA도 KV 계수는 줄이지만 길이 의존성을 제거하지 않는다.

설계 축질문장점대가/한계
고정 기저 대각 동치전이를 공통 독립 mode로 바꿀 수 있는가?좌표별 scan·해석일반 비가환 전이 제외
Scalar/SISO interface한 source step이 몇 값을 쓰는가?단순하고 효율적로컬 rank 1
MIMO interface다중 값을 같은 시점에 라우팅하는가?rank > 1 가능비용·파라미터 공유·커널 복잡성
Per-coordinate dynamics각 mode가 다른 감쇠·회전을 쓰는가?시간척도·위상 다양성공통 mask 최적화 약화 가능
PART 03 · CORE CONCEPTS
03

핵심 개념: 교환성, masked linear attention, MIMO

동시 대각화의 정확한 경계

논문의 정리 8에 따르면 실수 또는 복소수 체에서 실현된 전이 행렬군이 하나의 고정 기저에서 대각화될 필요충분조건은 모든 쌍이 서로 commute하고 각 행렬이 해당 체에서 diagonalizable인 것이다. defective matrix는 두 체 모두에서 장애가 되고, 실수 체에서는 비실수 고유값이 추가 장애다. 비퇴화 DeltaNet·DeltaProduct·RWKV-7의 비가환 전이쌍은 이 고정 기저 클래스 바깥에 놓인다.

Selective SSM과 masked linear attention

hₜ=Āₜhₜ₋₁+B̄ₜxₜ,   yₜ=Cₜhₜ

선택성은 입력별로 기억·망각·읽기를 조절하는 것이지 추론 중 가중치를 다시 학습하는 것이 아니다. 논문의 정리 24는 time-shared token-local matrix map 조건에서 대각 동치 state-mediated kernel이 multiplicative mask를 가진 unnormalized scalar-mode linear attention과 정확히 대응한다고 주장한다. 초기 상태와 direct feedthrough까지 포함하는 표현이다.

SISO와 MIMO

R=O=1이면 각 local interface가 scalar 하나를 쓰고 읽는다. SSD-MIMO는 R,O>1을 허용해 동일한 local step에서 여러 독립 value를 sibling states로 라우팅한다. 반면 Mamba-3의 구현상 MIMO는 각 local subsystem에 scalar 하나를 lift하는 구조로 해석된다.

해석“선형 attention과 동치”는 계산량·파라미터 공유·학습 동역학이 동일하다는 뜻이 아니다. 표현상의 kernel 대응과 실제 fused implementation의 효율을 분리해야 한다.
PART 04 · INTRODUCTION
04

도입: Mamba 계열을 한 좌표계에서 비교한다

이 논문의 가장 유용한 역할은 “Mamba 1, 2, 3 중 무엇이 더 표현력이 큰가”라는 단선적 질문을 구조적 축으로 분해한 데 있다. 전이의 감쇠 법칙, 복소 회전, write/read endpoint, head 공유, local interface rank는 서로 다른 선택이다.

SSD-MIMO는 head 안의 decay를 공유하면서 다중 값을 라우팅한다. HybridMamba는 Mamba 1의 좌표별 decay, Mamba 2식 head, Mamba 3의 복소 회전과 two-endpoint write를 SISO interface 안에서 혼합한다. 두 설계 모두 Mamba 1–3 SISO 설정을 exact special case로 회복하도록 파라미터 map을 제시한다.

저자 주장공식 구현에서 복사한 가중치로 output·input gradient·parameter gradient를 비교해 finite-precision 일치를 확인했다고 보고한다. 다만 이는 새 모델의 품질 우위를 증명하는 실험이 아니라 baseline recovery의 구현 검증이다.
PART 05 · MOTIVATION & BACKGROUND
05

필요성과 배경: 빠른 scan에서 회수 구조로

Mamba(2023 최초 공개)와 Mamba-2(2024)는 본 글의 배경 연구다. Mamba는 입력 의존 선택성과 hardware-aware scan을, Mamba-2는 scalar transition에 기반한 structured state-space duality를 제시했다. Mamba-3는 2026년 exponential–trapezoidal discretization, complex state, MIMO를 도입했다.

2025–2026년 흐름은 효율적인 operator에서 기억 회수·상태 추적·음의 고유값·hybrid 배치·저정밀 안정성·하드웨어 공동 설계로 이동했다. Samba는 SSM과 sliding-window attention을, MemMamba는 상태 요약과 교차 계층/토큰 attention을, LFM2는 hardware-in-the-loop 탐색과 gated short convolution·일부 GQA의 혼합을 보여줬다. 이번 논문은 그 흐름에 동시 대각화의 경계와 source-step retrieval rank를 추가한다.

해석연구 질문이 “attention을 없앨 수 있는가”에서 “어떤 정보를 어느 인터페이스로, 몇 개의 독립 방향에 기록해야 하는가”로 이동하고 있다.
PART 06 · CHALLENGES
06

난제: 구조적 상한과 학습된 성능의 간극

난제논문의 처리남은 간극검증 요구
고정 기저 조건commute + diagonalizable 필요충분조건학습 중 전이군의 수치적 근접성checkpoint별 commutator·conditioning
Retrieval ranksource-target transfer rank 상한여러 head·layer의 aggregate rank과제별 유효 rank 추정
MQMKVAR3 seed × 3 learning rates, 최대 길이 2048geometry·gate·phase·초기화가 함께 변함factorial ablation
500M LMFineWeb-Edu, 2B/10B tokensarm당 1 seed·한 scale·한 recipe다중 seed·scale·data
H100 kernelbf16, 5 workload shapesend-to-end serving 아님CPU/GPU/NPU·decode·energy/task

높은 local rank는 더 많은 독립 값을 전달할 수 있다는 구조적 가능성이지, 더 낮은 언어모델 loss의 보장이 아니다. 논문 자체도 multi-rank routing의 LM 우위가 나타나지 않았다고 명시한다.

PART 07 · RESEARCH QUESTIONS
07

연구 질문: 필요한 rank는 작업과 하드웨어의 함수인가

  1. 동일 state memory에서 한 source step이 반드시 보존해야 할 독립 정보의 수는 과제별로 얼마인가?
  2. 여러 scalar head와 하나의 MIMO interface는 aggregate retrieval rank, kernel locality, quantization에서 어떻게 다른가?
  3. 최소 attention 비중과 배치는 정확 회수와 상태 압축의 충돌을 어디까지 완화하는가?
  4. 좌표별 decay·복소 회전·음의 고유값의 표현력과 parallel scan 효율 사이의 Pareto frontier는 무엇인가?
  5. 저정밀 recurrence에서 rank를 늘릴수록 장기 누적오차와 state contamination은 커지는가?
  6. MQMKVAR 같은 합성 state-tracking·recall 점수가 실제 agent 성공률과 근거 회수율을 예측하는가?
  7. 실제 단말에서 성공 작업당 Joule을 최소화하는 rank·attention·external memory 예산은 어떻게 적응시킬 것인가?
열린 질문논문 결과상 작은 1M급 recall 모델에서는 rank 2/4가 어려운 tier에서 강했지만, 500M LM에서는 rank-one subsystem들이 여러 head에 걸쳐 충분한 aggregate capacity를 제공했을 가능성이 있다. 필요한 rank는 모델 크기보다 task의 동시 write 수와 더 직접적으로 연결될 수 있다.
PART 08 · APPROACHES / METHODS
08

접근법: 정리에서 kernel, recall, 언어모델까지

1. 구조 분류와 고정 기저 정리

실수·복소 SSM을 transition family, coefficient-conditioning window, state/interface width로 분류한다. 고정 basis change가 conditioning window를 보존하는 반면 prefix-dependent moving frame은 계수 의존 범위를 늘릴 수 있음을 구분한다.

2. Retrieval rank 정리

source s에서 target t로 가는 선형 transfer를 CₜΦₜ,ₛBₛ로 쓰고 rank 상한을 도출한다. 이 정의는 전체 네트워크 표현력을 서열화하는 지표가 아니라 한 local interface의 독립 값 경로를 정량화한다.

3. SSD-MIMO와 HybridMamba

SSD-MIMO는 입력·출력 width가 다른 경우도 지원하고 sibling state가 vector를 공유한다. HybridMamba는 real static, real dynamic, complex dynamic row를 서로 다른 비율로 섞는다. 논문은 HM-0/25/75/100과 R1O1/R2O2/R4O4 변형을 비교한다.

4. MQMKVAR recall

multi-query associative recall과 fuzzy multi-token recall을 결합해 prefix/substring overlap, variable key/value length, ambiguous continuation을 제어한다. vocabulary 8192, 32 pairs, key/value 길이 최대 12, sequence 길이 최대 2048에서 easy/medium/hard tier를 평가한다. 저자 보고상 약 1M parameter에서 R2O2 계열은 hard recall 약 82%, R1O1은 약 67–69%, rank-one HybridMamba는 약 80%에 도달했다.

5. H100 bf16 kernel

H100 PCIe, bf16, state size 128에서 batch·length·inner width가 다른 5개 workload를 측정했다. matched SISO recovery의 kernel forward+backward geometric mean은 공식 Mamba 1 대비 0.74×, Mamba 3 SISO 대비 0.89×였고 Mamba 2는 1.00×였다. full mixer는 Mamba 1/3 대비 0.89/0.86×였지만 Mamba 2 대비 1.11×로 느렸다. shape별 역전과 memory metric별 역전이 있어 단일 speedup 수치로 요약할 수 없다.

6. 약 500M parameter 언어모델

FineWeb-Edu로 각 arm을 한 seed씩 학습했다. 2B token에서 HM-75 loss 3.0639는 Mamba 1/2의 3.0979/3.0793보다 낮고 Mamba 3 SISO와 0.005 nat 차이였다. 10B token에서 HM-75는 Mamba 3 SISO보다 0.007 nat 뒤졌고 Mamba 3 MIMO에도 뒤졌다. multi-rank SSD-MIMO의 routing 이점은 LM loss 개선으로 이어지지 않았다.

조건모든 수치는 저자 보고다. LM 비교는 약 500M parameter, arm당 1 seed이며 작은 loss 차이에 대한 반복 검정이 없다. attention baseline은 별도 tuning이 없고 MQMKVAR와 LM retrieval은 규모·데이터·목적함수·채점이 달라 직접 서열화할 수 없다.
PART 09 · KEY APPLICATIONS
09

핵심 응용: 동시 다중 값이 필요한 stream

온디바이스 멀티모달 보조

한 시점의 음성·텍스트·비전 feature를 독립 값으로 기록해야 할 때 MIMO routing의 필요성을 시험할 수 있다.

로컬 RAG

한 문서 chunk의 여러 key–value fact를 같은 step에서 write하고, 이후 질의에서 근거별 회수 rank를 측정한다.

스트리밍 분석

센서 묶음의 상태·이상·신뢰도를 동시 갱신하되 state size와 energy budget을 고정해 비교한다.

Hybrid architecture search

task별 동시 write 수에 따라 SISO head 수, MIMO rank, attention window를 hardware-in-the-loop로 공동 탐색한다.

연구 제안ETRI/Physical AI에서는 센서 상태 추적, 로봇 고수준 계획, 엣지 운영지능을 대상으로 동일 timestamp에서 보존해야 하는 독립 event 수를 먼저 정의할 수 있다. 저수준 제어 안전성은 이 모델 계열의 recall 결과와 별개로 formal verification, real-time bound, fail-safe를 검증해야 한다.

PART 10 · OPEN PROBLEMS
10

미해결 문제: rank를 언제, 어디서, 얼마나 쓸 것인가

  • 과제별 기억 한계: local rank와 전체 layer/head의 aggregate capacity를 연결하는 일반 경계가 없다.
  • 망각 탐지: state가 값 여러 개를 쓸 수 있어도 특정 근거가 유지되는지 온라인으로 알 수 없다.
  • 장기 session drift/reset: 복소 회전·저정밀 누적·carry continuation의 안정성을 실제 긴 세션에서 검증해야 한다.
  • 표현력 분리: gate, phase diversity, 초기화, step law, rank 효과가 작은 recall 실험에서 얽혀 있다.
  • 공정 비교: 동일 데이터·파라미터·학습 token·quantization·kernel tuning·hardware·batch가 필요하다.
  • 실세계 안전성: state contamination, 통신 단절, sensor dropout 뒤의 recovery가 측정되지 않았다.
  • 한국어 전문업무: 다중 근거 문서, 긴 상담, 설비 로그에서 exact evidence recall과 오류복구가 검증되지 않았다.

구조적 rank는 능력의 상한을 설명하지만, 학습이 그 통로를 사용했는지와 운영 중 그 정보가 안전하게 남는지는 별도의 문제다.

PART 11 · FUTURE DIRECTIONS
11

향후 방향: 필요할 때만 rank와 기억을 확장한다

계층형 기억

압축 state + 필요한 구간 attention + 외부 증거 memory를 결합한다. SSM state는 연속적 요약, attention은 정확한 근거리·고위험 구간, 외부 memory는 출처가 필요한 장기 사실을 담당한다.

적응형 rank budget

동시 event 수, retrieval uncertainty, state collision을 추정해 필요한 step에서만 MIMO width 또는 state rank를 늘린다. 평균 FLOPs뿐 아니라 peak memory, p95 latency, kernel occupancy를 제약으로 둔다.

성과 단위 benchmark

성공 작업당 Joule, p95 지연, 근거 회수율, 오류복구율, state contamination recovery를 함께 보고한다. 합성 recall은 task mechanism을 격리하는 도구로 쓰고, 실제 agent 성공률과의 상관·개입 효과를 별도로 검증한다.

ETRI 단계적 검증

  1. 통제 비교: 동일 학습 데이터·quantization·hardware에서 SISO, SSD-MIMO, Mamba-3 MIMO, hybrid attention 비교.
  2. 구조 개입: rank, 복소 row 비율, negative/complex eigenvalue, attention 위치를 factorial ablation.
  3. 강건성: 상태 오염, 통신 단절, sensor dropout, checkpoint/reset, precision escalation 시험.
  4. 장기 실증: 로봇·설비 장기 session에서 task success, energy, evidence trace, recovery를 공동 측정.
제안architecture selection을 parameter count가 아니라 동시 write 수 × 보존 시간 × 회수 정확도 × 단말 비용의 4차원 요구사항으로 정의한다. 이 제안은 논문의 실험 결과가 아니라 본 글의 연구 방향이다.
SOURCES · DATES & STATUS
R

참고문헌과 공개 이력

  1. Diagonal Equivalence in State Space Models: Characterization, Retrieval Rank, and Selective Extensions. arXiv:2611.03101. 최초 공개 2026-11-02 UTC(2026-11-02 KST), v1, 조사일 현재 개정 없음·학회 발표 기록 없음. arXiv abstract · PDF
  2. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. 최초 공개 2023-12-01, 배경 연구. arXiv
  3. Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality. 최초 공개 2024-05-31, ICML 2024, 배경 연구. arXiv
  4. Mamba-3: Improved Sequence Modeling using State Space Principles. 최초 공개 2026-03-16. arXiv
  5. LFM2 Technical Report. Liquid AI technical report, 최초 공개 2025-11-28. 본문에서 계보 구분을 위한 배경. arXiv
  6. Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling. 최초 공개 2024, ICLR 2025 발표. ICLR proceedings
검증 범위실험 수치는 원 논문 저자 보고이며 독립 재현 결과가 아니다. 비교모델·규모·hardware·precision·sequence length·batch를 가능한 범위에서 병기했으며, 어느 모델이 모든 조건에서 우월하다고 해석하지 않았다.