Structure Should Control the State: Skeleton-Conditioned Mamba and Incremental Temporal Refinement

THE CENTRAL QUESTION

효율적인 순환 상태만으로 충분한가, 아니면 무엇을 기억하고 잊을지 도메인 구조가 직접 지시해야 하는가?

2026년 11월 11일 제출되고 11월 13일 공개된 SCR-Mamba는 후자를 택한다. 골격의 뼈 연결과 좌우 대칭을 하나의 문맥으로 만들고, 공간·시간 분기의 선택적 파라미터를 함께 조절한다. 이어서 프레임별 특징은 보존한 채 81·27 프레임 스케일에서 얻은 변화량만 되돌린다. 핵심 진전은 구조를 특징 보강이 아니라 상태 갱신의 제어 변수로 승격한 것이다.

PREPRINT · arXiv:2611.15526 v1FIRST SUBMITTED: 2026-11-11PUBLICLY ANNOUNCED: 2026-11-13NO FORMAL VENUE RECORDCODE: PROMISED UPON ACCEPTANCE

PART 01 · DEFINITION

Definition

SCR-Mamba는 단안 비디오의 2D 관절 좌표와 검출 신뢰도 X ∈ R^(T×J×3)를 받아 전체 프레임의 3D 관절 좌표를 예측하는 모델이다. 두 구성요소가 핵심이다. SCSM은 뼈로 연결된 관절과 좌우 대칭 관절을 모아 골격 문맥 K를 만든다. CSIR은 시간축을 3분의 1씩 줄인 거친 스케일에서 생긴 변화량만 원래 프레임 특징에 보탠다.

사실논문은 arXiv v1 프리프린트다. 2026년 11월 14일 기준 정식 학회·저널 발표 기록과 공개 코드가 없으며, 저자들은 코드와 사전학습 모델을 “acceptance 이후” 공개하겠다고 적었다.

Mamba는 입력 의존적 선택성을 갖는 상태공간 아키텍처이고, LFM은 Liquid AI의 모델군이다. LFM2는 gated short convolution과 일부 GQA를 결합하지만, LFM=LTC=LNN=Mamba라는 동일시는 틀리며 LFM2의 구조를 모든 LFM 세대에 소급할 수도 없다.

PART 02 · PROBLEM DEFINITION

Problem Definition

단안 3D pose lifting은 하나의 2D 투영이 여러 3D 자세와 양립하는 ill-posed 문제다. 한 프레임의 관절 관계와 여러 프레임의 동작 궤적을 함께 사용해야 하지만, 전체 길이에서 반복적으로 모델링하면 계산비용이 커진다. 반대로 프레임을 강하게 압축하면 손목·발목 같은 세부 위치와 순간 동작을 잃기 쉽다.

maximize Quality(structure, motion, detail) subject to p95 latency ≤ L*, peak memory ≤ M*, energy/task ≤ E*

공통 연구 목표는 긴 이력, 낮은 추론비용, 높은 정확도를 동시에 만족하는 다목적 설계다. 평균 MPJPE만 최소화하는 문제가 아니라, 동일 데이터·정밀도·배치·하드웨어에서 tail latency와 에너지를 함께 제한해야 한다. SCR-Mamba는 이 가운데 정확도·MACs·평균 GPU 지연을 측정했지만 p95·peak memory·에너지는 아직 측정하지 않았다.

해석이번 결과가 던지는 더 일반적인 질문은 “Mamba가 attention보다 싼가”가 아니다. 어떤 구조 정보를 상태 제어에 넣고, 어떤 시간척도에 계산을 배분해야 임무 단위 비용이 줄어드는가가 핵심이다.

PART 03 · CORE CONCEPTS

Core Concepts

Selective state is controlled memory, not online learning

hₜ = Āₜ hₜ₋₁ + B̄ₜ xₜ · yₜ = Cₜ hₜ

B̄ₜ는 입력을 상태에 얼마나 쓸지, Āₜ는 과거를 어떻게 전파·감쇠할지, Cₜ는 상태를 어떻게 읽을지 결정한다. 선택성은 입력별 기억·망각·읽기 조절이지, 추론 중 모델 가중치를 다시 학습하는 것이 아니다. 순환 상태 크기가 길이에 독립이라는 말도 무한 정보를 완벽히 보존한다는 뜻이 아니다.

Structure-conditioned control

(Δₐ, Bₐ, Cₐ) = Φₐ(Nₐ + K), a ∈ {spatial, temporal}

같은 프레임의 뼈 이웃과 좌우 대칭 이웃을 모은 K가 두 분기의 step size, state write, state read를 동시에 조절한다. 스캔 내용과 출력 gate는 각 분기 특징에서 생성되므로, 구조 문맥은 “무엇을 처리할지”보다 “그 내용을 상태에 어떻게 넣고 읽을지”를 바꾼다.

Incremental coarse-to-fine transfer

δ = G − D₍c₎Z · Z⁺ = Z + P₍c₎δ

세밀한 특징 Z를 보존하고, 집계 결과 D₍c₎Z와 거친 스케일 모델링 결과 G의 차이 δ만 전달한다. 따라서 전체 coarse feature를 중복해서 더하지 않고, 압축 표현만으로 전체 시퀀스를 재구성하지도 않는다.

Complexity without slogans

연산자	Prefill / 전체 시퀀스	Decode / 상태	주의
표준 full attention	길이 L에 대해 통상 O(L²)	KV cache O(L), 새 토큰 attention O(L)	GQA는 KV 계수만 낮추며 길이 의존성을 제거하지 않음
고정 상태 순수 SSM	총 O(L)	길이에 독립적인 순환 상태	유한 상태의 정보 보존 한계는 남음
SCR-Mamba	선형 SSM + 243/81/27 다중 스케일	현재 논문은 offline whole-sequence	online O(1) 상태 시스템으로 검증된 것이 아님
LFM2	gated short convolution + 일부 GQA	attention 층의 KV cache 존재	혼합 모델 전체를 완전 선형·O(1) 메모리로 부를 수 없음

PART 04 · INTRODUCTION

Introduction

최근 Mamba 연구는 효율적인 연산자를 제안하는 단계에서 벗어나, 무엇을 상태로 남길지, 어느 구조를 상태 전이에 주입할지, 어느 해상도에서 계산할지를 묻는 방향으로 이동하고 있다. D²Mamba는 공간 스캔 경로 자체를 학습 대상으로 만들었고, GMD-Mamba는 3D 방향을 채널 그룹에 분배하고 deep stage에 recurrence를 집중했다. SCR-Mamba는 여기서 한 걸음 더 나아가 도메인 그래프가 selective parameter를 직접 조절하도록 한다.

이 변화는 SSM 연구의 평가 단위도 바꾼다. sequence length 복잡도만으로는 충분하지 않다. 입력 구조, 상태 표현력, 계층적 압축, 커널 구현, 검출기 전처리까지 하나의 시스템으로 봐야 한다. 논문 결과는 이 가설을 pose estimation에서 지지하지만, 로봇·온디바이스 일반화는 별도 실험이 필요하다.

PART 05 · MOTIVATION AND BACKGROUND

Motivation and Background

2024년 이전 배경인 원 Mamba는 selective SSM으로 입력 의존적 상태 갱신과 선형 시퀀스 계산을 결합했다. 2025년의 SAMA는 골격 특징·hidden state와 motion timescale을 다뤘고, 2026년 StructMamPose는 identity anchoring과 view transformation으로 구조 추론을 강화했다. SCR-Mamba의 차별점은 하나의 골격 문맥이 공간·시간 분기의 Δ, B, C를 공동 조절한다는 데 있다.

동시에 temporal token pruning 계열은 대표 프레임을 남기고 전체 길이를 복원해 비용을 줄였지만, 제거된 프레임의 세밀한 특징이 후속 모델링에서 빠질 수 있다. 일반적인 skip fusion은 coarse feature 전체를 다시 더해 이미 포함된 세부 성분을 중복시킬 수 있다. CSIR은 multigrid의 coarse correction과 유사하게 “전체 표현”이 아니라 “거친 모델링이 새로 만든 변화”만 보낸다.

해석연구 흐름은 효율적인 연산자에서 구조 조건부 기억, 정확한 회수, 다중 스케일 예산, 하드웨어·학습 공동 설계로 이동하고 있다.

PART 06 · CHALLENGES

Challenges

정확 회수 vs 압축

고정 크기 상태와 짧은 coarse sequence는 평균 동작을 담기 쉽지만, 특정 프레임의 작은 관절 변화를 잃을 수 있다.

기억 vs 상태 추적

과거 사실을 다시 찾는 retrieval과 매 프레임 자세를 갱신하는 tracking은 다른 능력이다. 하나의 benchmark로 대체할 수 없다.

저정밀 누적오차

반복 상태 갱신에서 양자화 오차가 길이에 따라 누적될 수 있다. weight와 recurrent state 정밀도를 분리해 측정해야 한다.

훈련 길이 밖 일반화

243-frame 학습·평가가 더 긴 세션, frame drop, 불규칙 sampling에서 유지되는지는 알 수 없다.

효과 분리

구조 조건, 계층 구조, 데이터·증류·post-training의 효과를 동일 update budget 아래 분리해야 한다.

커널과 종단 지연

MACs 감소가 CPU/GPU/NPU latency·memory traffic·energy 감소로 그대로 이어지지 않는다.

검증 경계SCR-Mamba runtime은 RTX 4090 한 장, batch 1/32, 243-frame 입력에서 측정됐다. 2D detection과 flip testing은 제외됐고 p95·peak memory·전력은 보고되지 않았다.

PART 07 · RESEARCH QUESTIONS

Research Questions

동일한 state memory에서 뼈 연결·대칭·접촉·가속도 중 무엇을 반드시 기억해야 하는가?
정확한 특정 프레임 회수를 위해 필요한 최소 attention 비중과 배치는 얼마인가?
음의 고유값·복소 상태·MIMO 같은 전이 표현력과 병렬 학습 효율을 어떻게 균형화할 것인가?
bf16·FP8·INT8 recurrent state에서 긴 세션의 drift와 reset 조건은 어떻게 변하는가?
합성 state-tracking 점수가 실제 human–robot collaboration 성공률과 상관하는가?
실제 단말에서 성공 작업당 Joule, p95 지연, peak memory는 어느 아키텍처가 유리한가?
구조 문맥이 잘못되거나 관절이 가려졌을 때 상태 오염을 실행 중 탐지할 수 있는가?

PART 08 · APPROACHES

Approaches (Methods)

Architecture and learning contract

입력은 2D 좌표와 검출 신뢰도이며, 네 stage의 시간 길이는 243, 81, 27, 243이다. 각 stage의 SCSM은 spatial joint sequence와 temporal joint trajectory를 병렬 bidirectional scan한다. 두 번의 content-adaptive aggregation이 길이를 3분의 1씩 줄이고, CSIR은 coarse increment를 같은 집계 문맥으로 fine scale에 일관되게 배분한다.

설정	Human3.6M	MPI-INF-3DHP
입력	SH 2D detections, 243 frames, 17 joints	ground-truth 2D joints, 81 frames
분할	S1/5/6/7/8 train, S9/11 test	official train/test, TS1–TS6
학습	random init, 40 epochs, AdamW, batch 4, lr 5e-4(L)	같은 optimizer·batch·loss 계열
정규화·증강	weight decay .01, lr×.99/epoch, EMA .9998, horizontal flip train/test	논문 명시 설정
지표	P1 MPJPE, P2 similarity-aligned, mm	MPJPE 17 joints, PCK@150mm 14 joints, AUC 31 thresholds

Author-reported scale and accuracy

모델	Params	MACs / 243 frames	Human3.6M P1 / P2	해석
SCR-Mamba-S	1.09M	2.21G	39.2 / 32.8 mm	소형
SCR-Mamba-B	3.87M	11.11G	37.8 / —	중형
SCR-Mamba-L	7.72M	15.10G	36.8 / 31.1 mm	SAMA-L 36.9/31.3, StructMamPose-L 36.7/31.1과 유사 범위
SCR-Mamba-X	16.62M	32.05G	36.6 / 30.9 mm	저자 보고 최저 P1/P2

저자 주장Human3.6M에서 L은 StructMamPose-L과 유사한 P1/P2를 1/7 미만 MACs로 달성했다고 보고한다. MPI-INF-3DHP에서 X는 PCK 99.3%, AUC 88.1%, MPJPE 14.2 mm를 기록했다. 비교 모델·입력 검출기·집계 규칙이 모두 같지 않을 수 있으므로 어느 모델이 모든 조건에서 우월하다는 결론은 피해야 한다.

Latency and ablations

모델/변형	조건	시간 또는 MACs	P1	무엇을 보여주는가
SCR-Mamba-L	RTX 4090, B=1	12.2 ms / sequence	36.8 mm	평균 inference, detection·flip 제외
SCR-Mamba-L	RTX 4090, B=32	5.3 ms / sequence	36.8 mm	whole-batch time / 32
A0 full-length	20 blocks, C=128	37.86G	39.7 mm	기본 병렬 spatial/temporal SSM
A1 + SCSM	full-length	39.98G	37.4 mm	구조 조건으로 2.3mm 개선
A2 + CSIR	2-level	14.30G	37.8 mm	1.9mm 개선하며 비용 감소
A3 SCSM+CSIR	2-level	15.10G	36.8 mm	A1 대비 MACs 62.2% 감소, P1 0.6mm 개선

같은 skeleton context로 Δ·B·C를 공동 조절한 방식은 단순 feature fusion보다 P1이 0.5 mm 낮았고, 두 분기를 함께 조건화하면 no-context 대비 1.0 mm 개선됐다. full coarse feature 대신 increment를 전달하면 같은 비용에서 P1이 1.2 mm 낮았다. 모두 저자 보고 ablation이며 독립 재현 전이다.

Relationship to the broader method landscape

LFM2는 hardware-in-the-loop search, Top-K distillation, curriculum·post-training으로 실제 장치 제약과 학습을 공동 설계했다. Mamba-3는 exponential-trapezoidal discretization, complex states, MIMO로 전이 표현력을 넓혔다. Samba는 SSM과 sliding-window attention을 결합하고, hybrid 연구는 sequential/parallel 배치와 paraphrase data의 영향을 분리한다. MemMamba는 상태 요약과 cross-layer/token attention으로 memory access를 보완한다. 음의 고유값·구조화 전이 연구는 parity와 state tracking의 표현력 한계를 파고든다. SCR-Mamba는 이 흐름에 도메인 구조에 의한 selective control과 increment-only hierarchy를 추가한다.

PART 09 · APPLICATIONS

Key Applications

Human motion understanding

운동 분석, 행동 이해, HCI의 3D pose lifting. 직접 근거는 Human3.6M과 MPI-INF-3DHP에 한정된다.

On-device multimodal assistants

텍스트·음성·비전 stream을 구조 조건부 상태로 요약하는 보조기. pose 결과의 직접 일반화가 아니라 연구 가설이다.

Local RAG and streaming analytics

압축 상태로 stream을 추적하고 필요한 구간만 attention·외부 메모리로 정확히 회수하는 계층형 시스템.

Physical AI operations

센서 상태 추적, 사람-로봇 고수준 계획, edge 운영지능. 저수준 제어 안전성은 별도 검증해야 한다.

ETRI/Physical AI 제안사람 skeleton뿐 아니라 로봇 kinematic tree, 접촉 그래프, 설비 topology를 selective parameter의 조건으로 사용한다. 통신 단절·센서 결측 시에는 구조 문맥의 신뢰도를 함께 추정하고, 불확실성이 임계값을 넘으면 외부 증거 메모리 또는 local attention을 호출한다.

PART 10 · OPEN PROBLEMS

Open Problems

유한 상태의 과제별 기억 한계: 관절별 구조 문맥이 긴 비주기 동작과 객체 상호작용을 얼마나 보존하는가?
망각 탐지: 필요한 프레임 정보가 상태에서 사라졌음을 출력 전에 감지할 수 있는가?
장기 session drift/reset: 243 프레임을 넘어갈 때 reset·checkpoint·external memory 정책은 무엇인가?
구조 오류: 2D detector가 관절을 뒤바꾸거나 occlusion이 생기면 잘못된 K가 두 분기 모두를 오염시키는가?
저정밀 안정성: quantized Δ·B·C와 hidden state가 긴 시퀀스에서 어떤 누적오차를 만드는가?
공정 비교: 동일 데이터, detector, flip, batch, compiler, 정밀도, hardware에서 attention·SSM·hybrid를 비교할 수 있는가?
실세계·한국어 전문업무: pose benchmark의 state tracking 이점이 agent, 제조, 의료, 한국어 장기 업무로 이어지는가?

MACs와 평균 GPU latency만으로 on-device readiness를 판정해서는 안 된다. p95, peak memory, energy, error recovery, detector 포함 종단 비용이 필요하다.

PART 11 · FUTURE DIRECTIONS

Future Directions

1. Hierarchical evidence memory

압축 recurrent state로 지속적으로 추적하되, 불확실성이 커진 구간은 local attention으로 확대하고, 정확한 사실·관측은 외부 evidence memory에서 회수한다. 상태 하나가 tracking·exact recall·provenance를 모두 떠맡지 않게 한다.

2. Adaptive state and scale budgets

동작 변화, occlusion, task risk에 따라 state dimension, coarse scale depth, attention window를 동적으로 늘린다. routing overhead와 실패율을 포함한 종단 최적화가 필요하다.

3. Structure-aware stability tests

관절 swap, frame drop, symmetry violation, sensor delay, 통신 단절을 주입해 상태 오염 탐지율과 reset 후 회복시간을 측정한다. 저정밀 state는 session length별 error growth curve로 보고한다.

4. Success-per-energy benchmark

단순 token/s나 MACs가 아니라 성공 작업당 Joule·p95 지연·근거 회수율·오류복구율을 공동 지표로 삼는다. 비교 모델, 규모, context length, batch, precision, compiler와 하드웨어를 고정한다.

5. ETRI staged validation

단계	통제	핵심 시험	진행 기준
1 · 공개 재현	동일 데이터·detector·seed·학습 예산	P1/P2, distal error, state-tracking	저자 보고 이득의 재현
2 · 동일 장비	양자화·batch·compiler·kernel	p50/p95, peak memory, Joule/task	종단 효율 개선
3 · 상태 오염	occlusion·swap·drop·통신 단절	탐지율, reset cost, recovery rate	silent failure 한계 충족
4 · 장기 실증	사람-로봇·설비 실제 stream	임무 성공률, 근거 회수율, 안전 위반	현장 baseline 대비 유의한 이점

제안온디바이스 협업지능 과제에서는 동일 학습데이터·양자화·하드웨어 비교를 사전 고정하고, 구조 문맥 오염과 통신 단절 시험을 통과한 뒤 장기 로봇·설비 실증으로 이동한다. 저수준 제어는 별도 safety case와 독립 fallback을 요구한다.

SCR-Mamba가 증명한 것은 “Mamba가 3D pose를 해결했다”가 아니다. 더 정확한 결론은 이렇다. 도메인 구조는 상태 갱신을 직접 조절할 수 있고, 거친 시간척도는 전체 표현이 아니라 새로 얻은 변화만 세밀한 표현에 전달할 수 있다. 다음 연구는 이 통찰이 코드 재현, 저정밀 장기 안정성, 실제 단말 임무 비용에서도 유지되는지 검증해야 한다.

SOURCES · VERSIONED EVIDENCE

Sources and Date Notes

SCR-Mamba: Skeleton-conditioned Mamba with cross-scale incremental refinement for efficient 3D human pose estimation — arXiv:2611.15526 v1, 최초 제출 2026-11-11, 공개 공지 2026-11-13, 확인 시점 정식 발표 기록 없음.
SCR-Mamba PDF — 방법, 수식, 학습조건, Human3.6M·MPI-INF-3DHP 결과, ablation, runtime, 한계의 직접 근거.
LFM2 Technical Report — 최초 공개 2025-11-28; gated short convolution, 일부 GQA, hardware-in-the-loop search, distillation 배경.
Mamba-3 — 최초 공개 2026-03-16; exponential-trapezoidal discretization, complex states, MIMO 배경.
Samba — ICLR 2025 정식 기록, 최초 공개는 2024년; SSM+sliding-window attention hybrid 배경.
Understanding and Enhancing Mamba-Transformer Hybrids — 2025년 프리프린트; sequential/parallel hybrid와 데이터 효과 비교.
MemMamba — 2025년 프리프린트; state summary와 cross-layer/token attention 배경.
The Computational Limits of State-Space Models and Mamba — 2025년 정식 proceedings; 유한 상태·계산 한계 배경.
Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues — ICLR 2025; 음의 고유값과 state tracking 표현력.
D²Mamba — 2026-11-10 v1; deformable scan path 비교 배경.
GMD-Mamba — 2026-11-05 v1; grouped 3D scan과 deep-only placement 비교 배경.
LFM2.5 official product announcement — 기업 발표·모델 제품 정보이며 논문·기술보고서와 구분.

출처 원칙실험 수치는 모두 논문 저자 보고값이며 독립 재현으로 표현하지 않았다. 비교 모델·규모·하드웨어·문맥 길이·정밀도·배치를 가능한 범위에서 병기했고, 어느 모델이 모든 조건에서 우월하다고 주장하지 않았다.