When Order
Is the Bias

Visual Mamba, equivariance, dense action detection

Visual Mamba는 이미지나 비디오 토큰을 선택적 상태공간 연산자로 처리하는 모델군이다. 2차원 격자나 시간축을 하나 이상의 1차원 순서로 직렬화하고, 상태 갱신을 통해 장거리 상호작용을 전달한다.

회전 등변성(rotation equivariance)은 입력을 회전시킨 뒤 모델을 적용한 결과가, 원래 입력에 모델을 적용한 결과를 같은 방식으로 회전한 것과 일치하는 성질이다. EQ-VMamba가 보장하는 정확한 대칭은 연속적인 모든 각도가 아니라 90° 배수 회전으로 이루어진 p4 군이다.

Dense action detection은 길고 편집되지 않은 비디오의 매 시간 위치에서 어떤 행동이 시작·지속·종료되는지, 여러 행동이 겹치는 상황까지 탐지하는 문제다. PAM-Mamba는 이 문제를 위해 위치 신호, 다중 시간척도, 양방향 Mamba를 결합한다.

긴 이력, 정확한 경계, 낮은 비용을 동시에

시각 Mamba의 공통 문제는 단순히 self-attention을 O(T²)에서 O(T)으로 바꾸는 것이 아니다. 이미지에는 자연적인 시작 토큰이 없고, 오프라인 비디오에서는 미래 프레임도 현재 행동 경계를 판단하는 증거다. 따라서 1차원 scan order는 계산 경로인 동시에 귀납편향이 된다.

표준 full attention은 prefill에서 길이 T에 대해 이차 연산을 요구하고, KV cache는 T에 선형으로 증가한다. 고정 상태 크기의 순수 SSM은 총 선형 연산과 길이에 독립적인 순환 상태를 가질 수 있다. 그러나 고정 상태 크기는 무한한 시각 정보를 완전 보존한다는 뜻이 아니며, 양방향·다중 branch·group 확장은 실제 비용을 다시 늘릴 수 있다.

선택적 상태공간 모델의 기억·망각·읽기

입력 의존적인 Ā_t, B̄_t, C_t는 각 토큰마다 무엇을 유지하고, 잊고, 읽을지를 조절한다. 이 선택성은 추론 중 가중치를 다시 학습한다는 뜻이 아니다. 학습된 함수가 현재 입력으로 상태전이 계수를 산출한다는 뜻이다.

등변성은 데이터 증강으로 “배울 수 있기를 기대하는 것”과 구조가 “항상 만족하도록 만드는 것”을 구분한다. 반대로 양방향성은 streaming causal inference와 동일하지 않다. 미래 프레임이 필요한 PAM-Mamba의 Bi-TemBa는 오프라인 탐지에 적합하지만 저지연 온라인 판단에서는 look-ahead 비용을 갖는다.

두 개의 신규 근거

전날까지의 게시물은 SF-Mamba의 patch swapping과 batch folding, Mamba 내부 활성화 병목, SparseSSM 가지치기까지 다뤘다. 이번 업데이트는 중복된 “또 하나의 비전 Mamba”가 아니다. 처리량 최적화 다음 단계는 스캔이 암묵적으로 가정한 공간·시간 구조를 명시적으로 설계하는 것이라는 새로운 축을 추가한다.

1D scan은 무해한 구현 세부사항이 아니다

VMamba의 cross-scan은 2차원 이미지를 여러 방향으로 펼쳐 전역 문맥을 전달한다. 그러나 같은 물체가 90° 회전했을 때 토큰의 순서와 채널 그룹은 달라진다. 데이터 증강은 여러 방향을 보여줄 수 있지만, 네 방향 결과가 수학적으로 같은 변환 관계를 유지하도록 보장하지는 않는다.

장시간 비디오에서는 다른 문제가 나타난다. 행동의 시작은 직전 장면만으로 모호할 수 있고, 뒤이어 나타나는 프레임이 시작 여부를 확증한다. 단방향 recurrence는 onset과 offset 중 적어도 한쪽을 한쪽 문맥만으로 판별한다. PAM-Mamba는 local convolution, forward scan, backward refinement를 연결해 이 비대칭을 줄인다.

PAM-Mamba의 평가에는 특히 중요한 경계가 있다. 입력은 I3D 또는 CLIP으로 미리 추출된 256개 토큰이며, MultiTHUMOS 테스트 영상 다수는 이보다 길지만 평가 코드는 각 시퀀스의 첫 256토큰만 사용한다. 따라서 “수십 분 전체 비디오를 끝까지 처리한 실시간 시스템”으로 해석할 수 없다.

또한 MultiTHUMOS의 batch size는 1이므로 uncertainty-based mixup은 항등 연산이다. 해당 데이터셋에서 mixup 제거 차이는 augmentation 효과가 아니라 run-to-run variation으로 저자들이 설명한다. 한편 EQ-VMamba의 정확한 보장은 p4, 즉 90° 회전에 국한되며 임의 각도·반사·투시변환 전체에 대한 보장은 아니다.

1. 과업 조건부 대칭: 데이터의 어떤 변환이 label-preserving이며, 그 대칭을 architecture에 강제했을 때 언제 정확도가 오르고 언제 표현력이 줄어드는가?
2. 최소 양방향 예산: 동일 메모리에서 몇 개의 layer·branch에만 backward scan을 배치해야 onset·offset 정확도를 유지할 수 있는가?
3. 대칭과 상태 크기: group weight sharing으로 줄인 파라미터를 더 큰 recurrent state, 더 긴 문맥, 외부 증거 메모리 중 어디에 재투자해야 하는가?
4. 학습 길이 밖 일반화: 256토큰 clip으로 학습한 모델이 1K·4K·연속 스트림에서 경계 정확도와 상태 안정성을 유지하는가?
5. 저정밀 안정성: p4 group permutation과 양방향 state가 INT8/INT4에서 장시간 누적 오차와 등변 오차를 어떻게 바꾸는가?
6. 실세계 상관: rotated benchmark·frame mAP 향상이 로봇 인지 성공률, 오류복구율, 성공 작업당 Joule과 얼마나 연결되는가?

EQ-VMamba: 부분 보정이 아닌 end-to-end equivariance

EQ-VMamba는 입력을 회전 group을 포함한 feature map으로 임베딩하고, EQ-cross-scan과 EQ-cross-merge가 회전에 따른 순열을 보존하도록 설계한다. group Mamba는 group dimension에서 파라미터를 공유하고, EQ-downsampling·EQ-linear·EQ-PixelShuffle까지 전체 경로를 맞춘다.

논문의 ablation이 중요한 이유는 EQ-cross-scan만 교체했을 때 일관된 이득이 없기 때문이다. Tiny 모델에서 baseline은 30M·87.80%였고 cross-scan만 바꾼 경우 27M·87.88%, 전체 EQ-VSS까지 바꾼 경우 10M·88.58%였다. 등변성은 한 모듈의 장식이 아니라 전체 계산 경로의 closure property라는 결론을 지지한다.

PAM-Mamba: 위치·척도·방향을 분리해 다시 결합

GLPE는 0으로 초기화한 scalar gate로 명시적 위치 신호의 주입량을 학습한다. Hub-and-Spoke Funnel은 원래 full-resolution 입력을 각 coarse branch에 직접 투영해 경계 단서를 보존한다. Bi-TemBa는 kernel 3의 1D temporal convolution 뒤에 forward Mamba와 backward refinement를 직렬로 놓는다. Uncertainty-Based Mixup은 entropy 차이가 큰 표본을 연결하지만 batch size 1에서는 작동하지 않는다.

• 유한 상태의 과제별 기억 한계: 겹치는 행동·희소 사건·장기 간격을 동일 상태 크기에서 얼마나 정확히 보존할 수 있는가?
• 망각 탐지: recurrent state가 경계 단서나 방향 단서를 잃었음을 출력 전에 감지할 수 있는가?
• 대칭 선택: p4, p8, 반사군, SE(2), SE(3) 중 어떤 군을 어느 layer에 적용해야 하는가?
• 세션 drift와 reset: 연속 비디오에서 상태 오염을 언제 reset하고, reset 전후 근거를 어떻게 연결할 것인가?
• 양자화 누적 오차: group-shared transition과 reverse scan이 저정밀 장기 안정성에 미치는 영향은 무엇인가?
• 공정 비교: pre-extracted feature 비용을 포함한 end-to-end latency·memory·energy, 동일 데이터·정밀도·batch·hardware 비교가 부족하다.
• 한국어 전문업무와 실세계 안전성: 시각 이벤트를 한국어 절차·설비 지식·안전 규정과 연결하는 grounded reasoning 검증이 없다.

파라미터가 적거나 GFLOPs가 낮다는 사실만으로 현장 효율성을 결론내릴 수 없다. EQ-VMamba는 일부 설정에서 파라미터를 크게 줄여도 FLOPs가 같고 throughput이 소폭 낮다. PAM-Mamba는 feature extractor와 전체 영상 coverage를 제외한 256토큰 모델 계산을 보고한다.

1. Symmetry-aware hierarchical memory

PROPOSAL압축 recurrent state에는 회전·시점에 안정적인 요약을 저장하고, 필요한 구간에는 local attention을 열며, 원본 프레임·센서 로그는 외부 증거 메모리에서 회수하는 계층형 시스템을 설계한다. 등변성은 “무엇을 같은 것으로 볼지”, 외부 메모리는 “무엇을 버리지 않을지”를 담당한다.

2. Adaptive direction and memory budget

PROPOSAL모든 frame과 layer에 양방향 scan을 쓰지 않고, 경계 불확실성·상태 오염 점수·대칭 위반 점수가 높을 때만 backward scan, 추가 state, evidence retrieval을 활성화한다. 이는 정확도와 지연을 함께 제어하는 conditional compute 문제다.

3. Outcome-level benchmark

PROPOSAL평균 처리량 대신 성공 작업당 Joule, p95 의사결정 지연, 경계 회수율, 회전 강건성, 오류복구율을 공동 보고한다. batch 1의 CPU/GPU/NPU와 실제 sensor-to-decision pipeline을 포함하고, feature extraction·전처리·reset·retrieval 비용을 빠뜨리지 않는다.

4. ETRI on-device collaborative intelligence testbed

PROPOSAL동일 학습 데이터·양자화 방식·하드웨어에서 VMamba, EQ-VMamba, 단방향/양방향 Mamba, 소량 attention hybrid를 비교한다. ① 회전·가림·조명 변화, ② 상태 오염·센서 dropout, ③ 통신 단절·노드 교체, ④ 8시간 이상 장기 운영, ⑤ 로봇·설비 실증 순으로 검증 단계를 높인다. 저수준 제어 개입 전에는 독립 안전 계층과 인간 승인 절차를 유지한다.

1. Zhao et al., “Rotation Equivariant Mamba for Vision Tasks,” arXiv:2603.09138v1: 2026-03-10 · v2: 2026-04-04 · 사전공개 원문
2. IEEE TPAMI official DOI recordOnline ahead of print: 2026-10-29 · DOI 10.1109/TPAMI.2026.3748291
3. PubMed bibliographic record for EQ-VMamba정식 발표일·초록·DOI 교차 확인
4. Official EQ-VMamba code repository논문과 구분되는 공개 구현·학습 설정 자료
5. Rawat et al., “PAM-Mamba — Efficient Dense Action Detection using Mamba,” arXiv:2611.00423v1: 2026-10-30 · 2026-11-04 기준 정식 학회 발표 기록 미확인
6. Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”배경 연구 · 최초 2023, 최신 arXiv 개정 2024; 2025–현재 연구의 개념적 기반
7. SF-Mamba: Rethinking State Space Model for Vision이전 게시물과의 연구 흐름 연결용 사전공개 원문; 본 글의 신규 분석 대상과 구분
8. Liquid Foundation Models 2 Technical ReportLFM2 구조 경계 확인용 공식 기술보고서; EQ-VMamba·PAM-Mamba와 동일 모델이 아님