VISUAL STATE SPACE MODELS · ICML 2026 UPDATE · 2026-11-02 KST

Seeing Both Ways,
Running One Way

SF-Mamba는 비인과적 이미지에서 단방향 스캔을 포기하지 않는다. 대신 두 개의 보조 토큰으로 미래 정보를 되돌리고, 여러 짧은 시퀀스를 누수 없이 접어 GPU가 처리하기 좋은 길이로 만든다.

arXiv v1 · 2026-03-17v2 · 2026-10-19ICML 2026 · PMLR 306A100 throughput evidence
SF-Mamba의 두 병목과 두 해법 이미지 패치의 비인과 정보 흐름 문제는 보조 패치 토큰 교환으로, 짧은 시퀀스의 GPU 활용률 문제는 배치 폴딩과 주기적 상태 초기화로 다룬다. 두 해법은 MambaVision 기반 하이브리드에 결합되어 정확도와 처리량을 평가하지만 엣지 지연과 에너지는 별도 검증 과제로 남는다. Two bottlenecks require two different interventions INFORMATION BOTTLENECK 단방향 스캔 미래→과거 부재 이미지는 자연적 인과열이 아님 AUXILIARY PATCH SWAPPING head · patches · tail 레이어 사이 head ↔ tail 두 토큰으로 전역 정보를 다음 층 앞쪽에 전달 SPATIAL REPRESENTATION 양방향 수용영역 단일 스캔 유지 multi-scan 재배열 비용 회피 HARDWARE BOTTLENECK 짧은 패치열 낮은 GPU 활용률 Stage 3/4: T = 196 / 49 예시 BATCH FOLD + PERIODIC RESET B₂개 시퀀스 → 가상 장시퀀스 경계마다 Āₜ = 0 시퀀스 간 상태 누수 차단 · 커널 병렬성 향상 EVIDENCE & GATE A100 처리량↑ 정확도 소폭↑ 엣지 p95 · Joule · 안전은 미검증 제안: 실제 장치 검증이 통과할 때만 배포 효율로 승격
좁은 화면에서는 다이어그램을 좌우로 이동해 읽을 수 있습니다.
개념 요약 · 정보 흐름과 하드웨어 활용률은 서로 다른 병목이며, SF-Mamba는 각각 swap과 fold/reset으로 분리해 푼다.

위 그림은 논문의 기법과 이 글의 검증 게이트를 함께 나타낸 설명적 종합이다. 마지막 배포 게이트는 논문의 실험 결과가 아니라 본 글이 제안하는 검증 절차다.

선형시간 모델이 실제로 빠른가를 묻는 순간, 복잡도 표기는 충분하지 않다. 정보를 어느 방향으로 전달할지와 하드웨어를 얼마나 채울지를 동시에 설계해야 한다.

확인된 사실SF-Mamba는 2026-03-17 arXiv v1로 공개되고 2026-10-19 v2로 개정됐으며, ICML 2026 공식 논문은 PMLR 306, 149778–149800에 수록됐다. PMLR 페이지는 2026-10-23 컴파일됐다.

해석이 연구의 중요한 이동은 “Mamba가 O(T)인가”에서 “짧은 T에서도 어떤 커널 배치와 정보 경로가 실제 Pareto frontier를 만드는가”로 질문을 바꾼 데 있다.

Central question
이미지처럼 비인과적인 2D 신호에서, Mamba의 단일 스캔과 선형 상태를 유지하면서도 양방향 문맥·높은 GPU 처리량·다운스트림 정확도를 함께 얻을 수 있는가?
01Definition

SF-Mamba는 무엇인가

SF-Mamba는 MambaVision의 4단계 계층형 시각 백본을 바탕으로, auxiliary patch swapping과 batch folding with periodic state reset을 결합한 시각 Mamba 하이브리드다.

Swapping

각 stage의 첫 Mamba 블록에서 시퀀스 양끝에 두 보조 토큰을 놓고, 다음 Mamba 블록으로 넘어갈 때 head와 tail 출력을 교환한다. 뒤쪽 토큰이 축약한 전역 정보를 다음 층의 앞쪽 패치가 읽게 한다.

Folding

배치의 여러 짧은 패치열을 하나의 가상 장시퀀스로 재배열하고, 원래 시퀀스 경계에서 상태전이를 0으로 만들어 샘플 간 정보 누수를 막는다.

개념 경계SF-Mamba ≠ Mamba-3 ≠ LFM. SF-Mamba는 MambaVision 기반 시각 하이브리드다. Mamba-3의 exponential–trapezoidal discretization·복소 상태·MIMO를 사용한다고 보고하지 않으며, Liquid AI의 LFM 모델군·LTC·LNN과도 별개다.

“Foundation model”은 적용 범위와 학습·배포 맥락을 가리키는 모델군 개념이고, Mamba는 선택적 상태공간 연산자 계열이다. 특정 시각 백본의 성공을 모든 LFM이나 모든 Mamba 세대에 소급해서는 안 된다.

02Problem Definition

정보 방향과 실행 효율의 이중 병목

이미지 패치를 raster order로 직렬화하면 순서는 생기지만 인과성은 생기지 않는다. 좌상단 패치가 우하단 패치보다 시간적으로 먼저 발생한 것이 아니므로, 순수 단방향 recurrence는 표현상의 비대칭을 만든다. 이를 cross-scan·bidirectional scan으로 보완하면 재배열과 병렬 경로 비용이 발생한다.

동시에 일반적인 224×224 영상의 후반 stage는 패치열이 짧다. 논문 예시에서 MambaVision Stage 3과 4의 T는 각각 196과 49다. O(T) 연산자라도 T가 짧으면 GPU warp를 충분히 사용하지 못해 Attention보다 느릴 수 있다.

maximize  Q(θ)  subject to  p95_latency ≤ L,  peak_memory ≤ M,  energy/task ≤ E,  no_cross_sample_leakage

해석SF-Mamba가 직접 최적화한 것은 주로 평균 처리량과 정확도다. 위 식의 p95 지연·피크 메모리·에너지는 이 글이 확장한 배포 문제 정의이며, 논문이 모두 측정했다는 뜻이 아니다.

03Core Concepts

선택적 상태, 보조 토큰, 경계 초기화

3.1 선택적 SSM의 기억·망각·읽기

hₜ = Āₜ hₜ₋₁ + B̄ₜ xₜ,   yₜ = Cₜ hₜ

입력 의존적인 Āₜ·B̄ₜ·Cₜ는 현재 토큰마다 상태를 얼마나 유지하고, 어떤 입력을 기록하고, 무엇을 읽을지 조절한다. 선택성은 추론 중 가중치를 다시 학습한다는 뜻이 아니다. 또한 상태 크기가 시퀀스 길이에 독립적이라는 사실은 무한 정보를 손실 없이 보존한다는 뜻도 아니다.

3.2 두 토큰으로 만드는 미래→과거 경로

X′ = (xauxhead, x₁,…,xT, xauxtail)
xaux,i+1head = yaux,itail,  xaux,i+1tail = yaux,ihead

두 보조 토큰은 처음에 패치 평균 avg(X)로 초기화된다. i번째 층의 tail은 전체 앞선 토큰을 읽을 수 있고, 이를 다음 층의 head로 옮기면 앞쪽 패치가 이전 층 전체에서 요약된 정보를 참조한다. 이는 한 층 안의 완전 양방향 attention이 아니라 층을 건너 전달되는 압축 경로다.

3.3 배치 폴딩과 상태 오염 방지

Z ∈ ℝB×D×T → Z′ ∈ ℝB₁×D×(B₂T),  B = B₁B₂
Āₜ = 0  if  t mod T = 0

폴딩만 하면 앞 샘플의 상태가 다음 샘플로 새어 들어간다. 경계에서 Āₜ를 0으로 만들면 이전 상태 항이 사라져 각 시퀀스가 독립적으로 시작한다. B̄ₜ와 Cₜ는 토큰 국소 연산이므로 그대로 둔다. 이 reset은 장기 기억을 약화하려는 모델링 선택이 아니라 병렬 실행 중 샘플 독립성을 보장하는 커널 수준 장치다.

04Introduction

복잡도에서 실측 경로로

표준 full attention의 prefill 연산은 토큰 길이에 대해 이차적으로 증가하고, KV cache는 길이에 선형이다. autoregressive decode의 한 토큰 attention도 이력 길이에 선형이다. 반면 고정 상태 크기의 순수 SSM recurrence는 총 연산이 시퀀스 길이에 선형이고 순환 상태가 길이에 독립적이다.

그러나 시각 백본에서는 “긴 시퀀스”가 항상 주어지지 않는다. patchify와 stage downsampling으로 T가 수십~수백이 되면 이론적 복잡도보다 커널 launch, 메모리 재배열, warp occupancy가 지배적일 수 있다. SF-Mamba는 이 간극을 정면으로 다룬다.

저자 주장multi-directional scan의 데이터 재배열은 전체 처리시간의 5–8%, 병렬 다방향 스캔은 추가 28–42%를 차지한다고 보고한다. 비교 아키텍처와 구현이 다르므로 보편적 상수로 해석하지 않아야 한다.

해석연구 흐름은 “효율적인 연산자”에서 정보 회수 경로·상태 오염 방지·하드웨어 실행을 공동 설계하는 단계로 이동하고 있다.

05Motivation and Background

왜 multi-scan만으로는 충분하지 않은가

접근비인과 문맥주요 비용SF-Mamba의 판단
Unidirectional scan한 층에서 미래→과거 부재가장 단순속도는 좋지만 표현 비대칭
Bi-/cross-scan여러 방향을 직접 계산재배열·복수 경로정확도 이득 대비 실측 overhead 필요
Attention 후단깊은 층에서 양방향긴 토큰에서 O(T²)얕은 Mamba 층은 미래 문맥 부족
Auxiliary swap층 사이 압축 future→past 경로보조 토큰 2개단일 스캔과 결합

SF-Mamba는 MambaVision의 convolution–SSM–attention 하이브리드 macro-architecture를 사용한다. 따라서 결과를 “순수 Mamba가 attention을 대체했다”로 요약하면 틀리다. 특히 구성요소 ablation에서 attention-only는 7,803 img/s·82.3%, 개선된 hybrid는 7,600 img/s·82.5%였다. 최고 정확도–속도 절충은 SSM과 Attention의 상보성에서 나왔지, 한 연산자의 완전 대체에서 나오지 않았다.

2026-03-17
arXiv v1 최초 공개 — arXiv:2603.16423
2026-07-06–11
ICML 2026 발표연도·행사 기록
2026-10-19
arXiv v2 개정 — Accepted to ICML 2026 표기
2026-10-23
PMLR 공식 페이지 컴파일 — Volume 306, pp. 149778–149800
2026-11-02
본 분석 기준일 — 이후 자료 제외
06Challenges

정확도·병렬성·일반화 사이의 긴장

압축된 양방향성

두 토큰은 전체 정보를 무손실로 복사하지 않는다. 어떤 전역 단서가 tail 요약에 남고 무엇이 소실되는지 과제별 분석이 필요하다.

Batch=1 역설

folding은 B₂>1일 때 유리하다. 단일 이미지·단일 창 추론에서는 효과가 작을 수 있으며, 논문도 이를 인정한다.

커널 종속성

결과는 A100, CUDA 12.4, cuDNN 9, PyTorch 2.6, 저자 커스텀 CUDA kernel에 의존한다. CPU·MPS·NPU에서는 병목 구조가 달라진다.

아키텍처 이식성

VMamba처럼 Mamba 블록 내부에 2D convolution과 잦은 1D↔2D 변환을 쓰는 구조에는 auxiliary token과 folded representation을 적용하기 어렵다.

또한 양자화된 recurrence의 누적 오차, 훈련 해상도 밖 일반화, peak memory와 에너지, 데이터·증강·macro-architecture·kernel 효과의 분리가 남아 있다. MACs가 거의 같아도 처리량은 크게 달라질 수 있고, 처리량이 높아도 p95 지연이나 성공 작업당 Joule이 좋아진다고 단정할 수 없다.

07Research Questions

다음 실험이 답해야 할 질문

두 보조 토큰이라는 동일 메모리 예산에서, 경계·작은 물체·전역 형태 중 무엇을 우선 보존해야 하는가?
완전 multi-scan과 auxiliary swap 사이의 최소 방향 수·swap 주기·attention 배치는 어떻게 달라져야 하는가?
훈련 시 큰 batch의 folding 이득이 batch=1 스트리밍·멀티카메라·windowed inference에서 얼마나 유지되는가?
INT8·INT4 상태와 경계 reset을 결합할 때 긴 영상에서 수치적 drift와 상태 오염을 어떻게 탐지하는가?
ERF의 양방향성이 실제 로봇의 폐루프 성공률·복구율·안전정지율과 어떤 상관을 갖는가?
CPU·GPU·NPU에서 성공 인식·조작 작업당 Joule, p95 지연, peak memory의 Pareto frontier는 어떻게 달라지는가?
08Approaches (Methods)

방법과 근거를 함께 읽기

8.1 논문 방법

  1. Data-dependent auxiliary initialization: 각 stage에서 head와 tail을 avg(X)로 초기화.
  2. Layer-wise token swap: tail output을 다음 Mamba layer의 head로 이동해 future-to-past 정보를 전달.
  3. Batch folding: B=B₁B₂로 분해하고 B₂개의 짧은 열을 길이 B₂T의 열로 재배열.
  4. Periodic state reset: t mod T=0 경계에서 Āₜ=0으로 두어 샘플 간 recurrence 누수 방지.
  5. Boundary-safe convolution: fold된 시퀀스의 경계를 넘지 않는 별도 1D convolution CUDA kernel 사용.
  6. Adaptive B₁: B·T·D·state dimension·CUDA thread 조건에 맞춰 fold 비율 선택.

8.2 저자 보고 실험 조건

ImageNet-1K 분류는 224×224, 300 epoch, 1.28M train/50K validation을 사용했다. 처리량은 A100 40GB 한 장, batch 128, AMP, CUDA 12.4, cuDNN 9, PyTorch 2.6에서 모든 비교모델을 재측정했고, 500회 추론 중앙값을 보고했다. ours-T의 10회 변동은 7,600±11 img/s였다.

모델/조건Params / MACs처리량정확도읽는 법
MambaVision-T32M / 4.4G6,662 img/s82.3%동일 macro-architecture의 핵심 기준
SF-Mamba-T32M / 4.5G7,600 img/s82.5%약 +14.1% 처리량, +0.2%p
MambaVision-B98M / 15.0G2,974 img/s84.2%Base 기준
SF-Mamba-B98M / 15.1G3,534 img/s84.4%약 +18.8% 처리량, +0.2%p

저자 보고ADE20K에서 Base 모델은 MambaVision-B의 49.1 mIoU·37.3 fps 대비 50.1 mIoU·42.6 fps를, Faster R-CNN COCO에서 Tiny는 42.4 AP·37.2 fps 대비 43.2 AP·41.7 fps를 보고했다.

제한이 수치는 저자 보고이며 독립 재현·엣지 장치 측정이 아니다. 일부 전체 비교표의 모델은 원 논문 입력 해상도를 유지했고, channel-first/last 중 더 빠른 형식을 선택했다. 결과는 구현 친화적 상한에 가깝다.
09Key Applications

어디에 유용하고, 어디서 다시 검증해야 하는가

응용SF-Mamba가 주는 가설필수 추가 검증근거 지위
고해상도 의료·항공 영상global Mamba + windowed attention으로 긴 토큰의 비용 완화기관 외부검증, 민감도·특이도, 메모리, 정밀도논문 응용 가능성
온디바이스 비전 보조작은 모델의 accuracy–throughput 절충NPU/CPU p95, 열 제한, INT4/8 안정성연구 확장
멀티카메라 스트리밍카메라·window를 effective batch로 접을 가능성카메라 간 상태 격리, timestamp 불일치, dropped frame제안
ETRI Physical AI 인지센서 장면의 전역 문맥을 저비용으로 추적폐루프 성공률, 통신 단절, 상태 오염, 안전 정지제안
연구 제안ETRI의 로봇 고수준 계획·설비 감시·엣지 운영지능에서는 동일 학습데이터와 동일 양자화 조건으로 SF-Mamba, MambaVision, VMamba, windowed ViT를 비교할 가치가 있다. 다만 저수준 제어 루프에 직접 투입하기 전에는 지연 상한, 상태 reset 실패, 입력 누락, OOD 장면에 대한 별도 안전성 검증이 필요하다.
10Open Problems

아직 해결되지 않은 것

  • 과제별 기억 한계: 두 auxiliary token이 보존 가능한 전역 정보의 용량과 실패 패턴.
  • 망각·오염 탐지: periodic reset이 누락되거나 커널 경계가 잘못될 때 상태 누수를 온라인 검출하는 방법.
  • 장기 세션: video stream의 frame 간 상태 carry/reset 정책과 drift 복구.
  • 공정 비교: 동일 kernel maturity, memory layout, batch, AMP, compiler, warm-up 조건의 공개 벤치마크.
  • 양자화: low-bit state·convolution·attention의 누적 오류와 해상도 밖 일반화.
  • 실세계 안전: 한국어·국내 산업 데이터, 야간·기상·센서결함·통신단절 조건의 폐루프 검증.

공식 코드 저장소는 CUDA 12.6·PyTorch 2.7 기반 설치·학습 명령을 제공하지만 release·checkpoint가 없고 commit history가 세 건으로 작다. README의 arXiv 링크 표시는 2411.03855를 가리키지만 citation은 올바른 2603.16423을 사용한다. 재현 시 PMLR와 arXiv:2603.16423을 기준 식별자로 사용해야 한다.

11Future Directions

상태·주의·외부 증거를 적응적으로 배분하라

11.1 계층형 시각 기억

제안압축 recurrent state는 연속 장면을 유지하고, auxiliary token은 층간 전역 요약을 전달하며, 필요 구간 attention은 정확한 공간 회수를 담당하도록 분업한다. 장기 세션에서는 외부 증거 메모리가 원본 frame·센서 timestamp·근거 위치를 보존한다.

11.2 적응형 계산·기억 예산

제안경계 복잡도, 장면 변화, 상태 불확실성이 높을 때만 auxiliary token 수·attention window·state dimension·B₂를 늘리는 정책을 학습한다. 평균 FLOPs가 아니라 필요할 때만 기억과 비인과 회수 예산을 확장하는 능력을 평가해야 한다.

11.3 ETRI 단계적 검증안

단계통제 조건핵심 지표통과 게이트
1 · 재현동일 데이터·증강·정밀도·A100accuracy, img/s, peak memory저자 수치 변동범위 재현
2 · 이식동일 모델, CPU/GPU/NPUp50/p95/p99, Joule/task, 열목표 장치 Pareto 우위
3 · 강건성상태 오염·frame drop·통신 단절근거 회수율, 복구율, false-safe실패 탐지·reset 보장
4 · 실증장기 로봇·설비 운영성공 작업당 Joule, 임무 성공률독립 현장 반복 검증
종합 해석SF-Mamba가 보여준 가장 큰 교훈은 “Mamba가 빠르다”가 아니다. 정보 경로, 커널 병렬성, 비교 조건을 함께 설계해야만 이론적 효율이 측정 가능한 시스템 효율로 바뀐다는 것이다.
SSources & Evidence Notes

원문·공식 기록·코드

  1. Yoshimura et al., “SF-Mamba: Rethinking State Space Model for Vision.” arXiv:2603.16423. 최초 공개 2026-03-17, v2 개정 2026-10-19. arXiv
  2. ICML 2026 official record. PMLR 306:149778–149800. 행사 2026-07-06–11, 공식 페이지 2026-10-23 컴파일 확인. PMLR
  3. Official implementation. Sony SF-Mamba, Apache-2.0. GitHub
  4. Background — Mamba. Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces.” 최초 공개 2023. 본 글의 2025년 이전 배경 자료. arXiv
  5. Background — MambaVision. CVPR 2025 hybrid vision backbone. SF-Mamba가 macro-architecture 기준으로 사용. CVF

수치는 특별한 표시가 없는 한 저자 보고다. 어느 모델도 모든 해상도·배치·하드웨어·정밀도 조건에서 우월하다고 주장하지 않는다.