Spend Recurrence Where It Matters: Grouped Multi-Directional Mamba for 3D Segmentation

THE CENTRAL QUESTION

선택적 SSM이 시퀀스 길이에 선형이라면, 왜 3D Mamba 모델은 여전히 64–138M 파라미터와 큰 계산량을 요구하는가?

답은 길이 L만이 아니라 채널 폭 C, 스캔 방향 수 K, recurrence를 적용하는 해상도 단계에 있다. 2026년 11월 5일 공개된 GMD-Mamba는 이 세 예산을 함께 다룬다. 그러나 파라미터 감소를 실제 지연·메모리·에너지 개선으로 동일시해서는 안 된다. 논문은 정확도와 파라미터를 보고하지만 FLOPs, 처리량, p95 지연, 전력은 보고하지 않는다.

PREPRINT · arXiv:2611.10032 v1FIRST PUBLIC: 2026-11-05NO FORMAL VENUE RECORDCODE: MIT LICENSE

PART 01 · DEFINITION

Definition

GMD-Mamba는 SegResNet형 residual U-Net에 Grouped Multi-Directional scan을 넣은 3D 의료영상 분할 모델이다. 특징 텐서의 채널을 G개 그룹으로 나누고, 각 그룹에 서로 다른 3D 축 순열과 정·역방향을 할당한다. 전체 채널을 방향마다 반복 처리하는 대신, 좁은 채널 그룹이 각 방향을 담당한다.

사실논문은 arXiv v1 프리프린트이며 최초 제출일은 2026년 11월 5일이다. 확인 시점까지 정식 학회·저널 발표 기록은 없다. 코드는 별도 공개 저장소에 제공된다.

Mamba는 입력 의존적 선택성을 갖는 상태공간 아키텍처이고, LFM은 Liquid AI의 모델군이다. LFM2는 gated short convolution과 일부 GQA를 결합하지만 GMD-Mamba의 그룹 스캔과는 다른 설계다. 따라서 LFM = LTC = LNN = Mamba라는 동일시는 잘못이며, 이번 결과를 LFM 세대나 Mamba-3에 소급할 수 없다.

용어	정확한 범위	이 글에서의 위치
Mamba / selective SSM	입력에 따라 상태의 기록·망각·읽기를 조절하는 순차 연산자	그룹별 1D sequence mixer
GMD scan	채널 그룹마다 다른 3D 축 순서와 방향을 적용	고정 다방향 문맥의 비용 분산
GMD-Mamba	SegResNet + 깊은 두 단계의 GMD block	이번 직접 분석 대상
LFM2 / LFM3	Liquid AI의 별도 foundation model 계열	용어 경계와 효율성 비교의 배경

PART 02 · OPTIMIZATION

Problem Definition

3D 분할은 작은 복셀 구조와 전역 해부학 문맥을 동시에 보존해야 한다. convolution은 국소 구조에 강하지만 먼 위치의 관계를 직접 연결하기 어렵고, full attention은 토큰 수가 커질 때 비용이 급증한다. Mamba는 길이에 대해 선형인 recurrence를 제공하지만, 다방향 스캔을 전체 채널 폭으로 반복하면 입력·출력 projection의 폭 비용이 누적된다.

maximize Q(θ) subject to P(θ) ≤ P*, p95(θ,h) ≤ τ*, M_peak(θ,h) ≤ M*, E_task(θ,h) ≤ E*

여기서 Q는 Dice·HD95·작은 구조 회수율 같은 품질, P는 파라미터, h는 GPU·CPU·NPU와 커널 스택이다. 공통 목표는 긴 3D 문맥과 높은 정확도를 유지하면서 p95 지연·피크 메모리·성공 작업당 에너지를 제한하는 다목적 설계다.

해석GMD-Mamba의 중요한 질문은 “Mamba가 Transformer보다 싼가?”가 아니다. “어느 해상도와 어느 채널에 recurrence 예산을 써야 실제 과제의 Pareto frontier가 좋아지는가?”이다.

PART 03 · MECHANISM

Core Concepts

선택적 상태공간과 유한 상태

h_t = Ā_th_t−1 + B̄_tx_t, y_t = C_th_t

선택성은 입력별로 무엇을 기록하고, 무엇을 잊고, 무엇을 읽을지 조절한다. 이는 추론 중 모델 가중치를 새로 학습한다는 뜻이 아니다. 순환 상태 크기가 입력 길이와 독립이라는 설명 역시 무한한 정보를 손실 없이 보존한다는 뜻이 아니다.

3D feature map을 순서로 바꾸는 순간 생기는 편향

X ∈ R^C×D×H×W를 1D 토큰열로 펴면, 같은 3D 이웃도 축 순서에 따라 가깝거나 멀어진다. 여러 축 순열과 역방향 스캔은 이 편향을 완화하지만 전체 폭 C를 K번 처리하면 projection 비용은 대략 O(KC²)가 된다.

그룹 스캔

GMD(X) = X + concat_g=1…G[π_g⁻¹(Mamba_g(π_g(X_g)))]

각 그룹은 약 C/G 폭을 갖는다. 따라서 그룹별 projection을 합친 비용은 G·O((C/G)²)=O(C²/G)가 된다. 논문이 주장하는 이점은 방향을 학습하는 것이 아니라, 고정된 방향 집합을 채널 예산에 분산하는 것이다.

주의이 복잡도는 해당 projection의 채널 폭에 대한 분석이다. 전체 네트워크의 convolution, normalization, 데이터 이동, kernel launch를 포함한 종단 지연식을 의미하지 않는다. 순수 SSM의 길이 선형성과 GMD-Mamba 전체 모델의 실제 성능을 구분해야 한다.

Deep-only placement

128³ 입력에서 네 encoder stage는 64³, 32³, 16³, 8³ 해상도를 갖는다. GMD block은 마지막 두 단계에만 들어가 최대 4096 토큰을 처리한다. 고해상도 단계는 convolution이 담당한다. 이는 연산자를 고르는 문제를 넘어 연산자를 어디에 배치할지를 모델 설계의 일부로 만든다.

PART 04 · INTRODUCTION

Introduction

최근 Mamba 연구의 관심은 “attention 없이도 길이를 처리할 수 있는가?”에서 “기억·회수·상태 추적·하드웨어 비용을 어디에 배분할 것인가?”로 이동하고 있다. GMD-Mamba는 이 흐름을 3D segmentation에서 보여주는 작은 사례다.

전날 분석한 D²Mamba가 deformable offset으로 어떤 공간 경로를 따라갈지 학습했다면, GMD-Mamba는 고정 축 순서를 유지한 채 각 방향에 얼마의 채널 폭과 어느 해상도 단계를 배정할지 결정한다. 전자는 경로 적응, 후자는 예산 배분이다. 두 연구는 대체재라기보다 서로 다른 설계 축을 드러낸다.

해석효율성은 연산자의 이름이 아니라 연산자·폭·단계·커널의 공동 배치에서 나온다. “Mamba를 썼다”는 사실만으로 온디바이스 또는 실시간 모델이 되지는 않는다.

PART 05 · MOTIVATION & BACKGROUND

Motivation and Background

표준 full attention은 prefill 연산이 길이에 대해 이차적이고, KV cache는 길이에 선형이며, decode 시 한 토큰의 attention도 과거 길이에 선형으로 증가한다. 고정 상태 크기의 순수 SSM은 총 scan 연산을 길이에 선형으로 만들고 순환 상태 크기를 길이와 분리한다. 그러나 3D vision에서는 feature width와 여러 scan order가 새로운 병목이 된다.

설계	공간 관계 처리	주요 비용·상태	주의할 점
Full attention	모든 토큰 쌍 직접 비교	prefill O(L²), KV O(L)	GQA는 KV 계수만 줄이고 길이 의존을 제거하지 않음
단일 방향 Mamba	하나의 1D traversal	길이 선형 scan, 고정 순환 상태	3D 인접성이 scan order에 종속
K개 full-width scan	여러 방향을 별도 처리 후 fusion	projection 약 O(KC²)	길이 선형이어도 폭 비용이 큼
GMD scan	방향을 채널 그룹에 분담	projection 약 O(C²/G)	방향별 표현 폭과 cross-group mixing 제한
D²Mamba	order-free global + deformable scan	NC-SSD, learned sampling, 일부 MHSA	GMD와 다른 모델·데이터·비용 구조

LFM2의 hardware-in-the-loop search, Mamba-3의 이산화·복소 상태·MIMO, Samba의 SSM+sliding-window attention, MemMamba의 상태 요약은 각각 다른 병목을 다룬다. GMD-Mamba는 foundation model이 아니라 과제 특화 3D segmenter이며, 그 의미는 범용 모델 우월성이 아니라 작업 구조에 맞춘 recurrence placement의 실증에 있다.

PART 06 · CHALLENGES

Challenges

방향 폭의 압축

그룹마다 C/G 채널만 보므로 한 방향의 표현 용량이 감소한다. 큰 G가 항상 유리하지 않다.

그룹 간 통합

방향별 정보는 concatenate와 주변 convolution을 통해 섞인다. 어떤 해부학적 관계가 그룹 경계를 넘어 손실되는지 불명확하다.

정확도와 실제 시스템 비용

19.2M 파라미터는 저장·일부 연산의 proxy일 뿐이다. CUDA kernel, memory layout, scan permutation이 p95를 결정할 수 있다.

일반화와 임상 타당성

두 공개 데이터셋의 segmentation score는 다기관·다장비 robustness나 임상 결과를 보장하지 않는다.

저정밀 누적오차

순환 상태의 bf16·INT8 오차가 긴 scan에서 누적될 수 있다. 파라미터가 작아도 state stability가 나쁘면 배포 이점이 사라진다.

공정 비교

학습 recipe, checkpoint selection, patch sampling, 데이터 분할과 augmentation을 통제하지 않으면 아키텍처 효과를 분리하기 어렵다.

핵심 한계논문 자체도 MSD Spleen의 작은 test set과 두 데이터셋만의 평가를 일반화 한계로 명시한다. 여기에 실제 FLOPs·지연·에너지와 의료적 안전성 검증의 부재가 추가된다.

PART 07 · RESEARCH QUESTIONS

Research Questions

동일 파라미터·메모리 예산에서 어떤 방향과 해상도 단계가 과제에 필요한 정보를 가장 잘 보존하는가?
최소 방향 수와 그룹 수는 병변 크기, 체적 anisotropy, 촬영 modality에 따라 어떻게 달라지는가?
고정 축 순열과 학습형 deformable scan 사이의 정확도·안정성·커널 복잡도 Pareto frontier는 무엇인가?
순환 상태를 bf16·FP8·INT8로 낮출 때 scan 길이별 오차와 HD95 tail은 어떻게 변하는가?
합성 3D state-tracking 성능이 실제 segmentation의 작은 구조 회수율·boundary error와 상관하는가?
실제 단말에서 성공 volume당 Joule, p50/p95 latency, peak memory는 CNN·attention·Mamba hybrid 사이에서 어떻게 다른가?
그룹별 상태 오염, 결측 slice, orientation 변화가 예측에 미치는 영향을 실행 중 탐지할 수 있는가?

PART 08 · APPROACHES

Approaches (Methods)

Architecture

SegResNet형 encoder–decoder는 (C,2C,4C,8C) 폭의 네 stage를 사용한다. 각 stage에는 pre-activation residual block이 있고, stride-2 convolution으로 해상도를 낮춘다. decoder는 이를 대칭적으로 upsample하며 reconstruction head가 encoder skip feature와 decoder feature를 더해 보정한다.

GMD block은 16³와 8³ 단계에만 배치된다. 각 채널 그룹은 (D,H,W), (H,D,W), (W,D,H)와 그 역방향 중 하나를 쓴다. 처리 뒤 inverse permutation으로 voxel order를 복원하고 그룹 출력을 concatenate한 후 residual을 더한다. structure tensor, eigendecomposition, learned direction selection은 쓰지 않는다.

Training and evaluation conditions

항목	BraTS2023	MSD Spleen
상태	SegMamba-V2 공개 partition·recipe 준용	별도 controlled pipeline
입력·배치	128³ patch, batch 2	nnU-Net식 preprocessing
최적화	SGD, lr 10⁻², momentum 0.99, CE, 1000 epochs	Adam, Dice+CE
checkpoint	test가 아닌 held-out validation으로 선택	held-out test Dice
비교 해석	표의 기존 baseline은 SegMamba-V2 보고값; 250 cases	저자들이 같은 protocol로 baseline 재학습

Author-reported results

모델	Params	BraTS Avg Dice ↑	Avg HD95 mm ↓	조건/해석
SegResNet	18.8M	88.26 ± 14.22	4.01 ± 8.51	CNN baseline
SegMamba	67.4M	91.32 ± 12.28	3.56 ± 8.66	다방향 Mamba
SegMamba-V2	138.8M	91.60 ± 11.83	3.23 ± 7.20	강한 Mamba baseline
GMD-Mamba	19.2M	92.00 ± 9.05	2.70 ± 3.46	저자 보고 최고 평균

저자 주장GMD-Mamba는 SegMamba-V2의 약 1/7 파라미터로 평균 Dice 92.00과 HD95 2.70 mm를 보고했다. WT·TC에서는 SegMamba-V2가 근소하게 높고, GMD-Mamba는 ET와 평균에서 앞섰다. 어느 모델이 모든 조건에서 우월하다는 뜻은 아니다.

Ablation must not be mixed with the headline

400-epoch ablation에서는 backbone 91.31, bidirectional deep 91.17, full-width multi-directional deep 90.98, GMD shallow+deep 89.85, GMD deep-only 91.47이었다. 이 표는 1000-epoch headline과 직접 섞어 비교할 수 없다. 중요한 관찰은 Mamba를 더 많은 stage에 넣은 변형이 오히려 1.62p 낮았다는 것이다.

저자 보고MSD Spleen에서 GMD-Mamba는 Dice 91.9 ± 2.5를 보고해 같은 pipeline의 SegResNet 79.4보다 12.5p 높았다. 다만 test set이 작고 데이터셋이 두 개뿐이라는 제한을 저자들이 명시한다.

검증 경계논문과 README는 CUDA 기반 구현을 제공하지만, 비교 hardware·정밀도·처리량·FLOPs·peak memory·energy를 제시하지 않는다. “lightweight”는 현재 파라미터와 분석적 projection 비용에 대해 지지되며, 종단 실시간성까지 검증된 것은 아니다.

PART 09 · APPLICATIONS

Key Applications

3D MRI·CT segmentation

뇌종양·장기 분할처럼 국소 경계와 전역 위치 관계가 함께 필요한 체적 영상. 직접 근거는 BraTS2023와 MSD Spleen에 한정된다.

산업용 volumetric inspection

CT 기반 결함 탐지, 적층제조 내부 구조 검사. 의료 외 적용은 연구 제안이며 별도 데이터 검증이 필요하다.

로봇 3D scene memory

voxel occupancy, TSDF, spatio-temporal sensor cube를 방향 그룹으로 처리하는 고수준 scene understanding. 저수준 제어 안전성과 분리 검증해야 한다.

Edge volumetric intelligence

작은 파라미터 예산이 메모리 제약 단말에 유리할 가능성. 실제 NPU kernel과 energy 측정 전에는 배포 효과로 단정할 수 없다.

ETRI/Physical AI 제안네트워크 기반 피지컬 AI에서 3D 센서 상태를 x/y/z 축, 시간축, 통신 hop 축의 그룹으로 나누고, 불확실성이 큰 그룹에만 recurrence 예산을 늘리는 적응형 edge state tracker를 검증할 수 있다. 이는 GMD-Mamba의 직접 결과가 아니라 구조적 통찰을 확장한 제안이다.

PART 10 · OPEN PROBLEMS

Open Problems

유한 그룹 상태의 기억 한계: 방향별로 축소된 폭이 어떤 3D topology를 표현하지 못하는가?
망각·오염 탐지: 특정 그룹의 상태가 결측 slice나 motion artifact에 오염됐음을 어떻게 감지하는가?
장기 scan drift: volume 크기가 훈련 patch를 넘어갈 때 상태가 안정적으로 일반화하는가?
재현 가능한 공정 비교: 동일 데이터, split, preprocessing, epoch, seed, 정밀도와 hardware에서 CNN·attention·SSM을 비교할 수 있는가?
지표의 불충분: 평균 Dice가 작은 병변 회수, 경계 tail, calibration, 실패 복구를 가릴 수 있다.
양자화: projection과 recurrent state를 따로 양자화할 때 어느 쪽이 누적오차를 지배하는가?
실세계 안전: 다기관·다장비·한국 의료 데이터와 로봇 센서 환경에서 distribution shift를 견디는가?

특히 파라미터 수·Dice만으로 edge readiness를 판정하는 관행을 바꿔야 한다. 동일 하드웨어에서 p95, peak memory, Joule/volume, 실패율, calibration을 함께 보고해야 한다.

PART 11 · FUTURE DIRECTIONS

Future Directions

1. Adaptive direction-and-width budgeting

모든 volume에 같은 G와 같은 방향 폭을 쓰지 않고, anisotropy·병변 크기·불확실성에 따라 그룹 수와 채널 폭을 조정한다. routing overhead까지 포함해 이득을 측정해야 한다.

2. Hierarchical memory

압축 recurrent state, 필요한 구간의 local attention, 외부 증거 메모리를 계층화한다. 긴 이력의 저비용 추적과 정확한 근거 회수의 충돌을 한 연산자에 떠넘기지 않는다.

3. Deformable path × grouped budget

D²Mamba의 학습형 경로와 GMD-Mamba의 그룹 예산을 결합하되, learned path가 만드는 불규칙 memory access와 kernel 비용을 공동 최적화한다. 정확도만 좋아지고 p95가 악화되면 edge 설계로는 실패다.

4. State precision as a controlled variable

weight precision과 state precision을 분리하고, scan 길이별 deterministic/stochastic rounding, reset policy, error monitor를 비교한다. 평균뿐 아니라 최악 그룹의 drift를 기록한다.

5. ETRI staged validation

단계	동일 통제	핵심 지표	중단 기준
1 · 공개 benchmark	학습 데이터·split·augmentation·seed	Dice/HD95, small-object recall, calibration	재현 실패 또는 효과가 seed variance 이하
2 · 동일 장비	quantization·batch·compiler·kernel	p50/p95, peak memory, Joule/volume	파라미터 감소가 종단 이득으로 연결되지 않음
3 · 상태 오염 시험	결측·순서 변화·통신 단절·artifact	오염 탐지율, 복구율, reset cost	silent failure가 안전 한계 초과
4 · 장기 실증	로봇·설비의 실제 sensor stream	성공 작업당 Joule, 근거 회수율, 오류복구율	현장 baseline 대비 임무 이점 부재

제안성공 작업당 Joule·p95 지연·근거 회수율·오류복구율을 정확도와 함께 표준화하자. 아키텍처 이름보다 임무 성공의 비용과 실패 복구 가능성을 평가하는 벤치마크가 필요하다.

GMD-Mamba가 확정한 것은 “가벼운 3D Mamba가 완성됐다”가 아니다. 더 정확한 결론은 이렇다. recurrence는 전역 문맥이 필요한 낮은 해상도에 집중하고, 방향 다양성은 전체 폭 복제가 아니라 제한된 채널 예산으로 설계할 수 있다. 다음 단계는 이 구조적 절약이 실제 하드웨어·저정밀·장기 세션에서도 유지되는지 검증하는 일이다.

SOURCES · VERSIONED EVIDENCE

Sources and Date Notes

GMD-Mamba: Lightweight 3D Medical Image Segmentation Using a Grouped Multi-Directional Mamba — arXiv:2611.10032 v1, 최초 공개 2026-11-05, 확인 시점 정식 발표 기록 없음.
GMD-Mamba PDF — 방법, 수식, BraTS2023·MSD Spleen 조건, ablation, 한계의 직접 근거.
Official GMD-Mamba implementation — MIT license, CUDA/Mamba dependency, model·training·evaluation scripts.
LFM2 Technical Report — 최초 공개 2025-11-28; LFM2 구조와 hardware-in-the-loop search의 배경 근거.
Mamba-3 — 최초 공개 2026-03-16; selective SSM 발전의 배경 근거.
Samba — ICLR 2025 정식 기록, 최초 공개는 2024년; SSM과 local attention hybrid의 배경.
D²Mamba — 2026-11-10 v1; deformable spatial path와 non-causal global state의 비교 배경.
LFM3 official product announcement — 2026-10-27 기업 발표. 논문·기술보고서와 구분해 참고.

출처 원칙실험 수치는 모두 논문 저자 보고값이다. 독립 재현 결과로 표현하지 않았으며, 비교 모델·규모·데이터 분할·학습 조건·평가 범위를 가능한 범위에서 함께 표기했다.