The Scan Path Is a Modeling Assumption: Deformable Duality Mamba for Tiny Lesions

THE CENTRAL QUESTION

이미지는 순서가 없는 2-D 구조인데, 왜 시각 Mamba의 성능을 하나의 고정 1-D 스캔에 맡겨야 하는가?

2026년 11월 10일 최초 공개된 D²Mamba는 이 질문에 두 갈래로 답한다. NC-SSD는 위치 전체를 하나의 전역 상태로 집계하고, DMSM은 forward·backward·deformable 경로를 통해 불규칙한 병변 형상에 맞춰 sampling한다. 이 글은 그 아이디어를 Mamba의 선택적 상태, Mamba-2의 state space duality, 시각 scan 설계, LFM의 온디바이스 효율 문제와 연결해 비판적으로 분석한다.

FACT · SOURCE · INTERPRETATION · PROPOSALPREPRINT v1NO FORMAL VENUE YETCODE + WEIGHTS RELEASED

PART 01 · DEFINITION

정의: 같은 이름처럼 보여도 같은 계보가 아니다

LFM

Liquid AI가 개발하는 모델군이다. LFM2는 입력 의존 게이트 단거리 합성곱과 일부 GQA를 결합한다. LFM3는 2026년 10월 기업 발표의 tri-hybrid 계열이지만 아직 LFM2와 동등한 형식의 기술보고서가 공개되지 않았다.

Mamba

입력 의존 state transition으로 기억·망각·읽기를 조절하는 선택적 상태공간 아키텍처다. D²Mamba는 이 개념을 영상의 공간 위치에 적용한 응용·변형이다.

SSD / NC-SSD

Mamba-2가 정립한 state space duality는 SSM과 구조화 행렬 변환의 연결을 제공한다. D²Mamba의 NC-SSD는 causal mask 없이 전 위치를 하나의 global summary로 집계한다.

LTC / LNN

Liquid Time-Constant network와 Liquid Neural Network는 연속시간 동역학의 별도 계보다. LFM=LTC=LNN=Mamba라는 동일시는 잘못이다.

사실D²Mamba의 구조를 LFM이나 모든 Mamba 세대에 소급할 수 없다. 이 연구는 망막 병변 분할을 위한 비인과 시각 backbone이며, autoregressive language model의 causal recurrence와 목적·입출력 계약이 다르다.

PART 02 · PROBLEM DEFINITION

문제 정의: 짧은 계산 경로와 올바른 공간 경로는 다르다

작은 병변은 몇 픽셀에 불과하다. 2-D에서 서로 가까운 픽셀도 raster scan으로 평탄화하면 1-D 시퀀스에서 멀어질 수 있고, downsampling과 배경 우세가 신호를 더 약화한다. 따라서 문제는 단순히 긴 시퀀스를 선형 시간에 처리하는 것이 아니라, 어떤 공간 관계를 상태에 기록하고 어떤 경로로 전파할지를 결정하는 것이다.

maximize Quality(θ) subject to p95 latency ≤ L, peak memory ≤ M, energy/task ≤ E, structural distortion ≤ S

표준 full attention은 토큰 수에 대해 prefill 연산이 이차이고 KV cache가 선형으로 증가한다. 순수 고정 상태 SSM은 총 연산을 선형으로 만들고 순환 상태 크기를 길이와 분리할 수 있다. 그러나 D²Mamba 전체는 NC-SSD·DMSM뿐 아니라 최심부 네 개 MHSA block과 convolutional decoder를 포함한다. 따라서 모델 전체를 “완전 선형·O(1) 메모리”라고 부르면 안 된다.

해석시각 SSM의 효율성 문제에는 sequence length뿐 아니라 topology distortion이 추가된다. 같은 FLOPs라도 잘못된 scan은 이웃 관계를 멀리 보내고, 여러 방향을 무작정 복제하면 계산량을 다시 늘린다.

PART 03 · CORE CONCEPTS

핵심 개념: 선택적 상태, order-free summary, deformable traversal

선택적 SSM

h_t = Ā_th_t−1 + B̄_tx_t, y_t = C_th_t

선택성은 입력마다 기억·망각·읽기 경로를 조절한다는 뜻이지, 추론 중 가중치를 다시 학습한다는 뜻이 아니다. 또한 길이에 독립적인 순환 state가 무한 정보를 완전 보존한다는 뜻도 아니다.

NC-SSD의 전역 상태

M = K^⊤diag(ρ)V, Y_nc = QM + DV, ρ = −AΔ

길이 L의 모든 위치를 r×d state summary M으로 모은 뒤 Q로 각 위치에 다시 읽어 준다. dense L×L attention matrix나 causal mask 없이 전역 context를 제공한다. 다만 summary가 유한한 만큼 모든 공간 정보를 무손실 보존하는 것은 아니다.

DMSM과 channel fusion

DMSM은 2-D offset을 예측해 bilinear sampling하고, forward·backward·learned deformable order 세 경로를 정렬해 평균·gate·projection한다. 두 branch는 Y = Ync + γ ⊙ Ydef로 합쳐지며, γ는 채널별 학습 scale이고 초기값은 10⁻³이다.

저자 주장NC-SSD가 방향에 덜 의존하는 global context를 제공하고 DMSM이 불규칙 형상에 적응함으로써, 작은 병변의 공간 조직을 고정 scan보다 잘 모델링한다.

PART 04 · INTRODUCTION

도입: 효율적 연산자에서 구조 보존 연산자로

Mamba 연구의 초기 축은 full attention의 KV cache와 이차 prefill을 줄이면서 품질을 유지하는 것이었다. 2025–2026년에는 기억 회수, state tracking, 양자화 안정성, hardware-aware kernel로 초점이 확장됐다. 시각 분야에서는 여기에 “2-D 구조를 어떤 1-D 순서로 바꿀 것인가”가 붙었다.

SF-Mamba는 양방향 보조 token 교환과 batch folding으로 처리량을 재설계했고, EQ-VMamba는 회전군에 대한 정확한 equivariance를 다뤘다. D²Mamba는 다른 빈틈을 겨냥한다. scan path를 고정된 전처리가 아니라 학습 가능한 inductive bias로 취급한다.

해석연구 흐름은 “SSM이 attention보다 빠른가”에서 “어떤 state·scan·precision이 실제 task structure와 hardware에 맞는가”로 이동하고 있다. D²Mamba는 공간 topology를 그 공동설계 변수에 추가한다.

PART 05 · MOTIVATION AND BACKGROUND

배경: 작은 병변은 문맥보다 먼저 보존되어야 한다

망막 병변은 hard exudate, microaneurysm, soft exudate, hemorrhage처럼 크기와 형상이 다르다. 특히 microaneurysm은 몇 픽셀에 불과해 encoder downsampling, class imbalance, 넓은 receptive field의 irrelevant context에 쉽게 묻힌다.

접근	강점	구조적 비용/편향	D²Mamba의 대응
CNN / U-Net	locality·multi-scale skip	반복 downsampling이 작은 신호 약화	전역 state + progressive decoder
Transformer	전역 상호작용	이차 연산, irrelevant context 가능	r×d global summary
고정 scan Mamba	선형 traversal	2-D 이웃을 1-D에서 분리	order-free NC-SSD + deformable order
다방향 scan	방향 편향 완화	방향 수에 따른 계산 증가	세 경로 정렬·평균 + learned offset

의료 영상 성능은 모델 구조만으로 결정되지 않는다. split, 전처리, label quality, thresholding, patient/site leakage, calibration이 결과를 바꾼다. 이 연구는 이미지 단위 재구성 5-fold를 사용했으며 공식 DDR split 결과와 직접 비교할 수 없다고 명시한다.

PART 06 · CHALLENGES

난제: 적응형 경로가 새로운 실패 경로를 만든다

정확 회수–압축 충돌: global state M은 효율적이지만 유한 rank로 모든 세부를 보존하지 못한다.
경로 학습 안정성: deformable offsets와 learned ordering이 작은 데이터에서 shortcut을 배울 수 있다.
병변 크기 불일치: 고정 γ는 작은 점상 병변과 넓은 diffuse 병변에 같은 fusion 정책을 적용한다.
정밀도·kernel: CUDA selective scan이 필요하며 CPU/NPU·저정밀 안정성은 보고되지 않았다.
공정 비교: 동일 split·update budget은 장점이지만 model size, FLOPs, latency, peak memory가 표에 없다.
일반화: 단일 DDR dataset과 757개 annotated image만으로 다기관·카메라·인구집단 shift를 판단할 수 없다.
임상적 연결: pixel metric 개선이 screening sensitivity, referral decision, 환자 outcome 개선을 자동 보장하지 않는다.

핵심 한계ablation은 fold 1의 단일 test 비교다. DMSM 추가는 macro mIoU를 +1.27p 높였지만 HE IoU는 −3.79p 낮췄다. 형상 적응성이 모든 병변 크기에 일관되게 유리하다는 증거는 아니다.

PART 07 · RESEARCH QUESTIONS

연구 질문: 어떤 관계를 기억하고 언제 경로를 바꿀 것인가

동일한 state budget에서 어떤 spatial relation을 NC-SSD에, 어떤 local detail을 deformable scan에 배분해야 하는가?
병변 크기·불확실성에 따라 γ와 scan count를 동적으로 조절하면 HE 저하를 회복할 수 있는가?
학습한 offset이 실제 lesion boundary를 따르는지, background shortcut을 따르는지 어떻게 검증할 것인가?
full attention block의 최소 비중과 배치는 정확도·p95 latency·memory Pareto frontier에서 어디인가?
INT8/INT4 상태와 bilinear sampling 오차가 작은 병변 회수에 만드는 누적 손실은 얼마인가?
DDR의 합성적 spatial metric 개선이 실제 edge screening의 근거 회수율·오류복구율과 연결되는가?
동일 장비에서 성공 검사당 Joule과 worst-case latency를 포함하면 architecture ranking이 바뀌는가?

PART 08 · APPROACHES (METHODS)

방법과 결과: 저자 보고값을 실험 계약과 함께 읽는다

네트워크 구성

convolutional stem 뒤 세 SDM stage가 각각 2·4·8 block, width 64·128·256으로 동작하고, 네 번째 stage는 width 512의 MHSA block 네 개를 쓴다. 해상도는 약 1/4→1/8→1/16→1/32로 줄며 CCLR decoder가 encoder skip과 결합한다. 즉 pure Mamba가 아니라 convolution + NC-SSD + deformable selective scan + MHSA hybrid다.

실험 계약

항목	저자 보고 조건	해석 시 주의
데이터	DDR lesion-annotated 757 images	재구성 image-level 5-fold; 공식 split과 직접 비교 금지
fold	train 453–455 / val 151–152 / test 151–152	validation mDice로 checkpoint 선택
입력	1028×1028; border 제거·Gaussian correction	전처리 효과와 구조 효과가 함께 포함
학습	AdamW, batch 4, lr 6×10⁻⁵, 100K updates	epoch가 아닌 update budget
장비	single NVIDIA RTX 4090D; no pretrained init	CPU/NPU·energy·p95 미보고
평가	IoU·Dice·AUPR, 5-fold mean ± population SD	macro는 background 제외

주요 비교 결과

저자 보고 지표	D²Mamba	강한 비교군	차이	범위
mIoU	33.87%	Swin-Unet 30.88%	+2.99p	DDR reconstructed 5-fold
mDice	49.62%	Swin-Unet 45.57%	+4.05p	four-lesion macro
mAUPR	48.23%	DNL 46.98%	+1.25p	1,000-bin softmax histogram
MA Dice	30.91%	UPerNet-R18 20.85%	+10.06p	microaneurysm
HE IoU	32.98%	DNL 34.23%	−1.25p	hemorrhage

저자 보고가장 작은 MA에서 Dice가 비교군보다 10.06 percentage points 높았다. 이는 intended behavior와 일치하지만 독립 재현이 아니고, 동일한 공식 split의 외부 연구와 직접 비교할 수 없다.

해석mIoU 개선의 일부는 NC-SSD, 일부는 DMSM, 일부는 hybrid encoder/decoder와 전처리에서 나온다. fold-1 ablation만으로 두 branch의 평균·상호작용 효과를 완전히 분리할 수 없다.

PART 09 · KEY APPLICATIONS

활용: 작은 구조를 놓치면 실패하는 edge perception

망막 병변 분할: screening 결과에 pixel-level 근거를 추가하는 연구용 evidence map.
초음파·현미경·산업 검사: 불규칙하고 작은 defect를 global context와 shape-adaptive path로 추적.
로봇 시각: 가는 cable, 접촉점, crack, tool tip처럼 작은 구조가 행동 성공을 좌우하는 장면.
온디바이스 perception: attention을 줄이되 task topology에 맞춰 scan budget을 선택하는 edge backbone.

공식 MDM 2026의 MambaLoc은 UWB Transformer teacher에서 CSI Mamba student로 geometric structure를 증류해 0.230m median localization error와 Transformer 대비 58% latency 감소를 보고했다. 이는 D²Mamba와 다른 modality지만, Mamba를 단독 만능 연산자로 쓰기보다 구조적 teacher·공간 prior와 결합하는 흐름을 보여준다.

ETRI 연구 제안Physical AI에서는 작은 접촉·균열·부품 경계를 놓치면 고수준 계획의 상태가 오염된다. D²Mamba형 spatial adapter를 센서별 backbone에 붙이고, 외부 evidence memory로 원 프레임을 보존해 state summary의 압축 손실을 재검증하는 계층형 구조를 시험할 가치가 있다. 이는 논문이 직접 검증한 결과가 아니다.

PART 10 · OPEN PROBLEMS

미해결 문제: 경로를 학습해도 근거가 남는 것은 아니다

finite-state limit: global summary rank와 병변 수·형상 복잡도의 관계를 예측하는 이론이 없다.
forgetting detector: 작은 구조가 어느 stage에서 사라졌는지 감지하고 원 해상도를 다시 읽는 장치가 없다.
scan interpretability: learned offset·permutation이 해부학적 구조를 따르는지 정량 검증이 부족하다.
session drift/reset: streaming video에서 deformable state가 오래 누적될 때 drift·reset 방법이 없다.
공정 benchmark: params, FLOPs, peak memory, p50/p95, energy, calibration을 같은 장비에서 비교해야 한다.
real-world safety: false negative 병변과 불확실성을 임상 workflow에서 어떻게 escalation할지 미정이다.
한국 데이터: 국내 장비·환자·기관 shift와 개인정보·의료기기 규제 환경에서 검증되지 않았다.

PART 11 · FUTURE DIRECTIONS

향후 방향: 상태·경로·증거 메모리를 함께 설계한다

제안 1 — hierarchical perception memory. NC-SSD는 global compressed state, deformable scan은 필요한 local path, 외부 evidence memory는 원본 patch와 provenance를 담당하게 한다.

제안 2 — adaptive scan budget. 작은 구조 확률·uncertainty·state collision이 높을 때만 scan 수, γ, attention window, 원 해상도 crop을 늘린다. 필요한 순간에 memory와 compute budget을 함께 확장한다.

제안 3 — size-conditioned fusion. lesion/object scale을 추정해 channel별 γ를 동적으로 조절하고, HE처럼 넓은 구조에서 deformable branch가 해가 되는지 반증 실험을 설계한다.

제안 4 — hardware-in-the-loop validation. 동일 데이터·training recipe·quantization에서 CNN, Transformer, fixed-scan Mamba, NC-SSD, D²Mamba를 CPU/GPU/NPU로 비교한다. 성공 검사당 Joule, p95 latency, peak memory, small-object recall, calibration, 오류복구율을 함께 보고한다.

제안 5 — 단계적 ETRI 실증. 공개 의료·산업 데이터 → synthetic occlusion/blur → 센서 누락·통신 단절 → 실제 edge 장비 → 장기 로봇/설비 운영으로 확장한다. 저수준 제어 안전성은 별도 safety envelope와 human override로 검증한다.

종합 해석2025–2026년의 핵심 이동은 “효율적인 연산자”에서 “무엇을 기억하고, 어떤 순서로 읽고, 어떤 장비에서 검증할 것인가”로의 전환이다. D²Mamba는 scan path를 그 설계 공간에 넣는 새 근거지만, 모든 시각 Mamba나 LFM의 우월성을 증명하지 않는다.

PRIMARY SOURCES & VERSION NOTES

출처와 날짜·버전 구분

Seeing the Small: Deformable Duality Mamba for Retinal Lesion Segmentation — arXiv v1 최초 공개 2026-11-10, 실행일 기준 최신 v1; 5쪽 preprint, 정식 학회 발표 기록 없음. abstract/history · PDF · code/weights.
Mamba: Linear-Time Sequence Modeling with Selective State Spaces — 2023 배경 원논문. arXiv.
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality — 2024 배경 원논문(Mamba-2/SSD). arXiv.
SF-Mamba: Rethinking State Space Model for Vision — 최초 공개 2026-03-17, 최신 개정 2026-10-19, ICML 2026/PMLR 306. official proceedings.
MambaLoc — SIGSPATIAL 2025 short record 이후 IEEE MDM 2026 정식 논문(pp. 177–183); arXiv v1 2026-11-07. arXiv · IEEE DOI.
LFM2 Technical Report — arXiv 최초 공개 2025-11-28; hardware-in-the-loop search, gated short convolution, 일부 GQA. arXiv.
LFM3 official announcement — 2026-10-27 기업 모델 발표이며 기술보고서·동료평가 논문이 아니다. Liquid AI.

별도 표기가 없으면 수치는 원 논문 저자 보고값이다. 비교모델, split, 전처리, 장비, 문맥/입력 크기, 정밀도와 배치가 다른 결과를 하나의 절대 순위로 합치지 않았다.