한정된 지연·메모리·에너지 안에서, 모델은 무엇을 입력에 따라 바꾸고 무엇을 고정해야 하는가?
2026년 11월 18일 최초 공개된 CoScan과 Slim-Mamba는 같은 Mamba 생태계에서 상반된 해법을 제시한다. 전자는 이미지의 2D 구조를 1D causal state에 넣는 순서를 학습하고, 후자는 massive MIMO 위치추정에서 원래 Mamba block의 선택 스캔을 더 단순한 recurrence로 줄인다. 이 글은 두 결과를 “새 Mamba 변형”으로 나열하지 않고, 적응성의 위치·비용·검증 범위를 비교한다.
Definition
LFM과 Mamba를 먼저 분리한다
LFM(Liquid Foundation Models)은 Liquid AI의 모델군이다. LFM2 기술보고서가 설명한 입력 의존 게이트 단거리 합성곱과 일부 GQA는 LFM2 세대의 구조다. 2026년 10월 공개된 LFM3는 게이트 단거리 합성곱·sliding-window attention·global attention을 섞은 tri-hybrid이며, 기업 발표·모델 정보로 논문과 구분해야 한다. LFM = LTC = LNN = Mamba라는 동일시는 잘못이다.
Mamba는 입력에 따라 상태의 기록·망각·읽기를 조절하는 selective state-space architecture다. 반면 CoScan은 Mamba backbone이 처리할 토큰의 순서를 내용별로 정하는 모듈이고, Slim-Mamba는 원래 selective block을 특정 위치추정 과제에 맞춘 경량 gated recurrence로 바꾼 system-level proposal이다.
Problem Definition
공통 문제는 긴 이력을 낮은 추론 비용으로 처리하면서 필요한 정확도를 유지하는 것이다. 그러나 실제 설계는 정확도 하나의 최대화가 아니라 제약이 있는 다목적 최적화다.
subject to p95 latency ≤ L*, peak memory ≤ M*, energy / successful task ≤ E*, recovery ≥ R*
여기서 θ는 상태 전이, π는 scan order, m은 attention·외부 메모리 배치, q는 정밀도, r은 runtime·kernel이다. CoScan은 π를 입력 의존적으로 만들고, Slim-Mamba는 θ의 입력 의존 계산을 줄인다. 두 선택은 모두 품질 이득이 p95·메모리·에너지 비용을 상쇄하는지로 평가해야 한다.
Core Concepts
Selective SSM: 상태는 입력에 따라 달라지지만 가중치를 다시 배우지는 않는다
yt = Ct ht
선택성은 입력별로 무엇을 기억하고, 얼마나 잊고, 어떻게 읽을지를 이미 학습된 함수가 조절한다는 뜻이다. 추론 중 가중치를 새로 학습한다는 뜻이 아니다. 순환 상태 크기가 길이에 독립이라는 말도 무한 정보의 완전 보존을 뜻하지 않는다. 유한 상태는 정보 압축기이며, exact recall과 state tracking은 같은 능력이 아니다.
순서도 모델의 일부다
2D feature map을 causal 1D recurrence에 넣으려면 순서를 정해야 한다. 같은 두 pixel이 원래 공간에서는 이웃이어도 scan에서 멀어지면 상태를 통해 긴 경로를 거쳐야 한다. CoScan은 이 순서를 고정 raster가 아니라 이미지 내용에 따른 space-filling traversal로 바꾼다. 따라서 입력 의존성은 상태 전이뿐 아니라 입력의 직렬화에도 존재할 수 있다.
복잡도 주장을 모델 전체에 확대하지 않는다
| 구성 | prefill / 전체 sequence | decode·순환 상태 | 정확한 해석 |
|---|---|---|---|
| 표준 full attention | 길이 n에 대해 O(n²) | KV O(n), 한 토큰 attention O(n) | 전체 과거에 직접 접근하지만 이력 비용이 증가 |
| 고정 상태 순수 SSM | 총 O(n) | 상태 O(1), n에 독립 | 정보 용량이 무한하다는 뜻은 아님 |
| CoScan + vision SSM | backbone은 선형 scan을 사용 | scan 생성·MST·patch 처리 비용 추가 | 순서 생성 오버헤드까지 포함해 측정해야 함 |
| LFM2/LFM3·attention hybrid | attention 범위와 배치에 의존 | global KV는 길이에 선형 | 전체를 O(1) memory 또는 완전 선형이라 부르면 안 됨 |
GQA는 KV 크기의 계수를 줄이지만 길이에 대한 선형 의존을 제거하지 않는다. CoScan도 scan order를 잘 고른다는 이유만으로 상태의 유한 용량 문제를 없애지 않는다.
Introduction
전날의 연구 업데이트는 Mamba 안정성을 상태 전이, 이산화, scan order, precision, kernel이 함께 만드는 시스템 속성으로 정리했다. 오늘의 두 논문은 그 명제를 한 단계 더 좁힌다. 시스템은 모든 위치에 같은 수준의 적응성을 둘 필요가 없다.
CoScan: 더 적응적으로
고정 scan이 degradation 아래에서 의미적으로 단절된 causal context를 만들 수 있다고 보고, 입력별 traversal을 학습한다. 적응성은 상태 cell 바깥의 순서 생성기에 투자된다.
Slim-Mamba: 덜 적응적으로
원래 Mamba block의 selective-scan 계산을 실내 위치추정에 필요한 수준으로 단순화하고 FPGA 병목을 기준으로 파이프라인을 재구성한다.
어느 모델도 모든 데이터·문맥 길이·하드웨어에서 우월하다고 결론내릴 수 없다. 하나는 이미지 복원 backbone 세 종류에 대한 plug-in 결과이고, 다른 하나는 LuViRA 위치추정과 ZCU102 구현에 대한 task-specific co-design이다.
Motivation and Background
2023년 최초 공개된 Mamba는 selective SSM과 hardware-aware scan으로 sequence modeling의 효율성을 확장했다. 이는 2025년 이전 원논문이므로 본 조사의 배경이다. 2024년 최초 공개 후 ICLR 2025에 발표된 Samba는 SSM과 sliding-window attention을 결합했고, 음의 고유값 연구는 state tracking 표현력에 전이 스펙트럼이 중요함을 보였다. 2025년 계산 한계 연구는 고정 상태 모델의 이론적 경계를, LFM2 기술보고서는 gated short convolution과 일부 GQA를 hardware-in-the-loop search로 배치하는 방식을 보여줬다.
2026년 Mamba-3은 exponential–trapezoidal discretization, 복소수 상태, MIMO로 state-space operator 자체를 확장했다. 그 뒤의 흐름은 효율적인 연산자 하나를 고르는 문제에서 기억 회수·상태 추적·입력 순서·하드웨어·학습을 공동 설계하는 문제로 이동했다.
Challenges
정확 회수와 압축의 충돌
좋은 scan은 인접 정보를 앞당기지만 유한 상태가 모든 과거 세부를 보존하게 만들지는 않는다. 복원 품질과 identifier-level recall을 분리해야 한다.
state tracking ≠ memory retrieval
좌표를 연속 갱신하는 능력과 오래전 관측의 원문·센서 근거를 정확히 회수하는 능력은 다르다. Slim-Mamba의 위치 오차만으로 장기 기억을 주장할 수 없다.
proxy와 실제 scan의 간극
CoScan은 non-differentiable MST traversal을 evaluator proxy로 학습한다. proxy가 순위는 맞춰도 unseen degradation에서 실제 최적 order를 보장하는지는 열려 있다.
patch-local과 global context
고해상도에서 patch별 scan을 독립 생성하면 patch 경계와 극장거리 의존성이 약해질 수 있다. 저자도 coarse-to-fine global coordination을 한계로 제시한다.
양자화 누적 오차
Slim-Mamba의 INT16 결과가 K=2에서 안정적이어도 긴 recurrent horizon의 drift를 증명하지 않는다. 낮은 정밀도와 긴 session을 함께 늘려야 한다.
kernel과 실제 지연의 격차
FPGA core latency, offline-preprocessed throughput, 센서 입력부터 위치 출력까지의 end-to-end p95는 서로 다르다. CPU/GPU/NPU 비교도 동일 runtime maturity가 필요하다.
훈련 길이 밖 일반화
위치추정 K=2와 patchwise restoration의 결과를 긴 문맥·다른 장면·다른 radio geometry로 확대할 수 없다.
효과 분리
scan, start token, global prefix, backbone, 학습 curriculum의 이득을 분리하고 데이터·증류·아키텍처 효과를 동일 예산에서 재검증해야 한다.
Research Questions
- 동일한 peak memory에서 정확히 기억해야 할 정보와 상태에 압축해도 되는 정보는 무엇인가?
- content-adaptive order, selective state update, local/global attention 가운데 어느 축에 적응성을 배치할 때 가장 큰 한계효용을 얻는가?
- 동일 restoration 품질에서 CoScan의 최소 scan 적응성, 최소 global token 비중, 최적 patch 크기는 무엇인가?
- 상태 전이 표현력과 parallel training·kernel 효율의 균형을 task difficulty로 예측할 수 있는가?
- INT8·INT16·BF16 recurrent state가 훈련 길이 밖에서 언제 drift하거나 reset을 요구하는가?
- 합성 state-tracking 점수와 실제 agent·로봇의 성공률, 근거 회수율, 오류복구율은 얼마나 상관되는가?
- 센서 전처리·scan 생성·host–device 이동까지 포함한 성공 작업당 Joule과 p95는 어떻게 달라지는가?
질문의 단위는 model name이 아니라 task × sequence geometry × precision × hardware configuration이어야 한다.
Approaches (Methods)
A. CoScan: non-differentiable traversal을 proxy로 학습한다
CoScan은 image-dependent space-filling curve를 직접 미분하는 대신, 2×2 circuit dual graph에서 minimum spanning tree를 만든 뒤 Hamiltonian traversal로 scan을 얻는다. 실제 MST·traversal은 non-differentiable이므로 evaluator가 candidate scan의 품질을 예측하고 generator에 differentiable proxy supervision을 준다.
scan-quality objective는 세 관계를 함께 본다. AC는 짧은 lag의 autocorrelation으로 가까운 sequence token의 coherence를, AR은 autoregressive residual variance로 causal predictability를, ADJ는 공간 인접 보존을 본다. 고해상도에서는 fine-level MST를 coarsening해 여러 feature scale에서 일관된 scan을 만들고, frequency-guided start selection으로 정보가 많은 구조를 prefix에 배치한다.
저자들은 MambaIR·EAMamba·MaIR 세 backbone과 low-light, deblurring, raindrop, dehazing, super-resolution에서 일관된 개선을 보고한다. dehazing CoScan+MaIR는 23.5M parameters, 35.2G MACs와 indoor/outdoor 30.67/31.24 dB를, MaIR는 26.3M, 49.3G와 29.95/28.49 dB를 보고한다. 같은 이름의 backbone이라도 scan 생성·global prefix·학습 설정을 포함한 시스템 비교로 읽어야 한다.
B. Slim-Mamba: 모델 병목을 FPGA 데이터플로로 되먹임한다
Slim-Mamba는 original Mamba, channel correlation을 강화한 CMamba, 제안한 Slim-Mamba를 LuViRA real massive MIMO data에서 비교한다. 입력은 100 antenna × 10 CIR taps와 power를 포함해 2100 features이며, 배포 temporal window는 K=2다. 홀수 trajectory를 학습하고 인접한 짝수 trajectory를 test하므로 넓은 distribution shift보다 공간 보간에 가깝다.
원래 Mamba의 여러 입력 의존 SSM parameter 생성, explicit discretization, C/D readout, state expansion을 줄이고, 입력 의존 update coefficient와 SiLU output gate를 남긴 경량 channel-wise recurrence를 쓴다. 개념적으로는 다음처럼 읽을 수 있다. 이는 논문의 계산 구조를 설명하기 위한 정규화된 표현이며 원문의 모든 projection을 재현한 식은 아니다.
yt = SiLU(gt) ⊙ P ht
Zynq UltraScale+ ZCU102, 100 MHz, INT16 구현은 공유 MAC array, fine-grained FIFO pipeline, dynamic-scale ping-pong buffer, LUT sigmoid/SiLU를 사용한다. four-block serial latency는 21,204 cycles, 212.04 μs/token으로 추정되며 offline-preprocessed input 기준 core throughput은 4,716 positions/s다.
중요한 음의 결과는 K=1과 K=2가 모두 13.50 cm이고 K=32는 16.60 cm로 악화됐다는 점이다. 이 과제에서는 더 긴 이력이 자동으로 더 좋은 위치추정을 만들지 않았다. 이는 “장기 문맥은 쓸모없다”가 아니라, task·sampling·state design이 추가 history를 이용하지 못했거나 잡음으로 만들었음을 뜻한다.
| 연구 / 조건 | 핵심 조작 | 저자 보고 결과 | 비교 경계 |
|---|---|---|---|
| CoScan + MambaIR LOL low-light | content-adaptive multiscale traversal | 23.7910 dB vs 22.7181 | scan module·학습 설정 포함; 독립 재현 아님 |
| CoScan + MaIR GoPro deblurring | MST proxy + start selection | 33.55 / .941 / .081 PSNR / SSIM / LPIPS | MaIR 32.97 / .928 / .102 |
| Slim-Mamba LuViRA, K=2, FP32 | 경량 recurrence | 13.5 cm ME, 13 s/epoch | nearby trajectory interpolation; original Mamba 24.74 cm |
| Slim-Mamba FPGA ZCU102, 100 MHz, INT16 | shared MAC + pipelining | 212.04 μs/token, 0.14 m ME | offline-preprocessed core estimate; full pipeline p95 아님 |
| FPGA resource / power | 4-block backbone | LUT 22.21%, FF 14.11%, BRAM 30.59%, DSP 19.68%; 4.29 W total estimate | PS dynamic 2.62 W가 dynamic power의 74%; sensor preprocessing 별도 |
모든 수치는 논문 저자 보고값이다. 비교모델·데이터 split·입력 길이·정밀도·하드웨어·batch가 다른 결과를 하나의 절대 순위로 합치지 않았다.
Key Applications
온디바이스 비전 보조
저조도·blur·rain·haze·super-resolution에서 내용별 scan은 제한 연산 안에서 causal context의 질을 높일 가능성이 있다.
massive MIMO 위치추정
radio fingerprint의 짧은 temporal state와 FPGA matrix-vector pipeline을 결합해 저지연 indoor localization을 목표로 한다.
로컬 RAG
압축 상태는 대화·작업 상태를, 필요한 구간 attention은 근접 근거를, 외부 memory는 원문과 출처를 맡는 계층형 구성이 적합하다.
스트리밍 분석
센서·음성·설비 로그에서 event ordering 자체를 입력 내용에 맞추되, 순서 생성 실패와 상태 오염을 별도 탐지해야 한다.
예를 들어 다중 센서 입력을 시간순으로만 직렬화하지 않고, 사건 중요도·공간 인접·예측 불확실성으로 order를 바꾸는 연구가 가능하다. 단, 순서 변화가 원래 timestamp와 provenance를 삭제해서는 안 된다. 모델용 traversal과 감사용 원 기록을 분리해야 한다.
Open Problems
유한 상태의 과제별 기억 한계
어떤 task entropy와 precision에서 상태가 포화되는지, 좋은 order가 그 한계를 얼마나 늦추는지 예측하는 이론·측정이 부족하다.
망각 탐지와 장기 session drift/reset
state가 틀린 정보를 carry할 때 전체 reset, 부분 수정, 원 기록 replay 중 무엇을 선택할지 기준이 없다. 모델은 자신이 잊은 정보를 스스로 보고하지 못할 수 있다.
재현 가능한 공정 비교
동일 데이터, parameter·MAC·tuning budget, quantization, input size, hardware, runtime에서 fixed scan·learned scan·native 2D·attention을 비교해야 한다. Slim recurrence도 original Mamba와 같은 training budget·kernel maturity를 맞춰야 한다.
end-to-end 에너지와 전처리
FPGA core만이 아니라 센서 acquisition, CIR extraction, host–device transfer, scan generation, verification, retry를 포함한 Joule/success가 필요하다. 성공 건수가 0이면 좋은 유한값처럼 보고해서는 안 된다.
실세계 안전성과 한국어 전문업무
한국어 장문 문서, 기관별 약어, 설비 event, 통신 단절, sensor drift에서 근거 회수율·오류복구율을 검증해야 한다. 내용별 order가 감사 가능성과 causality를 해치지 않는지도 중요하다.
높은 평균 정확도, 짧은 core latency, 작은 recurrent state는 각각 다르며 어느 하나도 실세계 신뢰성을 대신하지 못한다.
Future Directions
적응성 예산 controller
연구 제안. 입력의 구조 복잡도, state drift, retrieval uncertainty, hardware load를 보고 scan 생성·state rank·attention window·external retrieval budget을 늘리거나 줄이는 controller를 둔다. 적응성 자체도 비용이므로 controller overhead를 포함한 Pareto frontier를 측정한다.
압축 상태 + 필요한 구간 attention + 외부 증거
연구 제안. 반복적인 국소 상태는 recurrence에, 직접 재참조가 필요한 구간은 sparse attention에, 원문·timestamp·sensor provenance는 외부 memory에 둔다. evidence recovery가 실패하거나 state contamination이 감지되면 replay 또는 human approval로 전환한다.
scan order, recurrent state, attention, external evidence를 하나의 block으로 합치지 않고 역할과 검증 계약이 다른 계층으로 구성한다.
ETRI 온디바이스 협업지능 단계 검증
| 단계 · 제안 | 동일 조건 | 실패 주입 | 핵심 지표 |
|---|---|---|---|
| 1. operator / order baseline | 동일 데이터·parameter·training·quantization | order shuffle, long horizon, unseen degradation | 정확도·근거 회수율·state drift |
| 2. hardware baseline | 동일 CPU/GPU/NPU, runtime, batch, thermal state | memory pressure, kernel fallback, frequency throttling | p50/p95·peak memory·Joule/success |
| 3. recovery baseline | 동일 replay·reset·retrieval budget | state contamination, packet loss, sensor dropout | 오류복구율·재시도·사람 개입 |
| 4. 장기 현장 실증 | 동일 로봇·설비 mission set | rare event, drift, multi-agent conflict | 완료율·근거성·안전 incident |
최종 benchmark는 성공 작업당 Joule, 입력부터 검증 완료까지의 p95, 근거 회수율, 오류복구율을 함께 보고해야 한다. 다음 경쟁은 더 복잡한 선택성을 추가하는 것이 아니라 선택성이 필요한 순간과 위치를 검증 가능하게 만드는 것이다.
출처와 검증 범위
실행일 이후 자료는 포함하지 않았다. 서지 날짜는 arXiv 제출·개정 이력과 공식 기록을 분리했다. 실험 수치는 모두 저자 보고이며 독립 재현을 수행하지 않았다. 링크 확인일: 2026-11-20 KST.