MAMBA · VIDEO TOKENS · CONTROLLED EVALUATION · SYSTEM DESIGN

Compression Is Not Architecture-Neutral

Controlled evidence from task-aware video token reduction, temporal coordinates, and hybrid Mamba–Transformer backbones

PUBLISHED 2026-11-22 KST · EVIDENCE CUTOFF 2026-11-22

압축은 task, 위치, 시간 좌표, backbone, 적응의 공동설계 문제다 비디오 과제의 정보 요구가 토큰 선택과 시간 좌표를 결정하고, 압축 위치와 Mamba-Transformer hybrid backbone이 실제 품질과 지연에 영향을 준다. 통제 실험은 상대 경향과 예외를 함께 보여주며, 단일 최적 압축법이나 보편적 backbone 우월성을 지지하지 않는다. VIDEO COMPRESSION IS A JOINT DESIGN SPACE TASK INFORMATION QA · grounding · captioningimportance ↔ diversity 과제마다 보존해야 할 증거가 다름 COMPRESSION POLICY projector ↔ internalprune ↔ merge 16× stress test · matched token budget TEMPORAL COORDINATES preserve ↔ resetRoPE · timestamps 압축 후에도 ‘언제’를 잃지 않기 PURE TRANSFORMER · QWEN2.5-7B 28 full-attention layersGQA · global token interaction aggressive merging에서 일부 출력 손상 관찰 HYBRID · NEMOTRON-NANO-9B-V2 27 Mamba-2 + 4 attention25 MLP · not a pure SSM merging 안정성↑, training-free grounding↓ SYSTEM OBJECTIVE · AUTHOR EVIDENCE + EDITORIAL SYNTHESIS quality under p95 · peak memory · energy constraintsno universal compressor, no universal backbone winner 분홍/노랑/파랑/초록은 본문 중요도이며, 이 도식의 선 색은 관계 구분이다.

모바일에서는 도식을 좌우로 스크롤할 수 있습니다.

핵심 요약 · VidToC는 압축법 하나의 순위를 매기기보다 task·압축 위치·시간 좌표·backbone·fine-tuning이 함께 결과를 만든다는 통제 근거를 제공한다.

위·가운데 층은 논문의 비교 설계와 저자 보고 결과를 요약한다. 아래의 다목적 시스템 목표는 이 글의 통합 해석이며, LFM2나 모든 Mamba hybrid로의 일반화가 아니다.

THE CENTRAL QUESTION

비디오 토큰을 16분의 1로 줄였을 때, 성능을 결정하는 것은 압축 알고리즘인가, 시간 좌표인가, backbone인가, 아니면 압축을 본 뒤 다시 학습했는가?

VidToC는 이 질문을 Qwen2.5-7B와 Nemotron-Nano-9B-v2, 세 과제, training-free/fine-tuned 설정, 동일한 token budget 안에서 비교했다. 결론은 ‘Mamba hybrid가 압축 문제를 없앤다’가 아니라 ‘압축과 backbone은 분리할 수 없는 공동설계 변수’라는 데 가깝다.

FACT · primary source checkedAUTHOR CLAIM · not independently reproducedINTERPRETATION · explicitly labeledPROPOSAL · future validation
PART 01 · DEFINITION
01

Definition

Liquid Foundation Models(LFM)은 Liquid AI의 모델군이고, Mamba는 입력에 따라 상태의 쓰기·유지·읽기를 조절하는 선택적 상태공간 아키텍처다. Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), LFM, Mamba는 동일한 개념이 아니다. LFM2 기술보고서가 공개한 구조는 입력 의존 gate가 있는 short convolution과 소수의 grouped-query attention(GQA)을 결합한 hybrid이며, 그 구조를 모든 LFM 세대에 소급해서는 안 된다.

이번 신규 근거의 대상인 VidToC는 비디오 multimodal LLM의 visual token compression을 통제 비교하는 프레임워크다. 순수 Transformer Qwen2.5-7B-Base와 Mamba-2·attention·MLP를 섞은 Nemotron-Nano-9B-v2-Base를 같은 vision encoder, projector, 훈련 recipe, 과제 안에서 비교한다. 따라서 Nano를 ‘순수 Mamba’라고 부르는 것도, VidToC 결과를 LFM에 직접 대입하는 것도 잘못이다.

사실Liquid AI 공식 Research 목록의 최신 학술 항목은 2026-10-27, Models 목록의 최신 발표는 2026-11-16이었다. 2026-11-22 KST 현재 직전 글 이후 새 LFM 논문·기술보고서는 확인되지 않았다. 이번 변화는 Mamba–Transformer hybrid의 압축 검증 근거다.
PART 02 · PROBLEM FORMULATION
02

Problem Definition

긴 비디오는 frame마다 수백 개 patch token을 만든다. 토큰 수 N을 줄이면 prefill과 KV cache가 작아질 수 있지만, 중요한 사건·주변 맥락·시간 간격도 함께 사라진다. 문제는 단순 압축률 최대화가 아니라 다음의 다목적 설계다.

maximize  TaskQuality(C, T, B, A)  subject to  p95Latency ≤ L*, PeakMemory ≤ M*, Energy/SuccessfulTask ≤ E*

여기서 C는 압축 정책과 위치, T는 시간 encoding, B는 backbone, A는 compression-aware adaptation 여부다. 같은 token budget이라도 full attention을 통과한 위치, iterative selector 비용, 합성 token의 분포 이동이 다르므로 FLOP·지연·메모리가 같지 않다.

해석‘어떤 토큰을 버릴까’보다 먼저 ‘어떤 과제의 어떤 증거를, 어느 연산자에 들어가기 전에, 어떤 시간 좌표와 함께 남길까’를 정의해야 한다.
PART 03 · CORE CONCEPTS
03

Core Concepts

3.1 선택적 상태와 압축은 서로 다른 층위다

ht = Ātht−1 + B̄txt,    yt = Ctht

선택성은 입력마다 기억·망각·읽기를 조절하는 메커니즘이지 추론 중 model weight를 다시 학습하는 과정이 아니다. Mamba의 순환 상태 크기가 sequence length와 독립이라는 말도 무한한 정보를 완전 보존한다는 뜻이 아니다. VidToC의 visual compression은 이 recurrence 앞이나 중간에서 입력 token 자체를 줄이는 별도 연산이다.

3.2 attention, GQA, pure SSM, hybrid의 비용 경계

연산 계열prefilldecode 한 토큰이력 메모리이번 글의 경계
표준 full attention길이에 대해 이차 연산이력 길이에 선형KV cache 선형Qwen backbone의 28개 층
GQAattention pattern 유지이력 길이 의존KV 계수 감소선형 길이 의존 제거 아님
고정 상태 pure SSM총 선형 연산고정 상태 recurrence길이 독립 순환 상태훈련 activation·외부 메모리까지 상수라는 뜻 아님
Mamba–Transformer hybrid구성 층에 따라 혼합Mamba state + attention KVattention 층은 길이 의존Nano 전체를 O(1) memory라고 부를 수 없음

3.3 prune, merge, 시간 좌표

Pruning은 선택되지 않은 token을 제거하고, merging은 여러 token을 새 representation으로 합친다. 전자는 세부 증거를 되찾을 수 없고, 후자는 backbone이 학습 중 보지 못한 out-of-distribution token을 만들 수 있다. 압축 후 position index를 preserve하면 빈 간격을 유지하고, reset하면 연속 번호를 다시 매긴다. 토큰 수를 같게 줄여도 시간 간격을 보존했는지가 temporal grounding을 바꾼다.

PART 04 · INTRODUCTION
04

Introduction

직전 후속 글은 Mamba state가 유용하고, 감사 가능하며, 실제 장치에서 실행 가능해야 한다고 정리했다. VidToC가 추가하는 질문은 그 state가 읽기 전에 이미 video evidence를 잃어버렸다면 어떻게 되는가다. 효율적 backbone은 많은 token을 더 싸게 처리할 수 있지만, vision encoder가 만든 token volume과 multimodal alignment 비용 자체를 없애지는 않는다.

VidToC는 2026-11-19 최초 공개된 v1 preprint다. 정식 학회 발표 기록은 확인되지 않았다. 신규성은 새로운 Mamba block을 제안한 데 있지 않고, compression method × position × time encoding × backbone × adaptation을 같은 좌표계에서 비교했다는 데 있다.

판정 경계결과는 한 pure Transformer와 한 hybrid, 7B/9B 규모, 세 video 과제의 저자 보고다. Nano가 모든 압축에서 우월하지 않았고, Qwen이 모든 grounding에서 열세도 아니었다. architecture 전체의 보편 순위를 만들 근거가 아니다.
PART 05 · MOTIVATION AND BACKGROUND
05

Motivation and Background

Mamba(최초 2023)와 Mamba-2/SSD(ICML 2024)는 긴 sequence를 고정 state recurrence와 병렬 학습 가능한 구조로 처리하는 계보를 만들었다. 2025년 hybrid 연구는 제한된 attention을 배치해 exact recall을 보완했고, LFM2는 별개의 설계 공간에서 gated short convolution과 일부 GQA를 hardware-in-the-loop search로 결합했다. 2026년 Mamba-3는 discretization, complex state, MIMO로 state tracking과 실행 효율을 다시 설계했다.

연구 흐름은 이제 ‘연산자를 선형으로 만들기’에서 ‘무엇을 보존하고 어느 층에서 줄이며 실제 kernel에서 얼마가 드는가’로 이동한다. VidToC는 이 전환을 video MLLM에서 측정한다. 1 fps의 1분 영상도 표준 encoder에서는 만 단위 visual token을 만들 수 있어, hybrid backbone이라도 upstream token 압축 없이는 memory와 latency 압력이 남는다.

계보최초 공개/발표핵심이번 근거와의 관계
Mamba2023 · 배경input-dependent selective SSMNano의 Mamba-2 층 전사
Mamba-2 / SSD2024 · ICML 2024 · 배경SSM–attention duality, 효율적 layerNano hybrid의 recurrent component
Qwen2.52024-12-19 v1; 2025-01-03 v2Transformer model familyVidToC의 pure Transformer 비교군
Nemotron Nano 22025-08-20 v1; 2025-09-02 v4Mamba-2 + attention hybridVidToC의 hybrid 비교군
LFM22025-11-28 기술보고서gated short convolution + 일부 GQA별도 hybrid; 결과 소급 금지
Mamba-32026-03-16exponential–trapezoidal, complex state, MIMO최신 state-transition 배경
VidToC2026-11-19 v1controlled video compression study이번 새 검증 근거
PART 06 · CHALLENGES
06

Challenges

정확 회수 vs 압축

OCR·주변 물체·짧은 행동 단서를 제거하면 state가 아무리 효율적이어도 회수할 수 없다.

기억 vs 시간 위치

내용을 남겨도 원래 frame 간격을 reset하면 ‘무엇’은 남고 ‘언제’는 흐려질 수 있다.

합성 token의 분포 이동

merge는 정보 밀도를 높이지만 model이 보지 못한 representation을 만들어 출력 손상을 일으킬 수 있다.

token budget ≠ compute budget

같은 평균 token 수라도 full attention의 위치와 iterative selector round가 실제 latency를 바꾼다.

훈련 밖 길이 일반화

32-frame 학습을 256-frame 입력으로 늘리면 uncompressed baseline도 성능이 낮아질 수 있다.

효과 분리와 재현성

한 run·한 seed·한 backbone pair로 data, compressor, adaptation, architecture의 보편 효과를 분리하기 어렵다.

저정밀 recurrence의 누적 오차, CPU/GPU/NPU kernel 차이, p95 tail, 성공 작업당 에너지도 남는다. VidToC는 peak allocated memory와 latency를 보고하지만 energy와 p95는 측정하지 않았다.

PART 07 · RESEARCH QUESTIONS
07

Research Questions

  1. 동일 메모리에서 무엇을 남길 것인가? QA·grounding·captioning이 요구하는 salience와 coverage의 Pareto frontier는 어떻게 다른가?
  2. 최소 attention 비중과 배치는 어디인가? 압축 전 cross-modal interaction과 압축 후 global recall 중 어느 층에 attention을 배정해야 하는가?
  3. 시간 좌표와 state transition을 어떻게 공동설계할까? sparse original index, timestamp, recurrence가 중복·충돌하지 않게 하는 조건은 무엇인가?
  4. 저정밀 장기 안정성은 유지되는가? quantized Mamba state와 merged visual token의 오차가 긴 stream에서 어떻게 누적되는가?
  5. 합성 state-tracking 지표가 agent 성공으로 이어지는가? temporal grounding 개선이 실제 tool use·로봇 계획·오류복구율을 예측하는가?
  6. 성공 작업당 실제 에너지는 얼마인가? compressor 자체의 iterative cost를 포함해 p95·Joule·peak memory를 같은 장치에서 측정할 수 있는가?
PART 08 · APPROACHES
08

Approaches (Methods)

8.1 통제 비교의 골격

방법SigLIP-SO400M vision encoder와 2-layer GELU MLP projector를 공통으로 두고 Qwen2.5-7B-Base와 Nemotron-Nano-9B-v2-Base를 비교한다. Qwen은 28개 full-attention GQA layer, Nano는 27개 Mamba-2 layer, 25개 MLP, 고르게 배치된 4개 attention layer를 갖는다고 논문은 기술한다.

Projector pretraining은 CC12M image 300만 쌍, instruction tuning은 video 130만·image 280만·detailed caption 2.6만·temporal grounding 25만 예제를 사용한다. 기본 입력은 최대 32 frame, projector-level retention은 1/16이다. Training-free는 완성 model에 compressor를 삽입하고, fine-tuned는 instruction tuning부터 compressor를 포함한다.

8.2 평균 token budget을 맞추되 동등 비용이라고 부르지 않는다

N·r·L = N·l + N·r′·(L−l)

N은 visual token 수, L은 decoder layer 수, r은 projector retention, l은 internal compression 위치다. 기본 1/16 budget에서 Qwen L1과 Nano L2는 최종 1/36 retention으로 맞춘다. 그러나 첫 층이 full attention이면 같은 누적 token 수도 FLOP가 더 크다. 논문도 matched token budget이 matched FLOP·latency·peak memory를 보장하지 않는다고 명시한다.

8.3 세 과제는 서로 다른 정보 보존을 요구한다

과제데이터·지표저자 보고 경향해석 제한
General QAVideoMME 2.7K QA · accuracy · subtitle 없음simple method도 경쟁력; broad coverage가 유리한 subtask 다수압축법 순위는 subtask에 따라 변함
Temporal groundingCharades-TimeLens 3.3K query/1.3K video · mIoUimportance와 original position preserve가 중요Nano training-free compression에서 특히 취약
Detailed captioningVDC 1K video · LLaMA3.1-8B query-conditioned scorediversity·coverage 선호; simple uniform도 강함LLM-as-judge 의존

8.4 핵심 결과: 경향은 이동하지만 예외도 architecture-dependent다

저자 주장상대적으로 강한/약한 compression method의 패턴은 두 backbone 사이에서 대체로 이동했다. 하지만 uncompressed Charades가 비슷한데도 training-free compression 후 CLS-Attn은 Nano 15.88, Qwen 29.21이었다. 반대로 aggressive merging의 출력 손상에서는 Nano가 더 안정적인 경향을 보였다.

조건Qwen2.5-7BNano-9B-v2판정
Uncompressed · 256 framesprefill 4201.6 ms; peak 39.3 GiBprefill 2799.1 ms; peak 69.2 GiB속도와 peak memory가 서로 다른 방향
Uniform Prune · projector 16×306.6 ms; 17.4 GiB341.7 ms; 22.7 GiB두 backbone 모두 큰 감소; 직접 품질 동등성 아님
FPS · projector 16×8878.0 ms10923.1 msiterative selector가 uncompressed보다 느림
Spatial Pool · corruption checkseed 42: VideoMME 69.85%, VDC 81.30%; seed 43도 32.04%, 40.70%논문은 같은 failure를 관찰하지 않았다고 보고한 방법·두 seed; 보편 robustness 아님
Bipartite Merge 50×VideoMME corruption 0.26%; VDC 1.07%세 과제 0%similar-token merge는 분포 이동이 작다는 저자 해석

측정 조건 · 저자 보고, 원문 표기상 NVIDIA M402 GPU 1대, 동일 20개 video, 32/256 frames, warm-up 2개, fixed 128-token generation. Prefill은 vision encoder·projector·LLM을 포함하고 preprocessing·data transfer는 제외한다.

8.5 결과와 제한을 같이 읽기

제한Fine-tuned 결과는 각 설정당 한 training run, 각 task score는 한 evaluation pass다. 16×는 공격적 stress test이고 adaptive token budget은 제외했다. architecture 비교는 한 pure Transformer와 한 hybrid뿐이다. Nano의 fixed-state summarization이 merge를 견딘다는 설명은 저자 가설이며 causal ablation이 아니다.
PART 09 · KEY APPLICATIONS
09

Key Applications

응용왜 압축–hybrid 공동설계가 필요한가현재 근거추가 검증
온디바이스 비디오 보조장시간 camera stream에서 QA·caption·event localization을 함께 처리VidToC 세 과제의 task-dependent 경향모바일 NPU p95·thermal·Joule
로컬 multimodal RAG영상 구간과 문서 증거를 동일 memory budget에서 검색position preserve와 importance/diversity trade-off근거 회수율·citation faithfulness
스트리밍 분석전체 frame 저장 없이 사건 state를 갱신Mamba recurrence의 length-independent state 배경장기 drift·reset·망각 탐지
ETRI Physical AI센서 상태 추적, 로봇 고수준 계획, edge 운영지능연구 제안통신 단절·상태 오염·한국어 현장업무·안전 gate
연구 제안ETRI 적용은 low-level actuator control을 Mamba에 맡기자는 주장이 아니다. 영상·센서 stream의 고수준 상황 요약과 계획 후보 생성에 먼저 적용하고, 저수준 제어는 독립 safety controller, formal constraints, fail-safe 검증으로 분리해야 한다.
PART 10 · OPEN PROBLEMS
10

Open Problems

  • 과제별 유한 상태 한계: 몇 개의 visual event와 시간 간격을 어느 state dimension에서 안정적으로 보존할 수 있는가?
  • 망각 탐지: model이 답을 만들기 전에 필요한 frame이 prune·merge·state overwrite로 사라졌음을 감지할 수 있는가?
  • 장기 session drift/reset: 수시간 stream에서 quantization과 recurrent update가 누적될 때 reset 시점을 어떻게 결정하는가?
  • 공정 비교: token budget뿐 아니라 FLOP, kernel maturity, precision, batch, p95, peak memory, energy를 맞춘 multi-device benchmark가 필요하다.
  • 실세계 안전: corrupted output과 temporal mis-grounding이 경보·로봇 계획에서 어떤 failure로 이어지는가?
  • 한국어 전문업무: 현장 약어·작업지시·설비 영상에서 importance selector가 영어 benchmark와 같은 경향을 보이는가?

가장 위험한 실패는 압축률이 높은 것이 아니라, model이 무엇을 잃었는지 모른 채 자신 있게 답하는 것이다.

PART 11 · FUTURE DIRECTIONS
11

Future Directions

11.1 계층형 기억: 압축 state + 필요 구간 attention + 외부 증거

제안평상시에는 Mamba state와 저비용 projector compression을 사용하고, 망각 위험·시간 위치 불확실성·출력 손상 징후가 생기면 해당 구간의 attention window와 원본 frame evidence를 다시 연다. 답과 함께 어떤 frame·token·state에서 근거가 왔는지 provenance를 남긴다.

11.2 필요한 때만 기억 예산을 늘린다

VidToC의 fixed 16× protocol은 비교에는 유리하지만 운영에는 경직되어 있다. event density, task uncertainty, temporal gap에 따라 token/state/attention budget을 적응적으로 배정하고, budget 결정 자체의 비용과 calibration을 측정해야 한다.

11.3 성공 작업당 시스템 benchmark

측정 축필수 지표반증 기준 예시
품질근거 회수율, temporal IoU, hallucination, corruption rate압축 전 대비 critical-event recall 급락
지연prefill, decode, p50/p95/p99, compressor timeselector가 절감한 LLM 시간보다 더 오래 걸림
자원peak memory, bytes/token, Joule/successful task평균은 감소하지만 thermal throttling으로 p95 악화
복원력state contamination detection, reset/rollback, error recovery통신 단절·frame drop 후 잘못된 state가 지속

11.4 ETRI 단계적 검증

  1. 동일 training data·quantization·hardware에서 Transformer, pure SSM, hybrid, LFM 계열을 분리 비교한다.
  2. frame 누락, state 오염, timestamp drift, 통신 단절을 주입하고 recovery를 측정한다.
  3. 실험실 영상 QA에서 시작해 장기 로봇·설비 운용으로 확장하되 high-level planning과 low-level safety를 분리한다.
  4. 성공 작업당 Joule·p95·근거 회수율·오류복구율을 공동 목표로 사전 등록한다.
통합 결론효율적인 sequence operator만으로는 충분하지 않다. 앞으로의 경쟁력은 어떤 증거를 언제 압축하고, 어떤 state에 남기며, 실패 시 어느 원본으로 돌아갈 수 있는가를 hardware와 함께 설계하는 데서 나온다.
SOURCES · DATE DISCIPLINE
S

Primary Sources and Publication Status

서지 날짜는 최초 공개, 정식 학회 발표연도, 개정일을 구분했다. 실행일 이후 자료는 포함하지 않았다. 실험 수치는 모두 저자 보고이며 독립 재현이 아니다. 링크·버전 확인일: 2026-11-22 KST.

[1] VidToC: Rethinking Video Token Compression for Multimodal Large Language ModelsZihan Xiao et al. 최초 공개 2026-11-19; arXiv v1, 개정 없음; 정식 학회 발표 기록 미확인.https://arxiv.org/abs/2611.25574
[2] NVIDIA Nemotron Nano 2: An Accurate and Efficient Hybrid Mamba-Transformer Reasoning Model최초 공개 2025-08-20; 최신 확인 v4, 2025-09-02 개정; VidToC의 hybrid backbone 배경.https://arxiv.org/abs/2508.14444
[3] Qwen2.5 Technical Report최초 공개 2024-12-19 · 2024년 배경; v2 2025-01-03; VidToC의 pure Transformer backbone 배경.https://arxiv.org/abs/2412.15115
[4] Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space DualityMamba-2/SSD. 최초 공개 2024; ICML 2024, PMLR 235 · 2024년 배경.https://proceedings.mlr.press/v235/dao24a.html
[5] LFM2 Technical ReportLiquid AI. 최초 공개 2025-11-28; 공식 기술보고서. VidToC의 Nano와 별개이며, 모든 LFM 세대에 구조를 소급하지 않음.https://arxiv.org/abs/2511.23404
[6] Mamba-3: Improved Sequence Modeling using State Space Principles최초 공개 2026-03-16; exponential–trapezoidal discretization, complex state, MIMO의 배경.https://arxiv.org/abs/2603.15569
[7] Liquid AI official Research and Models indexes기업 공식 목록; 논문·기술보고서와 제품 발표를 구분하기 위한 최신성 확인. 확인일 2026-11-22 KST.https://www.liquid.ai/researchhttps://www.liquid.ai/news/models
[8] State Must Be Useful, Auditable, and Executable: New Evidence for Mamba Systems이 블로그의 2026-11-21 직전 후속 글. MambaFlowNP, MambaLIFT, DS3M을 다룸.previous update
중복 방지 판정 · 저장소의 기존 post와 arXiv ID·제목을 검색해 2611.25574가 다뤄지지 않았음을 확인했다. 논문은 직전 글과 같은 공개 batch에 속하지만, 압축법·시간 좌표·backbone을 통제한 미게시 검증 근거를 제공하므로 의미 있는 후속 변화로 판정했다. 새 LFM 논문은 없으며 제품 발표를 학술 근거로 대체하지 않았다.