정확 회수 vs 압축
OCR·주변 물체·짧은 행동 단서를 제거하면 state가 아무리 효율적이어도 회수할 수 없다.
Controlled evidence from task-aware video token reduction, temporal coordinates, and hybrid Mamba–Transformer backbones
모바일에서는 도식을 좌우로 스크롤할 수 있습니다.
위·가운데 층은 논문의 비교 설계와 저자 보고 결과를 요약한다. 아래의 다목적 시스템 목표는 이 글의 통합 해석이며, LFM2나 모든 Mamba hybrid로의 일반화가 아니다.
비디오 토큰을 16분의 1로 줄였을 때, 성능을 결정하는 것은 압축 알고리즘인가, 시간 좌표인가, backbone인가, 아니면 압축을 본 뒤 다시 학습했는가?
VidToC는 이 질문을 Qwen2.5-7B와 Nemotron-Nano-9B-v2, 세 과제, training-free/fine-tuned 설정, 동일한 token budget 안에서 비교했다. 결론은 ‘Mamba hybrid가 압축 문제를 없앤다’가 아니라 ‘압축과 backbone은 분리할 수 없는 공동설계 변수’라는 데 가깝다.
Liquid Foundation Models(LFM)은 Liquid AI의 모델군이고, Mamba는 입력에 따라 상태의 쓰기·유지·읽기를 조절하는 선택적 상태공간 아키텍처다. Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), LFM, Mamba는 동일한 개념이 아니다. LFM2 기술보고서가 공개한 구조는 입력 의존 gate가 있는 short convolution과 소수의 grouped-query attention(GQA)을 결합한 hybrid이며, 그 구조를 모든 LFM 세대에 소급해서는 안 된다.
이번 신규 근거의 대상인 VidToC는 비디오 multimodal LLM의 visual token compression을 통제 비교하는 프레임워크다. 순수 Transformer Qwen2.5-7B-Base와 Mamba-2·attention·MLP를 섞은 Nemotron-Nano-9B-v2-Base를 같은 vision encoder, projector, 훈련 recipe, 과제 안에서 비교한다. 따라서 Nano를 ‘순수 Mamba’라고 부르는 것도, VidToC 결과를 LFM에 직접 대입하는 것도 잘못이다.
긴 비디오는 frame마다 수백 개 patch token을 만든다. 토큰 수 N을 줄이면 prefill과 KV cache가 작아질 수 있지만, 중요한 사건·주변 맥락·시간 간격도 함께 사라진다. 문제는 단순 압축률 최대화가 아니라 다음의 다목적 설계다.
여기서 C는 압축 정책과 위치, T는 시간 encoding, B는 backbone, A는 compression-aware adaptation 여부다. 같은 token budget이라도 full attention을 통과한 위치, iterative selector 비용, 합성 token의 분포 이동이 다르므로 FLOP·지연·메모리가 같지 않다.
선택성은 입력마다 기억·망각·읽기를 조절하는 메커니즘이지 추론 중 model weight를 다시 학습하는 과정이 아니다. Mamba의 순환 상태 크기가 sequence length와 독립이라는 말도 무한한 정보를 완전 보존한다는 뜻이 아니다. VidToC의 visual compression은 이 recurrence 앞이나 중간에서 입력 token 자체를 줄이는 별도 연산이다.
| 연산 계열 | prefill | decode 한 토큰 | 이력 메모리 | 이번 글의 경계 |
|---|---|---|---|---|
| 표준 full attention | 길이에 대해 이차 연산 | 이력 길이에 선형 | KV cache 선형 | Qwen backbone의 28개 층 |
| GQA | attention pattern 유지 | 이력 길이 의존 | KV 계수 감소 | 선형 길이 의존 제거 아님 |
| 고정 상태 pure SSM | 총 선형 연산 | 고정 상태 recurrence | 길이 독립 순환 상태 | 훈련 activation·외부 메모리까지 상수라는 뜻 아님 |
| Mamba–Transformer hybrid | 구성 층에 따라 혼합 | Mamba state + attention KV | attention 층은 길이 의존 | Nano 전체를 O(1) memory라고 부를 수 없음 |
Pruning은 선택되지 않은 token을 제거하고, merging은 여러 token을 새 representation으로 합친다. 전자는 세부 증거를 되찾을 수 없고, 후자는 backbone이 학습 중 보지 못한 out-of-distribution token을 만들 수 있다. 압축 후 position index를 preserve하면 빈 간격을 유지하고, reset하면 연속 번호를 다시 매긴다. 토큰 수를 같게 줄여도 시간 간격을 보존했는지가 temporal grounding을 바꾼다.
직전 후속 글은 Mamba state가 유용하고, 감사 가능하며, 실제 장치에서 실행 가능해야 한다고 정리했다. VidToC가 추가하는 질문은 그 state가 읽기 전에 이미 video evidence를 잃어버렸다면 어떻게 되는가다. 효율적 backbone은 많은 token을 더 싸게 처리할 수 있지만, vision encoder가 만든 token volume과 multimodal alignment 비용 자체를 없애지는 않는다.
VidToC는 2026-11-19 최초 공개된 v1 preprint다. 정식 학회 발표 기록은 확인되지 않았다. 신규성은 새로운 Mamba block을 제안한 데 있지 않고, compression method × position × time encoding × backbone × adaptation을 같은 좌표계에서 비교했다는 데 있다.
Mamba(최초 2023)와 Mamba-2/SSD(ICML 2024)는 긴 sequence를 고정 state recurrence와 병렬 학습 가능한 구조로 처리하는 계보를 만들었다. 2025년 hybrid 연구는 제한된 attention을 배치해 exact recall을 보완했고, LFM2는 별개의 설계 공간에서 gated short convolution과 일부 GQA를 hardware-in-the-loop search로 결합했다. 2026년 Mamba-3는 discretization, complex state, MIMO로 state tracking과 실행 효율을 다시 설계했다.
연구 흐름은 이제 ‘연산자를 선형으로 만들기’에서 ‘무엇을 보존하고 어느 층에서 줄이며 실제 kernel에서 얼마가 드는가’로 이동한다. VidToC는 이 전환을 video MLLM에서 측정한다. 1 fps의 1분 영상도 표준 encoder에서는 만 단위 visual token을 만들 수 있어, hybrid backbone이라도 upstream token 압축 없이는 memory와 latency 압력이 남는다.
| 계보 | 최초 공개/발표 | 핵심 | 이번 근거와의 관계 |
|---|---|---|---|
| Mamba | 2023 · 배경 | input-dependent selective SSM | Nano의 Mamba-2 층 전사 |
| Mamba-2 / SSD | 2024 · ICML 2024 · 배경 | SSM–attention duality, 효율적 layer | Nano hybrid의 recurrent component |
| Qwen2.5 | 2024-12-19 v1; 2025-01-03 v2 | Transformer model family | VidToC의 pure Transformer 비교군 |
| Nemotron Nano 2 | 2025-08-20 v1; 2025-09-02 v4 | Mamba-2 + attention hybrid | VidToC의 hybrid 비교군 |
| LFM2 | 2025-11-28 기술보고서 | gated short convolution + 일부 GQA | 별도 hybrid; 결과 소급 금지 |
| Mamba-3 | 2026-03-16 | exponential–trapezoidal, complex state, MIMO | 최신 state-transition 배경 |
| VidToC | 2026-11-19 v1 | controlled video compression study | 이번 새 검증 근거 |
OCR·주변 물체·짧은 행동 단서를 제거하면 state가 아무리 효율적이어도 회수할 수 없다.
내용을 남겨도 원래 frame 간격을 reset하면 ‘무엇’은 남고 ‘언제’는 흐려질 수 있다.
merge는 정보 밀도를 높이지만 model이 보지 못한 representation을 만들어 출력 손상을 일으킬 수 있다.
같은 평균 token 수라도 full attention의 위치와 iterative selector round가 실제 latency를 바꾼다.
32-frame 학습을 256-frame 입력으로 늘리면 uncompressed baseline도 성능이 낮아질 수 있다.
한 run·한 seed·한 backbone pair로 data, compressor, adaptation, architecture의 보편 효과를 분리하기 어렵다.
저정밀 recurrence의 누적 오차, CPU/GPU/NPU kernel 차이, p95 tail, 성공 작업당 에너지도 남는다. VidToC는 peak allocated memory와 latency를 보고하지만 energy와 p95는 측정하지 않았다.
방법SigLIP-SO400M vision encoder와 2-layer GELU MLP projector를 공통으로 두고 Qwen2.5-7B-Base와 Nemotron-Nano-9B-v2-Base를 비교한다. Qwen은 28개 full-attention GQA layer, Nano는 27개 Mamba-2 layer, 25개 MLP, 고르게 배치된 4개 attention layer를 갖는다고 논문은 기술한다.
Projector pretraining은 CC12M image 300만 쌍, instruction tuning은 video 130만·image 280만·detailed caption 2.6만·temporal grounding 25만 예제를 사용한다. 기본 입력은 최대 32 frame, projector-level retention은 1/16이다. Training-free는 완성 model에 compressor를 삽입하고, fine-tuned는 instruction tuning부터 compressor를 포함한다.
N은 visual token 수, L은 decoder layer 수, r은 projector retention, l은 internal compression 위치다. 기본 1/16 budget에서 Qwen L1과 Nano L2는 최종 1/36 retention으로 맞춘다. 그러나 첫 층이 full attention이면 같은 누적 token 수도 FLOP가 더 크다. 논문도 matched token budget이 matched FLOP·latency·peak memory를 보장하지 않는다고 명시한다.
| 과제 | 데이터·지표 | 저자 보고 경향 | 해석 제한 |
|---|---|---|---|
| General QA | VideoMME 2.7K QA · accuracy · subtitle 없음 | simple method도 경쟁력; broad coverage가 유리한 subtask 다수 | 압축법 순위는 subtask에 따라 변함 |
| Temporal grounding | Charades-TimeLens 3.3K query/1.3K video · mIoU | importance와 original position preserve가 중요 | Nano training-free compression에서 특히 취약 |
| Detailed captioning | VDC 1K video · LLaMA3.1-8B query-conditioned score | diversity·coverage 선호; simple uniform도 강함 | LLM-as-judge 의존 |
저자 주장상대적으로 강한/약한 compression method의 패턴은 두 backbone 사이에서 대체로 이동했다. 하지만 uncompressed Charades가 비슷한데도 training-free compression 후 CLS-Attn은 Nano 15.88, Qwen 29.21이었다. 반대로 aggressive merging의 출력 손상에서는 Nano가 더 안정적인 경향을 보였다.
| 조건 | Qwen2.5-7B | Nano-9B-v2 | 판정 |
|---|---|---|---|
| Uncompressed · 256 frames | prefill 4201.6 ms; peak 39.3 GiB | prefill 2799.1 ms; peak 69.2 GiB | 속도와 peak memory가 서로 다른 방향 |
| Uniform Prune · projector 16× | 306.6 ms; 17.4 GiB | 341.7 ms; 22.7 GiB | 두 backbone 모두 큰 감소; 직접 품질 동등성 아님 |
| FPS · projector 16× | 8878.0 ms | 10923.1 ms | iterative selector가 uncompressed보다 느림 |
| Spatial Pool · corruption check | seed 42: VideoMME 69.85%, VDC 81.30%; seed 43도 32.04%, 40.70% | 논문은 같은 failure를 관찰하지 않았다고 보고 | 한 방법·두 seed; 보편 robustness 아님 |
| Bipartite Merge 50× | VideoMME corruption 0.26%; VDC 1.07% | 세 과제 0% | similar-token merge는 분포 이동이 작다는 저자 해석 |
측정 조건 · 저자 보고, 원문 표기상 NVIDIA M402 GPU 1대, 동일 20개 video, 32/256 frames, warm-up 2개, fixed 128-token generation. Prefill은 vision encoder·projector·LLM을 포함하고 preprocessing·data transfer는 제외한다.
| 응용 | 왜 압축–hybrid 공동설계가 필요한가 | 현재 근거 | 추가 검증 |
|---|---|---|---|
| 온디바이스 비디오 보조 | 장시간 camera stream에서 QA·caption·event localization을 함께 처리 | VidToC 세 과제의 task-dependent 경향 | 모바일 NPU p95·thermal·Joule |
| 로컬 multimodal RAG | 영상 구간과 문서 증거를 동일 memory budget에서 검색 | position preserve와 importance/diversity trade-off | 근거 회수율·citation faithfulness |
| 스트리밍 분석 | 전체 frame 저장 없이 사건 state를 갱신 | Mamba recurrence의 length-independent state 배경 | 장기 drift·reset·망각 탐지 |
| ETRI Physical AI | 센서 상태 추적, 로봇 고수준 계획, edge 운영지능 | 연구 제안 | 통신 단절·상태 오염·한국어 현장업무·안전 gate |
가장 위험한 실패는 압축률이 높은 것이 아니라, model이 무엇을 잃었는지 모른 채 자신 있게 답하는 것이다.
제안평상시에는 Mamba state와 저비용 projector compression을 사용하고, 망각 위험·시간 위치 불확실성·출력 손상 징후가 생기면 해당 구간의 attention window와 원본 frame evidence를 다시 연다. 답과 함께 어떤 frame·token·state에서 근거가 왔는지 provenance를 남긴다.
VidToC의 fixed 16× protocol은 비교에는 유리하지만 운영에는 경직되어 있다. event density, task uncertainty, temporal gap에 따라 token/state/attention budget을 적응적으로 배정하고, budget 결정 자체의 비용과 calibration을 측정해야 한다.
| 측정 축 | 필수 지표 | 반증 기준 예시 |
|---|---|---|
| 품질 | 근거 회수율, temporal IoU, hallucination, corruption rate | 압축 전 대비 critical-event recall 급락 |
| 지연 | prefill, decode, p50/p95/p99, compressor time | selector가 절감한 LLM 시간보다 더 오래 걸림 |
| 자원 | peak memory, bytes/token, Joule/successful task | 평균은 감소하지만 thermal throttling으로 p95 악화 |
| 복원력 | state contamination detection, reset/rollback, error recovery | 통신 단절·frame drop 후 잘못된 state가 지속 |
서지 날짜는 최초 공개, 정식 학회 발표연도, 개정일을 구분했다. 실행일 이후 자료는 포함하지 않았다. 실험 수치는 모두 저자 보고이며 독립 재현이 아니다. 링크·버전 확인일: 2026-11-22 KST.