Definition
LFM과 Mamba를 같은 이름으로 부르지 않기
LFM(Liquid Foundation Models)은 Liquid AI의 모델 제품군이다. LFM2 기술보고서가 설명한 구조는 입력 의존 게이트를 둔 단거리 합성곱과 일부 GQA의 결합이다. 2026년 공개된 LFM3는 다시 합성곱·슬라이딩 윈도 어텐션·전역 어텐션을 배치한 별도 세대다. 따라서 LFM은 Mamba의 다른 이름이 아니며, LFM ≠ LTC ≠ LNN ≠ Mamba다.
Mamba는 입력에 따라 상태 갱신과 읽기를 조절하는 선택적 상태공간 아키텍처다. 이번 BASS와 MERLIN이 직접 실험한 대상은 공개 Mamba-2 체크포인트와 Mamba-2 기반 다중 상태 모델이다. LFM의 합성곱 상태, LFM3의 혼합 연산자, Mamba-3의 복소 상태·MIMO에 대한 직접 검증은 없다.
Problem Definition
공통 목표는 긴 이력을 처리하면서 정확도, p95 지연, 피크 메모리, 에너지 제약을 동시에 만족하는 것이다. 이전에는 “고정 크기 상태인가, 길이에 따라 커지는 KV 캐시인가”가 주된 비교였다. 이번 연구는 그 사이에 두 개의 설계 변수를 더한다. 하나는 단일 상태의 유효 랭크이고, 다른 하나는 여러 구간 상태의 개수와 라우팅 비용이다.
+ routing statistics + runtime buffers
subject to p95 ≤ τ, peak memory ≤ M*, energy/task ≤ E*, recovery ≥ R*
여기서 r은 상태 랭크, L은 보존한 구간 상태 수, b는 정밀도다. BASS는 주로 r을 줄이고, MERLIN은 L을 늘리되 어떤 상태를 읽을지 개선한다. 상태를 압축하는 문제와 상태를 선택하는 문제는 같지 않다.
Core Concepts
선택적 SSM의 기억·망각·읽기
yt = Ctht
선택성은 입력별로 무엇을 남기고, 무엇을 잊고, 어떻게 읽을지를 조절한다는 뜻이다. 추론 중 가중치를 다시 학습한다는 뜻이 아니다. 고정 상태의 크기가 문맥 길이와 무관하다는 사실도 무한한 정보를 완전 보존한다는 뜻이 아니다.
Mamba-2의 회전 대칭과 균형 부분공간
yt = HtCt + D ⊙ xt
Mamba-2의 head별 전이는 스칼라 at가 항등행렬에 곱해진 형태다. 그래서 상태 좌표를 직교행렬 Q로 회전하고 입력·읽기 투영을 함께 바꾸면 동작을 보존할 수 있다. BASS는 이 대칭을 이용해 경험적 제어가능성 Gramian Wc과 관측가능성 Gramian Wo을 함께 균형화한다. 많이 활성화되는 방향과 출력에 중요한 방향이 반드시 같지 않기 때문에 에너지 순위만으로 자르지 않는다.
다중 상태와 2차 라우팅
riμ = μiTq′, riΣ = q′TΣiq′ − (riμ)²
MERLIN은 구간마다 하나의 상태와 키의 1·2차 모멘트를 저장한다. 평균 정렬 점수는 질의가 그 구간의 중심과 얼마나 맞는지, 분산 점수는 질의 방향으로 관련 키가 얼마나 퍼져 있는지를 본다. 두 softmax 분포를 학습된 혼합계수로 결합해 상태별 읽기 가중치를 만든다.
Introduction
최근 Mamba 연구는 단순한 “어텐션보다 선형”이라는 구호에서 벗어나고 있다. 실제 실패는 두 종류다. 첫째, 하나의 유한 상태가 오래된 정보를 압축하면서 정확한 근거를 잃는다. 둘째, 기억을 여러 상태로 늘리면 어느 상태가 현재 질의에 필요한지 다시 찾아야 한다.
BASS는 첫 번째 문제를 “좋은 좌표계에서의 모델 축소”로 바꾼다. 저자들은 Mamba-2 상태 에너지가 거의 rank-one인 경우가 많지만, 유용한 읽기 정보는 원래 좌표축과 정렬되지 않은 저차원 부분공간에 있다고 관찰한다. MERLIN은 두 번째 문제를 “여러 기억의 내용 기반 검색”으로 바꾼다. 위치나 평균 유사도만으로는 구간 내부의 다양한 키 분포를 표현하지 못하므로 공분산 정보를 추가한다.
Motivation and Background
배경이 되는 최초 Mamba 논문은 2023년 공개되었으므로 조사 범위 이전의 기초 연구다. 2025년에는 Samba가 SSM과 슬라이딩 윈도 어텐션을 혼합했고, 상태 추적과 계산 한계 연구는 입력 의존성·음의 고유값·구조화 전이가 표현력에 미치는 영향을 분석했다. MemMamba와 Mamba–Transformer 하이브리드 연구는 한 상태로 모든 장기 기억을 해결하기보다 상태 요약과 선택적 어텐션을 결합하는 방향을 탐색했다.
2025년 LFM2는 hardware-in-the-loop 아키텍처 탐색, Top-K 증류, curriculum과 사후학습을 결합했다. 2026년 Mamba-3은 exponential–trapezoidal 이산화, 복소 상태, MIMO를 제안했다. 이 계보에서 BASS는 학습된 Mamba-2의 상태를 다시 표현해 줄이는 방법, MERLIN은 상태의 수를 늘리고 라우팅을 학습하는 방법이다.
Challenges
정확 회수와 압축의 충돌
평균 에너지가 작은 방향도 특정 단어·식별자·규칙을 읽는 데 결정적일 수 있다. 평균 perplexity와 희소 회수 실패를 함께 봐야 한다.
기억과 상태 추적의 차이
누적 상태가 “현재 상황”을 잘 추적해도 과거 원문을 정확히 재현하는 것은 별도 능력이다. 합성 RULER 성능이 실제 에이전트 성공률을 보장하지 않는다.
상태 수의 선형 증가
MERLIN은 구간을 더 작게 나누면 더 많은 상태와 라우팅 통계를 저장한다. full attention보다 작을 수 있지만 고정 상태 SSM의 길이 독립 메모리는 포기한다.
양자화 누적 오차
BASS의 저정밀 결과는 시뮬레이션이다. 실제 GPU·CPU·NPU 커널, 장기 재귀, 배치별 지연에서 같은 이득이 나는지 검증되지 않았다.
훈련 길이 밖 일반화
MERLIN은 16K 문맥에서 학습·평가한다. 더 긴 문맥과 더 많은 상태에서 모멘트 통계와 라우팅이 안정적인지는 열려 있다.
효과 분리
MERLIN은 구조만 바꾸지 않고 2B 토큰 중간학습과 60M 토큰의 합성·장문 혼합 학습을 수행한다. 데이터와 라우터 효과를 완전히 분리하기 어렵다.
BASS도 압축률이 높아질수록 민감성이 드러난다. 25% 상태 유지에서 일부 모델은 perplexity가 20–25% 증가했고, 130M의 16/128 모드에서는 58% 증가했다. 캘리브레이션 데이터에 따라 50% 유지에서 최대 1.5, 25% 유지에서 7.7 perplexity 차이가 보고됐다. “상태는 대부분 불필요하다”가 아니라, 보존할 부분공간과 층별 랭크를 잘못 고르면 급격히 실패한다는 결과다.
Research Questions
Approaches (Methods)
A. BASS: 에너지 순위가 아닌 입출력 균형으로 압축
BASS는 4개의 1,024-token 캘리브레이션 시퀀스로 각 층·헤드의 전체 경험적 제어가능성·관측가능성 Gramian을 추정한다. 두 Gramian을 함께 대각화하는 균형 부분공간 Q를 구한 뒤 H′=HQ, B′=QTB, C′=QTC로 좌표를 바꾼다. 이후 작은 Hankel 모드를 잘라낸다. HARP는 층별 Hankel 스펙트럼에 따라 랭크를 다르게 배정하고, 한 층씩 제외하는 회수 probe로 민감한 층을 보호한다.
회전 자체의 prefill 오버헤드는 0.6–0.8%, 캘리브레이션은 모델 규모에 따라 1.7–6.8초와 2.3–10.2GB로 보고됐다. 최적화된 큰 배치에서는 처리량 1.5–2.2배, 피크 메모리 19–38% 감소가 보고됐지만, batch 1의 비최적화 루프는 오히려 6–10% 느렸다. 시스템 이득은 상태 차원 축소만이 아니라 커널·배치에 의존한다.
B. MERLIN: 평균과 공분산으로 다중 상태를 읽기
MERLIN은 입력을 256-token 구간으로 나누고 각 구간에 Mamba-2 또는 Gated DeltaNet 상태를 만든다. 라우터는 차원 축소된 키의 평균과 2차 모멘트를 저장하며, 평균 정렬과 질의 방향 분산을 각각 softmax한 뒤 학습된 γ로 혼합한다. 실험은 16K 문맥, 최대 64개 상태에서 수행됐다.
Mamba-2 780M은 300B Pile 토큰으로 사전학습된 체크포인트에서 시작했다. 저자들은 10% RULER 합성을 포함한 Long-Data-Collections 2B 토큰으로 중간학습하고, 이어 60M 토큰을 장문 데이터와 RULER HotpotQA·SQuADQA 합성에 절반씩 사용했다. 따라서 원 체크포인트에 라우터만 꽂은 사후처리 결과가 아니다.
2차 모멘트의 추가 메모리는 Mamba-2에서 라우터 차원 128일 때 최대 4.2%, 추가 파라미터는 2.2%로 보고됐다. 그러나 논문에는 실제 latency·throughput 측정이 없다. 통계 메모리가 작다는 사실과 저지연 커널이라는 주장은 구분해야 한다.
| 방법 | 직접 바꾸는 것 | 학습/캘리브레이션 | 저자 보고 이득 | 주요 제한 |
|---|---|---|---|---|
| BASS + HARP | 단일 Mamba-2 상태의 좌표와 층별 랭크 | 4×1024-token 캘리브레이션 사후 압축 | 50% 유지 평균 ppl Δ +0.3 큰 배치 1.5–2.2× 처리량 | batch 1 감속, 캘리브레이션 민감도, OOD·장문·비전 미검증, Mamba-3 미적용 |
| MERLIN | 구간 상태 수와 1·2차 모멘트 라우팅 | 2B 토큰 중간학습 + 60M 토큰 후속학습 | Mamba-2 RULER 76.2 LongBench 20.6 | 16K, 고정 구간, 상태 메모리 증가, latency 미보고, 합성 데이터 의존 |
| Full attention | 모든 토큰 간 직접 내용 접근 | 아키텍처 학습 | 정확 회수에 유리한 기준 | prefill O(T²), KV O(T), decode-token attention O(T) |
| 고정 상태 SSM | 한정 크기 순환 상태 | 병렬 scan 학습 가능 | 전체 O(T), 순환 상태 O(1) wrt length | 유한 정보 용량, 정확 장거리 회수·망각 탐지 미해결 |
Key Applications
온디바이스 텍스트 보조
BASS형 상태 랭크 축소는 충분한 배치와 최적화 커널이 있을 때 메모리 대역폭을 줄일 가능성이 있다. batch 1 모바일 이득은 별도 측정해야 한다.
로컬 RAG
최근 흐름은 압축 상태로 추적하고, 여러 구간 상태로 에피소드를 유지하며, 외부 색인으로 원문 근거를 보존하는 역할 분리에 적합하다.
스트리밍 음성·로그·센서
고정 상태는 연속 입력의 요약, 다중 상태는 시간 구간별 사건 기억에 쓸 수 있다. 논문은 텍스트만 평가했으므로 전이 성능은 연구 가설이다.
장기 에이전트 세션
도구 호출·계획·관찰을 세션 구간별 상태로 보관하고 질의별로 읽을 수 있다. 상태 오염, reset, 증거 연결 실패를 함께 측정해야 한다.
Open Problems
유한 상태의 과제별 기억 한계. Hankel 스펙트럼이 급격히 감소해도 희소하지만 중요한 사건이 꼬리 부분공간에 있을 수 있다. 평균 손실과 과제별 최악 오류 사이를 연결하는 이론이 부족하다.
망각 탐지. 모델은 압축 중 무엇을 잃었는지 직접 보고하지 않는다. 회수 실패 전 상태 포화·오염을 감지하고 외부 근거로 전환하는 신뢰도 추정이 필요하다.
장기 세션 drift와 reset. 저정밀 재귀, 상태 회전, 다중 상태 라우팅이 수만 단계에서 누적시키는 오차와 적절한 reset·merge 정책이 검증되지 않았다.
재현 가능한 공정 비교. 동일 학습데이터·토큰·정밀도·하드웨어·커널·배치에서 상태 랭크와 상태 수만 바꾸는 비교가 필요하다. MERLIN의 중간학습과 BASS의 사후 압축은 현재 직접 비교할 수 없다.
실세계 안전성과 한국어 전문업무. 한국어 기술문서·제조 로그·장기 대화, 센서 결손·통신 단절·상태 오염에서 근거 회수율과 오류복구율을 평가한 자료가 없다.
LFM과 Mamba-3로의 확장. LFM2의 게이트 합성곱 상태와 Mamba-3의 복소 상태·MIMO는 Mamba-2의 스칼라-항등 전이와 다른 구조를 가진다. BASS의 회전 대칭과 MERLIN의 상태 통계를 그대로 이식할 수 있다는 보장은 없다.
Future Directions
1. 상태 수·랭크·비트를 함께 늘리는 적응형 기억
Hankel 스펙트럼의 꼬리, 라우팅 엔트로피, 회수 불확실성이 임계값을 넘을 때 상태 랭크·구간 상태 수·정밀도를 단계적으로 늘리는 예산 컨트롤러를 제안한다. 쉬운 스트림에는 작은 상태를, 희귀 근거가 필요한 순간에는 더 큰 기억을 쓴다.
2. 압축 활성 상태 + 에피소드 상태 + 외부 증거 메모리
활성 상태는 “지금 무엇이 진행 중인가”를 추적하고, 다중 구간 상태는 최근 에피소드를 보존하며, 외부 검색은 원문 증거를 제공한다. 필요한 구간에만 attention을 호출하면 고정 상태와 full attention 사이의 연속적인 비용–정확도 선택이 가능하다.
3. 결합 전 반드시 필요한 인과 실험
동일한 Mamba-2 체크포인트에서 (a) 랭크만 축소, (b) 상태 수만 증가, (c) 둘을 결합, (d) 외부 메모리를 추가한 네 조건을 같은 데이터·토큰·정밀도·커널로 비교해야 한다. 순서 효과를 보기 위해 압축 후 중간학습과 중간학습 후 압축도 교차한다.
4. 작업 성공 중심 벤치마크
perplexity와 RULER만으로는 실제 배포를 판단하기 어렵다. 성공 작업당 Joule, p95 지연, 피크 resident memory, 근거 회수율, 오류복구율을 함께 보고하고, 모델·하드웨어·문맥 길이·정밀도·배치·커널 commit을 공개해야 한다.
5. ETRI 장기 실증의 단계적 검증
결론은 “상태를 더 많이 저장하라”도 “더 세게 압축하라”도 아니다. 좋은 기억 시스템은 무엇을 한 상태 안에 남기고, 언제 새 상태를 만들며, 어느 상태를 읽고, 언제 외부 증거로 복구할지를 함께 결정해야 한다. BASS와 MERLIN은 그 네 질문 중 서로 다른 두 조각을 구체화했다. 다음 단계는 두 조각을 실제 하드웨어와 장기 과제에서 하나의 검증 계약으로 묶는 일이다.
References & evidence ledger
- Balanced State Subspaces for Mamba-2 State Compression (BASS) — arXiv:2610.36617, v1 제출 2026-10-27, 최초 공개 목록 2026-10-28, 조사 마감 현재 학회 발표·후속 개정 없음. https://arxiv.org/abs/2610.36617
- Multi-State Linear Attention with Generalized Second-Order Routing (MERLIN) — arXiv:2610.37645, v1 제출 2026-10-27, 최초 공개 목록 2026-10-28, 조사 마감 현재 학회 발표·후속 개정 없음. https://arxiv.org/abs/2610.37645
- LFM2 Technical Report — arXiv:2511.23404, 최초 공개 2025-11-28. Liquid AI의 LFM2 구조·hardware-in-the-loop 탐색·학습 배경. https://arxiv.org/abs/2511.23404
- Mamba-3: Improved Sequence Modeling using State Space Principles — arXiv:2603.15569, 최초 공개 2026-03-16. exponential–trapezoidal 이산화·복소 상태·MIMO의 배경. https://arxiv.org/abs/2603.15569
- Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling — ICLR 2025 정식 발표, 최초 arXiv 공개 2024년(조사 시작일 이전 배경). ICLR 2025 official record
- Understanding and Enhancing Mamba-Transformer Hybrids — arXiv:2510.26912, 2025년 최초 공개. sequential/parallel hybrid와 데이터 효과의 배경. https://arxiv.org/abs/2510.26912
- MemMamba: Enhancing Long-Term Memory in Mamba-Based Language Models — arXiv:2510.03279, 2025년 최초 공개. 상태 요약·교차 계층/토큰 attention의 배경. https://arxiv.org/abs/2510.03279
- The Computational Limits of State-Space Models and Mamba — COLT 2025 공식 기록. SSM의 계산 한계에 대한 이론 배경. https://proceedings.mlr.press/v280/chen25b.html
- Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues — ICLR 2025 공식 기록. 최초 공개는 2024년(조사 시작일 이전 배경). ICLR 2025 official record
- Parity Requires Unified Input Dependence and Negative Eigenvalues in SSMs — arXiv:2508.07395, 2025년 최초 공개. 입력 의존성과 상태 전이 표현력의 배경. https://arxiv.org/abs/2508.07395
- Structured Linear CDEs — arXiv:2505.17761, 2025년 최초 공개. 구조화 전이·연속시간 관점의 배경. https://arxiv.org/abs/2505.17761
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces — arXiv:2312.00752, 최초 공개 2023년, 학회 발표 2024년. 본 글에서는 2025년 이전 원논문으로 명시한 배경. https://arxiv.org/abs/2312.00752
증거 등급: 논문 원문·학회 공식 기록을 우선했다. BASS와 MERLIN의 수치는 모두 저자 보고이며, 비교 모델·규모·데이터·문맥 길이·정밀도·배치·커널 조건이 다르면 직접 순위로 합산하지 않았다. 기업 발표·모델 카드는 본문 핵심 결과의 근거로 사용하지 않았다. 자료 마감: 2026-10-29 Asia/Seoul.