Definition
LFM과 Mamba는 무엇이 다른가
LFM(Liquid Foundation Models)은 Liquid AI가 개발하는 모델 제품군의 이름이다. LFM3는 그 세 번째 세대이며, 공개된 1.7B 텍스트 구성은 합성곱·슬라이딩 윈도 어텐션·전역 어텐션의 24층 하이브리드다. 공개 자료는 LFM3를 Mamba 또는 선택적 상태공간모델로 규정하지 않는다.
Mamba는 입력에 따라 상태 갱신과 읽기를 조절하는 selective state-space architecture다. Nemotron Bolt는 Mamba만으로 구성된 모델이 아니라 Mamba, 희소 MoE, 어텐션을 함께 쓰는 하이브리드다. 따라서 LFM ≠ LTC ≠ LNN ≠ Mamba이며, 기업·모델군·연속시간 신경망 계열·특정 시퀀스 연산자를 한 이름처럼 취급하면 안 된다.
Problem Definition
공통 연구 문제는 “긴 이력을 싸게 처리하라”보다 더 어렵다. 품질을 높이면서 동시에 실제 장치의 지연, 메모리, 에너지, 복구 능력을 만족해야 한다. 이를 다목적 제약 최적화로 쓰면 다음과 같다.
subject to p95 latency ≤ L*, peak memory ≤ M*, energy/task ≤ E*, recovery ≥ R*
여기서 아키텍처 선택은 합성곱·SWA·전역 어텐션·Mamba·MoE의 비율과 위치를 뜻한다. 정밀도 선택은 모든 가중치를 같은 비트로 줄이는 문제가 아니라, 어떤 상태와 전문가가 오차에 민감한지를 구분하는 문제다. 런타임은 CPU/GPU/NPU 커널, 배치, 입력·출력 길이, 투기 디코딩까지 포함한다.
Core Concepts
선택적 SSM: 기억·망각·읽기의 입력 의존 제어
yt = Ct ht
Mamba의 선택성은 입력마다 무엇을 남기고, 무엇을 덮어쓰고, 어떻게 읽을지를 바꾸는 것이다. 추론 중 모델 가중치를 다시 학습한다는 뜻이 아니다. 고정 크기 순환 상태는 이력 길이에 따라 캐시가 늘지 않는다는 뜻이지, 유한한 상태가 무한한 정보를 손실 없이 보존한다는 뜻도 아니다.
세 종류의 국소성, 한 종류의 전역 접근
Gated short convolution
고정 폭 이웃에서 패턴을 합성한다. LFM3는 커널 폭 7을 공개했다. 비용은 길이에 선형이지만 정확한 장거리 회수 장치는 아니다.
Sliding-window attention
최근 256 토큰 창 안에서 내용 기반으로 연결한다. 전체 이력 KV가 아니라 제한 창을 유지할 수 있으나 창 밖 직접 회수는 못 한다.
Global attention
전체 문맥에 직접 접근한다. 표준 full attention의 prefill 연산은 길이에 이차, KV 캐시는 선형이며, 디코드 한 토큰의 어텐션은 이력 길이에 선형이다.
Selective SSM
전체 시퀀스 연산은 길이에 선형이고 고정 상태 순환 추론이 가능하다. 대신 장거리 정확 회수와 상태 압축 사이의 충돌을 푼 것은 아니다.
GQA는 KV 헤드 수를 줄여 계수를 낮추지만 길이에 대한 선형 증가를 없애지 않는다. 마찬가지로 LFM3에는 전역 어텐션 층이 있으므로 모델 전체를 “O(1) 메모리” 또는 “완전 선형”이라고 부를 수 없다.
Introduction
이번 변화는 단순한 신모델 추가가 아니다. LFM3는 더 작은 모델에서 합성곱과 두 범위의 어텐션을 재배치하고, 14개 장치·백엔드 조합을 아키텍처 탐색에 넣었다고 보고한다. Nemotron Bolt는 120B급 비전언어 교사에서 24GB 로컬 목표를 향해 전문가 수와 폭을 층별로 선택하고, Mamba 상태와 희소 전문가에 서로 다른 정밀도를 배정했다.
이 두 사례는 연구의 초점이 효율적인 단일 연산자를 발명하는 데서 기억 회수·상태 추적·정밀도·하드웨어·학습을 공동 설계하는 방향으로 이동하고 있음을 보여준다.
Motivation and Background
배경에는 세 단계의 흐름이 있다. 첫째, 2023년 최초 공개된 Mamba는 입력 의존 선택성과 하드웨어 친화적 scan으로 상태공간모델의 언어 모델링 가능성을 확장했다. 이는 2025년 이전 원논문이므로 본 조사에서는 배경이다. 둘째, 2025년의 Samba, 상태 추적·계산 한계 연구는 SSM만으로 충분한지가 아니라 어디에 어텐션을 남길지, 음의 고유값과 입력 의존성이 어떤 표현력을 만드는지를 물었다. 셋째, 2025년 LFM2와 2026년 Mamba-3은 각각 하드웨어-인-더-루프 탐색과 이산화·복소 상태·MIMO 설계를 통해 연산자와 시스템을 더 가깝게 묶었다.
LFM3와 Nemotron Bolt는 이 흐름을 제품·대규모 압축 단계로 옮긴다. LFM3는 22조 토큰 사전학습과 마지막 3.5조 토큰의 선별 중간학습, 도구 호출·에이전트 흔적을 포함한 사후학습을 공식 자료에 기술한다. Nemotron Bolt는 Star Elastic 탐색, 120B 토큰 회복 학습, Quantization-Aware Distillation(QAD), LiLiCorr 투기 디코더를 하나의 배포 파이프라인으로 결합한다.
Challenges
정확 회수 vs 압축
유한 상태와 제한 창은 싸지만, 오래된 식별자·근거를 정확히 재현하는 능력과 충돌한다. 상태 추적과 원문 회수는 같은 능력이 아니다.
광고 문맥 vs 실측 문맥
LFM3는 256K를 지원하지만 공개 edge 처리량 비교는 32K, batch 1, 출력 100 토큰 조건이다. 같은 메모리에서 256K를 검증한 결과가 아니다.
메모리 경계
Nemotron의 23.83GB는 가중치 22.01GB, 캐시·활성 0.87GB, drafter 0.96GB를 합한 텍스트 서빙 회계다. 비전 인코더·프로젝터 1.68GB는 제외된다.
저정밀 누적 오차
희소 전문가를 약 2비트로 낮춰도 SSM 상태는 BF16으로 유지한다. 상태 오차가 시간에 따라 누적될 수 있어 모든 구성요소의 균일 양자화가 최적이라는 보장은 없다.
비교 런타임의 차이
LFM3 edge 비교에서 LFM3는 지원이 포함된 custom build, 일부 비교 모델은 llama.cpp release b11744를 쓴다. 커널 성숙도 차이를 모델 능력과 분리해야 한다.
독립 재현성
일부 Nemotron 벤치마크는 내부 harness·scorer를 쓴다. 논문은 Qwen MCP 공개 점수 62.8을 재현하지 못해 자체 결과 51.2를 보고했다.
여기에 훈련 길이 밖 일반화, 한국어 전문업무, 장기 세션 drift/reset, CPU·GPU·NPU 커널 간 지연 격차가 겹친다. 어느 모델이 모든 조건에서 우월하다는 결론은 현재 근거로 지지되지 않는다.
Research Questions
Approaches (Methods)
A. LFM3: 장치 집합을 목적함수에 넣은 연산자 배치
LFM3-1.7B는 13개 게이트 단거리 합성곱, 5개 256-token SWA, 6개 전역 어텐션으로 구성된다. 합성곱 커널 폭은 LFM2의 3에서 7로 늘었고, 어텐션에는 head-wise sigmoid gate가 추가됐다. 전역 층은 고주파 절반에 부분 RoPE를 적용하고 SWA는 full RoPE를 유지하며, sandwich normalization을 사용한다. 어휘는 128K, 지원 문맥은 256K다.
공식 발표의 hardware-in-the-loop 탐색은 Galaxy S26 Ultra, OnePlus 15, Raspberry Pi 5, Apple M4 Max, AMD Ryzen AI, cloud CPU/GPU, Qualcomm Hexagon NPU 등 14개 장치·백엔드 조합을 포함한다. 이는 특정 GPU FLOPs 대신 여러 실제 런타임을 목적함수에 넣는 접근이다. 다만 탐색 공간, 반복 수, 비용 함수의 전체 재현 정보는 공개 논문 수준으로 제공되지 않았다.
B. Nemotron Bolt: 구조 축소 → 회복 → 이질 정밀도 → 투기 디코딩
Star Elastic은 층별 전문가 수와 폭을 미분 가능한 prefix mask와 Gumbel-softmax로 선택하고, 지식증류 손실과 24GB 예산 손실을 함께 최적화한다. 결과 모델은 40 Mamba, 40 MoE, 8 attention 층과 hidden size 4096을 유지하면서 token당 활성 전문가를 22개에서 9개로 줄였다. 이후 8B router 학습, 64B short-context, 48B 128K 학습으로 총 120B 토큰을 사용했다. 저자 보고상 32개 GB200 node(128 GPU)에서 약 64시간이다.
QAD는 routed experts를 IQ2_XXS 약 2.0625비트, Mamba 투영을 NVFP4, embedding/head를 Q8_0, SSM cache를 BF16, KV cache를 FP8로 배분한다. 분포 Jaccard 손실과 교사 모델로 저정밀 오차를 회복한다. LiLiCorr drafter는 1024-token SWA로 후보를 만들며, 논문은 temperature 0에서 평균 수용 길이가 BF16 4.736, NVFP4 4.681이라고 보고한다.
| 대상 | 증거 유형 / 날짜 | 연산자 배분 | 저자 보고 배포 조건 | 읽어야 할 제한 |
|---|---|---|---|---|
| LFM3-1.7B | 기업 발표·공식 모델 카드 최초 공개 2026-10-27 | 13 gated conv 5 SWA(256) 6 global attention | Q4_0 약 1GB llama.cpp, 32K, batch 1, output 100 | 256K 지원과 32K edge 실측은 다름. custom build 비교. 독립 논문 검증 없음. |
| Nemotron 3.5 Bolt 74B-A9B | arXiv 논문 v1 2026-10-15 개정 없음(2026-10-28 확인) | 40 Mamba 40 MoE 8 attention | 23.83GB text serving at 128K RTX Spark / llama.cpp 속도 보고 | 1.68GB vision stack 제외. 내부 harness 포함. QAD·drafter까지 포함한 파이프라인 효과. |
| LFM2 | 기술보고서 v1 2025-11-28 | 입력 의존 gated conv + 일부 GQA | hardware-in-the-loop search | LFM3 구조로 소급하지 않음. |
| Mamba-3 | arXiv 최초 공개 2026-03-16 | exponential–trapezoidal discretization, complex states, MIMO | 연산자 수준 실험 | 제품 전체의 메모리·지연을 자동 보장하지 않음. |
Key Applications
온디바이스 개인 지능
문서 요약, 음성·비전 보조, 오프라인 코딩, 프라이버시 민감 업무에서 작은 혼합 모델은 클라우드 왕복을 줄일 수 있다.
로컬 RAG와 장기 세션
압축 상태는 스트리밍 요약을 맡고, 전역 어텐션이나 외부 검색은 근거를 정확히 회수하는 역할을 맡는 계층형 구성이 적합하다.
스트리밍 분석
센서·로그·음성의 지속 입력은 고정 상태 순환의 장점을 활용할 수 있다. 다만 이상 이벤트의 원문 증거는 별도 보존해야 한다.
멀티모달 에이전트
Nemotron Bolt는 24GB급 로컬 텍스트 서빙을 목표로 하지만, 비전 모듈까지 포함한 실제 장치 메모리는 별도로 검증해야 한다.
Open Problems
유한 상태의 과제별 기억 한계. 상태 크기가 일정하다는 장점이 어느 시점부터 회수 오류로 바뀌는지 예측할 수 없다. 모델은 무엇을 잊었는지도 잘 모른다.
완전한 배포 회계. 가중치만, 텍스트 스택만, 특정 문맥만 보고한 메모리 숫자를 최종 제품 메모리로 오해하기 쉽다. 토크나이저, 비전 인코더, 런타임 버퍼, OS 여유분까지 포함한 표준이 필요하다.
양자화의 시간축 안정성. 단기 perplexity와 평균 벤치마크가 수만 단계 상태 갱신 후의 drift를 예측하지 못한다. reset 정책과 상태 오염 탐지가 아직 빈약하다.
공정한 인과 비교. 동일 데이터·토큰·증류 교사·사후학습·커널·정밀도 조건에서 연산자만 바꾸는 비교가 드물다. 현재 결과는 아키텍처 효과와 훈련 파이프라인 효과가 얽혀 있다.
실세계 안전성과 한국어 전문업무. 한국어 기술문서, 법·의료·제조 용어, 통신 단절, 센서 결손에서 근거 회수율과 오류복구율을 독립 평가한 결과가 부족하다.
Future Directions
1. 고정 비율이 아닌 적응형 연산자 예산
기본 경로는 합성곱 또는 SSM으로 스트리밍하고, 회수 불확실성·상태 포화·근거 충돌이 감지될 때만 SWA·전역 어텐션·외부 검색의 예산을 늘리는 라우터를 제안한다. 목표는 평균 비용이 아니라 실패 위험에 따라 계산을 쓰는 것이다.
2. 압축 상태 + 필요 구간 어텐션 + 외부 증거 메모리
압축 상태는 “지금 무엇이 진행 중인가”를, 구간 어텐션은 최근 상호작용을, 외부 메모리는 원문 증거를 보존한다. 세 층을 분리하면 상태 추적과 정확 회수를 한 유한 벡터에 강요하지 않아도 된다. 기억 크기는 고정하지 말고 과제 위험도에 따라 늘리는 적응형 예산으로 둔다.
3. 배포 계약 벤치마크
모델 점수와 함께 성공 작업당 Joule, p95 지연, 피크 resident memory, 근거 회수율, 오류복구율을 보고해야 한다. 입력·출력 길이, batch, 정밀도, 커널 commit, 장치 전력 모드, 비전 모듈 포함 여부를 기계 판독 가능한 manifest로 공개해야 한다.
4. ETRI 단계적 실증
결론은 단순하다. LFM3도 Mamba 하이브리드도 “새 블록이 Transformer를 끝냈다”는 이야기가 아니다. 더 정확한 서술은, 로컬 지능을 위해 연산자·상태·정밀도·런타임을 하나의 예산 문제로 다루기 시작했다는 것이다. 다음 돌파구는 더 많은 하이브리드 이름이 아니라, 그 예산이 언제 실패하는지 측정하고 스스로 확장·복구하는 시스템에서 나올 가능성이 크다.
References & evidence ledger
- Liquid AI, “Introducing LFM3” — 공식 기업 발표(논문 아님), 최초 공개 2026-10-27, 2026-10-28 확인. https://www.liquid.ai/blog/lfm3
- LiquidAI/LFM3-1.7B — 공식 텍스트 모델 카드(논문 아님), 2026-10-27 공개 버전 확인. https://huggingface.co/LiquidAI/LFM3-1.7B
- LiquidAI/LFM3-VL-2B — 공식 비전언어 모델 카드(논문 아님), 2026-10-27 공개 버전 확인. https://huggingface.co/LiquidAI/LFM3-VL-2B
- Nemotron 3.5 Bolt 74B-A9B 24GB: A Hybrid Vision-Language Model for Local AI — arXiv:2610.33039, v1 최초 공개 2026-10-15, 2026-10-28 현재 후속 개정 없음. https://arxiv.org/abs/2610.33039
- LFM2 Technical Report — arXiv:2511.23404, v1 최초 공개 2025-11-28. LFM2 구조·학습의 배경 근거. https://arxiv.org/abs/2511.23404
- Mamba-3: Improved Sequence Modeling using State Space Principles — arXiv:2603.15569, 최초 공개 2026-03-16. https://arxiv.org/abs/2603.15569
- Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling — ICLR 2025 정식 발표, 최초 arXiv 공개는 2024년(조사 시작일 이전 배경). ICLR 2025 official record
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces — 최초 공개 2023년, 2024년 학회 기록. 본 글에서는 2025년 이전 배경으로만 사용. https://arxiv.org/abs/2312.00752
증거 등급: 공식 논문·기술보고서 > 공식 모델 카드 > 기업 발표. 성능 수치는 달리 표시하지 않은 경우 모두 저자 보고이며, 서로 다른 모델 규모·하드웨어·문맥 길이·정밀도·배치의 결과를 직접 순위로 합산하지 않았다. 자료 마감: 2026-10-28 Asia/Seoul.