Shallow Writes,
Deep Memories

LFM은 Liquid AI의 모델군이고, Mamba는 입력 의존 선택성을 가진 상태공간 아키텍처 계열이다. LFM2는 입력 의존 gated short convolution과 일부 GQA를 결합하며, LFM3는 Liquid AI가 2026년 10월 공개한 별도의 tri-hybrid 제품군이다. 따라서 LFM=LTC=LNN=Mamba라는 동일시는 틀리며, SEED의 Mamba-2 결과를 모든 LFM 세대에 소급해서는 안 된다.

Hybrid language model은 소수의 softmax attention 층과 다수의 linear-attention 또는 state-space 층을 섞는다. Attention 층은 토큰별 KV cache를 저장하고, recurrent 층은 head별 고정 크기 행렬 상태를 저장한다. 이 상태의 크기는 문맥 길이에 직접 비례하지 않지만 head 수·층 수·상태 차원·정밀도에는 비례한다.

공통 목표는 긴 이력, 낮은 추론 비용, 높은 정확도를 동시에 만족하는 것이다. 실무에서는 품질을 최대화하되 p95 지연, peak memory, 에너지, 처리량을 제약으로 둔다.

표준 full attention의 prefill은 길이에 대해 이차 연산이고, KV cache는 선형으로 증가하며, decode 한 토큰의 attention은 이력 길이에 선형이다. 고정 상태 순수 SSM은 총 선형 연산과 길이에 독립적인 순환 상태를 갖는다. 그러나 hybrid는 두 메모리를 모두 가진다. GQA는 KV 크기의 계수를 줄일 뿐 길이 의존을 제거하지 않는다.

이 논문은 “아키텍처의 점근 복잡도”를 “서비스의 바이트와 request capacity”로 번역한다.

Selective SSM과 기억 접근

선택성은 입력별 기억·망각·읽기의 조절이며 추론 중 가중치를 학습한다는 뜻이 아니다. Mamba-2는 state-space duality 관점에서 head별 matrix state를 쓰고 읽는다. SEED는 이 recurrence를 새 것으로 바꾸지 않고, 이미 학습된 상태가 실제로 어떤 구조를 갖는지 측정한다.

Write–read asymmetry

한 토큰이 깊은 층의 memory에 무엇을 쓸지는 그 층으로 들어오는 residual stream과 write path로 정해진다. 반면 다음 토큰을 읽어 예측하려면 deep attention·recurrent read·FFN을 모두 통과해야 한다. 저자들은 5개 모델에서 anchor depth가 전체의 63–89%에 놓이더라도 deep write를 복원할 수 있음을 관찰했다. Prompt의 마지막 토큰과 모든 생성 토큰은 원래처럼 모든 층을 통과한다.

State sink와 working memory

저자 정의에서 a v̄ᵀ는 head별 고정 방향을 따르는 rank-one state sink이고, UVᵀ는 prompt-dependent content다. 다섯 모델에서 sink는 head를 합쳐 state energy의 69–99.7%를 담았다. 그러나 에너지가 크다는 것과 정보가 많다는 것은 다르다. Sink는 normalization 뒤 bias와 gain처럼 작동하고, prompt-specific read content는 비교적 짧은 저랭크 working memory에 놓인다.

SEED는 Shallow Encoding Emits Deep Memories의 약자다. Prefill에서는 shallow-in-depth, decode에서는 shallow-in-representation이라는 서로 다른 인코딩을 사용한다.

1. Prefill: 마지막 토큰을 제외한 N−1개 prompt token은 anchor layer까지만 계산한다. 학습된 emitter는 그 residual에서 더 깊은 attention cache와 recurrent state를 작성한다.
2. Decode: state sink는 정확히 보존하고, content는 rank-R factors로 저장한다. 매 step의 갱신은 factor column을 하나 추가하는 정확한 update이고, W step마다 rank-R로 다시 압축할 때만 근사가 생긴다.
3. 보존: 원 모델의 weight는 frozen이며 attention KV cache는 압축하지 않는다. 마지막 prompt token과 모든 생성 token은 전체 L개 층을 실행한다.

SEED의 핵심 기여는 prefill FLOPs 절감과 decode state 절감을 같은 “압축”으로 뭉개지 않고, 각 phase의 다른 병목에 맞춘 두 방법으로 분리한 것이다.

긴 문맥에서 KV cache가 커지는 문제는 잘 알려져 있다. 반면 recurrent state는 길이에 독립이라는 이유로 종종 “상수이므로 작다”고 취급된다. 하지만 production hybrid는 수십 층, 다수 head, fp32 state를 가지며 매 decode step 전체 상태를 읽고 다시 쓴다. HBM capacity는 batch와 prefix cache를 제한하고, HBM traffic은 step time에 직접 들어간다.

LFM2의 hardware-in-the-loop 설계, Mamba-3의 이산화·복소수 상태·MIMO, Samba의 SSM+sliding-window attention은 서로 다른 문제를 푼다. SEED는 그 위에서 serving memory representation을 후처리하는 방법이다.

특히 open-loop bound는 같은 input update를 본다는 가정 아래 compression error가 횟수에 따라 무한히 누적되지 않음을 보인다. 실제 closed loop에서는 오차가 이후 key와 value도 바꾼다. 저자 측정에서는 16K decode의 첫 4K에서 마지막 4K까지 drift가 1.2–1.4배 증가했지만 compression 횟수는 4배였다. 이는 고무적이지만 보편적 안정성 증명은 아니다.

1. 동일 메모리에서 반드시 보존해야 할 state direction과 prompt-dependent content는 무엇인가?
2. 최소 attention 비중과 층 배치는 prefill depth, retrieval 정확도, KV pressure를 어떻게 바꾸는가?
3. State transition 표현력과 factorized parallel update 사이의 최적 rank·compression period는 무엇인가?
4. fp16·fp8·INT8 state에서 장기 closed-loop drift와 양자화 누적 오차는 어떻게 상호작용하는가?
5. 합성 RULER·exam 일치도가 실제 agent 성공률, 오류 복구율, 근거 회수율을 예측하는가?
6. CPU/GPU/NPU에서 성공 작업당 Joule, p95 TTFT, prefix hit, peak memory를 함께 보면 Pareto frontier가 어떻게 달라지는가?
7. LFM3 같은 tri-hybrid의 공개되지 않은 state semantics에 SEED 유사 분해가 성립하는지 어떻게 검증할 것인가?

1. Shallow prefill

저자들은 각 checkpoint에서 untrained probe로 anchor depth를 선택한다. Qwen3.8-Flash-Next는 48층 중 31층, Nemotron-3.5-Lightning은 52층 중 33층, Kimi-Linear는 27층 중 19층, GLM-5.3-Flash는 45층 중 31층, Nemotron-3.5-Super는 88층 중 78층까지 prompt token을 실행한다. Qwen3.8-Flash-Next의 prompt parameter FLOPs는 저자 계산으로 token당 12.1에서 9.1 GFLOP으로 줄었다.

2. Exact factored update

Sink의 평균 방향은 request 간 공유하고, request별로 coefficient a와 factors U,V를 저장한다. Mamba-2, Gated DeltaNet, Kimi Delta Attention의 update는 factor에 새 column을 추가하는 형태로 정확히 확장된다. 근사는 오직 매 W step의 rank truncation에서 생긴다. 저자 설정은 모델에 따라 R=W=16 또는 R=W=32다.

3. Accuracy protocol

여섯 component set을 원 모델과 같은 질문·request seed로 비교했다. GPQA-Diamond, AIME 2024+25, MATH-500, MMLU, IFEval, LiveCodeBench v6, HumanEval+, LongBench v2, RULER 32K/64K/128K 등 11개 시험을 사용했다. 66개 checkpoint–exam cell 중 63개가 원 모델 대비 2 standard errors 안이거나 그 이상이었다는 것이 저자 결론이다.

4. Serving protocol

SGLang과 NVIDIA GB300 GPU에서 agentic-coding trace를 replay했다. 각 measurement는 900초 단일 run이며 SEED 자체 emitter·compression 비용을 포함한다. Qwen3.8-Flash-Next에서 aggregated NVFP4 TP1, aggregated bf16 TP2, disaggregated bf16 1P:1D를 비교했다.

• 유한 상태의 과제별 한계: rank-R working memory가 exact retrieval, state tracking, planning에 필요한 최소 정보량을 언제 넘지 못하는가?
• 망각 탐지: next-token KL이 작아도 특정 evidence key가 지워졌는지 online으로 감지할 방법이 필요하다.
• 장기 session drift/reset: 16K보다 긴 decode, tool loop, state contamination, session reset에서의 안정성은 미확인이다.
• 공정 비교: 동일 checkpoint·prompt trace·precision·batch·hardware에서 dense state, quantization, pruning, low rank, offload를 비교해야 한다.
• 효과 분리: emitter training data, anchor depth, prompt code, rank, W, prefix-cache hit가 throughput과 품질에 미치는 영향을 분리해야 한다.
• 실세계 안전성: exam cell 63/66은 강한 paired evidence지만 잘못된 tool call, hallucinated evidence, recovery failure를 직접 측정하지 않는다.
• 한국어 전문업무: 한국어 장문 RAG, 연구·행정 문서, 현장 terminology에서 근거 회수율과 압축 drift가 검증되지 않았다.
• LFM 검증: LFM2·LFM3 전체가 Mamba-2와 같은 state update를 쓴다는 공개 근거가 없으므로 method transfer는 가설로 남는다.

1. Hierarchical memory

제안압축 recurrent state + 필요한 구간의 attention + 외부 evidence memory를 계층화한다. State는 최근 동적 문맥, attention은 선택된 정확 회수 구간, 외부 memory는 감사 가능한 근거를 담당한다.

2. Adaptive state budget

제안항상 같은 R과 W를 쓰지 말고 retrieval uncertainty, state novelty, tool boundary, safety-critical step에서 rank를 늘린다. 평상시에는 작게 유지하고 필요한 순간에만 memory budget을 확장한다.

3. Task-success benchmark

제안Perplexity와 tok/s만으로 끝내지 않는다. 성공 작업당 Joule, p95 TTFT, peak HBM, 근거 회수율, 오류 복구율, state reset 후 회복 시간, 장기 session drift를 함께 보고한다.

4. ETRI용 단계적 검증

논문·공식 기술보고서·공식 기업 발표를 구분했다. 실행일 이후 자료는 포함하지 않았다. 실험 수치는 별도 표기가 없는 한 저자 보고다.

1. Ma et al., “Shallow Encoding Emits Deep Memories,” arXiv:2611.06084 — 원고 표기 2026-11-03, arXiv 최초 공개 2026-11-04, 조사일 기준 v1·정식 학회/저널 미확인.
2. Dao & Gu, “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality” — Mamba-2/SSD 배경, 최초 공개 2024-05-31. 2025년 이전 원논문으로 배경 자료.
3. Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces” — 최초 공개 2023-12-01. 2025년 이전 원논문으로 배경 자료.
4. Liquid AI, “LFM2 Technical Report” — 최초 공개 2025-11-28. LFM2 architecture·training 배경이며 SEED 검증 대상은 아님.
5. Liquid AI, “Introducing LFM3: Every Modality for Specialized Intelligence” — 2026-10-27 공식 제품 발표, 논문 아님. tri-hybrid·22T-token·2B-class model family에 대한 회사 주장.
6. Lahoti et al., “Mamba-3: Improved Sequence Modeling using State Space Principles” — 최초 공개 2026-03-16. exponential-trapezoidal discretization·complex state·MIMO 배경.