Memory Is Not
One Gate

LFM은 Liquid AI의 모델군이며, Mamba는 입력에 따라 상태 전이와 쓰기를 조절하는 selective state-space architecture다. Gated DeltaNet-2는 상태공간 모델이 아니라 delta-rule 기반 recurrent linear attention 계열이다. 세 계열은 긴 문맥을 낮은 비용으로 처리한다는 목표를 공유하지만, 상태 표현과 갱신 법칙이 다르다.

LFM=LTC=LNN=Mamba라는 동일시는 잘못이며, LFM2의 gated short convolution+GQA 구조를 다른 LFM 세대에 소급해서도 안 된다. 이번 조사 기간에 Liquid AI의 최신 모델 발표는 2026년 10월 27일 LFM3였고, 11월 10일 기준 새 LFM 논문·모델 발표는 확인되지 않았다.

공통 목표는 긴 이력, 낮은 추론 비용, 높은 정확도를 동시에 만족시키는 것이다. 이를 품질 최대화와 p95 지연·피크 메모리·에너지 제약의 다목적 문제로 쓰면 다음과 같다.

표준 full attention의 prefill 연산은 길이에 대해 이차이고, KV cache는 선형이며, decode 한 토큰의 attention은 이력 길이에 선형이다. 고정 상태 recurrent model은 총 연산을 선형으로 만들고 순환 상태 크기를 길이와 독립적으로 유지할 수 있지만, 유한 상태 안에서 여러 key–value 연상이 겹치며 발생하는 interference를 피하지 못한다.

Gated DeltaNet-2가 겨냥하는 병목은 “상태가 작다”보다 더 구체적이다. 기존 delta-rule의 scalar gate β_t 하나가 오래된 연상을 지우는 강도와 새 값을 기록하는 강도를 동시에 결정한다. 하지만 erase는 key 축에서, write는 value 축에서 작동하므로 두 결정이 항상 같아야 할 이유는 없다.

Selective SSM과 추론 중 학습의 차이

Mamba 계열의 기본 selective recurrence는 다음처럼 요약할 수 있다.

선택성은 입력별로 기억·망각·읽기를 조절한다는 뜻이며, 추론 중 모델 가중치를 경사하강으로 다시 학습한다는 뜻이 아니다. 길이에 독립적인 순환 상태도 무한한 정보를 손실 없이 보존한다는 뜻이 아니다.

Linear attention의 행렬 상태

단순 누적은 오래된 연상을 직접 제거하지 않는다. DeltaNet은 현재 key에서 읽은 값을 먼저 빼고 목표 value를 쓰는 correction을 추가한다. Gated DeltaNet과 KDA는 decay를 더하지만 active edit의 erase와 write를 하나의 β_t에 묶어 둔다.

Gated Delta Rule-2

b_t는 key-side channel erase gate, w_t는 value-side channel write gate다. 두 벡터를 같은 scalar β_t로 묶으면 KDA가 되고, decay까지 scalar로 묶으면 Gated DeltaNet이 된다. 새 규칙은 기존 모델을 배제하지 않고 tied subspace로 포함한다.

Mamba 연구의 초기 질문은 full attention 없이 긴 시퀀스를 얼마나 빠르게 처리할 수 있는가였다. Mamba-2는 SSD 관점과 head 구조를, Mamba-3는 exponential-trapezoidal discretization·복소 상태·MIMO를 도입해 표현력과 하드웨어 효율을 확장했다. Samba 같은 hybrid는 SSM과 sliding-window attention을 결합해 전역 압축과 국소 정밀 상호작용을 나눴다.

Gated DeltaNet-2 v2는 이 흐름에 다른 질문을 던진다. 고정 상태를 채택했다면, 그 상태 안에서 오래된 연상을 얼마나 세밀하게 수정할 수 있는가? 연구의 중심이 “어떤 연산자를 쓰는가”에서 “압축 메모리를 어떤 규칙으로 편집하는가”로 이동하고 있다는 해석이다.

이 구분은 결과 해석에 필수다. Gated DeltaNet-2는 retrieval에서 강하지만 NQ와 DROP처럼 국소 증거 집계가 필요한 과제에서는 pure recurrent보다 SWA hybrid가 유리하다. 반대로 permutation composition은 음의 전이 범위를 열어야 성능이 올라가며, 가장 어려운 S₅의 절대 정확도는 여전히 매우 낮다.

1. 압축–회수 충돌: 상태 크기가 고정되면 서로 다른 연상이 같은 좌표를 공유한다.
2. erase/write 식별: 어떤 채널을 지울지와 어떤 채널을 쓸지 따로 학습해도 causal role을 분리하기 어렵다.
3. 병렬 학습: 순환 규칙을 chunkwise WY 형태로 바꾸면서 정확한 backward를 유지해야 한다.
4. 저정밀 누적: decay와 상태 갱신 오차가 긴 시퀀스에서 누적될 수 있다. 논문 구현은 log-decay와 recurrent state의 일부를 fp32로 처리한다.
5. 훈련 길이 밖 일반화: 4K에서 훈련한 모델의 8K retrieval과 128→512 state tracking을 넘어 더 긴 세션에서 안정성을 확인해야 한다.
6. 하드웨어 비용: 두 벡터 gate는 표현력을 늘리지만 projection·elementwise 연산·backward accumulator를 추가한다.
7. 공정 비교: 데이터, 토큰 수, state size, attention 배치, 정밀도, 커널 성숙도를 동시에 맞춰야 한다.

• 동일한 상태 메모리에서 retrieval을 좌우하는 최소 erase/write 자유도는 무엇인가?
• erase gate, write gate, decay, MIMO rank가 각각 어떤 간섭 유형을 해결하는가?
• pure recurrent에서 필요한 attention의 최소 비중과 배치는 과제·길이에 따라 어떻게 달라지는가?
• 음의 고유값·복소 회전·확장 erase 범위는 state tracking과 retrieval에서 같은 역할을 하는가?
• 저정밀 양자화가 channel-wise gate와 장기 상태에 만드는 누적 오차는 얼마인가?
• 합성 NIAH·permutation 성능이 실제 agent의 장기 작업 성공률·오류복구율과 연결되는가?
• CPU/GPU/NPU에서 성공 작업당 Joule과 p95 latency를 함께 비교하면 Pareto frontier가 어떻게 바뀌는가?

방법: decoupled edit와 병렬 학습

저자들은 decay를 적용한 상태를 b_t⊙k_t 방향으로 읽어 지우고, w_t⊙v_t를 k_t 방향으로 쓴다. 누적 channel-wise decay를 비대칭 erase factor에 흡수해 compact WY 형태를 유도하고, gate-aware backward와 Triton kernel을 구현했다.

1.3B·100B-token matched study

모든 모델은 FineWeb-Edu 100B tokens, 1.3B parameters, 4K training length, AdamW, global batch 0.5M tokens의 공통 recipe를 사용한다. hybrid는 2K sliding-window attention을 둔다. Mamba-3 MIMO rank는 4다.

같은 recurrent-state size에서 retrieval과 평균 점수가 높다는 결과는 “더 큰 상태”가 아니라 “더 정교한 update rule”의 기여를 지지한다. 다만 주요 표의 single-run 값과 tokenizer·커널 구현 차이는 남아 있다.

31.6B hybrid latent-MoE scaling

저자들은 31.6B total/3.2B active parameters, 300B tokens의 Nemotron-3 Nano-style hybrid latent-MoE에서도 global attention 위치·state size·active parameters·training recipe를 고정하고 recurrent mixer만 바꿨다. 전체 평균은 Mamba-2 60.14, KDA 61.25, Gated DeltaNet-2 62.67로 보고됐다. 이는 global attention이 있어도 recurrent update가 무의미해지지 않는다는 저자 주장을 뒷받침한다.

State tracking과 hardware

Permutation composition은 길이 128 훈련→512 평가, 3 seeds다. 확장 erase 범위 [0,2]를 쓴 Gated DeltaNet-2는 S₃/S₄/A₅/S₅에서 74.2/28.6/9.7/2.8%를 보고했지만, 가장 어려운 S₅의 2.8%는 절대 성능이 여전히 매우 낮다는 한계를 드러낸다.

single H100 hybrid training throughput은 길이가 증가할 때 38.0→36.1 Ktokens/s로 완만하게 감소했다. Blackwell SM100, 8K prefix, batch 1–16의 kernel-level modeled decode latency는 KDA보다 4.3–6.5% 높았다. 이는 실제 end-to-end 사용자 지연·전력 측정이 아니다.

• 온디바이스 assistant: 고정 상태로 긴 대화 이력을 압축하면서 preference·task state를 선택적으로 갱신.
• 로컬 RAG: 여러 key–value evidence가 겹칠 때 오래된 연상을 지우고 새 근거를 채널별로 기록.
• 스트리밍 센서 분석: 장비 상태 변화와 이벤트를 연속적으로 반영하되 메모리를 길이에 따라 늘리지 않음.
• agent memory: 도구 실행 결과, 실패 원인, 복구 정책을 서로 다른 write admission으로 관리.

• 과제별 finite-state limit: 필요한 연상 수가 state rank를 넘어갈 때 실패 지점을 예측할 이론이 부족하다.
• forgetting detector: model이 어떤 정보를 덮어썼는지 스스로 감지하고 외부 메모리를 호출하는 방법이 없다.
• long-session drift/reset: 수십만·수백만 token 세션의 state 오염, reset, checkpoint 전략이 검증되지 않았다.
• quantization: fp32 decay/state 보조 없이 INT8/INT4 NPU에서 안정적인지 알 수 없다.
• fair kernels: Mamba-3, KDA, Gated DeltaNet-2의 kernel maturity와 compiler support가 실제 p95를 왜곡할 수 있다.
• data–architecture separation: 100B/300B 규모 결과에서 데이터 순서와 recipe 효과를 완전히 분리하기 어렵다.
• Korean professional work: 한국어 장기 문서·정책 근거 회수·도구 사용에서 동일한 이점이 확인되지 않았다.

제안 1 — hierarchical memory. 압축 recurrent state는 지속적 요약을, 필요 구간 attention은 정밀 비교를, 외부 evidence memory는 출처 보존과 재검증을 담당하게 한다. 내부 상태 하나에 모든 기억 책임을 몰지 않는다.

제안 2 — adaptive budget. erase/write conflict, retrieval uncertainty, state norm drift가 임계값을 넘을 때 MIMO rank, attention window, 외부 검색 예산을 동적으로 늘린다.

제안 3 — joint architecture/hardware search. b_t/w_t 자유도, state size, attention 비중, precision을 CPU/GPU/NPU kernel과 함께 탐색한다. 이론적 O(1) state와 실제 p95 latency·energy는 별도 목적함수다.

제안 4 — ETRI benchmark. 동일 학습데이터·token budget·quantization·hardware에서 Mamba-2/3, Gated DeltaNet-2, hybrid를 비교하고 성공 작업당 Joule, p95 latency, 근거 회수율, 오류복구율을 함께 측정한다. 상태 오염, 센서 누락, 통신 단절, 장기 로봇/설비 세션을 단계적으로 검증한다.

1. Gated DeltaNet-2 — arXiv v1 최초 공개 2026-05-21; v2 개정 2026-11-06; NeurIPS 2026 채택 표기. abstract/history · v2 HTML · official code.
2. Mamba-3: Improved Sequence Modeling using State Space Principles — 최초 공개 2026-03-16; ICLR 2026. arXiv.
3. Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality — 2024 배경 연구(Mamba-2/SSD). arXiv.
4. Mamba: Linear-Time Sequence Modeling with Selective State Spaces — 2023 배경 연구. arXiv.
5. Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues — 최초 공개 2024, ICLR 2025 공식 기록. ICLR proceedings.
6. Samba — SSM+sliding-window attention hybrid; 최초 공개 2024, ICLR 2025. ICLR proceedings.
7. LFM3 official announcement — 2026-10-27 기업 모델 발표이며 논문이 아니다. Liquid AI.

수치는 별도 표기가 없으면 원 논문 저자 보고값이다. 모델 규모, 학습 token, 문맥 길이, attention 구성, hardware와 측정 방식이 다른 결과를 직접적인 절대 순위로 합치지 않았다.