The First Token
Becomes the Memory

LFM은 Liquid AI의 모델군이고, Mamba는 입력 의존 선택성을 가진 상태공간 아키텍처다. LFM2는 입력 의존 gated short convolution과 일부 GQA를 결합하며, LFM3는 별도의 tri-hybrid 제품군이다. LFM=LTC=LNN=Mamba라는 동일시는 틀리며, 이번 Mamba·Mamba-2 분석을 모든 LFM 세대에 소급해서는 안 된다.

Recurrent state는 과거 입력을 압축한 내부 메모리이고, token representation은 층을 거치며 갱신되는 각 위치의 표현이다. 이 논문은 상태 용량 자체보다 후자의 깊이 방향 동역학을 본다. Attention sink는 여러 후속 위치의 유효 상호작용이 한 위치—여기서는 첫 토큰—에 과도하게 집중되는 현상이다. Mamba에는 softmax attention head가 없으므로 저자들은 S6의 입력–출력 전개로 얻은 hidden attention matrix를 사용한다.

긴 이력, 낮은 비용, 높은 정확도를 함께 달성하려는 목표는 여전히 다목적 최적화다. 이번 연구는 여기에 토큰 다양성 보존과 위치 독점 억제를 추가한다.

표준 full attention의 prefill은 길이에 대해 이차 연산이며 KV cache는 선형으로 증가하고, decode 한 토큰의 attention 연산은 이력 길이에 선형이다. 고정 상태 순수 SSM은 총 선형 연산과 길이에 독립적인 순환 상태를 갖는다. 그러나 고정 상태의 계산 효율은 깊은 층에서 표현이 한 위치로 수렴하지 않는다는 보장이 아니다.

Selective SSM

선택성은 입력마다 무엇을 쓰고, 잊고, 읽을지 조절한다. 추론 중 가중치를 학습한다는 뜻이 아니다. 순환 상태 크기가 문맥 길이에 독립이라는 말 역시 무한한 정보를 완전 보존한다는 뜻이 아니다.

Hidden interaction matrix

상태를 제거해 출력을 전개하면 현재 토큰 yl은 과거 토큰들의 가중 합 형태로 쓸 수 있다. 하지만 계수 Alj(x)는 softmax scalar가 아니라 채널별 대각 성분을 가진 입력 의존 행렬이다. 양수성과 definiteness가 자동으로 성립하지 않으므로, Transformer 동역학에 쓰던 monotone-system 도구를 그대로 적용할 수 없다.

Flow map on a sphere

RMS normalization을 반영해 각 토큰을 단위 구면 위의 점으로 보고, 층 깊이를 연속시간으로 보낸다. 저자들의 invariant box는 궤적이 머무는 고차원 영역을 만들고, sharp exit-time argument는 그 영역을 벗어날 수 있는 조건을 통제해 유효한 부호 구조를 회복한다.

Mamba 연구는 attention의 계산 병목 없이 content-aware sequence modeling을 달성하는 데서 출발했다. 그러나 효율적인 recurrence도 위치별 영향력이 균등하다는 보장은 없다. 첫 토큰은 causal ordering에서 과거 토큰을 갖지 않는 특수한 경계 조건이고, 이 비대칭이 깊이에 따라 증폭될 수 있다.

새 논문은 이를 세 단계로 연결한다. 첫째, 첫 토큰의 가능한 equilibrium과 limit point를 분류한다. 둘째, 일반적인 초기 조건에서 후속 토큰이 ±x₁로 지수 수렴함을 보인다. 셋째, 실제 Falcon-Mamba-7B에서 첫 위치 sink score가 층 깊이에 따라 증가하는지 확인한다.

2023년 최초 공개된 Mamba 원논문과 2024년 Mamba-2는 본 글의 배경 연구다. 전자는 입력 의존 선택성과 hardware-aware scan을, 후자는 structured state-space duality를 통해 SSM과 attention의 수학적 연결을 제시했다. Falcon-Mamba-7B도 2024년 공개된 배경 기술보고서다.

2025–2026년 연구 흐름은 빠른 연산자 자체에서 장거리 회수, 상태 추적, 음의 고유값, hybrid 배치, 양자화 안정성, serving 메모리와 해석 가능성으로 이동했다. 이번 연구는 여기에 깊이에 따른 토큰 공간의 수렴을 더한다. 이는 “무엇을 저장할 것인가”와 “저장된 정보를 어떤 위치가 대표하게 되는가”가 서로 다른 문제임을 보여준다.

이론은 첫 토큰 attraction의 가능성과 조건부 수렴을 설명하지만, 실제 장문 Mamba가 정보적으로 붕괴한다고 증명하지는 않는다. 논문도 핵심 한계로 연속시간·점근 분석과 이산 대규모 구현 사이의 bridge를 명시한다.

1. 동일 state memory에서 어떤 정보를 보존해야 하며, token-space diversity는 어느 수준 이상 유지해야 하는가?
2. 첫 토큰 attraction과 정확한 장거리 회수 성능 사이에 단조 관계가 있는가, 아니면 요약에는 유용하고 key-value 회수에는 해로운가?
3. 최소 attention 비중과 배치가 sink concentration을 제어하면서 Mamba의 memory 이점을 유지할 수 있는가?
4. 음의·복소 고유값, MIMO state, normalization, residual scaling이 attractor 구조를 어떻게 바꾸는가?
5. 양자화 오차가 층을 거치며 attraction을 강화하거나 완화하는가?
6. 합성 sink score가 실제 agent 성공률, 근거 회수율, 오류 복구율, 성공 작업당 Joule과 연결되는가?

1. S6를 토큰 간 행렬 상호작용으로 전개

저자들은 recurrent hidden state를 제거해 각 출력 토큰을 이전 토큰들의 입력 의존 행렬 가중 합으로 나타낸다. RMS normalization과 skip connection을 반영한 연속시간 한계는 단위 구면의 tangent space에 투영된 flow가 된다.

2. Limit points와 exponential attraction

첫 토큰의 equilibrium을 분류하고, 적절한 대칭성·양의 정부호·각도 조건 아래 후속 토큰이 ±x₁로 지수 수렴함을 증명한다. 더 강한 positive-angle 조건에서는 하나의 cluster인 x₁로 정렬된다. 시간 의존 파라미터가 극한값으로 지수 수렴하는 경우에도 일반화를 제시한다.

3. 수치 simulation

랜덤 파라미터의 연속시간 시스템에서 100개 첫-token 초기화 중 94개가 좌표 단위벡터 ±ed로 수렴했다. 별도의 32-token 및 16-token sequence simulation에서도 후속 토큰 clustering을 시각화했다. 이는 실제 모델 성능이 아니라 정리 조건하의 수치 예시다.

4. 단순화한 Mamba-2

shared-weight block에서 causal convolution, input/output projection, activation, inner residual을 제거하고 64개 sequence를 처리했다. 첫 토큰의 non-near-zero 성분이 하나뿐인지 10−4 threshold로 측정했다. 저자들은 다수 sequence가 1-element representation으로 수렴했다고 보고한다.

5. Falcon-Mamba-7B

길이 16인 170개 표본, 각 층의 4096 channels 중 200개 균등 표본을 사용했다. first-token 중요도가 ε=0.3을 넘는 채널 비율을 layer-wise sink rate로 정의했다. 저자 보고상 first-token sink score는 깊이에 따라 증가하고 마지막 층에서 지배적이었다.

연구 제안ETRI/Physical AI에서는 센서 상태 추적, 로봇 고수준 계획, 엣지 운영지능의 장기 세션을 대상으로 첫 위치·최근 위치·외부 memory의 기여도를 분리 측정할 수 있다. 다만 이는 연구 제안이며, 저수준 제어 안전성은 별도 formal verification과 실기기 fail-safe가 필요하다.

• 과제별 유한 상태 한계: first-token attraction이 정보 압축의 원인인지 부산물인지 분리되지 않았다.
• 망각 탐지: sink score 상승이 특정 증거의 망각과 일치하는지 token-level ground truth가 필요하다.
• 장기 세션 drift/reset: 길이 16 관측을 수만 token streaming에 일반화할 수 없다.
• 공정 비교: 동일 데이터·파라미터·quantization·kernel에서 Transformer, Mamba, hybrid를 비교해야 한다.
• 개입 가능성: 첫 토큰을 교체·복제·dropout했을 때 sink와 성능이 함께 움직이는 causal test가 없다.
• 한국어 전문업무: 조사·상담·설비 운용에서 긴 문서 근거 회수와 안전한 오류 복구가 검증되지 않았다.

단일 sink score는 설명 변수일 뿐 운영 지표가 아니다. 정확도·근거 회수율·calibration·에너지와 함께 볼 때만 의미가 있다.

계층형 기억

압축 state + 필요한 구간 attention + 외부 증거 memory를 결합하고, first-token concentration이 높아질 때 최근 증거 또는 외부 memory로 read path를 전환한다. 이는 제안이며 논문의 실험 결과가 아니다.

적응형 예산

모든 token에 같은 memory budget을 쓰지 않고, retrieval uncertainty·sink concentration·state drift가 임계치를 넘을 때 state rank나 attention window를 늘린다. 평균 FLOPs뿐 아니라 peak memory와 p95를 함께 보고해야 한다.

개입 기반 benchmark

단순 관측을 넘어 BOS 교체, prefix permutation, sink regularization, residual scaling, attention insertion을 randomize해 downstream task 변화를 측정한다. 지표는 성공 작업당 Joule, p95 latency, 근거 회수율, 오류 복구율, sink concentration, state contamination recovery를 포함한다.

ETRI 단계적 실증

1. 통제실험: 동일 학습 데이터·quantization·하드웨어에서 Mamba-2, Mamba-3, hybrid, Transformer 비교.
2. 강건성: 상태 오염, 통신 단절, sensor dropout, context reset, adversarial prefix 시험.
3. 현장실증: 장기 로봇·설비 운용에서 task success와 energy를 함께 측정하고 안전 경계를 별도 인증.

1. Nguyen et al., First-Token Attraction in Mamba Dynamics — arXiv v1 최초 공개 2026-11-05 UTC(한국시간 2026-11-06), 표지에 NeurIPS 2026 표기, 조사 시점 개정 없음.
2. 원문 PDF — 이론, simulation, Falcon-Mamba-7B 실험 조건과 limitation의 직접 출처.
3. Zuo et al., Falcon Mamba — 2024-10-07 최초 공개 기술보고서. 본 글에서는 배경 및 실험 checkpoint 정보로만 사용.
4. Gu & Dao, Mamba — 2023-12-01 최초 공개, 2024-05-31 개정. 2024년 이전 원논문 배경.
5. Dao & Gu, Transformers are SSMs / Mamba-2 — 2024-05-31 최초 공개, ICML 2024. 배경 연구.
6. Lahoti et al., Mamba-3 — 2026-03-16 최초 공개. 복소 상태·MIMO·개선된 이산화의 별도 계열로, 이번 정리를 자동 적용하지 않음.
7. LFM2 Technical Report — 2025-11-28 최초 공개. LFM2 구조의 공식 기술보고서이며 Mamba 논문과 구분.

수치와 도식은 원문 저자 보고를 재구성했다. 별도 코드·독립 재현·장문 실기기 검증은 조사 기준일까지 확인되지 않았다.