Attention을 읽는 연산에서
온라인으로 배우는 메모리로

논문은 classical state-space/control, Kalman filtering, adaptive filtering에서 현대 linear attention, Mamba/Mamba-2, DeltaNet까지 연결한다. Mamba-2의 Structured State Space Duality는 recurrent SSM과 causal linear attention 사이 bridge를 제공하고, Falcon은 그 위에서 state update의 internal objective를 다시 설계한다.

논문은 read-after-write(RAW) convention을 사용한다. token \(t\)를 관측하고 state에 쓴 뒤 updated state \(S_t\)를 읽어 token \(t+1\)을 예측한다. 새로 드러난 \(v_t\)는 그 target을 예측할 때 사용 가능했던 prefix feature와 짝지어야 한다.

표준 DeltaNet/linear-attention-style update가 흔히 사용하는 \((\phi(k_t),v_t)\)도 미래정보를 쓰지는 않는다. 그러나 그것은 same-step cache association을 학습한다. Falcon은 “예측 당시 사용 가능했던 prefix representation이 새 target을 얼마나 잘 예측했는가?”를 local objective로 삼는다.

pre-update prediction은 \(\hat y_t=S_{t-1}^\top x_t\), residual은 \(r_t=y_t-\hat y_t\)이다. 한 번의 normalized online gradient step은 다음과 같다.

\(\lambda_t=0,\varepsilon=0\)이면 classical NLMS recursion과 연결된다. normalization은 local smoothness에 step size를 맞춰 per-step descent를 제공하지만 cumulative online loss나 outer autoregressive training objective의 monotone decrease를 뜻하지 않는다.

step size는 \(\mu_t^{(B)}=\lambda_{\max}(\bar C_t^{(B)})\)에 맞춘다. window average를 사용하므로 nominal \(B\)가 커진다고 injection이나 decay fraction이 선형증가하지 않는다. exact segment continuation에는 matrix state뿐 아니라 최근 \(B-1\) causal pair tail도 필요하다.

논문의 Figures 2, 4, 5, 7, 8, 9, 10은 recurrent form과 parallel form, SSD-style chunk-wise form의 대응을 반복해서 보여준다. 목표는 continual-learning update를 도입하면서도 현대 GPU 학습의 chunk parallelism을 유지하는 것이다.

Falcon-2는 channel마다 \(\eta_{t,j}\)가 다르지만 모든 channel이 같은 write-feature geometry를 공유한다. chunk key matrix \(K\)에서 shared Gram \(G=K^\top K\)를 한 번 만들고, channel별 rate는 작은 \(C\times C\) triangular system에만 반영한다. value path와 projected-history path가 같은 factor를 사용하므로 두 solve를 하나의 residual right-hand side로 합쳐 one TriSolve per chunk로 줄인다.

ridge는 \(\gamma_t=1-\eta_t\lambda_t\) carry를 만든다. long context에서 decay product를 직접 누적하면 reduced precision underflow/overflow가 생길 수 있다. 구현은 \(\alpha_t=\eta_t\lambda_t\)를 \(1-\varepsilon_\gamma\) 아래로 clamp하고 \(\log\gamma_t=\log1p(-\alpha_t)\)를 fp32로 계산한다. global cumulative product 대신 각 chunk에서 log-prefix를 0부터 다시 누적하고 state, step size, write target을 일관되게 재정규화한다.

Transformer baseline은 LLaMA-style RoPE/SwiGLU, recurrent baselines는 RetNet/LightningAttn, Mamba-2, DeltaNet, Gated DeltaNet이다. 학습은 bfloat16 AdamW, tied embeddings, Pre-Norm RMSNorm, no dropout, µP-style width scaling, base LR 1e−3 cosine decay, 2,000 warmup, weight decay 0.1, gradient clipping 1.0을 사용한다.

Falcon의 차별점은 strict next-latent causal alignment, objective-matched normalization, per-column/sliding variants, SSD-compatible chunk-parallel implementation을 함께 묶는다는 점이다. RWKV-7/Kimi Linear처럼 richer gating을 쓰는 delta-style model에도 이 alignment/normalization을 local update replacement로 적용할 수 있다고 설명한다.

Falcon은 hidden state를 passive summary가 아니라 forward pass 도중 갱신되는 parameter로 본다. 그러면 각 token은 fixed-size state를 위한 self-supervised online training example이 된다. architecture 설계는 kernel 선택에서 끝나지 않고 training-pair alignment, plasticity, forgetting, bounded rehearsal, parallel kernel의 공동설계 문제가 된다.

Fast Weight Attention for Continual Learning은 recurrent attention을 압축된 attention으로만 보지 않는다. 매 순간 새 evidence로 스스로를 갱신하는 작은 온라인 학습기로 다시 정의한다.