State, memory, access는 같은 말이 아니다
State는 현재 시점까지의 입력을 고정 차원으로 압축한 내부 변수다. Represented information은 probe나 정확한 분해로 state에서 읽을 수 있는 신호다. Accessible memory는 실제 질의와 prompt 조건에서 출력에 사용되는 정보다. Causal memory는 state를 개입했을 때 모델의 믿음이나 생성 결과가 예측한 방향으로 바뀌는 정보다.
LFM은 Liquid AI의 모델군이고 Mamba는 selective state-space architecture다. 이번 세 자료 중 직접 Mamba 실험은 `Mixing Matters`의 Mamba/Mamba‑2 비교와 limit-order-book Mamba‑3 연구다. PACE는 gated-delta와 full attention을 섞은 Qwen hybrid를 대상으로 하므로, PACE 결과를 Mamba나 LFM2에 그대로 이전할 수 없다.
기억의 네 단계 중 어디서 실패했는가
공통 문제는 긴 이력에서 정확도를 유지하면서 p95 지연, 피크 메모리, 에너지 제약을 만족하는 것이다. 그러나 실패를 state capacity 하나로 환원하면 처방이 틀린다. 신호가 처음부터 인코딩되지 않았는지, 양자화로 손상됐는지, prompt 위치 때문에 호출되지 않았는지, 출력 belief만 바뀌고 외부 trajectory는 변하지 않았는지를 구분해야 한다.
이 곱셈 표기는 측정된 공식이 아니라 분석적 분해다. 어느 한 항이 거의 0이면 state가 크거나 선형시간이어도 실제 기억 효용은 낮다. 최적화 목표는 품질을 최대화하되 p95 latency ≤ L, peak memory ≤ M, energy ≤ E, constraint violation = 0을 만족하는 다목적 문제다.
선택적 상태와 세 가지 검증 도구
3.1 Selective SSM
선택성은 입력별로 기억·망각·읽기를 조절하며 추론 중 가중치를 다시 학습한다는 뜻이 아니다. 상태 크기가 길이와 독립이라는 말도 무한 정보의 완전 보존을 뜻하지 않는다.
3.2 Position intervention
하나의 gold document와 아홉 distractor를 고정하고 gold의 위치만 1–10번으로 옮긴다. 시작−중간 정확도는 primacy, 끝−중간 정확도는 recency다. 전체 position curve는 동일 정보가 위치에 따라 얼마나 다르게 사용되는지 보여준다.
3.3 Periodic rounding
매 토큰 state를 반올림하면 작은 quantization error가 반복 주입된다. PACE는 최근 key/value를 작은 buffer에 두고 8개 토큰마다 state를 materialize·반올림한다. 또한 gated-delta state의 큰 값이 value channel별 column에 모인다는 관찰을 이용해 column-aligned scale group을 쓴다.
3.4 Probe, attribution, steering
probe는 신호가 읽히는지, exact recurrence decomposition은 어떤 과거 message가 썼는지, steering은 그 방향으로 state를 움직였을 때 출력과 rollout이 변하는지를 검사한다. decodability, attribution, controllability, predictability는 서로 대체할 수 없다.
기억 연구가 “얼마나 저장하나”에서 “언제 쓰나”로 이동한다
표준 full attention은 prefill 연산이 길이에 대해 이차이고, KV cache가 선형으로 증가하며, decode 한 토큰의 attention이 이력 길이에 선형이다. 고정 상태 순수 SSM은 전체 연산을 선형으로, 순환 state를 길이와 독립적으로 만들 수 있다. 그러나 이 효율은 기억 품질을 자동 보장하지 않는다. GQA도 KV 계수를 줄일 뿐 길이 의존을 없애지 않는다.
최근 연구 흐름은 효율적 operator에서 정확 회수, state tracking, hybrid 배치, 하드웨어·학습 공동 설계로 이동했다. 이번 세 연구는 여기에 access timing과 causal validation을 더한다. state는 데이터 구조이고, memory는 그 구조가 특정 조건에서 수행하는 기능이라는 구분이다.
긴 문맥, 낮은 정밀도, 스트리밍 세계가 만나는 지점
RAG에서는 정답 문서가 prompt에 포함돼도 중간에 놓이면 쓰이지 않을 수 있다. serving에서는 고정 크기 state라도 동시 sequence마다 복사본이 필요해 batch가 커지면 메모리와 HBM traffic이 병목이 된다. 스트리밍 금융·센서에서는 next-token loss가 실제 세계의 latent state를 학습했는지, 그 state가 예측과 시나리오 제어에 쓸 수 있는지 불분명하다.
2026년 10월 22일 공개된 `Mixing Matters`는 NeurIPS 2026 PriGM workshop 채택 논문이다. PACE는 10월 21일 arXiv v1이며 학회 기록이 없다. LOB 연구는 10월 20일 arXiv v1이고 ICAIF 2026 정식 발표 예정 논문이다. Mamba 원논문은 2023년 최초 공개된 배경, LFM2 기술보고서는 2025년 공개된 별도 모델군의 배경이다.
표현·보존·사용·효과를 분리하기 어려운 이유
위치와 prompt의 혼입
position curve는 mixer뿐 아니라 model capability, prompt template, task, corpus에 따라 달라진다.
probe의 과잉 해석
linear probe가 높은 R²를 내도 모델이 그 방향을 사용하거나 미래를 정확히 예측한다는 뜻은 아니다.
quantization feedback
state가 다음 state의 입력이 되므로 오차가 재순환한다. 반면 decay는 과거 오차를 지워 주기 때문에 누적은 단순 선형이 아니다.
buffer의 숨은 비용
반올림 횟수를 줄이면 최근 token buffer가 필요하다. state와 buffer를 합친 resident bits로 비교해야 한다.
hybrid 귀속
PACE는 gated-delta+full-attention hybrid다. 결과를 순수 Mamba의 state quantization이라고 부르면 구조 효과를 혼동한다.
외부 동역학
내부 belief steering이 matching engine, 물리계, 사용자와 상호작용하며 약화·반전될 수 있다.
상태에 신호가 있다는 관찰만으로 기억 성공을 선언하는 것이 가장 큰 오류다. 반대로 낮은 downstream 점수만으로 state에 정보가 없다고 결론내리는 것도 성급하다.
다음 실험이 답해야 할 질문
- Position contract: 같은 distractor와 token budget에서 최악 위치 정확도와 curve 면적은 architecture·prompt별로 어떻게 변하는가?
- Minimal attention: beginning primacy와 exact retrieval을 회복하는 최소 attention 비율·배치는 무엇인가?
- Rounding schedule: state decay와 uncertainty에 따라 quantization period를 동적으로 늘리거나 줄일 수 있는가?
- Precision allocation: 장기 오차를 오래 보존하는 head를 task-agnostic하게 식별하고 8-bit budget을 배정할 수 있는가?
- Causal readout: probe 방향에 대한 개입이 output belief, autoregressive rollout, 실제 환경 결과를 각각 얼마나 바꾸는가?
- Low-precision causality: 4-bit state에서도 causal direction과 state-tracking dynamics가 유지되는가?
- Operational value: synthetic recall·state probe가 실제 agent 성공률, p95 지연, 성공 작업당 Joule과 상관하는가?
세 논문의 실험, 결과, 반례
8.1 Mixing Matters — 위치는 남지만 사용은 달라진다
Natural Questions 기반 Lost-in-the-Middle 설정에서 질문당 gold 문서 1개와 distractor 9개를 고정하고 gold 위치만 바꾼다. 주 분석은 exploratory 800개 질문, greedy decoding, 질문 bundle 단위 10,000회 bootstrap과 Holm correction을 사용한다.
| 시스템 | Primacy | Recency | 해석 |
|---|---|---|---|
| Pythia 2.8B Transformer | +0.052 [0.032, 0.072] | +0.075 [0.054, 0.097] | 시작과 끝 모두 중간보다 유리 |
| Mamba 2.8B | −0.001 [−0.016, 0.014] | +0.077 [0.058, 0.097] | 시작 이점 없음, 끝 이점 존재 |
| Mamba‑2 2.7B | −0.018 [−0.034, −0.003] | +0.105 [0.086, 0.124] | 시작 불리, 끝 이점 큼 |
| Hybrid minus pure, 8B | +0.019 [−0.006, 0.044] | −0.028 [−0.055, −0.001] | primacy 차이는 0 포함; Holm 보정 후 유의하지 않음 |
해석 Transformer primacy와 Mamba recency를 보편 법칙으로 부를 수 없다. prompt 변경은 beginning advantage를 만들거나 거의 없앴고, 작은 모델은 task answerability가 낮아 family gap이 나타나지 않았다. 위치는 두 family의 intermediate state에서 선형 디코딩 가능했지만 response curve는 달랐다. “위치 정보가 있다”와 “그 위치의 증거를 쓴다”가 분리된 결과다.
8.2 PACE — 오차의 크기보다 주입 빈도를 바꾼다
PACE‑4는 모든 recurrent head를 4-bit로, PACE‑4/8은 layer별 장기 rounding error가 큰 상위 1/4 head를 8-bit로 유지한다. 기본 decode period는 8이며, 최근 token은 buffer에 저장한다. 실험 모델은 Qwen3.5 4B/9B/27B와 Qwen3.6 35B‑A3B의 gated-delta/full-attention hybrid다.
| 조건 | Resident bits/value | 5-task 평균 | 핵심 비교 |
|---|---|---|---|
| Qwen3.5‑4B full state | 32.00 | 80.8 | 기준 |
| 4B PACE‑4/8 | 6.82 | 79.1 | DAMP INT8 80.9보다 낮음 |
| Qwen3.5‑9B PACE‑4/8 | 6.82 | 83.7 | DAMP INT8 83.7과 동률 |
| Qwen3.5‑27B PACE‑4/8 | 6.82 | 87.3 | DAMP INT8 87.4에 근접 |
| Qwen3.6‑35B‑A3B PACE‑4/8 | 6.82 | 85.0 | DAMP INT8 86.3보다 낮지만 INT4 baseline보다 큼 |
저자 보고 기준 PACE‑4/8은 DAMP INT8 resident memory의 약 69%를 쓰며 세 큰 모델에서 평균이 근접했다. H100 PCIe, context 512, Qwen3.5‑4B throughput 측정에서는 batch 16부터 periodic INT4의 TPOT가 per-token bf16보다 낮고 batch 128 끝점은 약 18.6% 낮았다. 그러나 속도 이득 대부분은 bf16 decode buffer에서도 나타났고, full PACE의 channel grouping·head allocation 자체는 timing하지 않았다.
8.3 LOB Mamba‑3 — 읽히는 세계 상태와 약한 미래 예측
8.2M-parameter Mamba‑3를 8개 미국 대형주, 4년간의 tokenized message stream에 autoregressive pretraining한다. 각 시장 message는 26 token이고, 500-message window의 layer state 65,536차원과 residual stream 256차원을 probe한다. random-weight twin과 visible order-book snapshot을 baseline으로 둔다.
| 검사 | 저자 보고 | 제한·반례 |
|---|---|---|
| OFI L1, W=500 | state R² 0.59; random 0.01; book 0.12 | layer 3에서 peak, 중간 layer에서 거의 소실 후 일부 회복 |
| Traded volume / volatility | R² 0.50 / 0.51 | book depth는 stale snapshot 0.64가 state 0.38보다 우수 |
| 기여 시간척도 | 소수 long-memory head의 half-life 28–66 messages | 500-message 전체를 균등 보존한다는 뜻 아님 |
| Causal rollout | volume steering: median 25 → 187 shares at α=+2.4 | OFI는 sell side 일부, volatility는 null band; 내부 belief와 외부 생성 분리 |
| 미래 예측 | 다음 25-message mid-price R² ≈ 0.04 | visible book과 동급, H≈100 이후 신호 없음 |
두 미관측 종목에도 일부 표현이 일반화했지만, OFI R²는 종목별로 크게 달랐고 META·MSFT에서는 거의 0이었다. 따라서 “world model”은 현재 dynamics의 내부 표현과 제한적 causal steerability를 뜻할 뿐, 강한 가격 예측기나 거래전략을 뜻하지 않는다.
회수·서빙·스트리밍 판단의 공통 설계 원리
Local RAG
문서 포함 여부가 아니라 위치별 answerability curve와 worst-position accuracy를 측정하고 prompt 배치를 최적화한다.
고동시성 inference
state와 buffer를 함께 계수해 sequence당 memory를 줄이고, batch별 p95·TPOT로 periodic update의 이득을 검증한다.
시장·과학 simulator
state probe와 causal steering으로 시나리오를 만들되, rollout과 실제 환경 제약을 별도 verifier로 검사한다.
온디바이스 스트리밍
음성·비전·센서 state를 저정밀로 유지하면서 drift detector가 필요할 때 reset·재열람·고정밀 전환을 호출한다.
연구 제안 ETRI/Physical AI에서는 센서 state의 decodability, planner의 evidence access, actuator 결과의 causal effect를 한 시험계에서 연결할 수 있다. 로봇 고수준 계획과 edge 운영지능에는 유용하지만 시장 state steering이나 언어 회수 결과는 저수준 제어 안전성을 입증하지 않는다.
State contract가 아직 답하지 못한 것
- 과제별 기억 한계: 같은 state size에서 어떤 정보는 오래 남고 어떤 정보는 prompt 위치나 rare burst 때문에 사라지는가?
- 망각·비사용 탐지: state에 신호가 없어진 것과 신호가 있지만 readout이 쓰지 않는 것을 온라인에서 구분할 수 있는가?
- adaptive period: fixed dP=8 대신 head decay, uncertainty, workload에 따라 rounding period를 안전하게 바꿀 수 있는가?
- 장기 세션 drift/reset: quantized recurrent state의 오염이 사용자·작업 간 전파되지 않도록 어떤 reset·checkpoint 정책이 필요한가?
- 공정 비교: 동일 데이터, prompt, tokenizer, context, quantization, kernel, batch, hardware에서 attention·SSM·hybrid를 비교해야 한다.
- 개입의 외부 타당성: latent direction steering이 simulator 밖 실세계에서 인과적으로 같은 의미를 가지는가?
- 한국어 전문업무: position curve, 4-bit state, 근거 회수, 오류 복구를 함께 측정하는 한국어 장문 benchmark가 부족하다.
가장 중요한 미해결점은 내부 상태 지표와 실제 성공률 사이의 보정 함수다. 높은 probe R²나 낮은 state drift가 어느 정도의 task success를 보장하는지 아직 알 수 없다.
네 층의 State Contract와 검증 가능한 예산
제안 다음 세대 hybrid system은 압축 state, 필요한 구간의 attention, 주소 가능한 외부 evidence memory를 결합해야 한다. state drift·position risk·causal mismatch가 커질 때만 state rank, attention window, precision, verifier 호출을 늘리는 adaptive budget이 핵심이다.
| 계약 층 | 측정 | 실패 시 대응 |
|---|---|---|
| Representation | probe R², exact contribution, unseen-domain transfer | state dimension·transition·training objective 수정 |
| Numerical integrity | state drift, error half-life, bits/value, reset frequency | period·group·head precision 적응 |
| Access | full position curve, worst-position gap, prompt sensitivity | evidence relocation·selective attention·external recall |
| Causal outcome | belief shift, rollout success, constraint violation, recovery | verifier·rollback·safe controller 분리 |
종합 해석 앞으로의 경쟁은 가장 작은 state를 가진 모델이 아니라 필요한 정보가 언제 사라지고 언제 쓰이지 않는지를 감지해 예산을 재배분하는 시스템에서 벌어질 가능성이 크다. 기억은 tensor의 크기가 아니라 검증 가능한 기능이다.
References & provenance
- Behera, Solanki & Anand, “Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering”. 최초 공개 2026‑10‑22, arXiv v1; NeurIPS 2026 PriGM workshop 채택. PDF.
- Haller, Laitenberger & Akbik, “PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States”. 최초 공개 2026‑10‑21, arXiv v1; 현재 학회 발표 기록 없음. PDF.
- Mohl et al., “Understanding the Inner Workings of a State-Space Foundation Model for Limit Order Books”. 최초 공개 2026‑10‑20, arXiv v1; ICAIF 2026, 관련 DOI 10.1145/3858063.3858862.
- Lahoti et al., “Mamba‑3”. 최초 공개 2026‑03‑16, ICLR 2026; exponential–trapezoidal discretization, complex state, MIMO 배경.
- Amini et al., “LFM2 Technical Report”. 최초 공개 2025‑11‑28, v1. LFM2의 gated short convolution·GQA hybrid와 hardware-in-the-loop 배경.
- Lee et al., “Understanding and Enhancing Mamba-Transformer Hybrids”. 최초 공개 2025‑10‑30, v1. sequential/parallel hybrid와 paraphrase data 배경.
- Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”. 최초 공개 2023‑12‑01; 2025년 이전 배경 연구.