같은 “효율 모델” 안의 서로 다른 계보
사실 Mamba는 입력 의존 selective state space model(SSM)이고, LFM은 Liquid AI가 개발한 foundation model 제품군이다. KronLSTM은 Kronecker Delta Rule을 사용하는 recurrent linear-attention/xLSTM 계열이며, BLD는 recurrence–attention 하이브리드의 사전학습 절차다.
두 종류의 간섭
- 상태 내부 간섭(intra-state interference): 새 key–value 연상을 쓰거나 잘못된 연상을 수정할 때, 이미 저장된 다른 연상까지 바뀌는 현상.
- mixer 간 학습 간섭(inter-mixer interference): 하이브리드의 한 mixer가 특정 기능을 먼저 학습해 손실을 낮추면, 다른 mixer에 그 기능을 학습시킬 gradient가 약해지는 현상.
해석 첫 문제는 “하나의 기억 장치 안에서 무엇을 건드리는가”, 둘째는 “여러 장치 사이에서 누가 무엇을 배우게 되는가”의 문제다. 층위는 다르지만 둘 다 유용한 정보를 보존하면서 필요한 부분만 바꾸는 선택성을 요구한다.
긴 이력·낮은 비용·높은 정확도의 동시 달성
공통 목표는 모델 품질 Q를 최대화하되 실제 시스템의 꼬리 지연, 메모리, 에너지 예산을 넘지 않는 것이다.
subject to p95-latency ≤ L*, peak-memory ≤ M*, energy/successful-task ≤ E*
여기서 U는 기억 갱신 규칙, S는 mixer의 배치와 학습 스케줄이다. KronLSTM은 U를 바꾸고, BLD는 S를 바꾼다. 단순히 FLOPs가 작은 연산자를 고르는 것만으로는 두 간섭을 해결할 수 없다.
압축의 딜레마
고정 크기 상태는 이력 길이와 독립적인 메모리로 decode할 수 있지만, 서로 다른 과거를 같은 유한 상태로 압축해야 한다. 정확 회수와 압축 효율은 자연스럽게 충돌한다.
분업의 딜레마
recurrence와 attention을 함께 넣어도 자동으로 최적 분업이 생기지 않는다. 더 빨리 배우는 경로가 손실을 먼저 낮추면, 더 적합할 수 있는 경로가 학습 기회를 잃는다.
해석 따라서 연구 질문은 “Mamba냐 attention이냐”가 아니라 어떤 정보는 상태에 압축하고, 어떤 정보는 직접 접근하며, 그 분업을 학습 중 어떻게 유도할 것인가다.
기억의 선택성은 두 번 필요하다
Mamba selective SSM: 입력별 기억·망각·읽기
사실 선택성은 입력에 따라 무엇을 상태에 쓰고, 얼마나 잊고, 무엇을 읽을지 조절하는 것이다. 추론 중 모델 가중치를 다시 학습하는 뜻이 아니다. 순환 상태가 시퀀스 길이와 무관하다는 말도 무한 정보를 완전히 보존한다는 뜻이 아니다.
KronLSTM: matrix memory의 한 방향만 표적 수정
메모리 S는 key 방향과 value 방향의 연상을 담는 행렬이다. 저자들은 forgetting, erasing, writing을 분리한 다음 갱신을 제안한다.
− βt(vt⊤StFtkt)vtkt⊤
+ ctvtkt⊤
Ft는 key 방향별 forget gate, βt는 erase gate, ct는 write gate다. erase 항은 현재 key–value 방향의 잔차를 고치되 matrix 공간의 한 rank-one 방향만 건드린다. 키·값을 정규화하고 gate를 bounded하게 두어 저자들이 분석한 non-expansive 영역에 머물도록 설계한다.
Competing Learning: 기능을 먼저 배운 경로가 gradient를 바꾼다
KDA와 softmax attention이 섞인 작은 하이브리드에서 KDA가 짧은 거리 패턴을 더 빨리 배우고 회수 기능도 선점했다. KDA를 일시 동결하자 attention의 회수 기여와 gradient norm이 커졌고, 충분히 일찍 분업이 바뀐 경우 KDA를 다시 풀어도 attention의 우위가 강화됐다.
해석 선택성은 inference의 gate에만 있는 것이 아니다. 학습 스케줄도 어느 모듈이 어떤 기능을 획득할지 선택하는 meta-gate로 볼 수 있다.
효율 연산자 연구에서 기억–학습 공동 설계로
2023–2024년의 질문이 “attention의 이차 비용을 어떻게 줄일까?”였다면, 2025–2026년의 질문은 “유한 상태가 무엇을 잃고, 여러 mixer가 어떤 기능을 담당하며, 그 결과가 실제 하드웨어에서 남는가?”로 이동하고 있다.
Mamba-3는 exponential–trapezoidal 이산화, 복소수 상태, MIMO를 통해 표현력과 state tracking을 강화했다. Mamba–Transformer 하이브리드 연구는 sequential/parallel 배치와 paraphrase 데이터가 회수에 미치는 영향을 분석했다. MemMamba는 상태 요약과 교차 계층·토큰 attention을 통해 장거리 망각을 보완했다. 이번 신규 연구는 여기에 두 조절점을 보탠다.
- 쓰기의 기하: 새 정보를 어느 matrix 방향에 얼마나 국소적으로 반영할 것인가.
- 학습의 시간: recurrence와 attention 중 누가 언제 회수 기능을 먼저 배울 것인가.
해석 이는 “좋은 연산자들의 합 = 좋은 하이브리드”라는 순진한 가정을 무너뜨린다. 구성요소의 개별 능력만큼 기억의 수정 범위와 기능 획득 순서가 중요하다.
복잡도 표어를 넘어서
| 계열 | Prefill/총 연산 | Decode 상태·캐시 | 오해하면 안 되는 점 |
|---|---|---|---|
| 표준 full attention | 길이 n에 대해 전형적으로 O(n²) | KV cache O(n), 새 토큰 attention O(n) | GQA는 KV 계수를 줄이지만 길이 의존을 없애지 않는다. |
| 고정 상태 순수 SSM | 전체 길이에 선형 | 순환 상태는 길이와 무관 | 유한 상태가 모든 과거를 정확히 회수하는 것은 아니다. |
| recurrent linear attention | 전체 길이에 선형 | 고정 크기 matrix state | 쓰기 규칙에 따라 association interference와 용량이 달라진다. |
| SSM/recurrence + attention hybrid | 배치·window·attention 비중에 따라 다름 | 순환 상태와 KV가 공존 | attention을 넣는 것만으로 최적 기능 분업이 생기지 않는다. |
| LFM2 | gated short convolution + 일부 GQA | attention 층에는 KV가 남음 | 모델 전체를 O(1) 메모리·완전 선형이라 부르면 안 된다. |
배경 Mamba 원 논문은 2023년 최초 공개, 2024년 학회 발표된 배경 연구다. LFM2 Technical Report는 2025년 11월 28일 v1, Mamba-3는 2026년 3월 16일 v1로 공개됐으며 2026년 10월 21일 확인 시 추가 개정은 표시되지 않았다. KronLSTM과 Competing Learning은 모두 2026년 10월 19일 v1 preprint이며, 현재 정식 학회 발표 기록은 확인되지 않는다.
두 간섭을 줄이면 새 난제가 드러난다
① 압축과 정확 회수
국소적 수정이 불필요한 교란을 줄여도 유한 matrix에 저장 가능한 독립 연상 수에는 한계가 있다. interference 감소와 capacity 증가는 같은 말이 아니다.
② 기억과 상태 추적
문장을 되찾는 recall과 parity·modulo처럼 상태를 반복 갱신하는 과제는 다르다. KronLSTM은 회수에 강했지만 Mamba-3는 modulo arithmetic에서 앞섰다.
③ 장문맥 외삽
8K 학습 뒤 16K NIAH에서 대부분 모델의 절대 점수가 크게 하락했다. “선형 복잡도”는 훈련 길이 밖 정확성 보장이 아니다.
④ 스케줄 민감도
BLD의 효과는 언제, 얼마나 오래 recurrence를 동결하는지에 좌우된다. 규모·데이터·optimizer가 바뀌면 first-mover가 달라질 수 있다.
⑤ 저정밀 누적 오차
forget–erase–write gate와 matrix state를 INT8/INT4로 축소할 때 작은 오차가 장기적으로 누적되는 양상이 미검증이다.
⑥ 커널과 실제 지연
이론상 선형 scan과 rank-one update도 CPU/GPU/NPU에서 메모리 이동·kernel fusion·batch 크기에 따라 속도 순위가 바뀐다.
⑦ 효과 분리
아키텍처, 데이터, 증류, curriculum, optimizer, freezing의 효과를 분리하지 않으면 더 나은 점수의 원인을 잘못 귀속할 수 있다.
⑧ 실세계 안전
기억이 조용히 오염됐을 때 탐지·reset·외부 증거 대조가 없으면 장기 agent와 Physical AI에서 오류가 누적될 수 있다.
“누가 기억할까?”를 측정 가능한 질문으로
- 동일 메모리 예산: SSM vector state, associative matrix, local KV, 외부 증거 저장소에 어떤 정보를 배정해야 총 회수 오류가 최소인가?
- 최소 attention 비중: 장거리 정확 회수를 위해 필요한 full/sliding/segment attention의 최소 비중과 최적 층 배치는 무엇인가?
- 수정의 선택성: rank-one 표적 수정이 반복 key, 모순된 사실, 다중 값 연상에서 언제 residual accumulation을 일으키는가?
- 표현력–병렬성: 구조화 상태 전이와 복소수·MIMO 표현력을 높이면서 parallel scan과 kernel 효율을 유지할 수 있는가?
- 동적 분업: 고정 freezing 대신 mixer별 gradient, attribution, retrieval head 수를 보고 스케줄을 온라인 조절할 수 있는가?
- 저정밀 안정성: 양자화된 장기 state의 spectral drift와 association collision을 어떤 지표로 조기 탐지할 것인가?
- 외적 타당도: 합성 state-tracking·NIAH가 실제 RAG 근거 회수와 agent 성공률을 얼마나 예측하는가?
- 운영 효율: 같은 성공률에서 p95 지연, 피크 메모리, 실제 단말의 성공 작업당 Joule이 얼마나 줄어드는가?
새 결과: 무엇이 좋아졌고, 무엇은 남았나
A. KronLSTM — 표적 기억 수정
실험 조건 저자들은 순수 recurrent linear 모델과 5:1 linear:SWA 하이브리드를 비교했다. SWA window는 2,048, pretraining context는 8K, 모델은 1.5B, 학습은 FineWeb-Edu 100B tokens와 Llama2 tokenizer를 사용했다. appendix의 공정 비교 설명에 따르면 corpus, tokenizer, optimizer, schedule, batch size, seed를 맞추고 mixer block만 바꿨으며, 16 nodes × 4 NVIDIA GH200, FSDP2, bf16에서 훈련했다.
| 설정 · 모델 | Downstream Avg-6 ↑ | LAMBADA ppl ↓ | 2K Recall Avg-6 ↑ |
|---|---|---|---|
| Linear · Mamba-3 | 57.31 | 12.95 | 28.41 |
| Linear · KronLSTM | 59.72 | 11.72 | 30.31 |
| Hybrid(SWA) · Mamba-3 | 58.54 | 13.01 | 36.96 |
| Hybrid(SWA) · KronLSTM | 59.56 | 11.18 | 37.40 |
표 1. KronLSTM 논문의 저자 보고값. Avg-6은 5개 commonsense 과제와 LAMBADA accuracy 평균, recall은 SWDE·SQuAD·FDA·TriviaQA·NQ·DROP 평균. 다른 규모·데이터·하드웨어·정밀도에는 그대로 일반화할 수 없다.
저자 보고 KronLSTM은 위 네 지표 묶음에서 Mamba-3보다 높은 평균 정확도 또는 낮은 perplexity를 기록했다. 그러나 이는 모든 과제의 우위가 아니다. state tracking에서 KronLSTM과 GDN은 parity·S3에서 Mamba-3보다 앞섰으나, Mamba-3는 modulo arithmetic에서 가장 강했다.
8K로 훈련한 NIAH를 16K에 평가하면 양 모델 모두 많은 열에서 크게 하락했다. 예컨대 linear Mamba-3의 MQ는 4K 20.0에서 16K 5.3, KronLSTM은 47.2에서 12.7로 낮아졌다. KronLSTM이 상대적으로 앞서는 열이 있어도, 절대적 장기 회수 문제는 남는다.
B. Better Layer Division — 학습 순서로 분업 유도
분석 실험 Spaced Retrieval은 5개 숫자 토큰을 gap 64 또는 8,192 뒤에 복사하는 합성 과제다. 3.6M 모델은 KDA 2층과 attention 2층으로 구성됐다. KDA를 동결하자 attention의 회수 기여가 빠르게 증가했고, attention gradient norm은 동결을 전혀 하지 않은 baseline의 약 10배까지 커졌다고 저자들은 보고한다.
BLD는 자연어 pretraining 초기에 recurrence block을 동결해 attention이 회수 기능을 먼저 배우게 한 뒤, recurrence를 다시 풀어 다른 기능에 특화하도록 유도한다. 자연어 실험은 180M–1B KDA–attention 모델, 3:1 recurrence:attention, “Attention–KDA–KDA–KDA” 배치, NoPE, DCLM, Qwen3 tokenizer, 16,384 context를 사용했다. KDA 동결 기간은 이후 unfrozen pretraining 구간의 약 1/10이다.
| 모델 | LM loss ↓ | CSR ↑ | Recall ↑ | RULER ↑ | LongPPL ↓ |
|---|---|---|---|---|---|
| 1B KDA hybrid · Vanilla | 2.8744 | 48.69 | 36.50 | 32.75 | 7.69 |
| 1B KDA hybrid · BLD | 2.8680 | 49.45 | 38.14 | 36.04 | 6.50 |
| 400M GDN hybrid · Vanilla | 3.1947 | 43.23 | 17.33 | 12.33 | 152.84 |
| 400M GDN hybrid · BLD | 3.1624 | 43.90 | 32.05 | 25.42 | 11.77 |
| 400M GLA hybrid · Vanilla | 3.2911 | 41.19 | 24.58 | 23.98 | 32.69 |
| 400M GLA hybrid · BLD | 3.2113 | 43.20 | 30.12 | 28.54 | 13.26 |
표 2. Competing Learning 논문의 zero-shot 저자 보고값. CSR은 7개 과제, Recall은 6개 과제 macro average, RULER는 1K–16K의 57 task–length 조합 평균이다.
저자 보고 BLD는 모든 규모에서 LM loss, Recall, RULER, LongPPL을 개선했다. 하지만 CSR은 180M에서 37.76→37.49, 510M에서 44.80→44.49로 소폭 악화했다. “모든 지표의 일관된 향상”이라고 쓰면 과장이다. 510M head 분석에서 BLD 모델은 높은 α를 가진 retrieval head가 3개, vanilla는 1개로 관찰됐다.
C. 두 방법을 연결하면
해석 KronLSTM은 한 mixer가 기억을 수정하는 방식을, BLD는 여러 mixer가 기능을 나눠 갖는 방식을 바꾼다. 하나는 operator-level, 다른 하나는 optimization-level 개입이다. 둘을 독립 축으로 factorial design하면 “좋은 갱신 규칙”과 “좋은 분업 스케줄”의 상호작용을 처음으로 분리 측정할 수 있다.
정확히 고치고, 역할을 나눠야 하는 시스템
온디바이스 보조기
대화·음성·비전 스트림을 유한 상태로 유지하면서, 중요한 사실 수정은 표적 update로 처리하고 정확 근거는 제한된 attention이 담당하는 구조.
로컬 RAG
recurrence는 세션 흐름, attention은 현재 evidence span, 외부 store는 인용 가능한 원문을 맡게 하여 압축 기억과 증거 기억을 분리한다.
스트리밍 분석
설비·로그의 장기 baseline은 상태로 압축하고, 이벤트 구간은 직접 접근하며, 모순된 신규 측정이 들어오면 특정 association만 수정한다.
장기 agent
목표·제약·도구 상태는 recurrence, 문서·행동 근거 회수는 attention/RAG에 특화하도록 학습하고 attribution으로 분업 붕괴를 감시한다.
간섭을 줄이는 것과 기억을 이해하는 것은 다르다
- 과제별 기억 한계: 유한 vector/matrix state가 정확히 보존할 수 있는 독립 사실·상태의 수를 실제 언어에서 추정할 방법이 없다.
- 망각 탐지: 언제 중요한 정보가 덮였는지, 언제 attention/external memory로 우회해야 하는지 online confidence가 부족하다.
- 장기 drift와 reset: 수만–수백만 step 세션에서 gate bias, 양자화 오차, 잘못된 update가 누적될 때 부분 reset 규칙이 필요하다.
- 반복 key·모순: KronLSTM 논문도 반복 noise key에서 residual accumulation 가능성을 지적한다. 동일 entity의 시간변화·모순 사실은 더 어렵다.
- 분업의 안정성: BLD로 생긴 retrieval head가 post-training, distillation, quantization 뒤에도 유지되는지 알려지지 않았다.
- 공정 비교: 데이터·token budget·seed·optimizer·정밀도·kernel·하드웨어를 통제한 Mamba-3, KronLSTM, GDN, attention 비교가 필요하다.
- 실세계 안전: 상태 오염, 통신 단절, 센서 누락, 적대 입력에서 탐지·복구·근거 추적이 필요하다.
- 한국어 전문업무: 교착어 형태, 긴 전문명, 숫자·단위·코드 혼용에서 association memory와 retrieval specialization이 유지되는지 검증이 없다.
범위 제한 모든 숫자는 저자 보고다. KronLSTM은 1.5B/100B-token 중심, BLD는 최대 1B이며 둘 다 v1 preprint다. 독립 재현, 다양한 하드웨어, 에너지, p95 지연, 한국어, 실제 RAG·agent 성공률은 아직 보고되지 않았다. 어느 모델이 모든 조건에서 우월하다고 결론낼 수 없다.
간섭 예산을 운영하는 계층형 기억 시스템
연구 제안 다음 세대는 압축 상태 + 필요한 구간 attention + 외부 증거 메모리를 결합하고, 상태 내부 간섭과 mixer 간 간섭을 하나의 controller가 감시해야 한다.
Interference-aware write
새 update가 기존 association의 margin과 memory spectrum을 얼마나 바꾸는지 예측해, 표적 수정·새 slot·외부 저장 중 하나를 고른다.
Adaptive division curriculum
고정 동결 대신 mixer attribution·gradient·retrieval head 수를 모니터링해, 특정 기능이 독점될 때만 해당 경로의 학습률을 낮춘다.
Elastic memory budget
평상시에는 작은 state로 동작하고 정확 회수·안전 검증 순간에만 attention window, 외부 evidence, state rank를 늘린다.
Evidence-aware recovery
상태와 외부 근거가 충돌하면 압축 상태를 신뢰하지 않고 재검색·부분 replay·부분 reset을 수행한다.
제안 실험: 2 × 3 × 2 공동 설계
| 축 | 수준 | 측정 목적 |
|---|---|---|
| 기억 갱신 | Mamba-3 / KronLSTM | 상태 표현력과 association interference 분리 |
| 학습 스케줄 | vanilla / BLD / adaptive BLD | 기능 분업과 first-mover 효과 분리 |
| 정밀도 | BF16 / INT8 또는 INT4 | 장기 state drift와 실제 단말 효율 검증 |
동일 corpus·tokenizer·token budget·seed·optimizer·kernel 수준을 맞추고, 단순 perplexity 외에 다음을 함께 보고해야 한다.
- 정확 회수율, state-tracking, 모순 수정, 반복 key stress test
- 훈련 길이 안/밖의 context generalization과 세션 drift
- p50·p95 latency, peak memory, 성공 작업당 Joule
- retrieval head 수, mixer attribution, gradient allocation, 망각 탐지율
- RAG 근거 회수율, agent 성공률, 오류 복구율, 안전 위반률
최종 해석 효율적 시퀀스 모델의 다음 진전은 더 작은 FLOPs 하나에서 나오지 않을 가능성이 크다. 무엇을 고칠지, 누가 회수할지, 언제 외부 증거로 되돌아갈지를 공동 최적화할 때 비로소 긴 이력·낮은 비용·높은 정확도의 삼각형을 좁힐 수 있다.