긴 문맥을 읽기 전에
무엇을 바꾸어야 하는가

PART 01 · DEFINITION

세 개의 설계 계층을 구분한다

Mamba는 선택적 상태공간 아키텍처이며, LFM은 Liquid AI의 모델군이다. LFM2는 게이트 단거리 합성곱과 일부 GQA를 결합한 별도 하이브리드다. 이번 연구들이 Mamba 관련이라는 이유로 LFM2에 그대로 소급 적용되지는 않는다.

PART 02 · PROBLEM DEFINITION

같은 상태 예산으로 더 유용한 궤적을 남기는 문제

공통 문제는 품질을 최대화하면서 p95 지연, 피크 메모리, 에너지, 안정성 제약을 만족하는 다목적 설계다. 그러나 제어변수는 상태 차원만이 아니다.

편집 해석 LogSig-SSM은 시퀀스를 상태에 넣기 전에 표현을 압축하고, MaRK는 문맥 c에 따라 연산자 자체를 바꾸며, 분산 SSM 분석은 업데이트 그래프 G의 이질성을 제약에 포함한다. “O(1) 순환 상태”는 이 전체 문제의 한 항일 뿐이다.

PART 03 · CORE CONCEPTS

토큰 압축, 연산자 조건화, 구조 인지 수렴

경로의 로그시그니처

다변량 시계열 경로의 signature는 순서가 있는 반복적분으로 변화의 기하를 표현한다. log-signature는 중복을 줄인 좌표계다. LogSig-SSM은 여러 길이의 창에서 이를 계산하고 연결해 하나의 토큰으로 만든다.

이 방식은 원시 길이 T를 그대로 scan하지 않고 stride와 window로 더 짧은 토큰열을 만든다. 정보 손실 가능성은 사라지지 않으며, 창 길이·stride·truncation depth가 새로운 기억 예산이 된다.

문맥에 따른 상태전이

일반 selective SSM은 h_t=Ā_th_t−1+B̄_tx_t, y_t=C_th_t로 쓸 수 있다. MaRK는 diffusion timestep의 context를 이용해 frozen Hydra SSM의 A, B, C, D, Δ를 bounded low-rank map으로 변조한다. 이는 추론 중 온라인 학습이 아니라 학습된 조건부 연산자 선택이다.

아키텍처 인지 분산학습

분산 SSM 연구는 recurrent stability, 입력 의존 이산화, state projection norm이 gradient smoothness와 FedAvg/FedProx 수렴 경계에 들어간다고 분석한다. 즉 client heterogeneity와 local update 수를 일반적인 통계 문제만이 아니라 SSM 동역학과 결합해 본다.

PART 04 · INTRODUCTION

선형시간 이후의 질문

초기 Mamba 논의는 attention의 이차 prefill과 선형 KV cache를 피하는 연산 복잡도에 집중했다. 이후의 연구는 “고정 크기 상태가 무엇을 잊는가”와 “상태 추적에 어떤 고유값·이산화가 필요한가”를 물었다. 이번 세 연구는 그 질문을 모델 블록 밖으로 확장한다.

편집 해석 흐름은 “더 싼 sequence operator”에서 “어떤 정보를 어떤 동역학으로, 어떤 학습 시스템에서 보존할 것인가”로 이동한다.

PART 05 · MOTIVATION AND BACKGROUND

원시 길이와 유효 길이는 다르다

표준 full attention의 prefill은 길이에 대해 이차 연산을 요구하고 KV cache는 선형으로 증가한다. 고정 상태 순수 SSM은 총 선형 연산과 길이에 독립적인 순환 상태를 제공하지만, 이것이 무한 정보를 완전 보존한다는 뜻은 아니다.

시계열에서는 더욱 복잡하다. 높은 샘플링률, 불규칙 간격, 채널 간 상호작용은 긴 토큰열의 길이와 과제에 필요한 정보량을 분리한다. LogSig-SSM의 동기는 모든 샘플을 동일한 토큰으로 취급하지 않고 경로의 국소 기하를 먼저 요약하는 것이다. MaRK의 동기는 입력 주입이나 activation modulation만으로는 frozen SSM의 시간 동역학 자체가 고정된다는 문제다. 분산 연구의 동기는 동일한 최적화 알고리즘이라도 SSM의 안정성·선택성에 따라 local update의 위험이 달라질 수 있다는 점이다.

PART 06 · CHALLENGES

효율의 위치를 바꾸면 실패의 위치도 바뀐다

1. 압축 전 손실: 중요한 순간이 window summary에 흡수되면 후단 SSM은 복구할 수 없다.
2. 과제별 토큰화: 최적 window·stride·signature depth가 센서와 과제마다 달라 architecture search 비용이 생긴다.
3. bounded modulation의 표현력: 안정성을 위한 제한이 급격한 regime change에 필요한 operator 변화를 억제할 수 있다.
4. 조건부 동역학의 검증: loss 향상이 기억 커널의 올바른 적응을 뜻하는지, 단순 parameter-efficient fitting인지 분리해야 한다.
5. 분산 이질성: 데이터 분포, sequence length, 상태 초기화, local step이 동시에 다르면 정리의 해석이 어렵다.
6. 커널과 실제 지연: 토큰 수 감소와 선형 복잡도가 CPU/GPU/NPU의 p95, 메모리 이동, 전력, 전처리 비용을 자동 보장하지 않는다.

효율을 입력 전처리로 옮기면 압축 오류가, operator로 옮기면 안정성 오류가, 분산학습으로 옮기면 client drift가 핵심 실패모드가 된다.

PART 07 · RESEARCH QUESTIONS

세 계층을 분리하고 다시 결합하는 질문

PART 08 · APPROACHES (METHODS)

세 연구의 방법과 결과를 조건까지 읽는다

A. LogSig-SSM: scan하기 전에 경로를 요약

저자 주장 다중척도 windowed log-signature를 연결하고 선형 projection한 뒤 Mamba block에 입력한다. UEA, PPG-DaLiA, Weather, PhysioNet Sepsis의 네 범주에서 SSM·continuous-time baseline과 비교했다. EigenWorms(길이 17,984)에서 저자 표 기준 LogSig-SSM은 RTX 4090 한 장에서 1,000 training steps당 4초, 362MB, 정확도 95.3%를 기록했고 raw-input Mamba는 122초, 13,486MB, 70.9%였다. [3]

이는 약 30배 시간, 37배 메모리 차이라는 저자 요약의 근거다. 다만 모델 하이퍼파라미터와 token sequence 길이가 달라 Mamba kernel 자체의 동일조건 가속으로 읽으면 안 된다. 효율은 주로 scan 전 시퀀스 단축에서 온다. tokenization CPU 비용은 UEA에서 한 training run의 약 0.1–1.5%로 보고됐다.

B. MaRK: 입력이 아니라 연산자를 조건화

저자 주장 111M parameter frozen 23-layer Hydra-BERT SSM에 Hypernet, Chebyshev, DCT 세 adapter geometry를 적용한다. trainable auxiliary parameter는 6.3–11.0M이며, Chebyshev가 5개 validation corpus 평균 CART loss 2.55로 DCT 2.59와 Hypernet 3.77보다 낮았다. WikiText ablation에서는 Δ-only 3.92, A-only 3.44, B·C-only 3.06, full 2.55가 보고됐다. [5]

batch 8, sequence 4096, A100-SXM4-80GB에서 frozen Hydra 267.43ms 대비 Chebyshev 309.74ms(+15.8%)라는 저자 측정도 있다. 이 결과는 parameter efficiency와 bounded recurrence의 가능성을 보이지만, 대형 autoregressive LLM 또는 Mamba-3의 직접 검증은 아니다.

C. Distributed selective SSM: 구조를 수렴식에 넣기

저자 주장 단일·다층 selective SSM의 gradient/smoothness bound와 FedAvg/FedProx convergence bound를 도출하고, teacher SSM 합성 실험 및 여섯 text domain의 Mamba2 language modeling에서 9개 federated algorithm을 비교한다. [6]

초록 수준에서 핵심 기여는 수렴에 영향을 주는 recurrent stability, input-dependent discretization, state projection norm을 명시한 것이다. 다만 현재 공개본은 프리프린트이며, 정리의 가정이 실제 다층·저정밀·부분참여 환경을 얼마나 포괄하는지는 추가 검증이 필요하다.

PART 09 · KEY APPLICATIONS

센서 스트림에서 협업 엣지까지

연구 제안 로봇과 설비의 저수준 제어 신호를 무조건 토큰화하기보다, 안전 중요 이벤트는 원본 evidence buffer에 보존하고 정상 구간만 다중척도 경로 토큰으로 압축한다. 고수준 계획 상태는 SSM이 유지하되 불확실성이 커지면 원증거를 재조회한다. 저수준 폐루프 안전성은 별도 제어 검증 대상으로 둔다.

PART 10 · OPEN PROBLEMS

압축과 적응이 만든 새로운 감사 문제

• 과제별 기억 한계: 어떤 log-signature depth와 window가 충분한지 사전에 알기 어렵다.
• 망각 위치 추적: 오류가 tokenization, recurrent state, operator modulation 중 어디서 시작됐는지 구분해야 한다.
• 장기 session drift: bounded operator라도 반복 조건화와 저정밀 계산에서 누적오차가 생길 수 있다.
• 증거 보존: 압축 토큰만으로 원관측의 감사·재현·설명을 수행할 수 없다.
• 공정 비교: 원시길이, 유효 token 수, 상태차원, precision, hardware, batch, 전처리 시간을 함께 공개해야 한다.
• 분산 보안: 이질적 client의 poisoning과 상태 오염이 recurrent dynamics를 어떻게 증폭하는지 알려져 있지 않다.
• 한국어 전문업무: 텍스트·센서가 섞인 장기 산업 로그에서 근거 회수와 상태추적을 동시에 재는 공개 benchmark가 부족하다.

압축률보다 먼저 측정해야 할 것은 “무엇을 잃었는지 탐지하고 원증거로 돌아갈 수 있는가”다.

PART 11 · FUTURE DIRECTIONS

적응형 기억 예산을 갖는 계층형 협업지능

창의적 연구 제안 세 계층을 결합한 evidence-preserving adaptive SSM을 제안한다. 정상 구간은 multi-scale path token으로 압축하고, 충돌·희귀사건·불확실성 상승 시 token budget과 상태차원을 늘린다. operator modulation은 안정성 certificate 안에서만 허용하고, 중요한 원관측은 외부 증거 메모리에 시점·출처와 함께 보존한다.

최종 해석 다음 연구 경쟁력은 “Mamba인가 attention인가”라는 이분법보다 정보를 압축하는 규칙, 상태를 바꾸는 규칙, 여러 장치가 함께 학습하는 규칙을 하나의 검증 가능한 시스템으로 만드는 능력에서 갈릴 가능성이 크다. LFM 계열에도 유사한 평가축은 적용할 수 있지만, 구조 적용 여부는 별도의 공식 근거와 실험으로 확인해야 한다.