기억은 얼마나 남는가보다
어떤 위상으로 만나는가가 중요하다

PART 01 · DEFINITION

Oscillatory Mamba는 ‘회전하며 감쇠하는 기억’이다

확인된 사실 Mamba-3는 각 2차원 rotary state pair에 대해 decay–rotation 전이를 사용한다. 감쇠 계수 ρ_t는 반지름을 줄이고, 입력 의존 각도 θ_t는 방향을 바꾼다.

이 전이는 복소수 표기로 ρ_te^iθ_t와 같다. 선택성은 입력별 기억·망각·읽기·위상 조절이며, 추론 중 모델 가중치를 다시 학습한다는 뜻이 아니다. 또한 길이에 독립적인 순환 상태 크기는 무한 정보를 손실 없이 보존한다는 뜻이 아니다.

PART 02 · PROBLEM DEFINITION

긴 기억의 양이 아니라 누적의 기하를 최적화한다

공통 설계 목표는 정확도와 장거리 회수를 높이면서 p95 지연, 피크 메모리, 에너지를 제한하는 것이다. 이번 연구는 품질 함수에 state geometry와 write–read compatibility를 추가한다.

편집 해석 기억 문제는 “얼마나 남기는가”와 “남은 정보가 새 입력과 어떤 각도로 만나는가”의 공동 최적화다. 같은 retention modulus라도 모든 update가 같은 방향으로 더해지면 상태 크기가 커질 수 있고, 적절한 회전은 누적 방향을 분산할 수 있다.

PART 03 · CORE CONCEPTS

복소 고유값은 두 기억 모드를 함께 움직인다

선택적 SSM의 기본식

Mamba-1/2에서 감쇠는 주로 각 상태 성분의 크기를 조절한다. Mamba-3는 Ā_t=ρ_tR(θ_t)를 통해 상태 방향까지 입력 의존적으로 바꾼다.

회전에서 underdamped system으로

시간 간격 Δ_t에 대해 감쇠율 a_t=−logρ_t/Δ_t, 각주파수 ν_t=θ_t/Δ_t로 두면 연속시간 생성자는 −aI+νJ가 된다. 한 좌표 H를 제거해 쓰면 다음 2차 방정식과 같다.

ν≠0이면 0<ζ<1이므로 underdamped regime이다. 감쇠가 envelope를, 위상이 진동 주파수와 방향을 정한다. overdamped 전이는 장기적으로 느린 단일 고유방향에 지배될 수 있지만, scaled rotation은 공통 반지름 감쇠 아래 상대 각도와 길이 비를 보존한다. 이는 “정보량 보존”이 아니라 “상태 기하의 퇴화 완화”라는 더 좁은 주장이다.

PART 04 · INTRODUCTION

Mamba-3의 회전은 장식인가, 계산 자원인가

Mamba-3 기술보고서는 exponential–trapezoidal discretization, 복소수 상태, MIMO를 통해 표현력과 inference efficiency를 함께 개선하려 했다. 그러나 복소수 전이에서 회전이 단지 retention을 재표현한 것인지, 실제 상태추적에 필요한 독립 계산 자원인지는 분리되지 않았다.

새 연구는 이 질문을 세 층위에서 다룬다. 첫째, 수학적으로 decay–rotation을 underdamped dynamics에 대응한다. 둘째, 동일한 coupled 2D state를 유지하면서 damping regime만 바꾼다. 셋째, 사전학습 모델에서 phase를 제거·반전·섞어 실제 long-context prediction이 learned phase에 의존하는지 본다.

비용 경계 표준 full attention은 prefill 연산이 길이에 대해 이차적이고 KV cache가 선형으로 증가하며, decode 한 토큰의 attention은 이력 길이에 선형이다. 고정 상태 순수 SSM은 총 scan 연산이 선형이고 순환 상태 크기가 길이에 독립적이다. 그러나 이 글의 phase 결과만으로 모든 hybrid model이나 LFM2 전체가 O(1) 메모리·완전 선형이라고 말할 수 없다.

PART 05 · MOTIVATION AND BACKGROUND

양의 감쇠만으로는 cyclic state를 표현하기 어렵다

ICLR 2025의 negative-eigenvalue 연구는 finite-precision linear RNN에서 양의 고유값만으로 parity를 풀 수 없고, modulo-3에는 비삼각 전이가 필요함을 보였다. Mamba-3는 이를 복소수 공액 고유값과 입력 의존 회전으로 확장해 순환적 상태를 2차원 평면 안에서 표현한다. [3]

연구 흐름 효율적 operator를 만드는 단계에서, 어떤 기억 모드가 남고, 서로 어떤 위상을 유지하며, 새 update와 어떻게 합성되는가를 설계하는 단계로 초점이 이동하고 있다.

지속적인 동일 update u에 대해 회전 없는 상태는 ‖u‖/(1−ρ)까지 커질 수 있다. 회전이 있으면 정상상태 크기는 ‖u‖/|1−ρe^iθ|로 바뀐다. 즉 ρ가 1에 가까워도 θ가 0이 아니면 constructive accumulation을 조절할 수 있다. 다만 실제 다층 모델의 안정성을 이 단순 고정계수 식 하나로 보장할 수는 없다.

PART 06 · CHALLENGES

위상은 표현력을 주지만 새로운 취약점도 만든다

• 회수와 압축의 충돌: 유한 상태는 모든 과거를 보존할 수 없고, 회전은 용량 자체를 무한히 늘리지 않는다.
• 기억과 상태추적의 차이: 사실을 오래 보관하는 과제와 매 token 규칙에 따라 상태를 갱신하는 과제는 다른 능력이다.
• phase aliasing: 저정밀 각도·주파수와 긴 누적 길이는 wraparound, cancellation, kernel 오차에 민감할 수 있다.
• 쓰기–읽기 좌표 불일치: B_t가 기록한 좌표와 C_t가 읽는 좌표가 어긋나면 retained state가 있어도 사용할 수 없다.
• 훈련 길이 밖 일반화: 2K에서 학습한 phase schedule이 64K에서도 유효한지 모델 규모·데이터별로 달라질 수 있다.
• 원인 분리: phase, 데이터, 최적화, state size, MIMO rank, kernel 구현의 효과를 분리해야 한다.
• 실제 지연 격차: 복소 회전과 exp/trapezoidal kernel이 CPU·GPU·NPU에서 이론 연산량만큼 효율적인지는 별도 측정이 필요하다.

phase 개입으로 성능이 붕괴했다는 사실과, 처음부터 phase 없이 학습한 모델이 불안정하다는 주장은 구분해야 한다. 논문에서도 비진동 모델은 안정적인 length extrapolation을 보였고, 단지 평균 성능이 낮았다.

PART 07 · RESEARCH QUESTIONS

다음 실험은 ‘위상이 필요한 순간’을 찾아야 한다

1. 동일한 state dimension과 memory budget에서 어떤 정보에 phase channel을 배정해야 하는가?
2. parity 같은 cyclic state tracking과 실제 agent/코드 실행 성공률의 상관은 얼마나 강한가?
3. attention을 최소로 섞는다면 phase-aware SSM layer 앞·뒤·병렬 중 어디에 배치해야 하는가?
4. 4/8-bit state와 angle quantization에서 장기 phase drift를 어떤 invariant로 감지할 수 있는가?
5. write–read phase compatibility를 학습 중 규제하면 회수율과 안정성이 함께 좋아지는가?
6. SISO와 MIMO에서 phase 개입 민감도가 다른 이유는 rank, readout, state mixing 중 무엇인가?
7. 실제 단말에서 성공 작업당 Joule과 p95 latency는 accuracy gain을 정당화하는가?

연구 제안 단순 PPL 곡선 대신 phase corruption budget을 점진적으로 늘리고, 오류가 발생한 token 위치·state norm·회수 근거를 함께 기록하는 phase stress test가 필요하다.

PART 08 · APPROACHES (METHODS)

동일 구조 비교와 개입 실험을 연결한다

1 · Damping regime control

연구진은 다음 생성자를 사용해 underdamped, critically damped, overdamped를 같은 2차 상태 안에서 비교했다. state dimension, input/readout, input-update rule은 유지하고 κ_t의 부호만 바꾼다.

저자 보고 · scaled accuracy(%). d_model=64, state dimension=64, batch=256, 10,000 steps, 길이 curriculum 최대 160, 길이 224 평가. 이 합성 과제 결과를 일반 언어 이해 성능으로 직접 치환할 수 없다.

2 · From-scratch pretraining

187M·444M 모델을 각각 FineWeb-Edu 100B token, 2K context로 학습했다. BF16, global batch 256이며 FP32 parameter/optimizer state를 사용했다. PG-19은 최대 64K에서 평가했다.

저자 보고 oscillatory model은 두 규모 모두 PG-19에서 더 낮은 perplexity를 보였고 444M에서 긴 길이일수록 차이가 커졌다. 그러나 187M의 LongBench-E와 표준 downstream 평균은 비진동 모델이 각각 0.23, 0.20 높았다. 어느 조건에서도 일관된 절대 우월성을 뜻하지 않는다.

3 · Pretrained phase interventions

공식 1.5B SISO/MIMO checkpoint에서 phase removal, reversal, shuffle을 적용하되 decay는 보존했다. 64K PG-19에서 SISO native PPL 20.60은 removal 851.49(41.33×), reversal 1526.52(74.10×)로 증가했다. MIMO native 20.52는 removal 309.36(15.08×), reversal 73.89(3.60×)였다.

저자 해석 phase 제거 시 history–update cosine similarity와 state RMS norm이 16K·64K에서 모두 증가했다. 이는 rotation이 constructive accumulation을 완화한다는 정황이다. 단, pretrained oscillatory model의 좌표계를 사후 훼손한 결과이므로 처음부터 phase 없이 학습한 모델과 같은 비교가 아니다.

마지막 100 token에서 writing B 또는 readout C 한쪽의 phase만 제거하면 둘 다 제거할 때보다 PPL 손상이 컸다. 이는 기억의 존재뿐 아니라 쓰기와 읽기의 phase coordinate 호환성이 중요함을 지지한다.

PART 09 · KEY APPLICATIONS

주기·위상·상태 전이가 있는 스트림에서 가치가 크다

ETRI / Physical AI 제안 센서 상태추적과 로봇 고수준 계획에서 phase-aware SSM을 사용하되, 원센서 evidence buffer와 안전 controller를 분리한다. phase state는 계획·운영지능의 압축 기억으로 사용하고, 저수준 폐루프 제어와 비상정지는 독립 안전 검증 대상으로 둔다.

PART 10 · OPEN PROBLEMS

회전이 기억을 돕는 경계를 아직 모른다

• 유한 상태의 과제별 한계: 필요한 독립 mode 수와 state pair 수를 예측하는 이론이 부족하다.
• phase failure detection: 값은 그럴듯하지만 좌표가 어긋난 상태를 online으로 검출하기 어렵다.
• 장기 drift와 reset: 누적 phase 오류가 언제 초기화·checkpoint·외부 메모리 조회를 요구하는지 불명확하다.
• 양자화 안정성: state norm뿐 아니라 angular error의 누적과 wraparound를 측정해야 한다.
• 규모 의존성: 187M과 444M의 LongBench-E 결과가 다르므로 phase benefit의 scaling law가 필요하다.
• 재현 가능한 공정 비교: 동일 데이터·token budget·state size·precision·kernel·hardware·batch가 필요하다.
• 실세계 안전: phase가 상태 오염을 완화하는지, 오히려 오류를 은닉하는지 장기 field test가 없다.
• 한국어 전문업무: 문서·대화·센서 로그가 섞인 한국어 산업 과제의 장기 근거 회수 benchmark가 부족하다.

phase가 있으면 성능이 좋아질 수 있다는 증거는 생겼지만, 언제 phase가 잘못되었는지를 아는 메커니즘은 아직 없다.

PART 11 · FUTURE DIRECTIONS

위상을 감시하고 기억 예산을 늘리는 계층형 시스템

창의적 연구 제안 phase-aware evidence memory를 제안한다. 기본 경로는 압축 recurrent state로 동작하고, phase drift·state norm·회수 불확실성이 임계값을 넘으면 필요한 구간의 attention window와 외부 증거 메모리를 연다. 정보량이 많아질 때는 state pair와 memory budget을 동적으로 늘리고, 안정 구간에서는 다시 축소한다.

최종 해석 연구의 이동 방향은 명확하다. 효율적 operator만 경쟁하는 시대에서 기억의 크기·방향·접근 좌표·외부 증거를 함께 공동 설계하는 시대로 가고 있다. Mamba-3의 oscillation은 그중 “방향”을 실험 가능한 설계축으로 만든다. LFM 계열에도 같은 평가 질문은 적용할 수 있지만, 실제 구조 적용 여부는 Liquid AI의 공식 보고와 별도 실험으로 검증해야 한다.