Event Time Is Memory: Adaptive Mamba Hawkes Processes

이번 갱신의 핵심은 새로운 모델 이름이 아니다. 규칙적 토큰열을 위해 설계된 선택적 SSM을 불규칙 사건시간의 확률모형으로 바꾸는 설계 원리다.

검증 사실 arXiv:2407.05302은 2024년 7월 7일 v1으로 최초 공개됐고, 2026년 10월 29일 v2로 대폭 개정됐다. 개정판은 ACM Web Conference 2026의 정식 논문과 동일한 제목·저자·DOI를 제시한다.

저자 주장 MHP/A-MHP가 다섯 데이터셋에서 기존 TPP 기준선을 능가하고, MHP가 THP보다 1.07–6.20배 높은 학습 처리량을 보였다고 보고한다. 수치는 모두 저자 보고이며 독립 재현 결과가 아니다.

01Definition

LFM, Mamba, Hawkes Process를 같은 이름으로 묶지 않는다

LFM은 Liquid AI의 모델군, Mamba는 선택적 상태공간 아키텍처, Hawkes Process는 사건의 발생시간과 상호작용을 조건부 강도로 표현하는 시간 점과정이다.

LFM / LFM2 / LFM3

Liquid AI의 세대별 모델군이다. LFM2의 입력 의존 게이트 단거리 합성곱과 일부 GQA, LFM3의 tri-hybrid 구조는 각 세대의 공식 문서에 한정해 설명해야 한다. LFM = LTC = LNN = Mamba라는 동일시는 틀리다.

Mamba

입력에 따라 상태 쓰기·망각·읽기를 조절하는 selective SSM이다. 선택성은 추론 중 가중치를 새로 학습한다는 뜻이 아니다. 현재 입력으로 이미 학습된 전이 계수를 조절한다는 뜻이다.

Temporal Point Process

사건 이력 H_t가 주어졌을 때 단위시간당 사건 발생률 λ_k(t | H_t)를 모델링한다. 사건 순서뿐 아니라 사건 사이의 실제 시간 간격이 핵심 정보다.

MHP / A-MHP

MHP는 Δ_j=t_j−t_j−1를 Mamba의 이산화 간격으로 사용한다. A-MHP는 이 간격을 이력에 따라 다시 스케일링하고, 사건 내용과 시간을 상태 쓰기 경로에 함께 넣는다.

범위 경계 MHP/A-MHP의 결과는 temporal point process에 대한 것이다. 이를 일반 언어 Mamba, Mamba-3, LFM2 또는 LFM3 전체의 성능으로 소급할 수 없다.

02Problem Definition

사건은 같은 간격으로 오지 않고, 같은 1초도 같은 의미가 아니다

표준 시퀀스 모델은 흔히 토큰 위치 1, 2, 3을 규칙적 시간축처럼 다룬다. 그러나 금융 주문, ICU 기록, 장애 알람, 로봇 접촉은 불규칙하게 도착한다. 또한 대규모 주문 뒤의 1초와 평온한 구간의 1초는 시스템에 같은 영향을 주지 않는다.

maximize Quality(M) subject to p95 latency ≤ L, peak memory ≤ R, energy/task ≤ E
while modeling {(tⱼ,kⱼ)} with non-uniform Δⱼ = tⱼ − tⱼ₋₁

공통 설계 문제는 정확도·긴 이력·낮은 추론비용을 동시에 만족하는 다목적 최적화다. TPP에서는 여기에 사건시간의 확률적 적합도와 다음 사건 종류·시간 예측이 추가된다.

Full attention은 prefill에서 문맥 길이에 대해 이차 연산, KV cache에서 선형 메모리, 한 토큰 decode attention에서 이력 길이에 선형인 읽기 비용을 갖는다. 고정 상태의 순수 SSM은 총 선형 연산과 길이에 독립적인 순환 상태를 가질 수 있지만, 이것이 무한한 과거를 손실 없이 저장한다는 뜻은 아니다. GQA 역시 KV 계수를 줄일 뿐 길이 의존을 없애지 않는다.

03Core Concepts

선택적 상태와 조건부 강도를 하나의 사건 구동 동역학으로 연결한다

3.1 selective SSM의 기본식

hₜ = Āₜ hₜ₋₁ + B̄ₜ xₜ, yₜ = Cₜ hₜ

입력 의존 Ā_t, B̄_t, C_t는 현재 입력마다 기억·망각·읽기를 조절한다. 순환 상태 크기가 문맥 길이와 무관하더라도 상태가 유한한 이상 장거리 정확 회수와 압축 사이의 충돌은 남는다.

3.2 Hawkes/TPP의 조건부 강도

λₖ(t | Hₜ) ≥ 0, f(t)=λ(t) exp(−∫ₜₙᵗ λ(τ)dτ)

λ_k는 지금까지의 사건 이력에 조건부인 k형 사건의 순간 발생률이다. 논문은 Softplus intensity head를 사용하고, event type cross-entropy와 time MSE를 로그우도에 결합한다.

3.3 MHP: Δ를 위치 임베딩이 아니라 전이시간으로 사용

A(tⱼ)=exp(ΔⱼA)
B(tⱼ)=(ΔⱼA)⁻¹(exp(ΔⱼA)−I)·ΔⱼB(tⱼ)
hⱼ=A(tⱼ)hⱼ₋₁+B(tⱼ)xⱼ

Δ_j가 길어질수록 안정적인 A에서는 과거 상태가 더 많이 감쇠한다. 사건 종류 x_j는 B와 C를 조절한다. 따라서 무엇이 일어났는가와 얼마 만에 일어났는가가 동일한 상태전이 안에서 결합된다.

3.4 A-MHP: 시간척도와 상태 쓰기를 적응화

lⱼ = GRU(xⱼ,lⱼ₋₁), Δ′ⱼ = Δⱼ·Softplus(Wₗᵀlⱼ+bₗ)
B̃ⱼ = σ([Wc xⱼ ; Wτ Δ′ⱼ]) ⊙ B₀

Time-Scaling은 이력이 같은 물리적 간격을 다르게 해석하도록 만들고, Dual-Channel은 사건 의미와 스케일된 시간을 상태 쓰기에 공동 반영한다. d_state=16 중 사건 채널과 시간 채널을 2:1로 나눈다.

04Introduction

이번 갱신은 2024년 초안의 단순 연장이 아니다

2024-07-07: arXiv v1 최초 공개. 저자 3명, 제목 Mamba Hawkes Process, MHP와 Transformer 결합형 MHP-E를 제안한 배경 자료.
2026 WWW: ACM Web Conference 2026 정식 논문. 제목·저자 5명·DOI 10.1145/3774904.3792583, 10쪽, pp.7464–7473.
2026-10-29: arXiv v2 공개. 정식 논문 제목과 저자 구성을 반영하고, MHP-E 대신 A-MHP, 이론적 두 proposition, 새 실험·ablation·throughput를 포함.

검증 사실 2025년 이후 연구 범위에서 이 논문은 2024년 최초 공개된 배경 연구이자 2026년 학회 정식 발표·대폭 개정된 현재 근거로 병기해야 한다. 최초 공개일을 2026년으로 바꾸면 안 된다.

해석 연구 흐름은 “attention을 더 싼 연산자로 대체한다”에서 “상태가 실제 시간·사건 의미를 어떻게 추적하며, 어떤 하드웨어 조건에서 유효한가”로 이동하고 있다. MHP는 이 이동을 언어 밖의 비동기 시스템에서 보여주는 사례다.

05Motivation and Background

왜 attention보다 연속시간 상태가 자연스러운가

Hawkes Process는 사건이 오면 상태가 순간적으로 바뀌고, 사건 사이에서는 영향이 연속적으로 감쇠한다고 본다. SSM도 연속시간 동역학을 이산화해 상태를 갱신한다. 두 모델은 “사건 사이의 잠복 동역학 + 사건 시점의 갱신”이라는 공통 구조를 가진다.

전통 Hawkes

해석 가능한 triggering kernel을 갖지만 비선형성·상호 억제·고차 상호작용 표현에 한계가 있다.

RNN TPP

복잡한 이력을 학습하지만 긴 의존성과 병렬 학습에서 병목이 생긴다.

Transformer TPP

전역 상호작용에 강하지만 긴 사건열에서 이차 attention 비용과 context dilution 문제가 남는다.

Selective SSM TPP

선형 scan과 고정 크기 상태를 제공하지만, 희소한 중요 사건과 이질적 시간척도를 압축 상태가 얼마나 보존하는지 검증이 필요하다.

저자 보고 실험 조건

Dataset	평균 길이 / 유형 수	d_model / batch	의미
Financial	2074.0 / 2	128 / 1	가장 긴 사건열, 장기 의존성과 처리량 차이를 보기 쉬움
StackOverflow	72.4 / 22	512 / 4	다유형 사용자 행동
Synthetic	60.3 / 5	64 / 4	통제된 사건 생성 과정
Retweet	108.8 / 3	64 / 16	정보 확산·응답 이벤트
MIMIC-II	3.7 / 75	64 / 1	매우 짧고 유형이 많은 임상 사건열

공통 설정: d_state 16, d_conv 4, expand 2, 4 layers, RTX 3090 24GB. 데이터셋별 학습률·loss weight는 다름. 저자 보고.

06Challenges

시간을 넣는 것과 시간을 이해하는 것은 다르다

난제	MHP/A-MHP의 대응	남은 검증 공백
불규칙 도착	실제 Δ_j로 SSM 이산화	센서 clock drift, 누락·중복 event, timestamp uncertainty
이질적 시간척도	GRU 기반 Δ′_j 적응화	scale factor의 calibration·해석 가능성·분포 밖 안정성
내용–시간 결합	Dual-Channel B̃_j	사건 2/3·시간 1/3 분할의 보편성
장거리 정확 회수	고정 상태 selective scan	희소한 결정적 사건이 상태 압축에서 사라지는지 탐지
저정밀·양자화	논문 범위 밖	반복 전이의 누적 오차와 장기 세션 drift
시스템 효율	training events/s 보고	p95 latency, peak memory, Joule/event, CPU/NPU kernel

핵심 한계 논문의 “sequence length에 불변하며 성능 저하 없이 매우 긴 열로 일반화한다”는 설명은 실험 범위보다 강하다. 고정 상태는 길이에 독립적인 메모리 비용을 뜻할 뿐, 무한 이력의 완전 보존을 보장하지 않는다.

07Research Questions

다음 연구가 답해야 할 질문

동일한 상태 메모리에서 어떤 사건을 반드시 보존하고, 어떤 사건을 안전하게 잊을 수 있는가?

적응형 time scaling은 실제 물리적 시간척도를 복원하는가, 아니면 단지 예측 손실을 줄이는 잠재 게이트인가?

정확 회수를 위해 필요한 최소 attention 비중과 배치는 사건 희소도·유형 수·위험도에 따라 어떻게 달라지는가?

상태전이 표현력과 병렬 학습·실기기 kernel 효율 사이의 Pareto frontier는 어디인가?

4/8-bit 상태에서 긴 비동기 세션의 수치 안정성과 reset 정책은 어떻게 검증해야 하는가?

합성 state-tracking·TPP likelihood 향상이 실제 agent/로봇 임무 성공률과 어떤 상관을 갖는가?

실제 단말에서 성공 사건예측당 Joule과 오류복구 비용은 Transformer TPP보다 낮은가?

08Approaches (Methods)

방법, 결과, 제한을 한 줄로 연결해 읽는다

8.1 이론적 연결: special case이지 동일성이 아니다

저자 증명 대각 A=diag(−ω_r), impulse input, 선형 비음수 readout이라는 특정 구성에서 MHP가 multi-exponential Hawkes kernel을 회복함을 보인다. 또한 A=−ωI, B=ωI이면 지수 감쇠 게이트 RNN 형태로 축약된다.

hᵢ = e^−ωΔᵢ hᵢ₋₁ + (1−e^−ωΔᵢ)xᵢ

해석 이는 MHP가 고전 Hawkes와 연속시간 RNN을 포함하는 공통 좌표계를 제공한다는 뜻이다. 모든 Mamba가 Hawkes Process이거나, Softplus를 쓴 실제 A-MHP가 고전 Hawkes와 동일하다는 뜻은 아니다.

8.2 저자 보고 정량 결과

모델	Financial LL	SO LL	Synthetic LL	Retweet LL	MIMIC-II LL
THP	−1.11	−0.04	0.79	−2.04	0.48
MHP	1.25	0.40	1.05	0.83	1.46
A-MHP	1.33	0.42	1.08	1.07	1.62

Table 1의 log-likelihood. 높은 값이 우수. 저자 보고이며 데이터 전처리·seed·분산의 독립 재현이 필요.

Dataset	THP events/s	MHP events/s	저자 보고 speedup	해석 경계
Financial	1,167.40	5,088.59	4.36×	평균 길이 2074, batch 1
StackOverflow	20,203.13	21,608.38	1.07×	차이가 작음
Synthetic	8,064.19	15,562.60	1.93×	평균 길이 60.3
Retweet	12,733.84	78,983.22	6.20×	batch 16
MIMIC-II	302.12	494.26	1.64×	평균 길이 3.7, batch 1

처리량은 RTX 3090 24GB의 training events/s다. decode p95, end-to-end ingestion, 메모리, 전력, NPU 성능으로 일반화하면 안 된다.

8.3 Ablation이 보여주는 상보성과 반례

Financial에서 MHP LL 1.2469 → DC 1.3153 → TS 1.3250 → DC+TS 1.3272로 상승하고, RMSE는 0.5956 → 0.5631로 낮아졌다. SO에서도 결합형 RMSE 0.9835가 가장 낮다. 그러나 Synthetic·Retweet에서는 MHP 단독이 일부 지표에서 더 낫거나 추가 모듈이 이득을 주지 않았다. 복잡성이 늘면 항상 좋아진다는 증거는 아니다.

8.4 공개 코드의 재현성 경계

코드 확인 공개 저장소는 MHP/A-MHP 실행 명령, 5개 데이터셋 경로, ablation 스크립트, d_state=16과 4-layer 설정을 제공한다. 그러나 2026-11-01 확인 기준 results 디렉터리에는 `.gitkeep`만 있고, 데이터는 외부 Neural Hawkes 저장소에서 별도 내려받아야 한다. 이는 “코드 공개”와 “결과를 즉시 재현 가능한 패키지”가 같지 않음을 뜻한다.

09Key Applications

토큰보다 사건이 먼저인 시스템

Predictive maintenance

설비 알람·진동 이상·부품 교체가 불규칙하게 발생한다. A-MHP는 사건 종류마다 다른 감쇠율을 학습하는 후보가 된다.

Healthcare monitoring

검사·진단·투약·vital event의 시간 간격을 함께 모델링한다. 임상 의사결정에는 calibration, subgroup, censoring 검증이 추가로 필요하다.

Network operations

장애, 복구, 트래픽 spike, 보안 event의 상호 촉발과 억제를 스트리밍으로 추적한다.

Financial event streams

주문·취소·체결 사이 시간과 장기 유동성 영향을 함께 표현한다. 수익성·시장충격 검증은 논문 범위 밖이다.

ETRI / Physical AI 연구 제안 센서 상태 추적, 로봇 고수준 계획, 엣지 운영지능에서 “사건-시간 기억”을 사용한다. 예: 접촉 상실 → 재접촉 → force spike의 시간 간격을 상태에 반영해 오류복구 정책을 고르는 연구. 다만 저수준 제어 안정성과 안전성은 별도 실시간 제어 검증을 거쳐야 한다.

온디바이스 텍스트·음성·비전 보조, 로컬 RAG, 스트리밍 분석은 여전히 주요 응용이지만 MHP의 직접 근거는 비동기 사건열이다. LFM 계열의 온디바이스 주장과 MHP의 TPP 결과를 하나의 실험 결과처럼 섞으면 안 된다.

10Open Problems

likelihood가 높아도 운영지능이 안전해지는 것은 아니다

유한 상태의 과제별 기억 한계: 사건 유형 수·이력 길이·필요 정밀도에 따른 최소 상태 차원을 이론·실험으로 함께 규명해야 한다.
망각 탐지: 중요한 사건이 상태에서 사라졌음을 출력 오류 전에 감지하는 confidence probe가 필요하다.
세션 drift/reset: 수일·수개월 스트림에서 state contamination과 적응적 reset 기준을 검증해야 한다.
재현 가능한 공정 비교: 동일 데이터 split, 전처리, seed, batch, precision, kernel에서 THP·MHP·hybrid를 비교해야 한다.
정량 불확실성: 표는 단일 값 중심이며 confidence interval과 seed variance가 없다.
훈련 길이 밖 일반화: 평균 길이가 긴 Financial 하나만으로 “극장기” 일반화를 확정할 수 없다.
한국어 전문업무: 한국어 산업 로그·의료 사건·네트워크 사건의 taxonomy와 시간 해상도에 대한 벤치마크가 부족하다.
실세계 안전: 분포 변화, 누락 timestamp, 통신 단절, adversarial event injection을 포함한 실패 모드가 검증되지 않았다.

과장 방지 어느 모델도 모든 조건에서 우월하다고 결론 내릴 수 없다. 논문의 비교모델·모델 크기·GPU·문맥 분포·정밀도·batch가 달라지면 결과도 달라질 수 있다.

11Future Directions

사건시간을 기억 예산으로 바꾸는 계층형 시스템

11.1 압축 상태 + 필요 구간 attention + 외부 증거 메모리

제안 평상시에는 A-MHP형 압축 상태로 스트림을 처리하고, 망각 위험이나 이상 사건이 감지될 때만 국소 attention으로 관련 구간을 재검토한다. 감사·설명·복구에 필요한 원본 사건은 외부 evidence store에 남긴다.

11.2 적응형 기억 예산

사건 밀도·불확실성·위험도가 커질 때 state rank, attention window, 외부 retrieval 횟수를 늘리고 안정 구간에서 줄인다. 고정 O(1) 상태가 아니라 필요할 때만 기억을 확장하는 bounded adaptive memory를 목표로 한다.

11.3 결과 중심 벤치마크

축	필수 지표	시험 조건
품질	LL, event Acc, time RMSE, calibration, 근거 회수율	길이·희소도·유형 수별 분해
시스템	p50/p95/p99, peak memory, 성공 예측당 Joule	CPU/GPU/NPU, batch 1, 동일 precision
복원력	오류복구율, reset precision, state contamination	누락·중복·지연·통신 단절
실세계	임무 성공률, false intervention, 안전 위반	장기 로봇·설비 실증

11.4 ETRI 온디바이스 협업지능 검증 단계

Stage A · 공정 기준선: 동일 학습데이터·양자화·하드웨어에서 THP, MHP, Mamba-3 기반 대안, hybrid 비교.
Stage B · 교란 시험: state 오염, timestamp jitter, 센서 누락, 통신 단절, 장기 무사건 구간 주입.
Stage C · 폐루프 실증: 고수준 계획과 이상대응에서 human override, 오류복구율, 성공 작업당 에너지 측정.
Stage D · 안전 분리: 저수준 제어는 검증된 제어기·안전감시기와 분리하고 MHP는 조언·예측 계층부터 적용.

최종 해석 MHP v2의 가장 큰 의미는 Mamba가 attention의 대체재라는 주장이 아니다. 기억을 토큰 수가 아니라 사건 사이의 실제 시간과 의미로 설계할 수 있다는 것이다. 다음 승부는 더 긴 상태가 아니라, 언제 잊고 언제 원본 증거로 되돌아갈지를 검증 가능한 규칙으로 만드는 데 있다.

SRCPrimary Sources and Notes

출처·공개일·개정일

Dai et al., Mamba Hawkes Process for Event Sequence Modeling. arXiv v1 최초 공개 2024-07-07(배경), v2 개정 2026-10-29. arXiv · PDF v2
ACM Web Conference 2026 공식 기록. 학회 발표연도 2026, pp.7464–7473, DOI 10.1145/3774904.3792583. DOI
공개 구현 저장소. MHP/A-MHP, 실행·ablation 설정. 2026-11-01 확인. GitHub
Gu & Dao, Mamba. 최초 공개 2023-12-01(배경 원논문). arXiv
Lahoti et al., Mamba-3. 최초 공개 2026-03-16. 본 글의 비교 배경이며 MHP 실험의 비교모델은 아님. arXiv
Zuo et al., Transformer Hawkes Process. ICML 2020 배경·비교 기준선. PMLR
Liquid AI, LFM2 Technical Report. 최초 공개 2025-11-28. MHP와 별개인 LFM 모델군의 구조 경계 확인용. arXiv
Liquid AI, Introducing LFM3. 2026-10-27 공식 제품 발표·모델 문서이며 논문이 아님. Official blog

조사 기준일: 2026-11-01 KST. 실험 수치는 원 논문의 저자 보고이며, 독립 재현·외부 검증과 구분했다. 실행일 이후 자료는 포함하지 않았다.