압축과 정확 회수
유한 상태는 긴 이력을 싸게 요약하지만, 희귀 사건의 시간·값·출처를 그대로 되살리는 데 한계가 있다. 정전 한 번을 기억하는 것과 다수 사건을 정확히 색인하는 것은 다르다.
THE CENTRAL QUESTION
긴 시간을 압축하는 연산자와 변수 사이 관계를 복원하는 연산자는 꼭 같아야 하는가?
2026년 11월 12일 공개된 Time Flies When You Parallelise는 답을 축별 분업에서 찾는다. ci-proto는 각 변수의 시간축을 Mamba-3로 처리하고, 같은 시점의 변수축만 attention으로 결합한다. 중요한 새 근거는 “Mamba가 빠르다”는 단일 주장보다 넓다. 저자들은 정확도·파라미터·동일 하드웨어 실행시간의 Pareto 관계와, 약 200만 분 전의 희귀 정전 사건을 이용하는 표적 회수를 함께 시험했다.
NEW PAPER · 2026-11-12TECHNICAL REPORTNEURIPS 2026 WORKSHOPAUTHOR-REPORTED RESULTS
형광 밑줄 범례
분홍 핵심 위험·반증 조건노랑 저자 주장·수치파랑 확인된 구조·사실초록 해석·연구 제안
색은 근거 수준이 아니라 읽기 우선순위를 표시한다. 본문에서는 [사실]·[저자 주장]·[해석]·[제안]을 별도로 표기한다.
PART 01
01
Definition
이름부터 분리해야 한다
LFM(Liquid Foundation Models)은 Liquid AI가 개발하는 모델군의 이름이다. Mamba는 입력 의존적 선택성을 상태공간 모델에 도입한 아키텍처 계열이다. Liquid Time-Constant Networks(LTC), Liquid Neural Networks(LNN), LFM, Mamba는 역사와 수학적 구성, 제품 범주가 서로 다르므로 LFM = LTC = LNN = Mamba라는 동일시는 틀리다.
사실2025년 LFM2 기술보고서가 공개한 구성은 입력 의존 게이트가 있는 단거리 합성곱과 일부 grouped-query attention(GQA)의 결합이다. 이 설명을 LFM의 모든 세대에 소급해서는 안 된다. 반면 ci-proto는 Liquid AI 모델이 아니라 Continuous Intelligence가 공개한 Mamba-3 기반 시계열 파운데이션 모델이다.
ci-proto는 여러 데이터셋을 사전학습하고 새 시계열에 확률적 예측을 제공하는 5개 크기(XS–XL)의 모델군이다. 각 블록은 (1) 변수별 시간 패치열에 적용되는 Mamba-3와 (2) 동일 패치 위치의 변수 관계를 처리하는 비대칭 그룹 attention을 번갈아 쌓는다. 따라서 “시간축 순환·변수축 attention”이 가장 정확한 한 줄 정의다.
PART 02
02
Problem Definition
공통 과제는 긴 이력을 읽으면서 낮은 추론비용과 높은 정확도를 동시에 만족하는 것이다. 예측 품질만 최대화하면 거대한 attention 모델이 유리할 수 있고, 비용만 최소화하면 필요한 사건을 압축 상태에서 잃는다. 따라서 실제 문제는 단일 점수 최적화가 아니라 다음의 제약된 다목적 설계다.
maximize Q(θ) subject to latencyp95(θ) ≤ L, peak-memory(θ) ≤ M, energy/task(θ) ≤ E, calibration-error(θ) ≤ C
시계열에는 한 가지 축만 있지 않다. 길이 T의 시간축과 변수 수 d의 변수축이 있다. 모든 토큰 쌍에 attention을 쓰면 시간 길이의 비용이 커지고, 변수별 독립 순환만 쓰면 변수 간 동조·선행·외생 영향이 사라진다. ci-proto의 가설은 비용이 큰 전역 상호작용을 모든 축에 쓰지 말고, 필요한 축에만 배치하자는 것이다.
해석이 연구의 핵심 새로움은 새로운 recurrent cell 하나보다 연산 예산의 배치 원리다. 시간에는 압축 상태, 변수에는 직접 비교를 허용해 “무엇을 길게 유지할지”와 “무엇끼리 즉시 상호작용할지”를 분리한다.
PART 03
03
Core Concepts
선택적 상태공간 모델: 입력마다 다른 기억 정책
Mamba 계열을 이해하는 최소 식은 다음과 같다.
ht = Āt ht−1 + B̄t xt, yt = Ct ht
선택성은 입력 xt에 따라 상태 전파 Āt, 쓰기 B̄t, 읽기 Ct가 달라져 기억·망각·읽기를 조절한다는 뜻이다. 이는 추론 중 모델 가중치를 다시 학습한다는 뜻이 아니다. 또한 순환 상태 크기가 길이 T와 독립이라는 말은 유한한 상태가 무한한 정보를 손실 없이 보존한다는 뜻이 아니다.
복잡도는 단계와 축을 나눠 말해야 한다
| 연산 방식 | prefill / 전체 문맥 | decode / 다음 스텝 | 메모리·주의점 |
|---|---|---|---|
| 표준 full attention | 시간 길이 T에 대체로 O(T²) | 한 토큰 attention은 이력 길이에 O(T) | KV cache는 O(T); GQA는 계수를 줄이지만 선형 길이 의존은 남음 |
| 고정 상태 순수 SSM | 총 O(T), 병렬 scan 가능 | 고정 크기 상태로 상수 크기 갱신 | 순환 상태는 T와 독립; 정보 용량은 유한 |
| ci-proto hybrid | 시간축은 Mamba-3; 패치 위치별 변수축 attention | 시간 상태는 재사용 가능 | attention-free·전체 O(1) 메모리라고 부를 수 없음 |
| LFM2 hybrid | gated short convolution + 일부 GQA | attention 층에는 KV 이력 의존 | 모델 전체를 완전 선형·O(1)로 주장하면 안 됨 |
ci-proto의 시간축 계산은 패치 수에 선형이지만, 변수축에서 일반적인 attention을 쓰므로 한 패치의 변수 수가 커지면 그 축의 비용은 커진다. “linear recurrence”는 시간축에 관한 진술이지, 모델의 모든 축과 모든 메모리에 관한 무조건적 진술이 아니다.
PART 04
04
Introduction
Time Flies When You Parallelise: Pareto-efficient Time Series Foundation Models with Linear Recurrences는 2026년 11월 12일 arXiv에 처음 공개된 기술보고서이며, NeurIPS 2026 Foundation Models for Temporal Systems 워크숍 문서로 제시된다. 저자들은 XS 3.49M부터 XL 167.19M까지 5개 ci-proto 모델을 공개하고, 100개 예측 과제로 구성된 fev-bench와 장문맥 표적 회수 시험을 보고했다.
저자 주장평가된 모델 집합 안에서 ci-proto 5종은 MASE/SQL과 파라미터 수 또는 동일 하드웨어 중앙 실행시간의 2차원 비교에서 Pareto frontier를 이룬다. XL의 산술평균 MASE는 1.387, SQL은 1.160, skill은 각각 0.408과 0.515로 보고된다.
하지만 “Pareto 효율”은 전 모델·전 작업의 절대 우월을 뜻하지 않는다. 어느 한 모델이 모든 시계열, 모든 지연 예산, 모든 정밀도에서 최선이라는 결론도 아니다. 이 수치는 저자 보고이며, 비교 정확도는 주로 공식 리더보드에서 가져오고 실행시간은 저자 환경에서 다시 측정했다.
검증 경계정확도와 실행시간이 완전히 같은 실험 파이프라인에서 모두 재현된 것은 아니다. Pareto membership은 선택된 지표·모델 집합·하드웨어·배치와 구현에 의존한다.
PART 05
05
Motivation and Background
2023–2024 배경에서 2025–2026 전환으로
배경 연구인 Mamba 원논문은 2023년 처음 공개되어 선택적 SSM과 hardware-aware scan을 결합했고, Mamba-2는 2024년 state space duality를 통해 구조와 병렬화를 정리했다. 이들은 본 조사 구간 이전이므로 배경으로만 사용한다. 2025년 ICLR에 발표된 Samba는 2024년 최초 공개된 SSM + sliding-window attention 결합으로, 압축 상태와 근거리 직접 접근의 상보성을 보여줬다.
2025년의 계산 한계 분석과 음의 고유값 연구는 “상태 크기가 고정이면 충분하다”는 단순 도식을 흔들었다. state tracking과 exact recall은 같은 능력이 아니며, 특정 유한상태 계산에는 상태 전이의 부호·복소/회전 역학·입력 의존성 구조가 중요하다. 2026년 Mamba-3는 exponential–trapezoidal discretization, 복소수 상태, MIMO를 통해 이런 표현력과 구현 효율의 균형을 다시 설계했다.
해석연구 흐름은 “attention보다 싼 연산자” 탐색에서 어떤 정보를 상태로 추적하고, 언제 직접 회수하며, 어느 하드웨어에서 실제 이득을 내는가라는 기억·상태추적·공동설계 문제로 이동하고 있다.
ci-proto는 이 전환을 시계열에서 구체화한다. Mamba-3의 상태 추적을 시간축에 쓰되, 모든 변수의 정보를 하나의 상태로 뭉개지 않고 변수축 attention을 남긴다. 미래에 미리 알려진 달력·가격·계획 입력은 역방향 시간 처리도 허용하지만, 예측 대상은 미래를 보지 못하도록 비대칭 접근을 유지한다.
PART 06
06
Challenges
기억과 상태 추적
추세·계절성·운영 모드를 갱신하는 능력과 과거 관측을 verbatim 회수하는 능력은 구분해야 한다. 하나의 합성 시험이 둘을 모두 대표하지 않는다.
저정밀 누적 오차
BF16/INT8/INT4 상태 갱신의 작은 오차가 수십만 스텝에 누적될 수 있다. ci-proto의 공개 실행시간은 FP32 추론이므로 저정밀 장기 안정성을 답하지 않는다.
훈련 밖 길이
XL은 최대 1,048,576 스텝 문맥으로 fine-tuning되었고 2,048,000 스텝까지 시험됐다. 이는 인상적이지만 임의 분포·임의 사건에서의 길이 외삽 보장은 아니다.
효과 분리
데이터 혼합, 합성 데이터, 모델 크기, 사후학습, test-time adaptation, Mamba-3 구조의 효과를 완전히 분해하지 않았다.
커널과 실제 지연
단일 H100 결과가 CPU·GPU·NPU에 자동 이전되지 않는다. 평균 또는 중앙 실행시간만으로 p95, 동시성, 시작 지연, 전력은 알 수 없다.
핵심 위험2백만 스텝을 처리했다는 사실과 2백만 스텝의 임의 정보를 기억한다는 주장은 전혀 다르다. 이 시험은 이전 정전 한 번이 미래 정전 형태를 알려주는 표적 과제이며, 40개 forecast window에서 수행됐다.
PART 07
07
Research Questions
- 동일 메모리 예산에서 무엇을 상태로 유지해야 하는가? 추세, 사건, 불확실성, 출처 중 어떤 정보가 과제 성공률을 가장 높이는가?
- 최소 attention 비중과 배치는 얼마인가? 변수 수·상관 구조·문맥 길이에 따라 attention을 어느 층과 패치에 넣어야 하는가?
- 표현력과 병렬 학습의 최적점은 어디인가? 복소/음의 고유값과 MIMO 전이가 scan 효율을 유지하면서 어떤 state-tracking 과제를 추가로 해결하는가?
- 저정밀 상태는 얼마나 오래 안정적인가? BF16, FP8, INT8, INT4에서 drift·calibration·rare-event recall이 언제 붕괴하는가?
- 합성 state tracking이 실제 agent 성공률을 예측하는가? 정전·장비 이상·통신 단절 합성 점수와 현장 작업 완료·복구의 상관은 어느 정도인가?
- 실제 단말의 성공 작업당 에너지는 얼마인가? 동일 데이터·양자화·하드웨어에서 Joule/success, p95, peak memory를 함께 비교하면 Pareto 순위가 유지되는가?
제안다음 벤치마크는 길이만 늘리지 말고 상태 오염, 반복 사건, 모순 공변량, 센서 결측, reset 시점을 함께 조작해야 한다. 그래야 “긴 입력 처리”와 “안전한 장기 상태 관리”를 분리해 측정할 수 있다.
PART 08
08
Approaches (Methods)
ci-proto: 시간과 변수에 다른 inductive bias
입력은 길이 32의 패치로 바뀌고 초기 표현은 H⁽⁰⁾ ∈ ℝᵈˣᴸˣᴰ가 된다. 각 블록은 시간 연산자 Tn와 변수 연산자 Vn를 번갈아 적용한다.
H⁽²ⁿ⁺¹⁾ = Tn(H⁽²ⁿ⁾), H⁽²ⁿ⁺²⁾ = Vn(H⁽²ⁿ⁺¹⁾)
Tn은 각 변수의 패치열에 동일 파라미터의 Mamba-3를 독립 적용한다. Vn은 같은 패치 위치의 변수들 사이에서 4-head 비대칭 그룹 attention을 수행한다. 목표 변수는 과거 전용·미래-known 공변량을 볼 수 있지만, 공변량은 목표를 역으로 보지 않는다. 9개 분위수(0.1–0.9)는 pinball loss로 학습된다.
| 모델 | 파라미터 | 블록 / 폭 D | 공통 상태 설정 | 학습 스텝 |
|---|---|---|---|---|
| ci-proto XS | 3.49M | 6 / 128 | Mamba-3 state 128 head dim 64 variable-attn heads 4 | 330k |
| S | 9.16M | 8 / 192 | 467.5k | |
| M | 28.61M | 10 / 320 | 700k | |
| L | 82.51M | 12 / 512 | 1.045M | |
| XL | 167.19M | 16 / 640 | 1.3585M |
학습 데이터는 Chronos 일부, 누수 필터링된 GIFT-Eval 사전학습 데이터, Gaussian process와 다변량 합성 과정을 섞는다. AdamW, 유효 배치 256, BF16 mixed precision/FP32 parameter, 모델별 8×NVIDIA H100 80GB가 보고됐다. 배포 시 효율이 학습 자원 효율을 자동 의미하지 않는다.
동일 조건에 가까워지기 위한 평가 설계
런타임은 단일 H100 80GB, 2×Intel Xeon Platinum 8480+ 호스트에서 FP32 추론으로 다시 측정했다. 100 forecast당 중앙시간을 사용하고 그림은 5회 실행의 평균·표준편차를 제시한다. 그러나 baseline 정확도는 주로 공식 leaderboard에서 가져왔다. test-time adaptation에는 차분, 분위수 정렬, 부호 반전 평균과 validation에서 맞춘 두 상수가 포함되며 test에서는 고정된다.
저자 주장2,048,000 스텝 문맥에서 ci-proto XL은 단일 H100 기준 약 8초·21GB로 이전 정전 패턴을 거의 정확히 회수했다. TiRex-2는 약 6초·5GB였지만 수천 스텝 범위에서만 회수했고, 5개 uncapped Transformer 중 4개는 2M 이전에 OOM, Chronos-2는 약 42초로 보고됐다.
관련 접근과의 연결
| 접근 | 핵심 방법 | 얻는 것 | 남는 제한 |
|---|---|---|---|
| LFM2 | hardware-in-the-loop 탐색, gated short convolution, 일부 GQA, Top-K distillation, curriculum·post-training | 온디바이스 지향 공동설계 | 세대 일반화 금지; hybrid 전체 O(1) 아님 |
| Mamba-3 | exponential–trapezoidal discretization, complex states, MIMO | 회전/추적 표현력과 효율 | 유한 상태의 exact recall 한계 |
| Samba | SSM + sliding-window attention | 장기 압축 + 근거리 직접 접근 | attention window 비용 |
| Hybrid 분석 | sequential/parallel 배치 비교, paraphrase data | 구조와 데이터 효과 탐색 | 학습 recipe와 구조 효과 분리 난도 |
| MemMamba | 상태 요약, cross-layer/token attention | 압축 상태의 회수 보완 | 추가 메모리·복잡도 |
| Negative-eigenvalue / structured transition | 부호·입력 의존·구조화 전이 분석 | parity와 state tracking 표현력 설명 | 합성 과제에서 실세계 전이 미확정 |
| ci-proto | 시간 Mamba-3 + 변수 attention | 축별 비용/상호작용 분리 | H100 중심, 일반 장기기억 미검증 |
PART 09
09
Key Applications
근거가 직접 닿는 활용
- 온디바이스·엣지 시계열 보조: 전력, 설비, 웨어러블, 음성·비전 특징 스트림의 장기 추세를 고정 상태로 유지하면서 관련 센서만 결합한다.
- 로컬 RAG의 시계열 버전: 순환 상태로 연속 흐름을 요약하고, 이상 사건의 원시 구간은 외부 증거 저장소에서 정확히 회수한다.
- 스트리밍 분석: 전체 이력을 매번 다시 읽지 않고 상태를 갱신해 예측·탐지·용량 계획을 수행한다.
ETRI·Physical AI로 확장할 연구 제안
제안공장·로봇·에너지 네트워크에서 각 센서의 시간축은 recurrent state로, 센서 간 물리 연결은 graph/sparse attention으로, 정비기록·경보 원문은 외부 evidence memory로 분리한다. 이는 ci-proto의 축별 분업을 물리 토폴로지까지 확장한 연구 가설이지, 논문이 입증한 제품 성능은 아니다.
센서 상태 추적, 로봇 고수준 계획, 엣지 운영지능은 자연스러운 후보지만 저수준 제어 안전성은 별도 검증 대상이다. 예측 오차가 곧바로 토크·속도 명령으로 연결되는 시스템에는 독립 안전제어기, 불확실성 임계값, fail-safe reset, human override가 필요하다.
PART 10
10
Open Problems
- 과제별 기억 한계: 주어진 state dimension에서 사건 수·정밀도·지연이 늘 때 정확 회수 한계는 어디인가?
- 망각 탐지: 모델이 필요한 정보를 잃었음을 스스로 감지하고 외부 메모리나 attention을 호출할 수 있는가?
- 장기 세션 drift/reset: 상태 오염을 언제 격리·복구·재초기화해야 하며, reset 전후의 calibration을 어떻게 보존할 것인가?
- 공정 비교: 동일 데이터, context policy, quantization, kernel, batch, hardware, warm-up, p95, peak memory로 다시 비교하면 Pareto front가 유지되는가?
- 변수 수 확장: 수천 센서에서 cross-variate full attention을 sparse/graph/routed 방식으로 바꿔도 정확도가 유지되는가?
- 실세계 안전성과 한국어 전문업무: 한국 산업 문서·설비 용어·불규칙 로그와 근거 회수에서 오류복구율이 충분한가?
해석ci-proto가 보여준 가장 중요한 미해결점은 역설적이다. 상태는 놀랄 만큼 오래 신호를 전달할 수 있지만, 바로 그렇기 때문에 잘못 들어간 상태가 얼마나 오래 시스템을 오염시키는지를 함께 측정해야 한다.
PART 11
11
Future Directions
계층형 기억: 압축·직접 접근·증거를 분리한다
압축 상태 + 필요한 구간 attention + 외부 증거 메모리의 3층 구조가 유망하다. 상태는 연속 추세와 운영 모드를 유지하고, attention은 불확실성이 커진 구간만 펼쳐 보며, 외부 메모리는 시간·출처가 필요한 사건 원문을 보존한다. 세 층이 같은 정보를 중복 저장하지 않도록 retrieval gate와 provenance를 함께 학습해야 한다.
적응형 예산: 기억이 필요할 때만 커진다
평상시에는 작은 state와 sparse cross-sensor interaction을 사용하다가, 이상 징후·분포 변화·회수 실패 신호가 나타날 때 state rank, attention window, 외부 검색 횟수를 늘리는 방식이다. 목표 함수는 평균 처리량이 아니라 성공 작업당 Joule, p95 지연, 근거 회수율, calibration, 오류복구율이어야 한다.
ETRI 단계적 검증 제안
- 통제 비교: 동일 학습데이터·파라미터 예산·양자화·하드웨어에서 Transformer, pure SSM, 축별 hybrid를 비교한다.
- 고장 주입: 상태 오염, 센서 stuck-at, 통신 단절, 순서 뒤바뀜, 장시간 결측, 잘못된 future-known covariate를 주입한다.
- 복구 시험: reset·checkpoint·external evidence recall 뒤 정확도와 calibration 회복시간을 측정한다.
- 장기 실증: 로봇·설비·마이크로그리드에서 수개월 운영하며 Joule/success, p95, peak memory, false alarm, 근거 회수율을 공동 보고한다.
- 안전 분리: 고수준 예측/계획과 저수준 안전제어를 분리하고 독립 검증 후 단계적으로 결합한다.
결론은 Mamba-3가 attention을 완전히 대체한다는 것이 아니다. 시간의 지속성과 변수의 상호작용은 다른 계산 문제이며, 좋은 시스템은 각 문제에 맞는 연산자를 배치한 뒤 실제 하드웨어와 실패 조건에서 함께 평가해야 한다. ci-proto는 그 설계 원리를 시계열 파운데이션 모델에서 검증한 의미 있는 한 걸음이지만, 보편적 장기 기억과 온디바이스 효율은 여전히 열린 연구다.
EVIDENCE REGISTER
↗
Sources and Date Notes
최초 공개일, 학회/워크숍 연도, 개정일을 가능한 범위에서 분리했다. 2026-11-15 KST 이후 자료는 포함하지 않았다.
- Time Flies When You Parallelise: Pareto-efficient Time Series Foundation Models with Linear Recurrences — arXiv 최초 공개 2026-11-12, v1; Technical Report, NeurIPS 2026 Workshop on Foundation Models for Temporal Systems. 본 글의 주 근거.
- Continuous Intelligence / ci official code — 공식 구현 저장소, 확인 2026-11-15.
- ContinuousIntelligence/ci-proto model collection — 공식 모델 배포, 확인 2026-11-15.
- Mamba-3: Improved Sequence Modeling using State Space Principles — 최초 공개 2026-03-16; ci-proto의 시간 연산자 배경.
- LFM2 Technical Report — 최초 공개 2025-11-28; Liquid AI 모델군과 gated short convolution/GQA 구성의 구분 근거.
- Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling — 최초 공개 2024, ICLR 2025 발표. 조사구간 이전 공개 사실을 병기.
- Understanding and Enhancing Mamba-Transformer Hybrids — 최초 공개 2025; hybrid 배치·데이터 효과.
- MemMamba — 최초 공개 2025; 상태 요약과 attention 기반 기억 보완.
- The Computational Limits of State-Space Models and Mamba — 2025 공식 학회 기록; 유한 상태 계산 한계.
- Unlocking State-Tracking in Linear RNNs Through Negative Eigenvalues — 최초 공개 2024, ICLR 2025 발표.
- Parity Requires Unified Input Dependence and Negative Eigenvalues in SSMs — 최초 공개 2025.
- Structured Linear CDEs — 최초 공개 2025; 구조화 전이와 연속시간 관점.
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces — 최초 공개 2023, 조사구간 이전 배경 논문.
- Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality — 최초 공개 2024, 조사구간 이전 배경 논문.
- Introducing LFM2.5 — Liquid AI 공식 제품 발표; 논문이 아닌 기업 블로그로 구분.