RESEARCH UPDATE · 2026-10-27 KST

Small Is Not Deployed

0.04M parameters와 0.08ms의 model-forward는 인상적이다. 그러나 EEG 센서가 의사결정으로 이어지려면 획득·전처리·개인 간 일반화·양자화·실기기 에너지·오류 회복이라는 더 긴 사다리를 올라야 한다.

FOCUS · Mamba‑2EEGM2 · self-supervisionFEMBA · GAP9 deployment
Mamba EEG 시스템의 센서-의사결정 증거 사다리 모델 크기와 GPU 전방 지연, 표현 일반화, 저정밀 안정성, 실기기 지연과 에너지, 장기 현장 안전성의 다섯 단계를 FOCUS, EEGM2, FEMBA 근거와 연결한다. Sensor-to-Decision Evidence Ladder · 작은 모델은 출발점이지 배포의 종착점이 아니다 1 · Compactparams · FLOPsFOCUS 0.04M · 0.11G 2 · Generalizesubject · domainEEGM2 · LOSO 3 · QuantizePTQ ≠ QATFEMBA W2A8 4 · Deployp95 · MB · JouleGAP9 · 75mJ 5 · Operatedrift · recoveryprospective evidence FOCUS · 신규 v114ch · 10s · 11명 · LOSO74.75% · RTX 3090 0.08ms획득·offline ICA 제외 EEGM2 · 2025 workshopU-shaped Mamba‑2 SSLL1 + spectral reconstruction표현 전이 · GPU simulation FEMBA · edge evidence21,000h+ pretrain · GAP9 370MHz1.70s / 5s · ≈2MB · 75mJQAT succeeds · PTQ collapses 검증의 빈칸FOCUS의 held-out 최고 epoch 선택 · 다중비교 보정 없음 · prospective/streaming/총 시스템 에너지 미검증
핵심 요약. 2026년 10월 23일 공개된 FOCUS는 매우 작은 Mamba‑2 분류기의 가능성을 보여준다. EEGM2는 사전학습과 전이를, FEMBA는 QAT와 실제 MCU 배포를 검증한다. 서로 다른 실험을 순위표로 합칠 수는 없지만, 세 논문을 잇으면 “작다→일반화한다→저정밀에서 버틴다→실기기에서 돈다→현장에서 안전하다”라는 검증 순서를 얻는다.

텍스트 요약: FOCUS의 0.08ms는 RTX 3090에서 모델만 실행한 시간이며 10초 획득과 offline ICA를 제외한다. 반면 FEMBA는 GAP9에서 5초 창을 1.70초, 75mJ로 처리하지만 센싱·통신·임상 워크플로는 제외한다. 마지막 현장 운영 단계는 여전히 열려 있다.

Highlight legend핵심 경고미해결 문제방법·평가강한 근거·기회색은 증거 수준이 아니라 독자가 주목할 역할을 표시한다. 사실·저자 주장·해석·제안은 본문의 배지로 별도 구분한다.

한 문장 결론. Mamba 기반 EEG 연구의 병목은 이제 선형 복잡도를 선언하는 일이 아니라, 신호가 센서에서 결정까지 이동하는 전체 경로에서 정확도·p95 지연·피크 메모리·Joule·오류 회복을 동시에 검증하는 일이다.

Central question
동일한 데이터 분할·전처리·정밀도·하드웨어·운영 조건에서, 어떤 상태공간 설계가 사람 간 변동과 장기 drift를 견디며 가장 낮은 성공 결정당 에너지를 달성하는가?
1Definition

LFM, Mamba, EEG 응용을 같은 이름으로 묶지 않기

사실LFM은 Liquid AI의 foundation model 제품군이다. Mamba는 입력에 따라 상태의 갱신과 읽기를 조절하는 selective state-space architecture다. FOCUS와 EEGM2는 Mamba‑2를 EEG에 적용한 연구이고, FEMBA는 bidirectional Mamba EEG foundation encoder와 edge deployment를 결합한 연구다.

용어 경계. LFM = LTC = LNN = Mamba라는 동일시는 틀리다. LFM2는 입력 의존 게이트의 단거리 합성곱과 일부 GQA를 결합한 Liquid AI의 별도 모델 설계다. FOCUS가 Mamba‑2를 사용한다고 해서 LFM 계열이거나 liquid neural network가 되는 것은 아니다. 또한 LFM2 구조를 모든 LFM 세대에 소급해서는 안 된다.
대상정의이번 글의 역할
LFM/LFM2Liquid AI 모델군 / 특정 세대의 아키텍처용어·복잡도 경계
Mamba/Mamba‑2선택적 SSM / SSD 관점의 후속 설계시퀀스 backbone
FOCUS초경량 EEG workload 분류기신규 직접 근거
EEGM2U-shaped self-supervised EEG 표현 학습일반화·전이 근거
FEMBAEEG foundation model의 QAT·GAP9 배포실기기 근거
2Problem Definition

정확도 하나가 아니라 제약 아래의 결정 품질

공통 문제는 긴 이력, 낮은 추론 비용, 높은 정확도를 동시에 달성하는 것이다. EEG에서는 여기에 개인 간 차이, 잡음, 센서 이탈, 전처리, 프라이버시, 배터리와 오경보 비용이 추가된다. 그러므로 목표는 단순한 accuracy 최대화가 아니라 다목적 제약 최적화로 써야 한다.

maximize  Qdecision   subject to   p95(sensor→decision) ≤ L, peak memory ≤ M, energy/decision ≤ E, calibration ≥ Cmin

해석FOCUS는 이 목적함수에서 모델 크기·FLOPs·GPU forward와 LOSO accuracy 일부를 관측한다. EEGM2는 표현 전이를, FEMBA는 저정밀 메모리·MCU latency·energy를 관측한다. 어느 한 논문도 전체 목적함수를 끝까지 측정하지 않는다.

0.08ms model-forward를 10초 EEG의 end-to-end 의사결정 지연으로 읽으면 약 12만 배의 측정 경계 차이를 무시하게 된다. FOCUS 저자도 10초 획득과 offline ICA 제거가 수치에 포함되지 않는다고 명시한다.

3Core Concepts

선택적 상태, 복잡도 경계, 증거의 층위

3.1 Selective SSM

ht = Ātht−1 + B̄txt,    yt = Ctht

선택성은 입력별로 무엇을 기억하고, 잊고, 읽을지 조절하는 것이다. 추론 중 가중치를 새로 학습하는 일이 아니다. Mamba의 순환 상태 크기가 길이에 독립이라는 말은 무한한 과거 정보를 완전하게 보존한다는 뜻도 아니다. 상태는 유한한 병목이며 과제에 필요한 통계를 압축한다.

3.2 Attention과 SSM의 정확한 복잡도 경계

표준 full attention의 prefill 연산은 길이에 대해 대체로 이차이며 KV cache는 선형, decode 한 토큰의 attention은 이력 길이에 선형이다. 고정 상태 크기의 순수 SSM은 총 연산을 길이에 선형으로 만들고 순환 상태를 길이와 독립적으로 유지할 수 있다. 그러나 LFM2나 attention 혼합 모델 전체를 O(1) 메모리·완전 선형이라고 부를 수 없다. GQA는 KV 크기의 계수는 줄이지만 선형 길이 의존을 없애지 않는다.

3.3 Sensor-to-Decision Evidence Ladder

제안배포 증거를 ① compactness, ② generalization, ③ quantization stability, ④ device deployment, ⑤ prospective operation으로 나눈다. 앞 단계의 성공은 뒷 단계를 보장하지 않는다. 이 분리는 “작은 모델”과 “신뢰 가능한 시스템” 사이의 누락된 비용을 드러낸다.

4Introduction

신규 FOCUS가 바꾼 질문

2026년 10월 23일 공개된 FOCUS v1은 14채널 EEG의 세 가지 인지 과제에서 easy/hard 난이도를 분류한다. 10초·128Hz 입력은 1,280 time point이며, 고정 FFT로 다섯 주파수 대역을 만든 뒤 d=64, state dimension 16의 Mamba‑2 encoder와 공유 bottleneck, depthwise-separable convolution을 통과한다.

저자 보고선정된 A1은 0.04M parameters, 0.11 GFLOPs, ALL LOSO accuracy 74.75±10.54%, RTX 3090 model-forward 0.08ms다. 0.14M·0.40 GFLOPs의 d=128 설정은 75.00%로 0.25%p 높지만 차이는 유의하지 않았다(p=0.966). 이는 단순 최고점이 아니라 비용–성능 절충을 고른 좋은 사례다.

그러나 평가가 11명에 한정되고, 각 LOSO fold에서 held-out participant의 190 epoch 중 최고 accuracy를 보고했다. 이 선택은 사실상 테스트 참가자의 성능을 epoch 선택에 사용하므로 현실 배포 성능을 낙관적으로 만들 수 있다. 신규성은 모델 크기에 있지만, 연구적으로 더 중요한 결과는 이 작은 숫자를 end-to-end 증거로 연결하기 위해 무엇이 아직 부족한지를 선명하게 보여준 점이다.

5Motivation and Background

효율적인 연산자에서 하드웨어·학습 공동 설계로

Mamba 원논문은 2023년 최초 공개된 배경 연구이고 Mamba‑2의 SSD 연구는 2024년 배경이다. 2025년 이후 연구의 초점은 “선형인가”에서 “무엇을 기억하는가, 훈련 길이 밖에서 버티는가, 저정밀 상태가 안정적인가, 실제 커널에서 빠른가”로 이동했다.

EEGM2는 2025년 2월 25일 v1, 9월 22일 v2로 개정되고 ICDM 2025 Workshop에 발표됐다. U-shaped encoder–decoder와 Mamba‑2를 결합하고 L1+Fourier spectral reconstruction으로 시간·주파수 표현을 함께 보존한다. 저자는 cross-subject·cross-domain 전이를 보고하지만 효율 실험은 RTX 6000 Ada GPU simulation이다.

FEMBA on the Edge는 2026년 3월 18일 v1으로 공개됐다. 21,000시간이 넘는 EEG로 bidirectional Mamba encoder를 pretrain하고, low-pass reconstruction, QAT, GAP9 custom kernels와 double buffering을 결합했다. 이 연구는 “알고리즘이 작다”가 아니라 “어떤 숫자 표현과 메모리 계층에서 실제로 돈다”를 묻는다.

연구 흐름: 효율적 연산자 → 표현 일반화 → 저정밀 장기 안정성 → 하드웨어·커널 공동 설계 → 장기 현장 운영.
6Challenges

작은 모델과 신뢰 가능한 결정 사이의 여섯 간극

회수와 압축

유한 상태는 긴 이력을 싸게 압축하지만, 드문 이상 징후의 정확한 보존과 충돌한다. 기억 가능성과 실제 readout을 분리해야 한다.

사람 간 일반화

11명 LOSO는 출발점이다. 센서 위치, 건식 전극, 연령, 건강 상태, 환경 변화까지 포함한 OOD 검증이 필요하다.

평가 선택 편향

held-out 참가자에서 최고 epoch를 고르면 독립 validation 없이 test selection이 일어난다. nested validation과 고정 checkpoint 규칙이 필요하다.

양자화 누적 오차

FEMBA에서 naive PTQ는 W8A8 accuracy를 81.84%에서 55.91%로 떨어뜨렸다. QAT가 회복했지만 A4 activation은 여전히 불안정했다.

커널–점근성 격차

FEMBA GAP9에서 selective scan이 한 Mamba block cycle의 64.6%였다. 2-bit는 메모리를 74% 줄였지만 latency는 1.70→1.69초에 그쳤다.

운영·안전 공백

offline 창 분류는 streaming alert가 아니다. drift/reset, 센서 탈락, false alarm, 통신 단절, 사용자 동의와 복구가 별도 검증 대상이다.

FOCUS의 weight sharing은 ALL accuracy가 4.55%p 높았지만 p=0.083, state dimension 16 대 8의 4.30%p 차이는 p=0.102였다. 다중비교 보정도 없었다. 방향성 있는 파일럿 결과를 확정된 메커니즘으로 서술해서는 안 된다.

7Research Questions

다음 단계가 답해야 할 질문

  1. 기억 예산: 같은 메모리에서 rare event, baseline drift, 개인 특성 중 무엇을 상태에 보존해야 하는가?
  2. 최소 attention: 정확한 과거 구간 회수에 필요한 attention의 최소 비중과 층 배치는 무엇인가?
  3. 전이 표현력: 음의·복소 고유값, MIMO, 구조화 전이가 생리 신호의 진동·위상·상태 전이를 얼마나 더 잘 나타내는가?
  4. 저정밀 안정성: W2A8 또는 recurrent state quantization의 오차가 장시간 streaming에서 언제 임계점을 넘는가?
  5. 일반화 인과성: 사전학습, 데이터 규모, 전처리, 증류, architecture 각각의 효과를 같은 데이터와 학습 예산에서 분리할 수 있는가?
  6. 벤치마크 연결: 합성 state-tracking 점수와 실제 작업자 지원·로봇 협업 성공률 사이 상관은 얼마인가?
  7. 운영 효율: 센싱·전처리·추론·통신·재시도를 포함한 성공 결정당 Joule과 p95는 얼마인가?
8Approaches (Methods)

세 연구의 방법과 증거 경계를 나란히 보기

연구방법저자 보고 결과제한
FOCUS
2026-10-23 v1		FFT 5-band embedding, Mamba‑2, depthwise-separable Conv1d, encoder–bottleneck weight sharing, 11명 LOSO0.04M, 0.11 GFLOPs, ALL 74.75±10.54%, RTX 3090 forward 0.08msheld-out 최고 epoch 선택; 획득·ICA 제외; 에너지·edge device 미측정
EEGM2
2025-02-25 v1
2025-09-22 v2		U-shaped Mamba‑2 SSL, L1+spectral reconstruction, Light/Fine variants, cross-domain transferLight 0.25M; 저자 설정에서 전이 이득과 GPU memory/speed 비교실기기 배포 아님; dataset·protocol 의존; 일부 결과는 simulation
FEMBA Edge
2026-03-18 v1		21,000h+ pretraining, low-pass target, W2A8 QAT, GAP9 370MHz custom kernel·double buffering1.70s/5s window, 75mJ, ~2MB, 44.1mW; QAT AUROC 0.88고정 offline 5s window; 성인 임상 corpus; prospective workflow·총 device power 미평가

8.1 FOCUS: 구조적 절약

저자 방법공유 Mamba‑2를 full-resolution과 4× downsampled sequence에 재사용해 약 28k parameters를 절약한다. 표준 convolution 12,288개 대신 depthwise+pointwise 4,288개를 사용한다. d=64, dstate=16은 최고 accuracy가 아니라 비용–성능 균형으로 선택됐다.

해석좋은 설계 선택이지만, 통계적으로 유의한 정확도 이득은 확립되지 않았다. 구조적 압축과 일반화 개선을 같은 주장으로 묶지 않는 것이 정확하다.

8.2 EEGM2: 표현 사전학습

저자 방법raw EEG를 시간 영역 L1과 Fourier spectral loss로 재구성하며, U-shaped skip connection으로 세부와 장기 문맥을 함께 보존한다. Light variant는 encoder만 사용해 4.5M에서 0.25M으로 줄인다.

8.3 FEMBA: 숫자 표현과 하드웨어의 공동 설계

저자 방법low-pass reconstruction으로 관심 생리 대역을 강조하고 QAT로 activation outlier에 적응한다. W2A8은 GAP9에서 ~2MB에 들어가지만 selective scan의 순차 instruction stream이 병목이다. 이는 FLOPs나 bit 수만으로 실제 latency를 예측할 수 없고, IPC·packing·LUT·state management까지 측정해야 함을 보여준다.

숫자 비교 주의. 세 연구는 데이터, 과제, 모델 규모, 하드웨어, 정밀도, 입력 길이, batch가 다르다. 어느 모델이 모든 조건에서 우월하다는 결론은 허용되지 않는다. 모든 수치는 저자 보고이며 독립 재현 결과가 아니다.
9Key Applications

온디바이스 신호 이해에서 협업 지능까지

온디바이스 BCI

운동심상·주의·workload 추정, 프라이버시 보존 보조 인터페이스. 개인 calibration과 abstention이 필수다.

장기 neuro-monitoring

간질·수면·artifact screening의 edge 전처리. 의료 진단을 대체하지 않으며 prospective 임상 검증이 필요하다.

스트리밍 상태 분석

EEG뿐 아니라 음성·진동·설비 센서의 긴 이력 압축. 망각 탐지와 reset 정책이 핵심이다.

로컬 RAG·멀티모달 보조

센서 상태를 외부 근거 메모리와 결합해 과거 사건을 선택적으로 회수하는 개인화 보조.

ETRI/Physical AI 연구 제안작업자–로봇 협업지능에서 EEG 단독으로 의도를 판정하지 않고, 설비·행동·환경 센서와 함께 고수준 작업 계획의 불확실성 신호로 사용한다. 저수준 제어와 emergency stop은 독립적인 안전 계층으로 유지한다. 상태 오염, 통신 단절, 오경보, 동의 철회, 센서 비착용을 포함한 단계적 실증이 필요하다.
10Open Problems

배포를 가르는 아직 측정되지 않은 것들

  • 유한 상태의 과제별 한계: 어떤 시간 간격·희소 이벤트 밀도에서 기억 손실이 급증하는가?
  • 망각 탐지: 내부 상태가 중요한 증거를 잃었다는 사실을 모델 스스로 감지할 수 있는가?
  • 장기 drift와 reset: 개인 baseline 변화, electrode shift, firmware update 뒤 상태를 언제 초기화할 것인가?
  • 공정 비교: 동일 데이터·split·전처리·학습 토큰·quantization·batch·hardware에서 Transformer, Mamba, hybrid를 비교할 공개 harness가 부족하다.
  • 한국어 전문업무: EEG workload label과 실제 한국어 작업 품질·오류·피로·안전 사이의 관계가 검증되지 않았다.
  • 실세계 안전: false alarm, missed event, calibration, subgroup fairness, privacy leakage, 사용자 행동 변화와 장기 순응도가 미측정이다.

특히 FOCUS의 이진 easy/hard label은 직접적인 주관적 workload 측정이 아니다. 과제 난이도 분류를 인지 상태의 객관적 판독으로 확대 해석해서는 안 된다.

11Future Directions

계층형 기억과 배포 계약으로 가기

11.1 압축 상태 + 선택적 attention + 외부 증거 메모리

제안평상시에는 SSM이 연속 신호를 압축하고, 불확실성·상태 변화·rare event가 감지될 때만 필요한 구간에 attention을 열며, 검증된 사건은 timestamp와 provenance를 가진 외부 메모리에 저장한다. 이 구조는 모든 과거를 상태 하나에 강제로 넣지 않는다.

11.2 적응형 기억 예산

제안변화가 적을 때는 작은 상태와 낮은 sampling budget을, 경계 상황에서는 상태 차원·attention window·센서 융합을 확장한다. 목표는 평균 FLOPs 최소화가 아니라 위험 가중 성공 결정당 에너지 최소화다.

11.3 Sensor-to-Decision Deployment Contract

계약 항목필수 보고실패 시험
데이터참가자·기기·split·전처리·결측새 사용자·새 센서·새 환경
모델checkpoint 선택, state size, precision훈련 길이 밖, state contamination
시스템p50/p95, peak MB, Joule, batch, clockthermal throttling, 통신 단절, 재시작
결정calibration, 근거 회수율, abstentionfalse alarm burst, missed rare event
운영reset·rollback·audit·privacy 정책장기 drift, 사용자 철회, firmware change

11.4 ETRI 단계적 검증

  1. Stage A: 같은 학습 데이터·전처리·양자화·하드웨어에서 SSM, Transformer, hybrid 비교.
  2. Stage B: 합성 state-tracking, 망각 주입, state contamination, 통신 단절 시험.
  3. Stage C: 실제 단말에서 p95 sensor-to-decision, peak memory, 성공 결정당 Joule, 오류복구율 측정.
  4. Stage D: 작업자·로봇·설비 장기 실증. 고수준 계획 보조부터 시작하고 저수준 제어는 독립 안전 검증 후 확장.

최종 해석FOCUS의 의미는 “Mamba가 EEG에서 승리했다”가 아니다. 작은 Mamba‑2 모델이 합리적인 후보 지점을 제공했고, EEGM2와 FEMBA가 그 지점을 표현 학습과 실기기 검증 쪽으로 확장했다는 것이다. 다음 돌파구는 새 block 하나보다 동일 조건에서 알고리즘·숫자 표현·커널·운영을 함께 측정하는 재현 가능한 배포 과학에서 나올 가능성이 크다.

Sources

참고문헌과 공개 시점

  1. FOCUS: A Lightweight Mamba-2 Model for EEG-Based Cognitive Workload Classification. arXiv v1, 최초 공개 2026-10-23. 학회 공식 발표 기록 없음.
  2. FEMBA on the Edge. arXiv v1, 최초 공개 2026-03-18. GAP9 실기기 배포·QAT 기술보고.
  3. An Efficient Self-Supervised Framework for Long-Sequence EEG Modeling (EEGM2). v1 2025-02-25; v2 2025-09-22; ICDM 2025 Workshop.
  4. Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality. 2024 최초 공개, Mamba-2/SSD 배경.
  5. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. 2023 최초 공개, 선택적 SSM 배경.
  6. LFM2 Technical Report. 2025-11-28 v1. LFM2 구조와 Liquid AI 모델군의 용어 경계 확인.

조사 기준일: 2026-10-27 KST. 실험 수치는 각 저자 보고이며, 비교 모델·규모·하드웨어·문맥/입력 길이·정밀도·batch가 다른 결과를 직접 순위화하지 않았다.