LEAF, Mamba, LFM을 먼저 분리하기
LEAF‑Mamba는 병리 WSI용 frozen-feature MIL 모델이다. 여기서 LEAF는 Latent Evidence Adaptation and Fusion의 약어다. Mamba는 selective state-space architecture이고, LFM은 Liquid AI가 명명한 모델군이다. 이름이 비슷해도 계보와 설계 목적은 다르다.
Pathology foundation model
대규모 병리 이미지에서 사전학습해 패치를 임베딩하는 encoder. 이번 연구에서는 고정되어 역전파로 바뀌지 않는다.
Multiple-instance learning
수천 개 패치에는 정답이 없고 슬라이드 하나에만 진단·생존 라벨이 있는 약한 지도학습 설정.
Mamba path
좌표 기반 순서로 직렬화한 패치열을 selective state로 집계하는 전역 경로. 상태 크기는 길이와 독립적이지만 정보 용량은 유한하다.
LFM2 boundary
LFM2는 입력 의존 게이트의 단거리 합성곱과 일부 GQA를 결합한 별도 모델군이다. LEAF‑Mamba의 구조를 LFM 또는 모든 Mamba에 소급할 수 없다.
사실 LEAF‑Mamba 논문은 Liquid AI나 LFM을 주장하지 않는다. 해석 이 구분은 중요하다. LEAF라는 약어를 Liquid 모델 계열로 읽으면 연구의 실제 기여인 frozen-feature adaptation을 놓친다.
긴 패치열을 읽기 전에, 읽을 표현을 잃지 않아야 한다
WSI 한 장은 gigapixel 규모여서 통째로 encoder에 넣기 어렵다. 보통 패치별 표현 H={H₁,…,Hₙ}을 frozen foundation model에서 얻고 aggregator가 slide label을 예측한다. 그러나 과제 손실만으로 adapter를 학습하면 원래 표현의 풍부한 정보를 버릴 수 있다. 반대로 adapter 없이 그대로 쓰면 새 과제에 필요한 경계·세포·조직 신호가 충분히 정렬되지 않을 수 있다.
해석 공통 LFM·Mamba 문제는 품질, p95 지연, 피크 메모리, 에너지를 함께 만족하는 다목적 설계다. 병리에서는 여기에 표현 보존과 공간 구조가 더해진다. 즉 “긴 문맥을 싸게 처리하는가”보다 “무엇을 손실 없이 문맥으로 구성하는가”가 선행 조건이다.
표현 보존, 선택적 상태, 국소–전역 분업
3.1 Latent Evidence Adaptation
비선형 encoder E는 과제별 변환을, 선형 skip projection은 안정적인 정보 경로를 제공한다. train-only decoder D가 원래 임베딩을 재구성하게 해 adapter가 과제 라벨에만 맞춰 표현을 과도하게 축소하지 않도록 한다. 디코더는 추론 때 제거된다.
3.2 Selective state-space aggregation
입력 의존 Āₜ, B̄ₜ, Cₜ는 각 패치에서 기억·망각·읽기를 조절한다. 선택성은 추론 중 모델 가중치를 다시 학습한다는 의미가 아니다. 또한 길이 독립적 상태는 무한 정보의 완전 보존이 아니라 고정 예산 안의 압축이다.
3.3 Parallel evidence fusion
전역 Mamba와 국소 depthwise-separable convolution이 같은 패치 표현을 서로 다른 경로에서 처리한다. 이후 입력 의존 sigmoid gate가 두 증거를 합친다. 단순 직렬 연결과 달리, 국소 형태가 장거리 경로 내부에서 희석되기 전에 독립 표현으로 남는다.
해석 이 구조의 핵심은 “Mamba 뒤에 convolution을 붙였다”가 아니라 표현 적응–장거리 상태–국소 증거를 서로 다른 책임 단위로 나눈 것이다.
연산자 경쟁에서 인터페이스 공동 설계로
Mamba 연구의 첫 물결은 attention의 길이 비용을 줄이는 연산자에 초점을 맞췄다. 이후 정확 회수, state tracking, 양자화 안정성, 하드웨어 커널, hybrid 배치가 중요해졌다. LEAF‑Mamba는 이 흐름에 새로운 층을 더한다. 좋은 기억 연산자라도 입력 표현이 과제에 맞지 않거나 적응 과정에서 원래 증거를 지워버리면 성능을 회복하기 어렵다는 것이다.
병리 WSI는 이 문제를 날카롭게 드러낸다. 슬라이드 라벨 하나가 수천 개 패치 중 소수의 결정적 병변에 의해 정해질 수 있다. aggregator는 오랜 패치열에서 드문 증거를 찾아야 하지만, 동시에 핵의 형태·조직 경계 같은 국소 구조를 보존해야 한다. 한 경로에 두 책임을 모두 주는 것은 효율적일 수 있어도 최적이라고 보장할 수 없다.
왜 frozen feature가 장점이자 병목인가
병리 foundation model은 대규모 사전학습으로 강한 범용 표현을 제공한다. encoder를 동결하면 계산·데이터 요구량을 줄이고 작은 cohort에서 과적합 위험을 낮출 수 있다. 반면 downstream aggregator가 보는 것은 원시 이미지가 아니라 이미 압축된 패치 임베딩이다. 필요한 정보가 encoder 단계에서 사라졌거나, 과제별 adapter가 다시 지우면 뒤의 Mamba는 그것을 복원할 수 없다.
기존 feature adaptation은 주로 task supervision에 의존해 원래 representation의 정보 회복을 명시적으로 제약하지 않으며, 표준 Mamba의 local convolution과 long-range propagation은 동일 경로에 놓여 별도 융합 표현을 남기지 않는다. LEAF‑Mamba는 reconstruction regularization과 parallel fusion으로 두 문제를 겨냥한다.
좋은 평균 점수가 임상적 기억을 보장하지 않는 이유
압축과 정확 회수의 충돌
유한 상태에 긴 패치열을 넣으면 드문 병변, 다중 병변, 공간적 분리 정보를 잃을 수 있다.
1D serialization bias
좌표 기반 raster 순서는 행 전환에서 먼 패치를 이웃으로 만들고 조직 공백·분리 영역을 왜곡할 수 있다.
표현 효과의 혼합
encoder, adapter, reconstruction, local path, Mamba, gate의 효과가 얽힌다. 같은 데이터·split의 factorial 비교가 필요하다.
약한 라벨의 귀속 문제
slide label 성능이 높아도 어떤 패치가 인과적 증거였는지, heatmap이 충실한 설명인지 보장하지 않는다.
기관 간 분포 이동
염색, scanner, 조직 준비, 환자군이 바뀌면 adapter가 보존한 표현이 여전히 유효한지 검증되지 않았다.
시스템 근거의 공백
정확도 표에는 하드웨어, latency, peak memory, energy가 없다. “linear-time” 동기가 실제 병원 workflow 이득으로 이어졌는지 알 수 없다.
양자화도 열려 있다. 작은 per-step 오차가 긴 Mamba 상태에서 누적될 수 있고, frozen encoder의 저정밀화와 aggregator 상태의 저정밀화는 다른 실패 양상을 낸다. 어디서 정보가 사라졌는지—encoder, adapter, 순서화, 상태, gate—를 분리해 진단하는 체계가 필요하다.
다음 실험이 답해야 할 질문
- 보존 기준: 동일한 inference memory에서 원래 패치 표현의 어떤 성분을 반드시 재구성해야 진단 증거가 보존되는가?
- 공간 표현: raster ordering, space-filling curve, graph neighborhood, 2D selective scan 중 어느 방식이 조직 topology를 가장 잘 유지하는가?
- 최소 전역 예산: 국소 convolution과 전역 Mamba의 폭·상태 크기·배치를 어떻게 나누면 성능–비용 Pareto front가 좋아지는가?
- 게이트의 의미: 입력 의존 gate가 실제로 조직 유형·불확실성에 따라 local/global 경로를 달리 쓰는가, 아니면 단순 재스케일링인가?
- 선택적 fine-tuning: 완전 동결, adapter, 상위 encoder block 미세조정의 효과를 같은 데이터·regularization에서 분리할 수 있는가?
- 저정밀 안정성: int8/4-bit feature와 recurrent state에서 긴 bag의 rare-evidence recall은 얼마나 유지되는가?
- 실세계 가치: synthetic state-tracking 개선이 독립기관 진단, 오류 복구율, 성공 사례당 Joule과 상관하는가?
구조, 통제실험, 반례를 함께 읽기
8.1 Architecture and protocol
| 항목 | 저자 설정 | 해석 시 주의 |
|---|---|---|
| 입력 encoder | ResNet‑50, PLIP, CONCH v1.5; 모두 frozen | 원시 영상 end-to-end 학습과는 다른 조건 |
| LEA | nonlinear encoder + linear skip + train-only reconstruction decoder | 학습 파라미터 1.25M, 추론 파라미터 723.5K |
| Evidence Fusion | 2 blocks; Mamba state 32, conv width 4, expansion 2, local kernel 7 | 좌표 기반 고정 1D 순서 |
| 진단 데이터 | EBRAINS 30-class, BRACS 7-class, Camelyon16 | 5-fold 또는 official split; 기관 외부검증 아님 |
| 생존 데이터 | TCGA BLCA, BRCA, COADREAD, STAD, HNSC | C-index 평균 개선 폭이 작음 |
| 비교 공정성 | 동일 추출 feature, split, early stopping; Mamba 계열은 동일 serialization | optimizer·seed·confidence interval·significance 보고가 본문에서 불충분 |
8.2 Main results — 모두 저자 보고
| 평가 | LEAF‑Mamba | 강한 비교군과 차이 | 조건 |
|---|---|---|---|
| 평균 진단 AUC | 87.7 / 88.5 / 89.4 | Jigsaw 대비 +1.1 / +1.9 / +1.0%p | ResNet‑50 / PLIP / CONCH |
| BRACS official AUC | 77.8 | Jigsaw 74.6 대비 +3.2%p | PLIP feature |
| 평균 survival C-index ×100 | 67.0 / 67.3 / 67.3 | Jigsaw 대비 +0.1 / +0.2 / +0.3 | 5 TCGA cohorts |
| Gated fusion ablation | AUC 78.6, ACC 40.0, F1 32.7 | static gate 대비 +0.8 / +2.1 / +1.4%p | BRACS official, CONCH |
| Reconstruction ablation | AUC 76.8, ACC 36.4, F1 29.2 | reconstruction 없음 대비 +1.0 / +0.6 / +1.1%p | global-only, BRACS official, CONCH |
강한 부분은 branch와 gate, reconstruction을 분리한 ablation이다. local-only AUC 75.7, global-only 76.8, static fusion 77.8, dynamic gated fusion 78.6으로 두 경로와 입력 의존 융합의 추가 기여가 단계적으로 나타난다.
8.3 평균 뒤의 반례
생존예측의 평균 이득이 0.1–0.3에 그친다는 점도 중요하다. 보고된 단일 수치만으로 임상적으로 의미 있는 차이, 통계적 유의성, cohort 간 안정성을 판단하기 어렵다. 어느 모델이 모든 encoder·과제·기관·하드웨어에서 우월하다는 주장은 근거를 넘는다.
병리에서 엣지 협업지능까지
WSI 진단 보조
동결된 병리 FM 위에서 희귀 병변과 넓은 조직 맥락을 함께 집계하는 slide-level triage.
예후·생존 분석
분산된 미세환경 신호를 장거리 상태로 통합. 현재 보고 이득은 작아 임상 검증이 우선이다.
로컬 병원 inference
feature를 기관 내부에 두고 작은 aggregator만 학습·배포하는 방향. 실제 latency·energy 측정은 아직 없다.
스트리밍 센서 분석
frozen sensor encoder의 표현을 보존형 adapter로 맞추고, 국소 이벤트와 장기 상태를 병렬 집계하는 일반 패턴.
연구 제안 ETRI/Physical AI에서는 sensor foundation model의 frozen feature, Mamba 기반 장기 상태, 짧은 convolution 기반 국소 이상을 gated fusion으로 결합할 수 있다. 로봇 고수준 계획·설비 운영지능에는 유망하지만, 슬라이드 분류 결과는 로봇 저수준 제어의 안정성이나 안전성을 입증하지 않는다. 독립 안전 controller와 worst-case 검증이 필요하다.
아직 남은 인터페이스의 실패 모드
- 유한 상태의 과제별 기억 한계: 동시 병변, rare subtype, 멀리 떨어진 조직 상호작용을 어느 상태 크기까지 보존하는가?
- 망각 탐지: 결정적 패치가 상태에서 사라졌음을 감지하고 원본 feature나 image tile을 다시 요청할 수 있는가?
- 공간 topology: 1D raster의 행 경계·조직 공백·다중 조각 문제를 2D scan 또는 graph로 해결할 수 있는가?
- 장기 세션 drift/reset: 다중 슬라이드·환자 기록을 이어 처리할 때 상태 오염을 막는 격리·reset 규칙은 무엇인가?
- 공정 비교: 동일 encoder, data, quantization, ordering, batch, hardware에서 attention·Mamba·hybrid를 재현 가능하게 비교해야 한다.
- 설명 충실성: 한 장의 heatmap은 localization 정확도, 인과적 attribution, 임상 utility를 증명하지 않는다.
- 실세계·한국어 전문업무: 독립기관, 한국 병리 workflow, 한글 보고서 작성과 오류 복구를 함께 다룬 benchmark가 부족하다.
재구성 오차가 작다는 사실과 임상적으로 중요한 증거가 보존됐다는 사실 사이에는 여전히 간극이 있다. pixel/feature reconstruction이 rare causal evidence에 가중치를 두지 않으면 평균 정보를 잘 복원하면서 결정적 신호를 놓칠 수 있다.
압축 상태, 공간 재열람, 외부 증거의 계층형 시스템
제안 다음 세대는 하나의 aggregator에 모든 책임을 지우기보다 네 층을 결합할 수 있다.
- Evidence-preserving adapter: 일반 feature reconstruction뿐 아니라 rare-lesion contrast, uncertainty, morphology consistency를 함께 보존한다.
- 2D local evidence graph: 조직 topology와 물리적 좌표를 반영해 행 경계·공백을 건너뛰는 국소 경로를 구성한다.
- Compressed global state: Mamba가 슬라이드 전역의 장기 상호작용을 낮은 비용으로 갱신한다.
- Selective evidence memory: 불확실성이나 상태 충돌이 커질 때 원본 tile, 환자 metadata, 외부 지침을 근거 링크와 함께 재열람한다.
정상 영역에는 작은 상태와 sparse sampling을 쓰고, 병변 후보나 불확실성 급증 구간에서 state rank, attention window, 원본 tile 호출을 늘리는 adaptive evidence budget을 연구할 수 있다.
종합 해석 LEAF‑Mamba의 가장 일반적인 교훈은 Mamba를 어디에 넣을지가 아니라, foundation model이 만든 표현과 장거리 기억 사이에 어떤 정보 계약을 둘 것인가다. 앞으로의 경쟁은 operator 단독 성능보다 representation–memory–evidence system의 공동 설계에서 벌어질 가능성이 크다.
References & provenance
- Gan et al., “LEAF-Mamba: Feature Adaptation and Fusion for Whole Slide Image Analysis”. arXiv:2610.29746. 최초 공개 2026-10-21, v1; 25쪽; 현재 학회 발표 기록 없음. HTML full text.
- Gu & Dao, “Mamba: Linear-Time Sequence Modeling with Selective State Spaces”. 최초 공개 2023-12-01; 2024년 학회 논문. 2025년 이전 배경으로만 사용.
- Yang et al., “MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology”. 최초 공개 2024. WSI Mamba 배경.
- Lu et al., “A visual-language foundation model for computational pathology”. Nature Medicine, 2024. CONCH 배경.
- Liquid AI, “LFM2 Technical Report”. 최초 공개 2025-11-28, 현재 v1. LFM2 용어와 hybrid complexity 경계 확인용이며 LEAF‑Mamba와 같은 계열이라는 근거가 아니다.
- Dao et al., “Mamba-3”. 최초 공개 2026-03-16, ICLR 2026. exponential–trapezoidal discretization, complex state, MIMO 등 후속 SSM 설계 배경.
- Ren et al., “Samba”. 최초 공개 2024, ICLR 2025. SSM과 sliding-window attention hybrid 배경.