학습 없는 생성 에뮬레이터 기반 베이지안 필터링

01 — 문제 정의

관측으로부터 카오스 시스템의 상태를 추정한다

동역학 시스템의 상태 x_k는 직접 관측할 수 없다. 베이지안 필터링은 과거와 현재 관측 y_{1:k}만으로 사후 분포 p(x_k | y_{1:k})를 추정하는 문제다. 기상 예보에서 x_k는 대기 상태이고, 관측은 지상 기상 관측소와 위성에서 온다.

카오스 시스템에서는 초기 상태의 작은 편차가 시간에 따라 지수적으로 증폭된다. 따라서 초기 조건을 정확히 잡는 자료 동화(data assimilation)가 결정적으로 중요하다. 이 논문은 관측만으로 가장 그럴듯한 상태를 추론하는 문제에 생성 모델을 결합한다.

전이 모델

x_k+1 = M(x_k, λ) + η

전이 연산자 M과 확률적 오차항 η가 다음 상태를 만든다. 이 논문은 M 대신 p(x_{k+1}|x_k)에서 직접 표본을 뽑는 확산 에뮬레이터를 가정한다.

관측 모델

y_k ~ N(H(x_k), Σ_y)

관측 연산자 H는 상태 공간을 관측 공간으로 사상한다. 관측 잡음은 평균 0의 가우시안으로 모델링한다.

02 — 배경

입자 필터는 정확하지만, 차원의 저주에 무너진다

입자 필터는 비선형 전이·관측 모델을 다룰 수 있다는 이론적 장점을 지닌다. 필터링 분포를 가중치가 부여된 입자들의 이산 측도로 근사하며, 입자 수가 늘수록 참 사후 분포로 약수렴한다.

그러나 고차원에서는 퇴화(degeneracy)가 발생한다. 관측 공간의 차원이 높을수록 우도가 뾰족해지고, 대다수 입자가 관측에서 멀어져 극소수 입자만 유의미한 가중치를 갖는다. 이것이 입자 필터가 고차원에서 쓸모없다는 통념의 근거였다.

ŵ^k+1_i = [ p(y_k+1|x_k+1) · p(x_k+1|x_k) / q(x_k+1|x_k,y_k+1) ] · w^k_i (7)
# 최적 제안분포 q = p(x_{k+1}|x_k, y_{k+1}) 를 쓰면 가중치 분산이 최소가 된다

핵심은 최적 제안분포다. 제안분포를 사후 전이분포와 일치시키면 가중치 분산이 최소화되어 퇴화가 완화된다. 문제는 이 최적 제안분포가 일반적인 수치 시뮬레이터에서는 표본 추출이 거의 불가능하다는 점이다. 이 지점이 논문의 진입로다.

03 — 방법

확산 에뮬레이터가 최적 제안분포를 열어준다

이 논문은 확산 에뮬레이터를 추가 학습 없이 사용해 완전 적응 보조 입자 필터(FA-APF)를 구현한다. FA-APF는 일반적인 입자 필터와 순서가 다르다. 먼저 가중치를 계산하고, 그 가중치로 입자를 선택한 뒤, 최적 제안분포로 다음 시점에 전파한다.

사후 점수를 분해한다

베이즈 규칙에 따라 사후 점수는 사전 점수 + 우도 점수로 분해된다. 사전 점수는 에뮬레이터의 학습된 denoiser에서 이미 얻을 수 있으므로, 남는 미지수는 우도 점수뿐이다.

MMPS로 우도 점수를 근사한다

모멘트 정합 사후 표본 추출(MMPS)은 국소 확산 분포를 가우시안으로 근사하고, 그 모멘트를 Tweedie 공식으로 추정한다. 공분산 V는 명시적으로 저장하지 않고 자동 미분으로 암시적으로 접근하며, 선형계는 GMRES 같은 반복 해법으로 푼다.

Dirac 근사로 가중치를 계산한다

최적 제안분포를 쓰면 가중치가 p(y_{k+1}|x_k)·w_k로 단순화된다. 전이분포를 조건부 평균 E[x_{k+1}|x_k]에서의 Dirac 질량으로 근사하며, 이 평균은 denoiser 한 번 호출로 얻는다.

인플레이션으로 퇴화를 통제한다

유효 표본 크기가 구간 [N_min, N_max]를 벗어나면 인플레이션 계수 α를 조정한다. 근사에 편향을 도입하지만, 매 시점 입자 분산이 0이 되지 않도록 보장한다.

s^x,y_t = s^x_t(x_t,x_k) + s^y_t(x_t,x_k,y_k+1) (15)
# 사후 점수 = 사전 점수(에뮬레이터에서 확보) + 우도 점수(MMPS로 추정)

04 — 실험 · Lorenz’63

적은 입자로도 경쟁 기법을 앞선다

먼저 카오스 체제의 확률적 Lorenz’63 시스템에서 필터링 성능을 앙상블 크기의 함수로 평가한다. 첫째·마지막 성분을 잡음과 함께 관측하며, 각 기법마다 32회 실행하여 평균 skill(앙상블 평균과 참값 사이의 RMSE)을 보고한다.

FA-APF는 주어진 앙상블 크기에서 일관되게 낮은 오차를 낸다. 특히 최적 제안분포를 쓰지 않는 고전 입자 필터(BPF)를 크게 앞선다. 소수 입자에서 강한 성능을 보이는 EnKF의 우수함도 함께 확인되는데, 이는 운영 기상 센터에서 EnKF가 널리 쓰이는 이유를 설명한다.

표 1 · N=256, 32회 실행 평균 (Skill↓ / SSR≈1 / CRPS↓)
기법	Skill ↓	SSR ≈ 1	CRPS ↓
첫째·마지막 성분 관측
BPF	1.25	0.32	2.88
EnKF	0.72	1.25	1.10
EnSF	2.18	0.78	4.23
EnFF	1.67	1.25	2.51
FA-APF	0.60	1.49	0.98
첫째 성분만 관측
BPF	2.38	0.85	4.35
EnKF	2.79	1.21	4.35
EnSF	3.76	1.19	6.32
EnFF	3.67	1.39	5.96
FA-APF	1.87	1.25	3.05

05 — 실험 · Navier-Stokes

희소 관측 아래 고차원에서 견고하다

실무에서 중요한 국면은 관측 공간이 상태 공간보다 훨씬 저차원인 희소 관측 상황이다. EnSF·EnFF 같은 기법은 이론적으로 우아하지만 이 국면에서 성능이 크게 떨어진다. 이를 검증하기 위해 128×128 격자의 2D 비압축성 Navier-Stokes 와도장을 대상으로, 픽셀화(coarse)와 부분 표집(sparse) 두 관측 연산자를 적용한다.

FA-APF는 128개 입자로 BPF와 FlowDAS를 모두 앞선다. BPF는 고차원에서 완전히 붕괴하여 실제 지구물리 시스템에서 사용 불가능함이 확인된다. FlowDAS는 단일 입자를 최적 제안분포로 전파하는 퇴화된 완전 적응 필터에 해당하며, FA-APF는 이를 입자 필터 형식론 위에서 엄밀하게 앙상블로 일반화한 것으로 볼 수 있다.

표 2 · 평균 Skill↓, 128 입자, 10회 실험
관측 (H, d)	BPF	FlowDAS	FA-APF
Coarse (픽셀화)
(8, 8)	3.02	2.78	2.39
(16, 16)	2.88	0.74	0.63
(32, 32)	2.80	0.19	0.14
Sparse (부분 표집)
(8, 8)	2.96	3.08	2.30
(16, 16)	2.91	1.90	1.12
(32, 32)	2.88	0.20	0.13

06 — 실험 · GenCast

백만 차원 대기 상태로 확장한다

마지막으로 ERA5 재분석 데이터로 학습된 전지구 확산 에뮬레이터 GenCast의 denoiser를 그대로 활용한다. 상태 x_k는 1° 위경도 격자 위 83개 지표·대기 변수로 구성되어 O(10⁶) 차원에 이른다. N=256 입자로 15일(30 시점, 12시간 해상도) 동안 필터링한다.

희소 온도 관측(전체 상태의 약 1%)만으로도, 7일 이후에는 관측하지 않은 변수(예: 바람)까지 포함해 안정적인 상태 근사에 도달하며 앙상블 분산도 0이 아닌 채 유지된다. 더 어려운 현실적 관측 설정에서는 관측의 강한 공간 불균질성(특히 극지방) 때문에 15일 이후에도 완전히 수렴하지는 않지만, 앙상블 평균은 참 상태에 정성적으로 근접한다.

O(10⁶)

상태 변수 차원

256

입자 수

~1%

관측 비율 (희소 온도)

필터링 일수

07 — 한계와 향후 연구

정직하게 남는 것들

이 방법의 근본적 제약은 동역학의 생성 에뮬레이터에 의존한다는 점이다. 그리고 최적 제안분포 표본 추출은 매 확산 단계마다 denoiser를 미분해야 하므로 계산 비용이 크다.

메모리 비용. GenCast 규모에서 사후 점수 추정은 상당한 VRAM 오버헤드를 유발한다. 1° denoiser는 80GB H100에서 실행되었다.
MMPS의 근사. 국소 분포를 가우시안으로 근사하므로, 잡음이 큰 초기 단계(다봉·비가우시안)에서는 정확도가 떨어진다.
가중치 근사. 전이분포를 Dirac로 근사한 가중치는 부정확하다. 고차원에서 입자 수가 적을 때 개선이 필요하다.
인플레이션 편향. 가중치 붕괴를 막기 위한 공분산 인플레이션은 우도를 수정하여 필터링 분포 근사에 편향을 준다.

결합 분포 p(x_k, x_{k+1})를 직접 표집하는 생성 모델이 있다면, 이 틀을 학습 없는 베이지안 스무딩으로 확장하는 것이 자연스러운 다음 단계다.