ICML 2026 · Video Subtitle Removal

CLEAR.

마스크 없이 단일 순전파로 영상 속 자막을 제거하는 종단간 프레임워크다. 학습 대상 파라미터는 기반 확산 모델의 0.77%에 불과하다.

这是一行中文字幕
INPUT · X_sub
클릭하면 자막이 사라진다
Qingdong He · Chaoyi Wang · Peng Tang · Yifan Yang · Xiaobin Hu
UESTC · UCAS · TU Munich · SJTU · NUS  |  github.com/silent-commit/CLEAR
▼ SCROLL
+6.77dB
최고 베이스라인 대비 PSNR 향상
-74.7%
VFID 감소 (지각 품질)
-93.0%
Flow Variance 감소 (시간 안정성)
6개 언어
추가 학습 없는 제로샷 일반화
01

왜 자막 제거는 어려운가

영상 자막 제거는 텍스트 오버레이를 배경과 구분하면서 시간적 일관성을 유지하는 작업이다. 기존 확산 기반 방법은 학습과 추론 양쪽에서 명시적 마스크 시퀀스를 요구하기 때문에 실제 배포가 제약된다.

자막은 반투명 폰트, 그래디언트 효과, 안티에일리어싱 같은 복잡한 텍스트 오버레이 특성을 가진다. 여기에 시간적 연속성, 다양한 위치와 스타일, 카메라·객체 움직임과의 상호작용, 압축 아티팩트, 모션 블러가 더해져 시간적으로 일관된 인페인팅이 까다로워진다. 기존 마스크 기반 확산 프레임워크는 이러한 특성 위에서 세 가지 한계를 드러낸다.

L1

학습 비효율

전체 파라미터 학습·미세조정과 조밀한 프레임 단위 마스크 주석에 의존한다. 긴 시퀀스에 걸쳐 프레임 수준 주석을 생성·전파해야 하므로 비용이 크고, 대규모 무주석 영상 학습이 사실상 불가능하다.

L2

추론 복잡성·취약성

추론 시 명시적 마스크 시퀀스나 외부 텍스트 검출·추적 모듈에 의존한다. 검출 실패, 오탐, 추적 드리프트가 발생하면 프레임 전반에 깜빡임·시간 불일치·잔여 아티팩트를 유발한다.

L3

정적 사전 활용

텍스트 히트맵·분할·광학 흐름 같은 보조 사전을 공간·시간 전반에 균일하게 적용한다. 자막 가시성과 손상 정도는 시공간에 따라 변하므로, 고정 가중치는 오류를 전파하거나 콘텐츠를 과도하게 평활화한다.

02

필요한 세 가지 능력

CLEAR는 위 한계를 해소하기 위해 세 가지 능력(K1~K3)을 세 가지 기술 혁신으로 구현한다.

K1 · 자기지도 사전 학습
사전학습된 시각 사전을 보존하면서 파라미터 효율성과 주석 없는 학습을 달성한다. 픽셀 차이를 약지도 신호로 삼아 영상 쌍에서 폐색 안내를 추출하고, 직교 특징 제약과 적대적 정제를 통해 언어·스타일에 걸쳐 전이되는 일반화 자막 특징을 학습한다.
K2 · 적응적 가중
외부 모듈 없는 완전 마스크 없는 종단간 추론을 가능하게 한다. 동결된 사전학습 확산 모델에 LoRA를 적용하고 경량 폐색 헤드로 영역 중요도를 동적으로 조정하며, 학습 파라미터는 0.77%에 불과하다.
K3 · 잡음 안내 활용
잡음이 섞인 안내 신호를 적응적으로 활용해 다양한 자막 스타일과 품질 변동에 대응한다. 구조 증류, 생성 피드백, 희소성 정규화로 최적화된 적응 메커니즘이 잡음 사전과 다양한 자막 특성을 견고하게 처리한다.
03

두 단계 설계

CLEAR는 사전 추출과 생성적 정제를 분리한다. 자막 오버레이가 있는 영상 Xsub에서 깨끗한 영상 Xclean으로의 매핑을, 학습 시 픽셀 수준 마스크 주석 없이·추론 시 외부 검출 모듈 없이 학습한다.

STAGE I · 학습 전용

자기지도 사전 학습

영상 쌍의 프레임별 픽셀 차이로 유사 레이블을 생성하고, 이원 인코더로 자막 특징과 콘텐츠 특징을 분리한다. 이 유사 레이블은 조명 변화·반투명 자막·경계 모션 블러 때문에 의도적으로 잡음이 섞인 값이다.

  • 이원 ResNet-50 인코더 (자막 / 콘텐츠, 1/8 해상도)
  • 직교성 제약으로 특징 상관 최소화
  • 적대적 정제로 자막 특징과 콘텐츠 특징 구분
  • 경량 4층 UNet 디코더가 Mprior 예측
STAGE II · 학습 전용

적응적 가중 학습

동결된 영상 확산 트랜스포머에 LoRA를 주입하고, 중간 인코더 층에 경량 폐색 헤드를 붙여 생성 난이도에 따라 가중치를 동적으로 조정한다. 잡음 사전을 견고하게 활용하도록 세 손실을 통합 최적화한다.

  • LoRA 랭크 64, 전 어텐션·FFN 층에 적용
  • 폐색 헤드 2.1M 파라미터 (Conv3D → SiLU → Conv1×1)
  • 삼각 스케줄 α(k) ∈ [5, 15]
  • 구조 증류 + 생성 피드백 + 희소성 정규화
X_sub──▶ Diffusion + LoRA──▶ 단일 순전파──▶ X_clean
04

핵심 메커니즘

Stage I은 픽셀 차이 기반 약지도에서 시작한다. 프레임별 통계적 임계화로 자막에 대응하는 고분산 영역을 이진 유사 레이블로 식별한다.

Δ_t = ‖X_sub_t − X_clean_t‖₂   →   M̂_t(i,j) = 1 if Δ_t(i,j) > μ_t + σ_t, else 0
μ와 σ는 프레임별 평균·표준편차다. 이 임계화는 완벽하지 않으며, Stage II의 적응적 가중이 이 잡음을 견고하게 처리한다.

이원 인코더의 특징을 분리하기 위해 직교성 제약과 적대적 정제를 함께 쓴다. 자막 특징 Fsub만으로 폐색 사전을 예측하고, 콘텐츠 재구성으로 Fcontent가 자막 정보를 배제하는지 검증한다.

L_stage1 = L_ortho + 0.5·L_adv + L_region + 0.1·L_recon
직교성·적대적 정제·영역 BCE·콘텐츠 재구성을 균형 잡는다.

Stage II의 핵심은 가중 함수이지 마스크 예측기가 아니라는 점이다. 폐색 헤드 H는 정확도를 좇지 않고, 사전의 국소 신뢰도·생성 난이도·전역 문맥에 따라 영향력을 조정한다. 예측 가중치는 공간 강조와 난이도 가중의 곱으로 생성을 변조한다.

w_(i,j,t) = (1 + α(k)·M_pred_(i,j,t)) × (ε_gen_(i,j,t) + δ)^γ
앞 항은 예측 자막 영역에 대한 공간 강조, 뒤 항은 재구성 오차 기반 초점형 난이도 가중이다. α(k)는 삼각 스케줄로 진동해 전역 특징과 자막 영역 강조를 번갈아 탐색하며 국소 최소값을 피한다.

결정적으로 Mpred는 분리(detach)되지 않아 그래디언트가 흐른다. 재구성 오차가 큰 영역은 양의 그래디언트를 받아 가중치를 키우고, 오차가 작은 영역은 음의 그래디언트로 가중치를 줄인다. 이 생성 피드백 루프는 정답 마스크 없이 자기 교정을 수행한다.

L_distill
Smooth L1로 Mpred와 Mprior를 정렬한다. Stage I의 부드러운 안내를 제공하되 1단위 이내 편차를 허용해 국소 오류를 교정할 여지를 준다.
L_gen
w(i,j,t)로 가중된 표준 확산 목적함수다. Mpred를 통해 그래디언트가 흘러 생성 피드백 기반 자기 교정을 가능하게 한다.
L_sparse
L1 희소성으로 균일 가중으로의 퇴화를 막고, KL 발산으로 사전 구조에서 완전히 벗어나지 않도록 분포를 정렬한다.
L_stage2 = L_distill + L_gen + 0.1·L_sparse
증류와 생성은 1:1로 균형 잡아 구조 보존과 성능 최적화를 함께 달성하고, 희소성은 보조 정규화로 0.1 가중을 둔다.
05

종단간 마스크 없는 추론

학습된 모델은 자막 영상 하나만 입력받는다. Stage I 사전, 외부 검출·분할 모듈, 명시적 마스크가 모두 필요 없다.

INFERENCE · 마스크 없음

단일 순전파 생성

  • Stage I 비의존 — Mprior 불필요. 헤드가 인코더 특징만으로 자막 패턴을 암묵적으로 포착한다.
  • 외부 모듈 없음 — 텍스트 검출·분할·보조 네트워크가 전혀 없다.
  • 내부화된 가중 — Mpred는 내부에서 계산될 뿐 출력에 나타나지 않고, LoRA 증강 어텐션에 흡수된다.
  • 단일 순전파 — x_sub → x̂_clean을 완전 종단간으로 직접 매핑한다.
06

정량 비교

중국어 자막 테스트셋에서 세 가지 최신 영상 인페인팅 방법과 비교한다. 공정성을 위해 모든 베이스라인에 Stage I과 동일한 임계화로 생성한 이진 마스크를 제공했다. CLEAR는 마스크를 요구하지 않으면서 전 지표에서 우위를 보인다.

방법PSNR↑SSIM↑LPIPS↓VFID↓TWE↓Flow Var↓s/frame↓
ProPainter17.240.6580.32998.461.2860.8852.36
Minimax-Remover20.030.7730.16695.394.2220.4154.90
DiffuEraser17.850.6720.45872.511.5230.6303.47
CLEAR (Ours)26.800.8940.10120.371.2270.0294.86

기본 설정: rank=64, steps=5, cfg=1.0, lora_scale=1.0. 베이스라인은 외부 이진 마스크에 의존하나 CLEAR는 마스크 없이 유사한 추론 속도를 유지한다.

모듈 절제 실험

각 모듈을 순차적으로 추가하면 PSNR이 누적 5.18 dB 향상된다(21.62 → 26.80 dB). 두 단계 설계의 시너지를 보여준다.

BASELoRA 단독
21.62
+M1Stage I 사전 + 초점 가중
23.11
+M2문맥 증류
24.72
+M3문맥 적응
25.09
+M4문맥 일관성 (CLEAR)
26.80
07

제로샷 교차언어 일반화

중국어 자막으로만 학습한 CLEAR는 학습 중 본 적 없는 여섯 언어에서 언어별 미세조정 없이 자막을 일관되게 제거한다. 이 일반화는 문자 특화 특징이 아니라 추상적 폐색 패턴을 학습한 데서 비롯된다.

EN English KO 한국어 FR Français JA 日本語 RU Русский DE Deutsch
08

추론 하이퍼파라미터

기반 모델은 Wan2.1-Fun-V1.1-1.3B이며, 8× 공간 압축과 잠재 채널 c=16을 사용한다. 핵심 추론 파라미터의 균형점은 다음과 같다.

5
DENOISING STEPS
10으로 늘리면 PSNR은 +2.63 dB 오르나 시간 일관성(TWE +10.7%)이 나빠지고 추론 시간이 두 배가 된다. 5가 균형점이다.
1.0
CFG SCALE
품질-다양성 트레이드오프에서 충실도와 지각 품질을 균형 잡는다. 높이면 시간적 아티팩트가 유입된다.
1.0
LoRA SCALE
0.5는 불완전 제거(LPIPS +82%), 1.5는 과도한 평활화를 낳는다. 1.0이 최적 균형이다.