마스크 없이 단일 순전파로 영상 속 자막을 제거하는 종단간 프레임워크다. 학습 대상 파라미터는 기반 확산 모델의 0.77%에 불과하다.
영상 자막 제거는 텍스트 오버레이를 배경과 구분하면서 시간적 일관성을 유지하는 작업이다. 기존 확산 기반 방법은 학습과 추론 양쪽에서 명시적 마스크 시퀀스를 요구하기 때문에 실제 배포가 제약된다.
자막은 반투명 폰트, 그래디언트 효과, 안티에일리어싱 같은 복잡한 텍스트 오버레이 특성을 가진다. 여기에 시간적 연속성, 다양한 위치와 스타일, 카메라·객체 움직임과의 상호작용, 압축 아티팩트, 모션 블러가 더해져 시간적으로 일관된 인페인팅이 까다로워진다. 기존 마스크 기반 확산 프레임워크는 이러한 특성 위에서 세 가지 한계를 드러낸다.
전체 파라미터 학습·미세조정과 조밀한 프레임 단위 마스크 주석에 의존한다. 긴 시퀀스에 걸쳐 프레임 수준 주석을 생성·전파해야 하므로 비용이 크고, 대규모 무주석 영상 학습이 사실상 불가능하다.
추론 시 명시적 마스크 시퀀스나 외부 텍스트 검출·추적 모듈에 의존한다. 검출 실패, 오탐, 추적 드리프트가 발생하면 프레임 전반에 깜빡임·시간 불일치·잔여 아티팩트를 유발한다.
텍스트 히트맵·분할·광학 흐름 같은 보조 사전을 공간·시간 전반에 균일하게 적용한다. 자막 가시성과 손상 정도는 시공간에 따라 변하므로, 고정 가중치는 오류를 전파하거나 콘텐츠를 과도하게 평활화한다.
CLEAR는 위 한계를 해소하기 위해 세 가지 능력(K1~K3)을 세 가지 기술 혁신으로 구현한다.
CLEAR는 사전 추출과 생성적 정제를 분리한다. 자막 오버레이가 있는 영상 Xsub에서 깨끗한 영상 Xclean으로의 매핑을, 학습 시 픽셀 수준 마스크 주석 없이·추론 시 외부 검출 모듈 없이 학습한다.
영상 쌍의 프레임별 픽셀 차이로 유사 레이블을 생성하고, 이원 인코더로 자막 특징과 콘텐츠 특징을 분리한다. 이 유사 레이블은 조명 변화·반투명 자막·경계 모션 블러 때문에 의도적으로 잡음이 섞인 값이다.
동결된 영상 확산 트랜스포머에 LoRA를 주입하고, 중간 인코더 층에 경량 폐색 헤드를 붙여 생성 난이도에 따라 가중치를 동적으로 조정한다. 잡음 사전을 견고하게 활용하도록 세 손실을 통합 최적화한다.
Stage I은 픽셀 차이 기반 약지도에서 시작한다. 프레임별 통계적 임계화로 자막에 대응하는 고분산 영역을 이진 유사 레이블로 식별한다.
이원 인코더의 특징을 분리하기 위해 직교성 제약과 적대적 정제를 함께 쓴다. 자막 특징 Fsub만으로 폐색 사전을 예측하고, 콘텐츠 재구성으로 Fcontent가 자막 정보를 배제하는지 검증한다.
Stage II의 핵심은 가중 함수이지 마스크 예측기가 아니라는 점이다. 폐색 헤드 H는 정확도를 좇지 않고, 사전의 국소 신뢰도·생성 난이도·전역 문맥에 따라 영향력을 조정한다. 예측 가중치는 공간 강조와 난이도 가중의 곱으로 생성을 변조한다.
결정적으로 Mpred는 분리(detach)되지 않아 그래디언트가 흐른다. 재구성 오차가 큰 영역은 양의 그래디언트를 받아 가중치를 키우고, 오차가 작은 영역은 음의 그래디언트로 가중치를 줄인다. 이 생성 피드백 루프는 정답 마스크 없이 자기 교정을 수행한다.
학습된 모델은 자막 영상 하나만 입력받는다. Stage I 사전, 외부 검출·분할 모듈, 명시적 마스크가 모두 필요 없다.
중국어 자막 테스트셋에서 세 가지 최신 영상 인페인팅 방법과 비교한다. 공정성을 위해 모든 베이스라인에 Stage I과 동일한 임계화로 생성한 이진 마스크를 제공했다. CLEAR는 마스크를 요구하지 않으면서 전 지표에서 우위를 보인다.
| 방법 | PSNR↑ | SSIM↑ | LPIPS↓ | VFID↓ | TWE↓ | Flow Var↓ | s/frame↓ |
|---|---|---|---|---|---|---|---|
| ProPainter | 17.24 | 0.658 | 0.329 | 98.46 | 1.286 | 0.885 | 2.36 |
| Minimax-Remover | 20.03 | 0.773 | 0.166 | 95.39 | 4.222 | 0.415 | 4.90 |
| DiffuEraser | 17.85 | 0.672 | 0.458 | 72.51 | 1.523 | 0.630 | 3.47 |
| CLEAR (Ours) | 26.80 | 0.894 | 0.101 | 20.37 | 1.227 | 0.029 | 4.86 |
기본 설정: rank=64, steps=5, cfg=1.0, lora_scale=1.0. 베이스라인은 외부 이진 마스크에 의존하나 CLEAR는 마스크 없이 유사한 추론 속도를 유지한다.
각 모듈을 순차적으로 추가하면 PSNR이 누적 5.18 dB 향상된다(21.62 → 26.80 dB). 두 단계 설계의 시너지를 보여준다.
중국어 자막으로만 학습한 CLEAR는 학습 중 본 적 없는 여섯 언어에서 언어별 미세조정 없이 자막을 일관되게 제거한다. 이 일반화는 문자 특화 특징이 아니라 추상적 폐색 패턴을 학습한 데서 비롯된다.
기반 모델은 Wan2.1-Fun-V1.1-1.3B이며, 8× 공간 압축과 잠재 채널 c=16을 사용한다. 핵심 추론 파라미터의 균형점은 다음과 같다.