PhysisForcing 물리 강화 월드 시뮬레이터를 통한 로봇 조작 비디오 생성

서론비디오 생성 모델은 왜 물리적으로 흔들리는가

비디오 생성 모델은 체화 지능을 위한 월드 시뮬레이터로서 강한 잠재력을 보여 왔다 [17,28,34,45,50]. 데이터 생성, 월드 시뮬레이션, 정책 학습 같은 하류 응용에 사용할 수 있는 확장 가능한 시각적 미래를 제공한다 [1,5,29–31,33,51]. 그러나 체화 월드 시뮬레이션은 사실적인 영상 그 이상을 요구한다. 생성된 동역학은 물리적으로 타당해야 하며, 특히 접촉이 빈번한 조작에서 이 요구는 더욱 까다롭다.

접촉이 많은 조작에서 물리 위반은 두 가지 형태로 나타난다. 국소 동역학 오류는 그리퍼 궤적의 불연속, 물체 침투, 반중력 운동처럼 점 단위 운동에서 발생한다. 전역 관계 오류는 밀린 물체가 정지해 있거나 잡은 물체가 떠나가는 것처럼 상호작용 결과 자체가 어긋나는 형태로 나타난다. 두 오류 모두 예측 프레임이 로봇 행동의 타당한 결과를 더 이상 표현하지 못하게 만들어, 시각적 월드 시뮬레이터로서의 신뢰성을 직접 훼손한다.

관찰물리적 타당성은 본질적으로 계층적이다

기존 접근은 부분적 해법에 그친다. 범용 비디오 모델은 대규모 시각 사전학습에 의존하지만 체화 접촉 동역학에 대한 노출이 부족하다. 로봇 특화 월드 모델은 조작 데이터로 과제 적합성을 높이지만, 대개 물리적으로 중요한 영역과 배경 픽셀을 균일하게 다루는 재구성 목적함수로 학습된다. 깊이, 추적, 3D 구조 같은 기하 단서나 선호·보상 정렬을 도입한 최근 물리 인식 기법도 있으나, 기하 제약은 주로 국소 운동 일관성만 포착하고 선호 피드백은 희소하며 약하게 국소화되어 있다.

여기서 핵심 질문이 제기된다 — 물리 지도를 계층적이면서 영역에 집중된 방식으로 비디오 생성에 어떻게 주입할 것인가? 조작 비디오의 물리적 타당성은 본질적으로 계층 구조를 가진다. 픽셀 수준에서 국소 운동은 궤적 연속성, 깊이 일관성, 접촉 정합 변위를 만족해야 한다. 의미 수준에서 물체 관계는 상호작용 의미에 따라 진화해야 한다 — 밀린 물체는 멀어지고, 잡은 물체는 그리퍼와 결합을 유지하며, 놓인 물체는 지지면 위에 머문다. 동시에 물리 증거는 조작기, 물체, 접촉부, 움직이는 영역 주변에 고도로 국소화되어 있어, 모든 픽셀에 균일하게 지도를 가하면 신호가 희석된다.

기여본 연구의 핵심 공헌

• 01

  로봇 비디오 생성의 물리적 타당성을 계층적이고 영역에 집중된 정렬 문제로 정식화한다.

• 02

  상호작용이 결정적인 영역에 물리 지도를 집중시키고, 픽셀 수준 운동과 의미 수준 영역 간 관계 양쪽에서 생성을 정렬하는 학습 시점 프레임워크 PhysisForcing을 제안한다.

• 03

  Wan2.2-I2V-A14B와 Cosmos3-Nano 등 규모·계열이 다른 확산 백본에서 R-Bench, PAI-Bench, EZS-Bench에 걸쳐 일관된 향상을 보이고, WorldArena 행동 계획과 하류 정책 성공률까지 개선함을 입증한다.

관련 연구체화 비디오 생성과 물리 인식 시뮬레이터

2.1체화 비디오 생성과 월드 모델

비디오 생성 모델은 로봇 분야의 데이터 부족 문제에 확장 가능한 해법을 제시하며 체화 지능의 유망한 패러다임으로 떠올랐다. Sora [34], Wan [45] 같은 범용 모델은 인상적인 시각 충실도를 보이지만, 로봇·물체 상호작용 동역학에 대한 노출이 제한적이라 체화 조작 과제에서는 어려움을 겪는다. 이를 보완하기 위해 Cosmos [1], DreamGen [24], GR-2 [6] 는 행동 조건부 비디오 생성에, Vidar [15], UnifoLM-WMA-0 [44], Unified Video Action Model [30] 은 월드 행동 모델링에 초점을 둔다. 그러나 이들은 주로 시각 품질이나 행동 제어성을 최적화할 뿐, 학습 중 물리 제약을 명시적으로 강제하지 않아 물체 침투, 궤적 불연속, 인과성 위반에 여전히 취약하다.

2.2물리 인식 월드 시뮬레이터

순수 시각 목적함수의 한계를 인식한 최근 연구들은 물리 제약을 비디오 생성에 통합하기 시작했으며, 크게 세 가지 패러다임으로 분류된다.

세 번째 시뮬레이터 기반 기법은 물리 엔진이나 테스트 시점 선택으로 물리적 유효성을 보장하지만, 상당한 계산 부담을 야기하고 확장성을 제한한다. 기존 물리 인식 비디오 모델은 대개 단일 수준에서, 또는 프레임 전체에 균일하게 지도를 제공한다. 접촉이 빈번한 조작은 계층적이고 국소적인 두 설계 원칙을 요구하며, PhysisForcing은 영역 집중 계층적 물리 목적함수를 도입해 이 원칙을 따른다.

방법영역 집중 계층적 물리 정렬 프레임워크

PhysisForcing은 영역 집중 계층적 정렬을 통해 비디오 생성에 물리 지도를 주입한다. 먼저 로봇·물체 상호작용이 일어나는 물리 정보 영역을 식별하고, 이어서 두 가지 상보적 학습 신호 — 국소 운동 일관성을 위한 픽셀 수준 궤적 정렬과 상호작용 결과 일관성을 위한 의미 수준 관계 정렬 — 을 적용한다.

3.1물리 정보 영역 추출

체화 비디오 생성 오류는 로봇·물체 상호작용이 전경에서 큰 국소 운동으로 나타나는 접촉 영역에서 자주 발생한다. PhysisForcing은 물리 지도를 가하기 전에 참조 비디오로부터 이러한 영역을 먼저 식별한다.

3.4학습과 추론

PhysisForcing은 사전학습 DiT 백본의 미세조정 단계에서 적용된다. 두 물리 손실을 모두 중간 블록 특징에 부과해, 비디오 예측에 사용되는 표현을 직접 정규화한다. 전체 학습 목적함수는 표준 흐름 정합 손실에 두 물리 손실을 가중 합한 형태다.

여기서 L_FM은 표준 흐름 정합 손실이며, λ_pix, λ_sem은 두 물리 손실의 균형을 맞춘다. 모든 보조 모델(CoTracker3, Depth-Anything-V2, V-JEPA 2)은 학습 시점에만 사용되고 추론 시 폐기된다. 따라서 PhysisForcing은 추론 비용을 전혀 추가하지 않는다.

실험세 가지 벤치마크와 정책 학습에서의 검증

4.1실험 설정

학습 데이터. 다양한 체화·과제·환경을 포괄하는 대규모 RoVid-X 데이터셋 [13]의 400만 로봇 비디오 클립에서, 운동 점수·과제 단위 중복 제거·클립–텍스트 정합 필터링을 거쳐 약 50만 개의 고품질 클립을 선별했다.

구현. 규모와 계열이 다른 세 백본 — Wan2.2-I2V-A14B, Wan2.2-TI2V-5B, Cosmos3-Nano — 에 PhysisForcing을 적용했다. 두 Wan 백본은 640×480, 최대 81프레임으로 전역 배치 128, 학습률 1×10⁻⁵의 AdamW로 20K 스텝 학습했다. Cosmos3-Nano는 LoRA로 공식 I2V 사후학습 설정을 따라 720p, 최대 189프레임으로 학습했다. PhysisForcing으로 학습한 Cosmos3-Nano와 Wan2.2-I2V-A14B를 각각 PF-Cosmos, PF-Wan으로 표기한다.

벤치마크. R-Bench(650개 이미지–텍스트 쌍), PAI-Bench 로봇 도메인(174개 실세계 이미지–프롬프트 쌍), 그리고 분포 외 일반화를 검증하는 학습 독립 제로샷 벤치마크 EZS-Bench(196개 미지 조합)에서 평가했다.

4.2체화 비디오 생성 결과

R-Bench. PhysisForcing은 모든 백본을 향상시킨다. PF-Cosmos는 종합 63.8(기저 대비 +9.2%)로 최강 상용 모델 Wan2.6(60.7)을 포함한 모든 기준선을 능가하며 전체 1위를 차지했다. PF-Wan은 62.0(기저 대비 +22.3%)로 두 번째로 높은 종합 점수를 기록했다.

PAI-Bench / EZS-Bench. 두 벤치마크 모두에서 PhysisForcing은 단순 미세조정 대비 두 백본을 개선한다 (PAI-Bench: A14B 79.9→81.7, Cosmos 84.0→85.2). PF-Cosmos가 종합 평균에서 최고치를 기록하며, 최강 상용 모델 Wan2.5와 로봇 특화 기준선 Abot-PhysWorld를 모두 능가했다. 제로샷 EZS-Bench에서도 PF-Cosmos가 81.1로 모든 기준선을 앞서 학습 분포를 벗어난 조합에서도 일반화됨을 보인다.

4.3정책 학습 결과

PhysisForcing으로 학습한 Wan2.2-TI2V-5B를 Fast-WAM [52]의 비디오 DiT 자리에 그대로 끼워 넣어, 접촉이 빈번한 RoboTwin 2.0 여섯 과제에서 단일 정책을 공동 학습하고 과제별 200회 롤아웃으로 평가했다.

평균 성공률이 68.2%에서 72.8%로 상승했으며, 특히 접촉이 결정적인 놓기·누르기 과제에서 가장 큰 향상을 보였다 (place_empty_cup +21.5, press_stapler +11.0).

행동 계획기로서의 월드 모델. WorldArena [40]의 행동 계획기 프로토콜에서 월드 모델은 공유 역동역학 모델과 결합해 예측 롤아웃을 RoboTwin 2.0 시뮬레이터의 행동으로 디코딩한다. PhysisForcing은 평균 폐루프 성공률을 16.0%에서 24.0%로 끌어올려, 최강 기준선 WoW(20.5%)를 포함한 모든 월드 모델 계획기를 능가했다.

제거 연구두 손실은 상보적이며, 영역 집중과 중간 블록이 핵심이다

구성 요소 제거

두 손실은 상보적이다. Wan2.2-TI2V-5B에서 L_pix와 L_sem은 미세조정 기저(44.8)를 각각 47.2와 46.2로 개선하며, 둘을 결합할 때 최고(47.5)다. L_pix는 가장 흔한 국소 실패인 궤적 불연속을 직접 억제하므로 단일 손실 향상이 더 크고, L_sem은 접촉 단절 같은 전역 관계 오류를 주로 복구한다 — 서로 다른 오류 모드를 겨냥하기에 누적된다. 동일한 양상이 더 큰 A14B(57.9→62.0)에서도 유지되어, 이득이 백본 규모에 종속되지 않음을 확인한다.

물리 영역 집중

동일한 두 손실을 모든 토큰에 균일하게 적용해도 도움이 되지만(44.8→46.0), 물리 정보 영역에 한정하면 평균이 47.5까지 더 오른다. 특히 과제 지향 차원(35.4→38.9)에서 가장 큰 이득을 보이는데, 이는 배경과 거의 정지한 영역이 물리 신호를 희석하므로 로봇·물체 상호작용이 일어나는 곳에 집중하는 것이 과제 수준 정확성을 끌어낸다는 것을 보여준다.

정렬 층

정렬은 단일 DiT 블록에 부과되므로 그 깊이가 중요하다. Wan2.2-TI2V-5B에서 블록 인덱스를 훑은 결과 중간 블록 (층 15)이 85.2로 최적이며, 더 얕은 층(10, 83.9)과 더 깊은 층(25, 83.2)을 능가한다. 초기 블록은 얕은 외형 특징만 담아 관계 정렬에 필요한 의미 구조가 부족하고, 후기 블록은 이미 최종 노이즈 예측에 특화되어 조정하기 어렵다. 중간 블록이 최적의 절충점을 제공하며 인접 층 사이에서 성능이 안정적이다.

부록구현 세부·벤치마크·영향·한계

A보조 인지 모델과 백본 구성

세 보조 모델은 모두 동결되어 물리 타깃 추출에만 쓰이며, 학습 스텝마다 정답 클립 위에서 실시간으로 실행되고 추적기·깊이 출력은 두 물리 손실 사이에서 공유된다.

Wan2.2-I2V-A14B는 SNR 기반 경계 t_moe로 고노이즈·저노이즈 두 전문가가 확산 궤적을 나눠 맡는다. PhysisForcing은 물리 구조가 결정되는 동역학 형성 단계를 겨냥하므로 고노이즈 전문가만 미세조정한다. 학습 중에는 원래 MoE 라우팅에서 벗어나 전 구간 t∈[0,T]에 고노이즈 전문가를 적용하고, 두 물리 손실을 흐름 정합 목적함수에 더해 균일하게 부과한다.

B·C평가 벤치마크와 상세 결과

R-Bench는 650개 이미지–텍스트 쌍을 과제 축(조작·공간·다개체·장기·추론) 5개와 체화 축(단일팔·양팔·사족·휴머노이드) 4개로 주석한다. 균일 표본 키프레임을 시간 격자로 배열해 Qwen3-VL이 부유·침투·자발 출현·비접촉 부착 같은 물리 위반을 검출하는 MLLM-as-Judge VQA 파이프라인을 사용하며, 크라우드소싱 선호와 스피어만 상관 0.96을 보고한다.

PAI-Bench 로봇 도메인은 174개 실세계 이미지–프롬프트 쌍으로, Qwen3-VL-235B-A22B-Instruct가 채점하는 Domain Score(물리·의미 타당성)와 다차원 지각 지표를 집계한 Quality Score를 함께 보고한다(인간 ELO와 피어슨 상관 0.918). EZS-Bench는 196개 미지 조합의 학습 독립 제로샷 벤치마크로, 질문 생성기와 판정기를 분리한 이중 모델 프로토콜로 자기평가 편향을 피한다.

두 벤치마크 모두에서 이득은 물리·의미 타당성을 측정하는 Domain Score에서 가장 두드러지며, Quality Score는 경쟁력을 유지한다. 즉 계층적 물리 정렬은 시각 품질을 단순 미세조정 수준으로 유지하면서 물리 충실도를 개선한다.

E·F광범위한 영향과 한계

한계와 향후 연구. PhysisForcing은 미세조정 레시피이므로 기저 백본의 능력 상한을 물려받는다. 현재 오픈소스 비디오 생성기는 여전히 제한된 세계 지식과 장기 시간 추론 능력을 보이며, 이것이 어떤 미세조정 기법으로도 도달 가능한 물리적 타당성의 한계를 규정한다. 다만 궤적 수준·관계 수준 물리 제약은 모델 비종속적이고 백본의 표현 용량이 커질수록 더 정보가 풍부해지므로, 더 강력한 기반 모델이 등장하면 PhysisForcing의 효과가 함께 증폭될 것으로 기대한다.

참고문헌주요 인용 (발췌)