세상을 설명하는 대신,
실행 가능한 세계를 가설로 만든다

물리적 일반화는 개별 영상의 패턴을 외우는 것으로 얻기 어렵다. 새로운 물체, 배치, 관측 조건에서도 mass, motion, gravity, friction 같은 개념이 재사용돼야 한다. 저자들은 이를 phenomenon-mechanism dichotomy로 정리한다. 현상은 무엇이 일어났는지 말하고, 메커니즘은 왜 일어났으며 조건을 바꾸면 무엇이 달라지는지 설명한다.

따라서 물리 이해에 필요한 representation은 object identity와 state, physical parameters, governing dynamics, intervention response를 가능한 한 명시적으로 보존해야 한다.

C는 physical composition, E는 dynamic evolution, A는 visual appearance다. 이 분해는 단순한 schema가 아니다. 물리과정의 구조와 관측 외관을 분리해, 물체나 물리 파라미터, 초기조건, 카메라를 독립적으로 수정하고 다시 실행할 수 있게 한다.

핵심 설계 원리는 physical equivalence를 pixel duplication보다 우선한다는 것이다. 원본 프레임을 픽셀 단위로 복사하는 대신 world composition, constraint, evolution이 일치하는지를 더 중요하게 본다.

구현은 MuJoCo를 simulation platform으로 사용한다. animation engine과 physics engine이 동일한 EWR interface를 공유한다. animation engine은 time-varying pose/trajectory로 “무엇이 어떻게 움직이는가”를 직접 기술하고, physics engine은 force, contact, constraint로 motion을 유도한다.

Appendix의 concrete example은 scene.json에 coordinate system, camera, collision objects, expected contacts, object extent, initial position/velocity, mass, friction, restitution, relations, rendering, simulator gravity/time step, timeline 등을 기록하고 simulation_sdk.py가 이를 MuJoCo configuration으로 컴파일·최적화하는 구조를 보여준다. representation이 사람이 읽을 수 있는 구조와 simulator가 실행할 수 있는 구조 사이의 계약 역할을 한다.

검증된 EWR은 다시 편집할 수 있다. bowling ball의 초기속도 방향을 바꾸거나 동일한 충돌을 global view와 car-centric view로 재렌더링할 수 있다. 논문은 world dynamics와 appearance synthesis를 분리해, 매 counterfactual마다 전체 scene을 새로 추정하지 않고도 coherent variation을 만든다.

실험에서는 video evidence를 위해 SAM3가 mask와 track을, VGGT-Omega가 depth와 camera geometry를, SAM3D가 object geometry를 제공한다. 비디오 후보는 WISA-80K에서 motion/collision 중심으로 필터링하고 camera translation/rotation, severe editing, incomplete event 등을 제거한 뒤 수동 검토한다.

Algorithm 1은 structured trace z에 각 round의 hypothesis, trajectory, verification outcome을 기록한다. 이는 단순한 generator보다 가설 변경 이력을 가진 실행·검증형 agent에 가깝다.

video-driven reconstruction은 최대 K=5 round를 사용하고 one-shot, matched-budget Best-of-5와 비교한다. evaluation은 verifier가 직접 보는 signal과 독립된 Visual Alignment, Object IoU, Traj-ADE, Velocity-ADE, Accuracy@2%D를 사용한다.

Animation-engine 실험에서는 round가 늘면서 static quality와 대부분의 motion fidelity가 좋아지고, 5회 동일 evaluation budget에서 agentic loop가 Best-of-5보다 Visual Alignment, Object IoU, Traj-ADE, Accuracy@2%D에서 우수하다. Velocity-ADE까지 포함한 모든 지표를 이겼다고 쓰지는 않는다. Appendix의 physics-engine 반복 실험에서는 5 round에서 다섯 지표 모두 matched-budget Best-of-5보다 좋아진다.

입력은 monocular video V와 물리 질문 q, 출력은 scalar world quantity다. 질문은 object, timestamp, quantity(size, displacement, velocity, acceleration), unit을 지정한다. world-space 질문은 알려진 reference quantity ρ를 추가로 제공해 scale을 보정한다.

영상은 pixel measurement만 주므로 absolute scale이 없다. reference object나 dynamic prior를 통해 pixel-world scale을 연결한다. 3D setting에서는 depth prior가 추가 geometric cue로 사용된다.

RefCOCO, RefCOCO+, RefCOCOg, RefCLEF의 bounding box와 GOT-10K track에서 pixel-space QA를 생성한다. extent, position, displacement, velocity, acceleration을 직접 측정하도록 만든다.

이 단계는 physical reasoning 이전에 localization, measurement, tracking이라는 perceptual foundation을 만든다.

검증된 EWR은 synchronized video와 exact state trajectory를 함께 제공한다. scene geometry에서 object size를 읽고 trajectory에서 displacement, velocity, acceleration을 계산해 world-unit label을 만든다. text-driven world와 video-driven world를 각각 Dtext, Dvideo로 통합한다.

GRPO reward는 scale-normalized numerical accuracy에 unit과 response format 보상을 더한다.

Text-driven world는 simulator state가 완전히 관측되므로 정확한 label을 제공하고, video-driven world는 실제 영상의 appearance·motion distribution에 더 가깝다. 정확한 물리 supervision과 real-video generalization을 분리해 조합하는 curriculum이다.

4B와 9B direct-answer variant는 8×NVIDIA H100에서 두 단계 curriculum을 학습한다. 모든 train/eval에서 video당 16개의 temporally ordered frame을 uniform sampling한다.

27B reasoning variant는 별도 outcome-supervised setting이다. test time에는 generating EWR, simulator state, object track, external tool, retrieval, ground-truth measurement에 접근하지 않는다. World-Space GRPO에서 prompt당 16 rollout, global update batch 16, AdamW learning rate 5×10^-6, weight decay .01, 5 warm-up steps, bfloat16, medium-effort thinking, no KL penalty를 사용한다. reward는 reasoning trace를 버리고 final numerical answer만 MRA로 평가한다.

Table 1의 27B 결과는 step 60, temperature 1.0, top-p .95, max response 6,144 tokens에서 response 하나만 사용한다. self-consistency, majority vote, best-of-N, tool call은 쓰지 않는다. 따라서 27B는 4B/9B와 reasoning protocol과 scale이 동시에 달라 reasoning 자체의 causal effect를 분리한 실험은 아니다.

QuantiPhy validation은 159개의 visible ground-truth QA를 사용한다. 2S/2D/3S/3D에서 2/3은 planar/depth-aware setting, S/D는 제공된 prior가 static/dynamic quantity인지 나타낸다.

parse되지 않는 response는 모든 threshold에서 0점을 받는다. 전체 score는 네 subset의 sample-weighted average가 아니라 unweighted macro-average다.

real-world physics는 terrain, contact geometry, material property, hidden factor에 민감하다. simulator가 해당 현상을 표현할 수 없으면 agentic loop는 관측과 시각적으로 잘 맞는 locally plausible EWR에 수렴하면서 실제 메커니즘은 틀릴 수 있다. verification은 simulator hypothesis class 밖의 진실을 보장하지 않는다.

QuantiPhy는 monocular scale calibration을 중심으로 size, displacement, velocity, acceleration을 비교적 제한된 motion setting에서 평가한다. 실제 장면의 camera motion, rotation, deformation, occlusion, contact, collision, friction, fluid, rigid-body interaction, long-horizon multi-object dynamics를 포괄하지 않는다.

Code-as-World-VL은 verified EWR에서 파생된 outcome supervision을 학습하지만, hypothesis construction, simulation, diagnosis, iterative revision을 VLM 내부 capability로 학습하지 않는다. 즉 agentic discovery engine과 trained reasoning model은 아직 분리돼 있다.

• Text specification은 LLM 생성 후 human review를 거치므로 완전 자동 data construction은 아니다.
• Video reconstruction dataset은 motion-focused filtering과 manual review를 거쳐 복원 가능한 clip을 선택한다.
• Visual Alignment는 silhouette/depth/RGB weighted score이며 unavailable component를 제거한 뒤 weight를 renormalize한다.
• Trajectory metric은 width 512로 resize한 뒤 16 frame을 sample하고 frame diagonal D로 normalize한다.
• JEDi는 V-JEPA feature의 polynomial-kernel MMD, TRAJAN은 track feature의 Fréchet distance다. 둘은 서로 다른 realism 축을 측정한다.
• 27B reasoning result는 outcome-only reward이며 reasoning trace 자체는 process-supervised되지 않는다.

현재 구현은 주로 rigid-body dynamics를 다루지만 code라는 표현 형식은 특정 물리 regime에 묶이지 않는다. 저자들은 fluids, cloth/deformable bodies, combustion, fracture, elasticity/plasticity, gas dynamics의 전문 simulator를 공통 interface로 연결할 수 있다고 본다.

어려운 점은 expressiveness 자체보다 orchestration이다. coding agent가 서로 다른 simulator를 올바르게 호출·조합하고, 관측에서 충분한 evidence를 추출하며, 물리 regime마다 다른 verification signal을 만들어야 한다.

관련 연구는 physical reasoning benchmark(PHYRE, PhysBench, QuantiPhy), video/latent world model(V-JEPA 계열), code world model(WorldCoder, executable ARC world models), programmatic 3D scene representation, physics-aware code simulation, agentic optimization(AlphaEvolve), robotics skill discovery로 이어진다.

Code-as-World의 차별점은 real-world multimodal evidence에서 physical mechanism을 executable representation으로 추상화하는 문제를 중심에 둔다는 점이다. static scene code generation이나 predefined simulator 사용에서 한 걸음 더 나아가 representation 자체를 발견 대상 artifact로 만든다.

이 논문은 “world model = 미래 frame을 잘 예측하는 neural network”라는 정의를 확장한다. world representation은 반드시 model weights 안에 숨어 있을 필요가 없다. agent가 읽고 고치고 실행하고 검증할 수 있는 외부 프로그램일 수도 있다.

이 접근의 장점은 명시성이다. 어떤 object와 parameter를 가정했는지, 어느 event가 발생했는지, 어떤 discrepancy 때문에 hypothesis를 수정했는지 추적할 수 있다. 그러나 이 명시성은 simulator의 표현력과 evidence quality에 의존한다. 잘못된 hypothesis class 안에서의 최적화는 여전히 잘못된 세계를 만들 수 있다.