생성된 영상의 모션이 어떤 학습 클립에서 비롯되는가. 겉모습이 아니라 시간적 동역학을 데이터로 귀속하는 최초의 그래디언트 기반 프레임워크다.
모션은 영상을 정의하는 요소다. 확산 모델은 데이터 주도적이며 그 진보는 데이터 규모를 따라왔다. 그러나 생성된 영상의 모션이 어떤 학습 데이터에서 비롯되는지는 아직 이해가 부족하다. 기존 확산 데이터 귀속은 이미지와 정적 콘텐츠에 집중해 왔고, 이를 영상에 순진하게 확장하면 모션이 겉모습으로 붕괴되어 시간적 구조를 놓친다.
귀속이 정적 배경이 아니라 동적 영역에 집중하도록 모션을 국소화해야 한다. 겉모습과 얽힌 모션을 분리하지 못하면 배경·객체 공유만으로 클립이 높게 순위된다.
그래디언트를 시간에 걸쳐 적분해야 하므로 시퀀스로 확장이 필요하다. 클립 길이·샘플링 타임스텝·노이즈 추출·그래디언트 차원이 커질수록 순진한 방법은 현대 규모에서 비현실적이다.
속도·가속도·궤적 일관성 같은 시간 관계는 단일 프레임 귀속으로 측정할 수 없다. 시간을 또 하나의 공간 축으로 취급하지 않고 시간 구조를 명시적으로 모델링해야 한다.
Motive는 그래디언트를 모션 인식 마스킹으로 계산한다. 손실 공간에서 모션 크기 마스크를 곱해 동적 영역의 그래디언트를 강조하고 정적 배경을 약화한다. 아래에서 두 방식이 같은 장면에 대해 어디에 주목하는지 비교한다.
미세조정 코퍼스 Dft와 질의 영상 (v̂, ĉ)가 주어지면, 각 학습 클립에 모션 인식 영향력 점수 Imot(vn, v̂)를 부여한다. 이 점수는 예측성(순위가 미세조정 변화와 상관)과 효율성(현대 영상 생성기로 확장)을 만족해야 한다.
AllTracker로 픽셀 공간의 옵티컬 플로우를 추출한다. 첫 두 채널은 프레임 간 변위, 나머지는 가시성·신뢰도 점수를 담는다. 변위 벡터에서 모션 크기를 얻는다.
각 위치의 모션 크기를 프레임·픽셀 전체에 대해 min–max 정규화해 [0,1]로 만든다. 절대 크기 편향을 완화하고 상대적 모션 현저성을 강조한다. 이후 잠재 격자로 이중선형 다운샘플해 그래디언트가 계산되는 공간에 정렬한다.
손실 공간에서 위치별 제곱 오차에 모션 가중치를 곱해 평균한다. W가 모두 1이면 표준 목적함수로 환원된다. 순전파 노이즈 주입과 생성은 그대로 두고 귀속만 재가중하므로, 모션 가중과 노이즈 주입 간 상호작용을 피한다.
영향력은 역헤시안-벡터곱 대신 그래디언트 유사도로 근사한다. 정확한 역헤시안 계산은 현대 신경망에서 비현실적이므로, 항등 전처리기를 쓰고 네 가지 기법으로 대규모 영상 데이터·모델에 맞게 확장한다.
학습·시험 그래디언트를 동일한 (t, ε) 쌍에서 평가하고 작은 집합 𝒯에 대해 평균한다. 독립 추출 대비 순위를 안정화한다.
모든 학습–시험 쌍에 단일 t_fix와 공유 ε_fix를 고정한다. 상대 순서를 유지할 만큼 분산이 낮아 |𝒟||𝒯|B 비용을 |𝒟|B로 줄인다.
Johnson–Lindenstrauss 투영을 Fastfood로 구현해 정규화한다. 투영은 O(D′log D′), 내적은 O(D′)로 전체 그래디언트 코사인 유사도 순위에 근접한다.
원 그래디언트 크기가 프레임 수 F에 의존해 긴 영상으로 점수가 편향된다. 투영·정규화 전에 1/F로 정규화해 서로 다른 길이 클립 간 공정성을 확보한다.
다중 질의는 ICONS의 다수결 투표로 집계한다. 질의별 백분위 절단 τ를 넘으면 표를 얻고, 총 득표수로 순위를 매겨 상위 K를 미세조정 부분집합으로 삼는다. 이는 원점수의 교차 질의 보정 없이 여러 질의에서 일관되게 영향력 있는 표본을 강조한다.
VIDGEN-1M과 4DNeX-10M에서 각 10k 영상을 사용하고, 10개 모션 범주(compress, bounce, roll, explode, float, free fall, slide, spin, stretch, swing)에 걸친 50개 질의로 평가한다. 모든 선택 방법은 학습 데이터의 10%만 쓴다. Motive는 두 모델 모두에서 동적 정도를 최고로 끌어올리며, 특히 전량 미세조정을 넘어선다.
| 방법 (Wan2.1-T2V-1.3B) | Subj. | Bg. | Mot. | Dyn. | Aesth. | Img. |
|---|---|---|---|---|---|---|
| Base | 95.3 | 96.4 | 96.3 | 39.6 | 45.3 | 65.7 |
| Full FT (전량) | 95.9 | 96.6 | 96.3 | 42.0 | 45.0 | 63.9 |
| Random | 95.3 | 96.6 | 96.3 | 41.3 | 45.7 | 65.1 |
| Motion magnitude | 95.6 | 96.2 | 95.7 | 40.1 | 45.1 | 63.2 |
| V-JEPA | 95.7 | 96.0 | 95.6 | 41.6 | 44.9 | 62.7 |
| Ours w/o 모션 마스킹 | 95.4 | 96.1 | 96.3 | 43.8 | 45.7 | 63.2 |
| Ours (Motive) | 96.3 | 96.1 | 96.3 | 47.6 | 46.0 | 64.6 |
Subj.: 주체 일관성 · Bg.: 배경 일관성 · Mot.: 모션 매끄러움 · Dyn.: 동적 정도 · Aesth.: 미적 품질 · Img.: 이미징 품질. Wan2.2-TI2V-5B에서도 동적 정도 48.3%로 전량 미세조정(45.3%)을 능가한다.
자동 지표는 지각적 모션 품질을 놓칠 수 있어, 17명의 평가자가 50개 영상에 대해 쌍대 비교를 수행했다(총 850건). 두 영상 중 더 나은 모션을 고르는 방식이며 무승부를 허용했다.
범주별 상위 100개 영향력 학습 표본이 다른 범주와 얼마나 겹치는지를 본다. 아래는 VIDGEN 데이터셋의 겹침 비율(%)이다. bounce–float처럼 역학이 유사한 쌍은 높게, free fall–stretch처럼 기계적으로 다른 쌍은 낮게 나타난다. 이 패턴은 4DNeX에서도 동일해, 영향력 관계가 모션 표현의 근본적 측면을 반영함을 시사한다.
행렬은 비대칭이다. 범주마다 5개 질의가 공유하는 고유 영향력 표본 수가 달라 방향성 겹침 비율이 생긴다. 두 데이터셋 평균 겹침은 각각 24.0%, 24.3%로 중간 정도의 공유를 보인다.
파이프라인의 지배적 비용은 학습 표본별 그래디언트 계산이다. 이는 한 번만 수행하면 이후 모든 질의에 재사용된다. 각 클립 그래디언트는 512차원 벡터로 투영·저장되며, 새 질의를 더하는 데는 단일 역전파와 코사인 유사도 계산만 필요하다.
Motive는 각 영상을 하나의 단위로 다뤄 모션의 프레임 단위 겉모습 붕괴는 피하지만, 특정 구간만 모션 정보를 담을 수 있다는 점을 놓칠 위험이 있다.
정보성 높은 구간이 같은 클립의 정적·중복 부분과 평균되면 희석된다. 모션 세그먼트·이벤트 수준의 더 세밀한 귀속이 열린 방향이다.
모션 마스크가 카메라 단독 모션을 과대평가할 수 있다. W의 공간 균일성으로 이를 검출해 하향 가중하나, 자아·객체 모션의 완전한 분리는 향후 과제다.
널리 쓰이는 분류자 없는 안내(CFG)를 명시적으로 다루지 않아, 학습 시 귀속과 추론 시 동역학 사이에 불일치가 생긴다.
일회성 순위를 넘어 귀속–미세조정–재귀속을 반복하는 능동 선택, 학습된 질의 가중치, 안전성을 위한 음의 영향력 필터링으로 확장한다.