Orca
The World is
in Your Mind

기존 지능 모델은 세 가지 예측 축 중 하나에 최적화되어 있다. 지시에 응답하는 다음 토큰 예측(Next-Token), 고품질 이미지·영상을 생성하는 다음 프레임 예측(Next-Frame), 고품질 행동을 생성하는 다음 행동 예측(Next-Action)이 그것이다. Orca는 이들을 개별 목표로 두지 않는다. 대신 세계 상태를 구성하고 다양한 다운스트림 과제를 지원하는 잠재 공간을 만드는 능력으로 지능을 재정의한다.

Orca는 세계 학습을 잠재 세계 상태 모델링으로 정식화한다. 세계 신호 X = {X_m}를 잠재 세계 상태 S = f_θ(X)로 사상한 뒤, 상태 S가 암묵적 동역학과 명시적 조건 아래에서 앞뒤로 진화하도록 모델링한다.

• 1)관측 전용 상태 전이 (무의식). 프레임 v_t와 학습 쿼리 <Query 1>로부터 다음 프레임 잠재 v̂_{t+1}을 예측한다. 정답은 동결된 비전 인코더가 생성하며, 교사 강요(teacher forcing)로 정렬한다.
• 2)이벤트 조건 상태 전이 (의식). 프레임·쿼리에 이벤트 설명 e_{t+Δ}과 <Query 2>를 더해 이벤트 관련 잠재 v̂_{t+Δ}을 예측한다. 이벤트·과제 의도·인과 전제를 조건으로 삼는다.
• 3)VQA 응답 생성. 영상 V와 질문 l_q로부터 언어 답변 l_a를 표준 다음 토큰 예측 손실로 생성한다. 언어 인터페이스와 상식적 근거를 유지한다.

사전학습은 세 목표를 결합한 손실로 세계 상태 모델링을 구현한다. 앞의 두 상태 전이 목표는 학습 가능한 쿼리 벡터로, VQA 응답 생성은 백본의 LM head로 최적화된다.

데이터 구성은 세계 상태와 그 전이를 학습하도록 상호 보완적 지도를 제공한다. 모든 데이터는 실세계에 근거하며, 영상 데이터는 실제 영상으로 구축하고 이벤트·VQA 데이터는 그 위에서 상태 전이·물리 관계·공간 구성·행동 의도·인과 결과를 기술한다.

Orca 인프라는 자체 개발 FlagScale을 사용하며 FSDP2 재구축, 청크 교차 엔트로피 손실과 활성화 재계산을 통한 메모리 절약, 통신 스케줄링(순방향·역방향 프리페칭)을 도입했다. 그 결과 학습 처리량이 GPU당 초당 0.66 → 2.91 샘플로 증가하여, 임베디드 커뮤니티에서 널리 쓰이는 StarVLA 대비 약 4.4배 가속을 달성했다.

MVBench·TemporalBench·3DSRBench·SWITCH 네 벤치마크에서 OOD 상식 추론·이해·고차 인지 능력을 평가한다. 모든 결과는 제로샷이며, 벤치마크 특화 학습이나 튜닝은 없다. Orca-4B는 동급 VLM과 대형 세계 모델 모두를 능가한다.

TABLE 1. 텍스트 생성 비교(↑ 높을수록 우수). Orca-4B는 평균 51.8로 동급·대형 기준선을 상회한다.

여러 벤치마크의 샘플을 능력 차원별로 집계한 벤치마크 비의존 평가에서, Orca-4B는 Qwen3.5-4B 대비 특히 상태 전이(+12.27%)와 동적 운동(+8.52%)에서 큰 향상을 보인다.

TABLE 2. Orca-4B vs Qwen3.5-4B의 능력 차원별 성공률 변화.

목표는 화가를 만드는 것이 아니라, 잠재가 미래 상태를 예측하는 능력을 지녔는지 확인하는 것이다. 이를 위해 실세계 데이터셋 PRICE-V0.1(Prediction of Real-world Interactions with Constraints Evaluation)을 구축했다. Orca는 최고 평균 성능을 보이며, 로봇 형태·장면·물체 일관성·접촉 관계·지시 준수를 더 잘 보존한다.

TABLE 3. PRICE-V0.1 비교. Orca-4B는 평균 59.8로 최고, 표준편차도 낮아(±10.9) 안정적이다.

양팔 바퀴형 휴머노이드 로봇으로 5개 과제(Take Book·Stacked Bowls·Pull Out Tissue·Stamp·Scoop Sugar)를 수집하고, 환경·물체 두 OOD 설정에서 평가한다. 처음부터 학습한 Action Expert 조건에서 Orca는 모든 OOD 설정에서 Qwen3.5를 능가하며 0% 성공률을 돌파하고, 대규모 로봇 데이터로 사전학습된 강력한 π₀.₅와도 비견된다.

TABLE 4. 행동 생성 종합 비교. 모든 백본은 동결, Action Expert는 처음부터 학습. DRR(편차 회복 비율)이 높아 실행 오류 후 복구가 우수하다.

Orca는 실행 중 의미 있는 중간 진전을 더 자주 만들고 정체가 적다. 높은 FNS는 실패 궤적조차 종료 전 더 후반 단계에 도달함을, 높은 DRR은 진전 하락 후 편차를 교정하고 과제를 이어감을 시사한다. 스푼 잡기 반복 실패 후에도 Orca는 복구하여 성공(DRR 100.0)하는 반면 π₀.₅는 불안정하게 반복 실패(DRR 53.7)한다.

세 손실(λ_obs·λ_evt·λ_vqa)을 절제한 결과, 세 목표를 함께 쓸 때 텍스트·이미지·행동 판독이 가장 균형 잡힌다. 관측 전용 전이는 행동 판독에, 이벤트 조건 전이는 시각 판독에 핵심이며, VQA는 언어 인터페이스와 의미 근거를 보존한다.

TABLE 5. 절제 결과. 세 목표를 모두 사용할 때 평균 48.0으로 가장 균형 잡힌 판독을 얻는다.

• 1)제한된 멀티모달 신호. 현재 주로 시각·언어로 학습한다. 그러나 많은 상태 전이는 소리·촉각·힘 피드백 등 다른 감각·물리 신호로 표현된다(예: 물이 끓는지는 시각 변화 전 소리로 추론 가능). 향후 오디오·촉각·힘·빛·자기수용 등 더 풍부한 신호를 통합해야 한다.
• 2)ViT 공간 지도. 동결된 비전 인코더 안에서 시각 상태 예측을 지도하여 학습을 단순화했으나, 이는 학습된 상태 공간을 의미 공간에 정렬시킨다. 범용 세계 모델은 단일 사전학습 모달리티 공간에 의존하지 않고 다중 소스 신호로부터 통합 세계 공간을 직접 학습해야 한다.
• 3)제한된 모델 규모. 자원 제약으로 4B·0.8B 규모에 머문다. 4B 모델은 사전학습이 진행됨에 따라 언어·이미지·행동 판독 간 트레이드오프를 보이며 0.8B에서 더 두드러진다. 125K시간·160M주석을 만들었으나 현재 1/10만 사용했다. 세계 학습은 데이터뿐 아니라 충분한 모델 용량을 요구한다.
• 4)제한된 시각 벤치마크. PRICE-V0.1은 여러 실세계 소스를 다루지만 규모·다양성·상호작용 풍부성이 아직 제한적이다. 실세계 상태 예측의 더 포괄적 평가를 향한 초기 단계로 삼는다.
• 5)짧은 지평 전이 지도. 대부분의 이벤트 주석이 분 단위의 짧은 지평 전이를 기술한다. 국소 전이 학습에는 적합하나 시간·일 단위 이상의 장기 상태 진화 모델링에는 불충분하다.
• 6–8)판독·손실·임베디드 과제의 제한. 판독을 언어·시각·행동으로 검증했으나 청각·양자 회로·단백질 등은 여전히 세계의 중요한 일부다. 세 손실은 다음 상태 예측에 충분히 일관되지 않아 더 단순한 손실이 필요하며, 임베디드 과제는 아직 상대적으로 짧고 쉽다.