SUNGSOO KIM · AI RESEARCHPHYSICAL AI · MISSION-ORIENTED R&D

RESEARCH SYNTHESIS · FULL STACK · GOVERNMENT MISSIONS

피지컬 AI의 성능을
국가임무의 증거로

Physical AI Full Stack: From Research Evidence to Mission-Aligned R&D

2025–2026 연구의 성과와 한계, K-문샷 공식 요구,
2028–2032년 공통 기반·연계 사업·성과 검증의 설계

2026-10-18 KST · 15 PRIMARY RESEARCH RECORDS · 13 ANALYTICAL PERSPECTIVES

연구 근거와 국가임무를 검증 가능한 풀스택으로 연결논문 근거와 공식 미션 요구를 입력으로, 상태와 예측, 행동과 접촉, 안전과 운영을 결합하는 제안 구조를 설계한다. 실물 임무 검증으로 기여를 판단하고 실행 경험을 데이터와 모델에 돌려보낸다.RESEARCH EVIDENCE일반화·물리 예측·실행·평가OFFICIAL POLICY미션 요구·마일스톤·수혜자요구를 시스템 역량·실험 가설로 변환OBSERVE / PREDICT상태·예측시각·촉각·세계모델PLAN / ACT계획·행동VLA·접촉·실시간 제어VERIFY / OPERATE안전·운영중단·복구·갱신 검증MISSION EVIDENCE실물 임무의 품질·위험·사람 개입·비용실행 경험학습·재검증국가임무 → 필요 역량 → 연구사업 → 검증 가능한 변화

좁은 화면에서는 그림 내부를 좌우로 이동해 읽을 수 있습니다.

개념 종합·연구기획 제안. 서로 다른 논문의 결과를 결합해 통합 성능이 입증되었다는 뜻은 아니다.

공식 미션과 연구 근거가 시스템 설계를 제한하고, 실제 임무의 증거가 확산·갱신 판단과 다음 학습을 이끈다. 실선은 설계·평가의 연결, 점선은 경험을 반영하는 개선 경로다.

좋은 행동 모델을 확보하면 좋은 로봇 시스템도 얻을 수 있는가? 피지컬 AI의 연구기획은 이 질문에 답해야 한다. 국가임무를 수행하는 단위는 모델이 아니라, 관측·예측·행동·검증이 이어지는 물리적 폐루프이기 때문이다.

조사 기준일: 2026년 10월 18일 KST. 2025년 1월 1일 이후 공개된 대표 1차 연구 15편과 정부 공식 자료를 목적 표집하여 비판적으로 종합했다. 검색어는 Physical AI, robot foundation model, VLA, world model, tactile, real-time execution, robot data, evaluation, K-문샷·피지컬 AI 미션·전략 로드맵을 조합했다. arXiv 서지·버전과 원문 HTML의 관련 방법·실험·한계 절, 정부 공개 첨부 ODT를 확인했다. 전수 조사나 실험 재현은 아니며, 연구의 선택은 계층의 대표성과 인터페이스 병목 설명 가능성을 기준으로 했다.

핵심 결론. 2025–2026년 연구는 데이터의 이질성 활용, 다중 시간척도의 실행, 물리적 미래 예측, 실행 검증을 각각 진전시켰다. 그러나 이 성과들의 조합이 장기 안전 운용을 보장하지는 않는다. 2028–2032년 연구기획은 공통 데이터·상태·행동 인터페이스를 만들고, 새로운 현장·기종·업데이트에서 임무 성과가 유지되는지 입증하는 방향이 적절하다. 뒤의 연계 사업과 일정은 작성자의 연구기획 제안이다.

PART 01 · DEFINITION

정의 — 풀스택은 물리적 결과에 책임지는 연결 범위

[해석·작업 정의] 피지컬 AI(Physical AI)는 신체를 가진 시스템이 실제 환경을 관측하고 행동의 결과를 다시 관측하면서 임무를 수행·학습하는 지능이다. 풀스택(Full Stack)은 그 지능의 모델뿐 아니라 신체·데이터·상태 추정·예측·계획·제어·컴퓨팅·검증·운영을 연결한 분석 범위다. 최신 서베이는 물리 상호작용의 폐루프를 중심으로 모델·학습·제어·컴퓨팅·평가를 다루지만, 여기서 쓰는 9계층 분류 자체가 공인 표준은 아니다. 문헌의 분류를 연구기획에 맞게 재구성했다. [R1]↗

동일한 로봇이 언어를 이해하고 미래 영상을 생성해도, 부품을 잘못 집거나 접촉력을 제어하지 못하면 임무를 달성하지 못한다. 따라서 “무엇을 예측하는가”와 “어떤 물리 결과를 만들 수 있는가”를 나누어 정의해야 한다. 모델이 교체되어도 관측·행동의 의미와 검증 조건이 유지되는가가 풀스택의 실질적인 경계다.

개념주된 대상풀스택과의 관계·경계
체화 AI(Embodied AI)환경과 상호작용하며 지능을 형성하는 에이전트시뮬레이션도 포함하는 넓은 연구 영역. 실물에서의 신체·시간·위험 제약을 충족하는지는 별도 검증
로봇 파운데이션 모델(Robot Foundation Model, RFM)여러 과제·로봇에 재사용하는 사전학습 모델스택의 공유 능력 기반. 신체, 제어기, 데이터 권리, 운영 체계를 대체하지 않음
시각–언어–행동(Vision-Language-Action, VLA)영상·언어·상태를 행동 출력과 연결입출력·학습 형식의 분류. VLA가 RFM이 될 수 있지만 두 용어는 동의어가 아님
일반적인 월드모델(World Model)환경의 상태 또는 관측 변화 예측영상·잠재 상태·게임 등 폭넓은 대상. 행동 조건부 물리 예측과 제어 활용이 항상 포함되지는 않음
피지컬 AI 월드모델행동·신체·접촉 조건 아래 물리적 결과 예측본 글의 작업 정의. 제어·계획·검증에 쓰려면 단위·좌표·시간·불확실성과 실제 결과 정합성 필요
전통적 로봇 시스템기하 모델, 상태 추정, 계획, 피드백 제어풀스택의 대립 개념이 아니라 구성 기반. 고정된 공정에서는 명시적 모델과 전용 제어가 적합할 수 있음

GR00T N1은 VLM과 행동 생성기를 결합하고, Cosmos는 세계모델 개발의 데이터·토크나이저·사전학습 기반을 제공한다. 서로 다른 부분을 책임지는 접근이므로 “어느 하나가 풀스택 전체인가”보다 능력의 범위와 시스템 책임의 범위를 함께 읽는 것이 유용하다. [R2]↗ [R3]↗

PART 02 · PROBLEM DEFINITION

문제 정의 — 불완전한 정보로 제약을 지키며 임무를 끝내기

[해석] 문제는 자연어 지시를 행동 벡터로 바꾸는 데서 끝나지 않는다. 실제 상태를 모두 알 수 없고, 마찰·질량·신체 특성이 달라지며, 센서와 계산은 지연된다. 그 조건에서 목표 상태를 만들고 안전·시간·에너지 제약을 유지해야 한다. 물체가 가려졌을 때 잡힌 상태를 추정하고, 들어 올린 뒤 미끄러짐을 확인해 힘을 바꾸는 과정이 대표적이다.

평가 단위도 명시해야 한다. 하나의 pick-and-place 성공, 여러 하위과제의 완료, 교대 시간 동안의 운용은 서로 다른 주장이다. 연구기획서에는 목표물·허용 오차·제한 시간·허용 개입·중단 조건·재시도 비용을 포함하는 임무 명세를 먼저 둔다. “사람 수준”이라는 표현도 동일 장비·대상·품질·시간 조건의 사람 기준선 없이 수치 목표로 바꿀 수 없다.

부분관측 의사결정 과정(Partially Observable Markov Decision Process, POMDP)을 출발점으로 다음과 같이 형식화할 수 있다. 아래는 특정 논문의 재현 수식이 아닌 문제 설명을 위한 일반화다.

st+1∼P(·|st,at,e),ot∼O(·|st),at∼πθ(·|bt,g)

st는 물체·로봇·접촉의 실제 상태, ot는 센서 관측, at는 행동, e는 신체·환경 조건, g는 임무 목표다. 믿음 상태(belief state) bt는 관측·행동 이력으로 추정한 상태 분포다. 상태와 신체 기술이 충분하고 전이·관측의 확률 표현이 유효하다는 가정 아래 쓰는 모델이며, 실제 접촉의 비정상성까지 자동 해결하지 않는다.

개별 성능이 전체 성공으로 이어지지 않는 이유. 상태 추정의 좌표 오차는 계획의 목표점을 바꾸고, 계획 지연은 오래된 관측에 따른 행동을 만들며, 제어 실패는 이후 데이터를 바꾼다. 단계별 성공 확률을 곱하는 단순 근사는 각 단계의 조건부 실패가 정의될 때만 유용하다. 실제 오류는 상관되므로 독립을 가정해 시스템 신뢰도를 계산해서는 안 된다. 같은 장면에서 목표 지시만 바꿨을 때 행동이 충분히 달라지지 않는 grounding gap 연구는 명목 성공률만의 한계를 보여준다. [R12]↗

PART 03 · CORE CONCEPTS

핵심 개념 — 상태, 시간, 행동의 의미를 맞추기

[해석] 표현(representation)은 모델이 쓰는 정보 형식이고, 상태(state)는 임무 판단에 필요한 세계·신체의 변수다. 좋은 표현은 단순히 압축률이 높은 표현이 아니라, 접촉 안정성·목표 달성·위험 판단에 필요한 변수를 유지한다. 예측(prediction)은 가능한 결과를 추정하고, 계획(planning)은 목표와 제약 아래 행동을 선택한다. 예측 영상의 선명도는 계획의 물리적 타당도와 다른 지표다.

정책(policy)은 상태·목표에서 행동을 고르는 규칙이며, 제어(control)는 피드백을 이용해 그 행동을 실제 신체에서 구현한다. 하나의 신경망이 두 역할을 함께 학습할 수 있지만 측정 책임은 분리하는 편이 낫다. 일반화(generalization)는 고정된 모델이 새로운 조건에서 수행하는 능력이고, 적응(adaptation)은 새 데이터나 상호작용으로 바뀌는 과정이다. zero-shot 결과에는 현장별 학습 데이터가 없었는지, 추가 보정·프롬프트·시연이 있었는지도 기록한다.

9계층은 선형 개발 순서가 아니다. 아래 도식의 실행 순환과 데이터 개선 순환은 서로 다른 시간척도를 가진다. 안전·검증은 모든 계층을 가로지른다. 이는 문헌을 연결한 개념 구조이며 통합 실험을 수행한 결과가 아니다.

실행 폐루프와 학습 및 안전을 연결한 9계층신체와 센서의 결과가 상태 추정과 세계모델로 이어지고, 작업 계획과 접촉 제어를 통해 신체에 돌아온다. 데이터, 시뮬레이션과 연산 네트워크는 이 실행을 지원한다. 안전 평가 운영은 전 계층에 적용한다.L9 안전·불확실성·평가·배포·운영 — 전 계층의 중단·검증 계약L1 신체·센서·구동기관측·물리적 결과L3 다중모달 상태 추정영상·촉각·고유감각L4 표현·월드모델행동 결과·불확실성L5 추론·작업 계획·VLA하위목표·행동 chunkL6 운동·접촉 제어추종·힘·빠른 반응행동 적용 → 결과 재관측L2 경험 데이터동기·실패·계보L7 시뮬레이션·적응합성·학습·전이L8 연산·통신·협업자원·지연·역할실행과 개선은 다른 시간척도 · 개념 정리·제안 구조

좁은 화면에서는 그림 내부를 좌우로 이동할 수 있습니다.

실선은 관측–예측–계획–제어의 실행 폐루프, 점선 화살표는 기록·학습·검증된 갱신 경로다. L8은 실행 전반의 자원 기반이며, L9의 점선 테두리는 전 계층에 적용되는 계약을 나타낸다.

신체의 관측을 상태·예측·계획·제어로 연결하고 결과를 다시 관측한다. 동기화 데이터, 시뮬레이션·적응, 연산·네트워크가 이를 지원하며 안전과 운영 검증이 전체를 제한한다.

계층입력 → 출력·의존시간 요구·공통 계약오류 전파·평가
L1 신체·물리 인터페이스구동 명령 → 운동·힘; L6과 상호 의존제어기 주기, 힘·토크·위치 한계, 센서 캘리브레이션포화·백래시가 정책 가정을 무효화; 추종 오차·열·접촉력
L2 상호작용 데이터센서·행동·결과 → 동기화된 episode; L1·L9공통 시각, 단위, 좌표계, 기종·정책·교정 버전시각 어긋남이 가짜 인과 학습; 시간 오차·결측률·실패 포함률
L3 융합·상태 추정영상·촉각·고유감각 → 상태·불확실성; L1·L2상태의 관측 시점·유효 기간, 공분산 또는 보정된 신뢰값잘못된 접촉·목표 추정이 계획 전체에 전달; 위치·접촉 상태 오차
L4 표현·월드모델상태·후보 행동 → 미래·위험 추정; L2·L3예측 horizon, 행동 조건, 물성 범위·좌표·단위그럴듯한 잘못된 미래가 잘못된 계획을 강화; 다단계 상태·힘 오차
L5 추론·계획·VLA목표·상태·예측 → 하위목표·행동 chunk; L3·L4목표 식별자, 선행·종료 조건, 행동 표현과 제한 시간잘못된 대상 선택·오래된 계획; 지시 준수·임무 완료율
L6 운동·접촉 제어행동·빠른 피드백 → 구동 명령; L1·L3·L5deadline·명령 유효 기간·포화 제한·안전 중단 경로지연·접촉 불안정이 손상으로 확대; 추종·힘 제한·정지 지연
L7 시뮬레이션·적응실행 실패·자산·물성 → 학습·시험 후보; L2·L4·L9비실시간 학습과 실행 모델 배포 분리, simulator·split 버전sim-to-real 차이와 평가 오염; 실물 성능 보존·적응 데이터량
L8 연산·네트워크·협업작업·상태·계산 요청 → 추론·역할·통신; 전 계층지연 분포·시각 동기·역할 소유권·연결 단절 정책평균 지연만 맞아도 deadline 위반; tail latency·전력·중복 행동
L9 안전·평가·운영모든 로그·위험 → 허용·중단·복구·배포 판단중단 권한, 위험 한계, 독립 시험세트, rollback 조건공통 실패가 평가에도 은폐; 위험 노출·개입·회귀·가동률

여기서 시간 요구는 임의의 공통 Hz 목표로 지정하지 않았다. 고수준 계획은 로봇의 작업 변화 속도에, 접촉 피드백은 신체·구동기·안정성 조건에 맞춰야 한다. TouchWorld도 nominal chunk와 residual 갱신을 나누지만 특정 센서·신체·스케줄에 의존한다. 논문의 “고주파”를 모든 장비의 보편적 제어 주기로 옮기지 않는다. [R7]↗

[제안·시간 계약] 종단 지연을 센싱·전송·추론·명령 적용으로 나누고, 실제 장비에서 동시 실행의 critical path를 측정한다. 순차 실행의 근사에서는 다음 조건을 쓸 수 있다.

Tsense+Tnet+Tinfer+Tact≤Dtask

Dtask는 임무·접촉 상태별 허용 반응 기한이다. 병렬 처리와 chunk 실행에서는 단순 합 대신 관측의 나이(age), queue, 최악 지연, 실제 적용된 행동의 시점을 측정한다. 평균 추론 속도와 물리적으로 유효한 반응 시간은 다른 측정값이다.

PART 04 · INTRODUCTION

연구 흐름 — 모델 확대에서 연결의 유효성으로

[문헌 종합] 2025년 초의 Cosmos는 세계모델 개발 플랫폼을, GR00T N1은 다중 데이터와 이중 시스템 VLA를 제시했다. π0.5는 이질적 데이터 공동학습을 낯선 가정의 조작 과제로 연결했다. “큰 모델 하나”라는 공통 형태보다 학습 데이터와 출력 역할의 차이가 중요하다. [R2]↗ [R3]↗ [R4]↗

같은 해 RTC는 행동 chunk의 생성·실행을 겹쳐 지연 문제를 다뤘고, Gemini Robotics 1.5는 추론·기종 간 동작 전이를 결합했다. Veo 기반 정책 평가는 세계모델을 데이터 생성기뿐 아니라 정책 시험 환경으로 사용했다. 이들은 하나의 방법이 이전 방법을 대체하는 계보라기보다, 일반화·추론·시간·평가라는 서로 다른 병목에 대한 보완 접근이다. [R5]↗ [R6]↗ [R10]↗

2026년에는 접촉의 예측·반응 분리(TouchWorld), 임무 기반 경험 생산(Robot Data Factory), 실행 프로그램의 개선(HarnessPAI), 지시가 행동을 지배하는지의 검증(grounding gap), 기하 정합성(DepthWorld), 에너지 측정(ActTune)이 두드러진다. 10월의 ARTISAN과 시스템 서베이는 생성물·개별 모델을 실제 사용 가능한 구성요소로 검증하는 문제를 보강한다. 이 선택 문헌들에서 연결의 품질이 독립적인 연구 대상으로 부상했다는 해석은 가능하지만, 전체 분야의 연구 비중 변화까지 정량적으로 입증한 것은 아니다. [R7]↗ [R8]↗ [R9]↗ [R11]↗ [R12]↗ [R13]↗ [R14]↗ [R1]↗

대표 논문 비교 · 수치는 같은 행의 조건 안에서만 해석한다. 서로 다른 행은 순위표가 아니다. 최초 공개일·개정일은 arXiv 이력 기준이며 UTC 일자다. KST 게시일과 구분한다.

논문·최초/개정·상태대상 계층·방법실험·자원 조건확인된 기여·성과한계·외삽 경계
R1 Physical AI Survey [R1]↗
2026-10-15 / v1
프리프린트
전 계층; 폐루프 시스템 관점 문헌고찰기존 연구 종합, 통합 로봇 실험 아님표현·모델·학습·제어·컴퓨팅·평가 연결분류와 전망이 통합 시스템 성능 증거를 대신하지 않음
R2 Cosmos [R2]↗
2025-01-07 / 07-09 v3
기술보고서
L2·L4·L7; 큐레이션·토크나이저·사전학습대규모 영상·GPU 기반 모델과 후속학습 사례맞춤형 세계모델 개발 기반생성 품질은 로봇 접촉·안전 보증이 아님
R3 GR00T N1 [R3]↗
2025-03-18 / 03-27 v2
프리프린트
L2·L5; VLM + diffusion 행동 생성실제·인간 영상·합성 데이터; 시뮬레이션 및 Fourier GR-1 양팔다중 신체 조작과 데이터 효율 연구GR-1 조작에서 모든 전신·현장 임무로 일반화 불가
R4 π0.5 [R4]↗
2025-04-22 / v1
프리프린트
L2·L5; 이질적 공동학습다중 로봇·웹·의미 하위과제; 실물 가정 조작새 가정에서 장기 조작 사례특정 분포의 미관측 가정과 무제한 open-world는 다름
R5 RTC [R5]↗
2025-06-09 / 12-05 v2
NeurIPS 2025 게재
L5·L6·L8; 비동기 chunk·inpaintingKinetix 12과제·실물 양팔 6과제; diffusion/flow 정책현재 chunk 실행 중 다음 chunk 생성큰 지연의 제거·모든 제어 안정성 보증은 아님
R6 Gemini Robotics 1.5 [R6]↗
2025-10-02 / 11-28 v3
기술보고서
L3·L5; embodied reasoning·motion transfer이질적 기종 데이터, 다단계 조작 평가추론과 다중 신체 VLA의 연결공개된 보고 조건과 별도 현장 검증을 구분
R7 TouchWorld [R7]↗
2026-07-08 / 07-09 v2
프리프린트
L3–L6; 촉각 미래 목표·residualWuji hands·촉각 glove 기반 실물 6과제, clean/인간 교란평균 성공 65.0% / 53.7% (Table 1)다른 손·센서로 zero-shot 전이 입증 아님
R8 Robot Data Factory [R8]↗
2026-09-15 / v1
프리프린트
L2·L7–L9; 임무 기반 경험 생산Home·Environment·Energy 인프라와 운영 코어경험·검증·벤치마크의 연속 생산 설계학습 개선의 통제 실험과 모든 서비스 공개는 별도 마일스톤
R9 HarnessPAI [R9]↗
2026-09-24 / v1
프리프린트
L5·L9; 코드 실행·시행 간 개선7 벤치마크, 여러 신체/행동 backend; 주요 수치 시뮬레이션LIBERO-PRO에서 π0.5 대비 +61.6%p 보고기존 atomic skill 능력과 관측 가능성에 의존; 프로그램 고정과 저수준 피드백 구분
R10 Veo policy evaluation [R10]↗
2025-12-11 / 2026-01-06 v2
기술보고서
L4·L7·L9; 행동 조건부 영상 평가ALOHA 2, 5과제·8 checkpoint, 실물 1,600회 이상 비교명목·OOD 정책 상대 성능 평가보고 rollout 8초; 접촉·생성 오류·사람 채점 한계
R11 ARTISAN [R11]↗
2026-10-09 / 10-12 v2
프리프린트
L2·L7; agent 생성 + 물리 검사MuJoCo, π0.5 미세조정; RoboTwin 3·RoboCasa 8과제native+생성 자산: 80→84%, 39→43% (Table 3)시뮬레이션 held-out native 객체 결과; 실물 전이·전체 비용 별도
R12 Grounding Gap [R12]↗
2026-10-05 / v1
프리프린트
L3·L5·L9; 지시 개입·표현 분석여러 VLA의 시뮬레이션·실물 장면, 목표 교체언어 정보 인코딩과 행동 통제의 불일치 분석평가한 정책·장면을 넘어 모든 VLA의 필연적 성질로 단정 불가
R13 DepthWorld [R13]↗
2026-10-06 / v1
CoRL 2026 수락(저자·프로젝트 표기)
L2·L3·L4; DROID-3D·RGB+depth동일 학습 예산 RGB-only 기준선, multi-view SVD 계열RGB 예측 PSNR +1.48dB 보고깊이·영상 품질이 직접 접촉 성공률·안전성을 증명하지 않음
R14 ActTune [R14]↗
2026-10-06 / v1
프리프린트
L5·L8; 행동별 정밀도·GPU 동작점LIBERO·논문 GPU 설정; BF16 대비성공 임무당 GPU 에너지 최대 76.8% 감소설정별 최대치; 로봇 구동·통신 포함 총에너지 아님
R15 PhysAI-Bench [R15]↗
2026-09-20 / v1
프리프린트
L5·L8·L9; UAV 의사결정 trace 평가10,178 instance; 고정 500 평가 instance, 29모델도구·협업·네트워크 문맥을 포함한 의사결정 시험정답 선택·trace 평가는 실기체 비행·통신 안전 검증이 아님

심사 상태는 확인한 레코드 범위다. R5는 공식 학회 proceedings에서 게재를 확인했다. R13은 arXiv와 저자 프로젝트의 수락 표기를 확인했으며 최종 proceedings 발행일은 별도 확정하지 않았다. 나머지 자료는 등록·보고서로 다루며 “미심사로 판명되었다”가 아니라 이번 조사에서 심사 완료를 별도 확정하지 않았다는 뜻이다.

PART 05 · MOTIVATION & BACKGROUND

동기와 배경 — 데이터와 물리 제약이 모델 밖에 남는다

[해석] 웹 영상은 다양한 상황을 보여주지만 힘·마찰·구동 명령과 실패 원인을 충분히 기록하지 않는다. 반대로 로봇 시연은 행동과 결과가 가깝지만 수집 장치·시간·사람 비용이 든다. 공동학습과 합성 데이터는 이 간극을 줄이는 방법이지만, 현장의 접촉·신체 차이를 없애는 증거는 아니다. π0.5와 GR00T N1은 이질적 데이터의 활용 가능성을 보여주는 근거로 읽어야 한다. [R4]↗ [R3]↗

현장 다양성은 외관 변화에 그치지 않는다. 투명 부품은 관측을, 마찰 변화는 접촉을, 다른 손은 행동 공간을, 불안정한 네트워크는 관측 시점을 바꾼다. 한 축에서 성능을 보존해도 여러 축이 동시에 바뀌면 실패할 수 있다. 데이터 설계에는 성공 행동뿐 아니라 중단·개입·재시도와 당시 상태를 포함해야 한다.

Robot Data Factory는 원시 기록량보다 임무와 물리적 결과가 연결된 경험의 생산·검증을 강조한다. 구현된 운영 코어와 향후 데이터·코드 공개, 통제된 학습 개선 검증은 구분되어 있다. 따라서 데이터 팩토리를 구축했다는 사실을 곧바로 일반 로봇 능력 향상으로 치환해서는 안 된다. [R8]↗

접근장점·적합 조건비용·실패 조건검증 질문
모듈식책임 경계와 교체가 명확; 정밀 측정·명시적 제약·한정된 공정에 적합인터페이스 손실, 상태 추정 오차, 모듈 간 최적화 불일치상류 오류를 하류가 인식하고 제한할 수 있는가?
통합 학습원시 관측과 행동의 공동 표현; 충분한 데이터와 반복 작업 분포에서 유리데이터·학습 비용, 실패 원인 파악·단독 모듈 검증의 어려움보지 못한 목표·신체·접촉에서 행동 의미가 유지되는가?
혼합 구조 [제안]재사용 모델 + 명시적 임무 조건·빠른 제어·독립 검증통합 설계·버전 관리 부담; 잘못된 계약은 여전히 전파동일 예산에서 end-to-end와 수작업 파이프라인보다 순편익이 있는가?

통합의 목적은 모든 계층을 하나의 신경망으로 만드는 것이 아니라, 계층 사이의 가정을 함께 검증하는 것이다. 선택 기준은 유행이나 모델 크기보다 고장 비용, 데이터 가용성, 실시간성, 교체·검증 비용이다.

PART 06 · CHALLENGES

도전 과제 — 내부 오차보다 연결에서 커지는 실패

[해석] 계층 내부의 난제는 센서 잡음, 부분관측, 다중 미래, 접촉 제어, 모델 계산량 등이다. 계층 간 난제는 다른 시간·좌표·행동 의미·불확실성을 가진 모듈이 상대의 가정을 깨뜨리는 것이다. 예를 들어 비전 모델의 높은 물체 검출률은 잘못된 카메라 외부 파라미터 때문에 삽입 실패로 이어질 수 있고, 정확한 계획도 명령 적용 시점이 늦으면 무효가 된다.

DepthWorld는 RGB 영상만으로는 다중 시점의 일관된 3차원 세계가 확보되지 않는다는 문제에 깊이 감독을 결합한다. 그 기여를 평가할 때는 기하 정확도와 downstream 접촉 성과를 별도 측정해야 한다. [R13]↗ RTC는 계산과 실행을 겹치지만 새로운 접촉 사건을 얼마나 빨리 반영하는지까지 장비에서 확인해야 한다. [R5]↗

또 하나의 난제는 동일 근거를 학습과 검증이 공유하는 데서 발생한다. 같은 세계모델이 행동 후보를 만들고 그 행동을 채점하면 오류가 상쇄되거나 서로 강화될 수 있다. 독립 센서·실물 hold-out·다른 평가기로 검증 경로를 분리할 필요가 있다. 이는 특정 논문이 이미 해결한 결과가 아닌 시스템 연구 과제다.

실패 경로보이는 증상·숨은 원인분리 실험 [제안]
관측 → 상태 → 접촉삽입 반복 실패; 가림·시각 동기·촉각 보정 중 원인 미상교정·시각 오차를 독립 주입하고 상태·접촉력·성공의 동시 변화 측정
언어 → 계획 → 행동장면의 익숙한 물체는 처리하지만 지시한 물체는 놓침장면 고정·목표 교체와 목표 고정·장면 교체를 교차 시험 [R12]↗
추론 → queue → 구동평균 latency는 짧지만 드물게 위험한 지연네트워크·GPU 부하 변동을 주입하고 p95/p99, deadline 위반, 중단 지연 비교
실패 → 데이터 → 업데이트새 현장은 개선되지만 이전 기종·과제는 퇴행새·기존 과제의 고정 회귀세트와 안전 사건을 버전별 paired 비교

PART 07 · RESEARCH QUESTIONS

연구 질문 — 성능 주장보다 반증 조건을 먼저 설계하기

[제안] 유용한 연구 질문은 “더 일반적인 모델을 만들 수 있는가”보다 좁아야 한다. 어느 실패를 어떤 정보로 줄이고, 같은 예산의 대안과 비교해 무엇이 유지되어야 하는지 명시해야 한다. 아래 질문들은 논문들의 한계에서 도출했으며 아직 검증된 결론이 아니다.

질문·공백가설비교 기준·최소 실험측정·반증
RQ1 상태의 유효 기간을 함께 전달하면 stale action을 줄이는가?상태 시각·불확실성·행동 유효 기간을 결합하면 같은 계산량에서 위험한 지연 행동 감소고정 정책, 동일 장면·신체, timestamps 유무·평균 latency 통제; 통신 지연/손실 단계 주입deadline 위반·충돌·완료시간·성공률. 단순 정지 증가로만 안전해지면 순편익 가설 기각
RQ2 예측 촉각이 낯선 접촉의 복구를 돕는가?촉각 미래와 실제 반응의 오차가 미끄러짐·정렬 실패의 조기 신호반응만/예측만/결합 비교, 물체·마찰·센서 한 축과 복합 shift, 동일 시연 예산 [R7]↗실패 감지 선행시간·오경보·복구율·최대 힘. 미관측 조건에서 개선이 사라지면 가설 제한
RQ3 물리 검사한 합성 자산이 실물 전이에 기여하는가?시각 다양성만 늘리는 것보다 물성·관절·접촉 검사가 데이터 효율 개선native-only/미검사 합성/검사 합성, 데이터량·학습량 통제; 안전한 실물 객체군 hold-out [R11]↗실물 성공·접촉 오차·실패 유형·총비용. 시뮬레이션에서만 좋아지면 전이 가설 기각
RQ4 프로그램과 VLA의 책임을 나누면 장기 작업 개입이 줄어드는가?선행·종료·중단 조건을 외부 계약으로 두면 지시 이탈·미완료를 줄임같은 frozen backend의 직접 실행/고정 코드/진화 코드, 개발·시험 seed 분리 [R9]↗지시 준수·완료·개입·재시도·계약 오판. 코드 작성·검토 비용 포함 우위가 없으면 기각
RQ5 행동별 계산 정밀도 조절이 총 운영비를 줄이는가?난도·접촉 위험에 따라 정밀도·GPU 상태를 달리하면 품질 유지하며 비용 감소고정 BF16/고정 양자화/적응 설정; GPU와 로봇 구동 에너지 동시 측정 [R14]↗성공 임무당 전체 에너지·비용·tail latency·손상. GPU 절약이 재시도·구동비에 상쇄되면 기각

성공 판정은 평균 향상의 존재만으로 결정하지 않는다. 임무별 허용 위험과 비열등 한계를 사전에 정하고, 다수 seed·물체·기종의 반복에서 신뢰구간을 제시한다. 비용·안전·완료 품질을 함께 보면 “성공률은 높지만 사람이 더 자주 구조하는 시스템”을 걸러낼 수 있다.

PART 08 · APPROACHES / METHODS

접근 방법 — 무엇을 학습하고 무엇을 명시할 것인가

8.1 데이터와 모델: 서로 다른 지식을 같은 행동에 연결

[논문 보고] GR00T N1은 시각·언어 해석과 diffusion 기반 행동을 결합하며, π0.5는 로봇 데이터·의미 하위과제·웹 지식을 공동학습한다. Gemini Robotics 1.5는 추론과 기종 간 전이를 연구한다. 이 접근에는 다양한 데이터, 행동 공간 정렬, 상당한 학습 자원이 필요하다. 공개 모델 이용과 자체 기반모델 사전학습은 비용·권리·재현성에서 다른 사업이다. [R3]↗ [R4]↗ [R6]↗

8.2 월드모델: 시각적 미래와 물리적으로 쓸 수 있는 미래 구분

Cosmos는 맞춤형 세계모델 개발 플랫폼의 경로를, DepthWorld는 다중 시점 기하 감독의 경로를 제시한다. [R2]↗ [R13]↗ Veo 정책 평가는 생성 시뮬레이션과 실물 결과를 비교했다. 그러나 보고된 짧은 rollout과 접촉 오류를 고려하면 장기 현장 안전을 영상 평가만으로 판정할 수 없다. [R10]↗ 물리 시스템에 쓰려면 후보 행동의 결과뿐 아니라 예측이 유효한 물성·관측 범위를 반환해야 한다는 것이 본 글의 제안이다.

8.3 접촉과 시간: 큰 추론을 빠른 반사와 분리

TouchWorld는 의미 하위과제·촉각 하위목표·명목 행동·촉각 residual을 나눈다. [R7]↗ RTC는 이미 실행이 확정된 행동을 보존하며 다음 chunk를 생성한다. [R5]↗ 두 방법은 서로 다른 문제를 해결한다. 전자는 빠른 접촉 수정, 후자는 생성 지연과 chunk 경계의 연결이다. 이를 결합할 때 residual이 이미 확정된 행동의 안전 가정을 깨지 않는지 새로 검증해야 한다.

8.4 실행과 개선: 검증 가능한 인터페이스 만들기

HarnessPAI는 실행 중 프로그램 수준 구조를 고정하고 시행 사이에 개선한다. 저수준 센서 피드백까지 개루프라는 뜻은 아니다. 코드가 수행할 atomic skill이 실제로 존재해야 하므로, 능숙하지 못한 그립 동작을 프로그램만으로 만들어낼 수는 없다. [R9]↗ 데이터 팩토리의 경험 기록을 이 개선에 연결할 수 있지만, 본 글이 선정한 구성요소들을 모두 결합한 시스템은 검증하지 않았다. [R8]↗

[제안 구조] 임무 명세 → 상태 추정 → 후보 행동/예측 → 계약 검사 → 실행·촉각 보정 → 결과 검사 → 데이터 기록 순서의 혼합 구조를 시험한다. 상태 패킷에는 관측 시각·좌표계·기종·신뢰도·접촉 상태를, 행동 패킷에는 목표물·단위·행동 기간·한계·완료 조건을, 결과 패킷에는 성공·중단·개입·실패 원인과 모델 버전을 넣는다. 고속 실행과 비실시간 학습은 버전 경계를 두고 연결한다.

at:t+H*=argmina[Ctask+λCrisk+μCresource]

이 식은 제안 구조의 개념적 최적화다. H는 예측 구간, Ctask는 목표 오차·미완료 비용, Crisk는 위험, Cresource는 계산·시간·에너지 비용이다. λ·μ는 교환비다. 안전의 필수 한계는 가중 비용만으로 처리하지 않고 별도 제약으로 둔다. 위험을 정확히 측정할 모델, 실행 가능한 해, 검증된 중단 경로가 있어야 하며, 이 수식 자체가 안전 증명은 아니다.

PART 09 · KEY APPLICATIONS

주요 응용 — 같은 풀스택이어도 필수 역량은 다르다

[해석] 제조·물류·가정·과학 실험은 서로 다른 목적함수와 위험을 가진다. L1·L3·L6·L9는 물리 실행의 기본이며, 데이터·학습 기반 시스템에서는 L2가 재현성의 기반이다. 대형 월드모델·범용 VLA·다중 로봇 협업은 모든 응용에 필수는 아니다. 정해진 위치의 단순 공정에는 전용 제어가 더 경제적일 수 있다.

응용·임무필수·선택 계층핵심 병목검증 조건·근거 경계
정밀 제조: 부품 정렬·삽입·체결필수 L1–3·L6·L9; 유연 생산에 L4–5·L7, 여러 셀 협업에 L8가림·공차·마찰·힘 제한·불량 복구초기 오차·부품 lot·공구 마모 hold-out, 품질 허용오차·최대 힘·불량률. TouchWorld 삽입은 관련 실물 근거지만 산업 미세공차 인증을 입증하지 않음 [R7]↗
물류: 분류·적재·이동·인계필수 L1–3·L5–6·L9; fleet 운용 L8, 예측·합성 활용 L4·L7긴 꼬리 물체·동선 변화·사람 혼재·인계 실패새 포장·적재물·통신 단절, 손상·개입·처리량 동시 평가. 선정 조작·trace 연구에서 대규모 물류 현장 성과까지 확장하는 것은 제안 [R3]↗ [R15]↗
가정·서비스: 정리·도구 조작필수 L1–3·L5–6·L9; 복잡 임무에 L4·L7; cloud/fleet L8 선택지시 모호성·신체 변화·깨지기 쉬운 물체·장기 오류 누적미관측 집·지시 교체·사람 교란, 개입·미완료·위험 노출. π0.5의 가정 실험과 촉각 실물 과제는 근거, 돌봄의 임상·생활 안전성은 미입증 [R4]↗ [R7]↗
자율 과학 실험실(Autonomous Science Laboratory): 시료·기구 조작과 실험 실행필수 L1–3·L5–6·L9와 장비 API·시료 계보; L4·L7은 공정 예측/학습, L8은 장비 협업오염·기구 차이·측정 신뢰성·복구 중 시료 상태 손실반복성·재현성·측정 품질·시료 추적·성공 실험당 비용. 선정 15편으로 실험실 전체 자율화를 입증하지 않으며 조작·운영 구조의 확장 제안

임무 성공은 물체를 옮겼는지뿐 아니라 올바른 대상·품질·시간·허용 위험으로 끝났는지로 정의한다. 자율 과학 실험실에서 로봇이 피펫을 움직여도 시료가 오염되면 과학적 성공이 아니다. 국가임무와 연결할 때도 비슷한 로봇 영상을 근거로 삼기보다 수혜자에게 필요한 결과와 검증 책임을 먼저 정의해야 한다.

PART 10 · OPEN PROBLEMS

미해결 문제 — 시험을 통과한 뒤에도 남는 불확실성

[해석] 가장 큰 공백은 환경·신체·과제·통신이 동시에 바뀌는 조건과, 여러 업데이트를 거치며 오래 운용하는 조건이다. 단일 축 일반화 결과만으로 복합 변화 대응을 추정할 수 없다. 안전 정지 후 사람이 원상복구해 주는 시험과 스스로 상태를 파악해 재개하는 운용도 다르다.

대리 평가(surrogate evaluation)는 시험 비용을 낮추지만 틀린 정책을 승인할 수 있다. Veo의 실물 비교는 가능성을 보여주되 짧은 horizon과 접촉·생성 아티팩트의 한계가 있다. [R10]↗ PhysAI-Bench는 의사결정 문맥을 구조화하지만 실기체에서 행동이 만들어내는 연속적인 결과를 그대로 검증한 것은 아니다. [R15]↗ 시뮬레이션·오프라인 평가에서 통과했다는 사실만으로 실물 배포를 승인할 수 없다.

업데이트 회귀는 새 기술을 추가하는 속도와 검증 비용을 직접 연결한다. 정책, 세계모델, 센서 교정 중 하나가 바뀌어도 다른 계층의 기존 검증이 유효한지 다시 판단해야 한다. “계속 학습”은 무제한 현장 온라인 변경과 동의어가 아니다. 고정 버전 시험·통제된 갱신·rollback이 지속 학습의 일부가 되어야 한다.

사각지대빠지기 쉬운 증거필요한 검증 [제안]
복구재시도 횟수·사람 reset·부분 손상·남은 자원동일 실패 상태에서 자동 복구율·시간·추가 위험과 전체 임무 재완료
장기 운용센서 drift·온도·마모·메모리 누적·충전시간별 품질·개입·정지 분포와 유지보수 포함 가동률
안전사고가 없었던 시험의 실제 노출량위험 유형별 노출·near miss·위반, 한계 밖 조건과 중단 권한 기록
경제성실패·데이터·평가·교정·업데이트 인건비수명주기 비용과 성공 임무 수를 함께 집계
신규 기종행동 공간·센서 layout 변경에 따른 수동 보정보정 시간·데이터량·재학습·안전 재검증 비용 공개

PART 11 · EMERGING RESEARCH TOPICS

부상하는 연구 주제 — 지속되는 병목에서 새 가설 도출

[해석] 지속적인 연구 필요는 새로운 명칭보다 반복되는 물리적 병목에서 나온다. 촉각의 예측·반응 결합, 검증된 경험 생산, 실행 프로그램, 기하 정합성은 이번 문헌에서 확인한 흐름이다. 반면 아래의 통합 계약·능동 검증·업데이트 승인 구조는 그 흐름에서 도출한 신규 제안이며 이미 확립된 방법으로 서술하지 않는다.

주제·부상 근거공백·가설·차별성최소 검증 실험성공·실패 판정
시간·불확실성 포함 행동 계약 [제안]
RTC·grounding 연구 [R5]↗ [R12]↗
의미·시각·유효 기간을 따로 다루는 공백. 목표·관측 나이·불확실성을 결합해 stale·wrong-target 행동 제한한 로봇의 동일 정책에 계약 검사만 추가; 지시 교체×통신 지연 교차 시험성공 품질 비열등 + 위험·잘못된 대상 감소. 과도한 중단으로 처리량 저하 시 실패
접촉 미래 오차 기반 능동 재관측 [제안]
TouchWorld·DepthWorld [R7]↗ [R13]↗
계속 고속 센싱하는 비용과 드문 접촉 사건의 손실. 미래 오차에 따라 촉각·시점·계산 집중균일 주기/상태 기반/예측 오차 기반 비교, 같은 관측·계산 예산동일 예산에서 접촉 실패·최대 힘 감소. 센서 교체에서 오경보 급증하면 가설 제한
자산부터 정책까지 검증 계보 [제안]
ARTISAN·RDF [R11]↗ [R8]↗
개별 자산 검사와 학습 성과 추적이 끊김. 자산 물성·검사 결과·훈련 정책·실물 실패를 연결관절 자산 생성/검사 ablation, 시뮬레이션→안전한 실물 소규모 hold-out실패 원인 추적 시간·필요 데이터 감소와 실물 품질 보존. 생성 비용만 증가하면 실패
대리 평가의 위험 중심 실물 보정 [제안]
Veo 평가·서베이 [R10]↗ [R1]↗
상대 순위와 절대 승인 기준의 차이. 모델 불일치·접촉·신규 신체를 우선 실물 측정같은 실물 시험 예산에서 무작위/위험 기반 표집 비교; 독립 실물 평가세트위험 정책의 잘못된 승인률 감소. 순위만 맞고 위험 누락이 유지되면 실패
성공 임무 비용과 회귀를 함께 최적화 [제안]
ActTune·HarnessPAI [R14]↗ [R9]↗
추론 절약과 업데이트·reset 비용 분리. 난도별 실행·배포 전략으로 총비용 절감새·기존 임무 cohort, 정책 갱신 전후 paired 시험과 인력·전력 계측기존 능력·위험 비열등 + 총비용 감소. GPU 절약에만 머물면 실패

주제의 잠재 영향은 별도 대형 모델 경쟁 없이 데이터·실행·검증의 재사용성을 높이는 데 있다. 연구의 지속성을 판단하려면 이름이 바뀌어도 같은 실험과 실패 판정이 여전히 필요한지 확인해야 한다. 표의 다섯 주제는 그 기준을 만족하도록 설계한 가설이지, 연구비 투입 후 성공을 보장하는 전망이 아니다.

PART 12 · FUTURE DIRECTIONS

향후 방향 — 데이터에서 운용 증거까지 단계별로 축적

[제안] 전망의 기준일은 2026년 10월 18일이다. 아래에서는 사용자의 연구기획 범위인 2028–2032년 안에서 단기 2028–2029년, 중기 2030–2031년, 장기 2032년을 정의한다. 일반적인 장기 기술 예측이나 공식 정책의 전체 기간을 재정의한 것이 아니다. 각 단계의 진입은 달력만이 아니라 전 단계의 검증 결과에 달려 있다.

단계 [제안]선행 조건핵심 산출물검증·다음 단계 조건
단기 2028–2029임무 소유자·장비·접촉 한계·데이터 권한과 baseline 합의동기화 경험 schema, 기준 임무, 상태–행동 계약, 교정 데이터, 제한 작업 통합 prototype제한 현장 hold-out에서 품질·개입·위험·비용 기준선과 반복성 확보
중기 2030–2031기본 계약 안정화, 독립 시험세트와 중단 경로시각–촉각 예측·복구, 기종 adapter, 행동별 계산 관리, sim/real 검증 계보새 현장·기종과 복합 shift에서 성능·위험 비열등, 적응·교정 비용의 감소
장기 2032다중 버전 회귀 데이터와 책임 있는 운영 주체장기 임무 통합체, 갱신 승인·rollback, 공통 검증 도구와 이전 패키지장기간 품질·가동·개입·비용 추적; 수혜 현장의 실제 변화와 기술 기여 구분

모델 성능 향상은 통합 후보를 제공하고, 시스템 통합은 오류를 드러내며, 실물 검증은 그 조합의 유효 범위를 정한다. 운영 확산은 검증된 범위를 새로운 현장으로 넓히는 일이다. 하나의 단계도 다음 단계를 자동 승인하지 않는다. 각 단계에서 부적합한 가설을 중단·수정할 수 있도록 개발 평가와 독립 평가를 분리한다.

범용성을 사업의 처음부터 모든 현장·기종을 다루는 것으로 설정하면 검증 조건이 사라진다. 초기 임무를 좁게 정의하되 데이터·상태·행동·평가 계약을 재사용 가능하게 설계하고, 다음 현장을 추가하는 한계 비용을 줄이는 것이 더 검증 가능한 방향이다.

PART 13 · POLICY → CAPABILITY → RESEARCH

정부정책과의 연관성 — 국가임무를 책임질 연구사업으로

13.1 정책 체계와 관계

[정책 명시] 과학기술정보통신부가 2026년 9월 30일 공개한 「K-문샷 전략 로드맵(안)」은 제13회 과학기술관계장관회의 제4호 안건으로, 의결주문과 전략 로드맵을 담고 있다. 파일명에 “(안)”이 남아 있는 공식 공개 문서라는 점과, 이를 개별 사업 공고·확정 예산으로 취급할 수 없다는 점을 구분한다. 문서의 인쇄 p.3은 MEGA·SEED와 K-문샷의 연계를 설명하고, pp.47–52는 피지컬 AI 미션을 구체화한다. 제공된 발췌 PDF의 해당 쪽과 공식 ODT 본문을 대조했다. [P1]↗

공식적으로 확인된 관계는 국가적 과학 난제 해결을 위한 K-문샷과 관련 산업·기술 정책의 연계다. 이것이 모든 국정과제·전략·출연연 사업에 단일한 예산상 상하 관계가 있다는 뜻은 아니다. 본 글의 “국가임무 → 필요 역량 → 공백 → 연계 연구사업”은 분석·기획을 위한 연결 방식이며 별도 행정 체계를 만들어 주장하지 않는다.

5월 27일 공식 발표는 K-문샷의 출범·PD 운영을 확인하는 배경이고, 8월 25일 휴머노이드 발표는 로드맵 수립을 위한 의견수렴 단계였다. 9월 30일 자료와 날짜·문서 성격을 구분한다. [P2]↗ [P3]↗ 10월 18일까지의 공식 사이트 검색에서는 이번 로드맵을 대체하는 후속본을 확인하지 못했다. 이는 개정이 없다는 전수 확인이 아니며, 실제 사업 제안 전 공고·후속 지침을 다시 확인해야 한다.

13.2 국가가 요구하는 변화

[정책 명시·요약] 피지컬 AI 미션은 사람과 협력하는 행동·조작 능력, 풀스택 경쟁력과 산업 생태계, 현장 학습과 활용 확산을 연결한다. 인쇄 p.48은 2029년에 모델·물리적 세계 예측·데이터의 기반과 제한된 작업 적용을, 2032년에 긴 작업·시뮬레이션 순환·빠른 제어 통합과 국민 체감 성과의 확대를 제시한다. 이 글은 정책의 “인간 수준”이나 “국민 체감”을 이미 달성한 상태로 서술하지 않는다. [P1]↗

[해석] 수혜자는 기술 개발자만이 아니라 현장 작업자·사용자·서비스 운영자다. 모델과 데이터셋은 수단이고, 작업 품질·부담·안전·활용 비용의 개선은 확인해야 할 변화다. 정책의 정성적 목표를 제안서에서 수치화하려면 어떤 작업·사람 기준선·위험 노출·성공 정의를 사용할지 먼저 합의해야 한다. 본 글에서는 미확인 정책 목표값·예산을 새로 만들지 않는다.

13.3 풀스택과의 대응

정책의 모델·월드모델·데이터 요구는 L2–L5·L7과 직접 연결된다. 실행 가능한 통합으로 바꾸려면 L1·L6의 신체·제어와 L8·L9의 연산·검증도 필요하다는 것이 기술적 해석이다. “월드모델”이라는 이름만 같다고 정책 요구 충족을 주장할 수 없다. 미래 영상의 시각 품질, 행동 조건부 기하·접촉 예측, 실물 임무의 유효성은 각각 증거를 요구한다.

정책 문구·출처 위치근거 수준·임무 요구필요 역량·공백·연구 근거사업·산출물 [제안]평가 [제안]
“물리정합 월드모델 확보”
P1 인쇄 p.48, 발췌 PDF p.8
직접 명시: 세계 예측 기반
아래 세부 설계는 해석
L3·L4·L7; 기하·접촉·행동 결과 정합성. DepthWorld의 기하와 ARTISAN의 자산 검사는 상호 보완적이나 실물 장기 예측 공백 [R13]↗ [R11]↗P3 물리 예측·합성 검증; 행동 조건·좌표·불확실성 포함 모델·자산 시험팩다단계 상태·접촉 오차, 실물 정책 순위/절대 승인 오류, sim-to-real 성능 차이
“피지컬AI-Ready 데이터셋 구축”
P1 p.48·p.50, 발췌 p.8·p.10
직접 명시: 시나리오 기반 데이터 체계L2·L9; 동기·실패·개입·기종 계보. 데이터 양과 downstream 성과의 인과 연결 부족 [R8]↗P1 임무 경험 데이터; 공통 schema·검증 규칙·독립 split·품질 도구교정·시각 오차, 데이터량 대비 적응 성능, 새 임무 데이터 생산 비용
장기 작업 RFM·빠른 제어 결합
P1 p.48, 발췌 p.8
직접 명시: 장기 임무와 실행 통합
촉각 구조는 간접 연관
L3·L5·L6·L8; 계획 시간과 접촉 시간의 분리, 지시 이탈·복구 공백 [R5]↗ [R7]↗ [R9]↗ [R12]↗P2 작업지능 + P4 실행·촉각; 기종 adapter·행동 계약·복구기지시 준수 완료율, 사람 개입, 실패 복구, 관측 나이·tail latency·힘 제한
현장 데이터 선순환·산학연 연결
P1 p.49–50, 발췌 p.9–10
직접 명시: 현장–개발 순환
배포 승인 구조는 간접 연관
L2·L7–L9; 업데이트 회귀·독립 평가·중단 책임이 연구 설계에서 필요 [R1]↗ [R8]↗P5 연산·협업 + P6 독립 검증; 버전·회귀·rollback·현장 성과 기록이전 능력 보존, 안전 사건 노출량, 개입·비용·가동률의 버전별 추이
휴머노이드와 모델·세계예측·데이터 연계
P1 p.56, 발췌 p.16
직접 명시: 미션 간 연계
기관별 구체 역할은 제안
공통 신체·센서·행동 계약과 성공/실패 공유; 다른 손·몸체로 전이 비용 미해결 [R3]↗ [R7]↗P1–P4 공통 인터페이스; 휴머노이드 adapter·공동 시험과제기종 변경 데이터·교정 시간·성능 보존·안전 재검증 비용
자율 과학 실험실·다중 로봇 협업을 피지컬 AI의 우선 응용으로 묶는 설계추가 확인 필요: 본 글의 확장 제안; p.48이 해당 사업 우선순위를 명시한 것으로 주장하지 않음시료·장비의 계보, 협업 실패·측정 품질 등 응용 고유 조건수요부처·현장 요구 확인 후 응용 패키지와 장비 인터페이스 정의과학적 반복성·오염·시료 추적·성공 실험당 비용; 기존 자동화와 비교

13.4 기술적 공백: 구성요소의 존재와 임무 충족 구분

현재 연구로 일부 충족: 다중 데이터 기반 행동 학습, 일부 신체 전이, 비동기 실행, 촉각 기반 실물 조작, 생성 시뮬레이션의 정책 비교 등은 구현 가능성을 뒷받침한다. 추가 연구 필요: 이를 동일한 상태·행동 계약으로 통합하고 복합 변화·장기 복구·갱신 회귀를 시험하는 일이다. 근거 부족: 선정 문헌만으로 국내 전반의 인간 수준 성능, 전 현장의 경제성, 무인 장기 운용과 포괄적 안전 보장을 판단하기 어렵다.

성공한 기술을 도입하는 것과 국가가 책임질 공통 기반을 확보하는 것도 다르다. 국내 데이터 접근·수정·감사·이전 가능성, 모델 교체권, 장비 adapter와 검증 도구의 재사용성을 산출물로 정의해야 한다. 이것이 “국산”이라는 표기보다 실질적인 자립 역량을 측정하는 방법이라는 것이 본 글의 해석이다.

13.5 출연연의 역할: 공통 기반·통합·독립 검증

[제안] ETRI는 정보통신·AI·연산·네트워크 기술을 연결하는 공통 인터페이스, 다중모달 상태·행동 모듈, 엣지 실행, 데이터와 평가 도구를 맡는 역할을 검토할 수 있다. 이는 기관에 이미 배정된 공식 임무라고 확인한 내용이 아니라 역할 설계안이다. 모든 로봇 하드웨어·현장 운영·인증을 단독 수행하는 구상은 피한다.

대학은 접촉 표현·학습·계획의 새 가설과 분석, 기업은 장비·제품·현장 프로세스·운영비, 타 출연연은 신체·물성·제조·시험 기반을 책임지는 협력을 설계할 수 있다. 수요기관은 실제 임무와 수용 기준을 정의해야 한다. 개발 조직의 성과 평가와 독립 검증의 승인 권한을 나누고, 사업 시작 시 데이터 권리·공유 범위·위험 중단 책임을 합의한다.

13.6 연계 연구사업: 여섯 사업의 공통 계약

[제안·2028–2032] 논리적 연구목표를 “낯선 현장·기종에서도 작업 의도와 접촉 제약을 유지하며 실패를 복구하고, 갱신 후에도 기존 능력을 보존하는 피지컬 AI 통합 기반”으로 설정한다. 아래 여섯 사업은 예산 확정·기관 배정·정부 공고가 아닌 연계 포트폴리오 설계다.

사업목표·핵심 산출물의존·공통 인터페이스검증
P1 임무 경험 데이터동기·접촉·결과·개입·권리·계보를 보존; schema·품질 도구·기준 데이터P4 센서·제어 로그, P6 독립 split; episode·시각·좌표·교정 버전정합성 검사와 같은 데이터 예산의 downstream 개선; 데이터 누출 감사
P2 전이 가능한 작업지능지시–목표–행동 정합과 기종 적응; VLA adapter·작업 계약P1 경험, P3 예측, P4 실행; goal ID·선행/종료/중단 조건장면/지시 개입·현장/기종 hold-out, 적응 데이터량·사람 개입
P3 물리 예측·합성 검증기하·접촉 미래와 유효 범위; 세계모델·자산·불일치 detectorP1 교정 데이터, P4 실제 결과; 상태·행동 조건·horizon·물성·불확실성다단계 예측, 대리 평가 오류, 실물 전이와 검증 비용
P4 시각–촉각 실행·복구빠른 접촉 보정·실패 식별·재개; 제어·촉각 모듈·복구기P2 목표·chunk, P3 미래, P5 계산; 명령 기한·힘 제한·중단 핸들힘·추종·접촉 실패·복구율, 사건 발생부터 반응까지의 지연
P5 엣지·협업 실행계산·통신 제약과 역할 충돌 관리; scheduler·분할 실행·fleet 로그P2–P4 workload, P6 위험 계약; 관측 나이·자원 상태·역할 소유권연결 단절·부하·중복 작업 시험, p95/p99·전력·안전 정지
P6 독립 검증·배포 운영회귀·위험·비용·변경 책임 입증; 평가 suite·승인/rollback·현장 보고전 사업의 버전·artifact·실행 trace; 고정 hold-out과 재검증 trigger위험 정책의 오승인·능력 회귀·개입·가동률·성공 임무당 비용

의존 관계는 P1을 완성한 뒤 P2를 시작하는 일방향 일정이 아니다. P2–P4의 실패가 P1 데이터 요구를 바꾸고, P6가 모든 사업의 검증 기준을 처음부터 제한한다. P5는 실제 실행을 측정하면서 P2–P4의 계산·반응 요구를 조정한다. 2028–2029년에는 계약과 기준선, 2030–2031년에는 전이·복구·통합, 2032년에는 장기 운용·갱신 보존의 증거에 무게를 둔다.

13.7 성과 입증: 보유 기술에서 수혜 현장의 변화로

[제안] 기술 지표는 정책 기여의 필요조건이며 충분조건이 아니다. 과제 시작 전에 사람이 수행하는 현행 공정·기존 자동화·도입 시스템의 baseline을 같은 품질·위험·시간 조건에서 측정한다. 임무 난도·물체·계절·operator를 층화하고, 가능하면 동일 현장 paired 비교나 순차 도입 비교를 사용한다. 성능 변화와 현장 프로세스 변경의 효과를 분리해 기술 기여를 추정한다.

차원실험실 기술 지표현장 임무 성과·측정 설계 [제안]
완료·일반화지시 준수·과제 성공·접촉 오차품질 기준을 충족한 무개입 완료, 현장·기종별 분포, 새 현장 추가 비용
안전·복구힘 제한·정지 지연·오류 감지·복구율노출량 대비 위반·near miss, 위험 정지 후 안전한 재완료, 사람 구조 시간
데이터·갱신적응 episode 수·회귀세트 성능교정·학습·재검증 인력과 시간, 이전 과제·안전 성능의 보존
계산·경제성추론 지연·GPU 에너지센서–행동 tail latency, 구동·통신 포함 에너지, 유지보수·실패 포함 성공 임무당 비용
국가임무 기여공통 모듈·도구·검증팩 확보여러 수요기관의 재사용·이전 가능성, 현장 작업 품질·부담·가동 변화와 독립 검증
Csuccess=Coperation+Cintervention+Cmaintenance+CupdateNqualified-success

이 비용식은 제안 지표다. 분자는 평가 기간의 운용·실패 개입·유지보수·갱신 및 검증 비용이며, 자본·데이터·학습 비용의 배분 규칙도 보고해야 한다. 분모는 정해진 품질·안전 조건의 완료 건수다. 완료가 0이면 비용을 0으로 표기하지 않고 계산 불가 또는 발산으로 다룬다. 목표값은 이 기준선을 측정한 뒤 수요기관과 설정하며 정책의 확정 수치로 표현하지 않는다.

국가임무 기여는 “모델을 만들었다”에서 “이 조건의 현장이 이렇게 달라졌다”로 이어지는 증거 경로로 입증한다. 정부에 제안할 때는 기술적 불확실성, 중단 기준, 다음 단계에 필요한 증거를 함께 제시하는 편이 설득력이 있다.

SYNTHESIS · PRIORITIES & UNCERTAINTY

핵심 결론과 우선 추진할 연구

전체 분석의 핵심 결론 5개

  1. 풀스택은 연결의 책임 범위다. 문헌마다 분류는 다르지만 물리적 결과를 관측·예측·행동·검증에 연결해야 한다. 이 글의 9계층은 그 분석 도구다.
  2. 모델·생성·시뮬레이션의 성과는 통합 임무의 증거와 다르다. 실물·시간·접촉·개입 조건을 함께 읽어야 과장된 전이를 피할 수 있다.
  3. 일반화의 핵심 비용은 현장과 기종을 추가할 때 드러난다. 적응 데이터뿐 아니라 교정·복구·재검증·운영 비용을 측정해야 한다.
  4. 지속 학습에는 기존 능력 보존과 배포 통제가 필요하다. 새 작업의 향상과 이전 작업의 퇴행을 같은 버전 기록에서 평가해야 한다.
  5. 국가임무는 공통 역량과 수혜 현장의 변화를 함께 요구한다. 공식 마일스톤을 임의 수치로 바꾸지 말고 검증 가능한 사업·의존 관계·기준선으로 구체화해야 한다.

우선 추진할 연구 4개와 이유 [제안]

  1. 임무 경험 데이터와 상태–행동 계약: 모든 사업의 재현성과 연계를 결정하는 선행 기반. 단기부터 시각·좌표·기종·실패 기록을 맞추는 데 우선 투자.
  2. 시각–촉각 미래 예측과 빠른 복구: 정밀조작의 가림·접촉·교란을 직접 다루며 기존 비전 중심 성과의 현장 한계를 검증할 수 있는 주제.
  3. 합성·세계모델 평가의 실물 보정: 데이터·시험 비용 절감 가능성과 잘못된 승인 위험을 함께 다루는 공통 기반. 실물 hold-out을 보존한 위험 중심 평가가 핵심.
  4. 업데이트 회귀·운영비를 포함한 독립 검증: 장기 임무·국민 체감 확산에 앞서 필요한 승인 근거. 모델 성능과 사람 개입·총비용을 같은 기록으로 연결.

국가임무 기여 경로와 검증 기준

공식 미션의 작업·세계예측·데이터·실행 요구 → P1–P6 공통 기반 → 제한된 현장 통합 → 현장·기종 전이 → 장기 운용·갱신 보존 → 수혜 현장의 품질·부담·비용 변화로 연결한다. 핵심 관문은 독립 hold-out에서의 지시 준수, 안전·품질의 보존, 개입·복구·비용의 개선이다. 이 경로는 제안이며 논문들 사이에 이미 입증된 통합 성과는 아니다.

현재 근거로 판단하기 어려운 사항

선정 문헌으로는 광범위한 인간 수준 수행, 여러 조건의 동시 변화, 장기 무인 운용, 실물 전신 협업의 포괄적 안전, 국내 산업 전체의 투자 효과를 확정할 수 없다. 데이터·코드의 실제 재현 가능성은 각 배포물별 점검이 더 필요하다. 본문은 15편의 초록·서지와 관련 방법·실험·한계 절을 검토했지만 모든 부록의 재현, 원시데이터 감사, 모델 실행은 수행하지 않았다.

정책은 9월 30일 공식 공개 원문을 중심으로 확인했다. 제공 발췌본과의 관련 내용 일치 및 인쇄 쪽수를 확인했으며, 공식 ODT는 PDF처럼 고정된 렌더링 페이지를 가정하지 않았다. 이후 개정·세부 사업 공고·예산·기관별 역할·성과지표의 법적 또는 행정적 확정 여부는 실제 제안 단계에서 추가 확인해야 한다. 확인되지 않은 일정·수치·URL은 보완해서 만들지 않았다.

REFERENCES · PRIMARY SOURCES

참고문헌과 공식 정책 원문

인용 링크는 원문으로 직접 연결한다. 서지 날짜는 최초 공개·개정 이력이며 학회 발행일과 동일시하지 않는다. 원문 검토는 관련 절 중심이며 실험을 독립 재현하지 않았다.

  1. R1 · Physical AI: A Survey of Models, Learning, Systems, and Open Challenges

    Gao et al.

    v1 · 2026-10-15 · 프리프린트; 폐루프·평가·향후 과제 절

    https://arxiv.org/abs/2610.21171
  2. R2 · Cosmos World Foundation Model Platform for Physical AI

    NVIDIA / Agarwal et al.

    v1 2025-01-07 → v3 2025-07-09 · 기술보고서; 플랫폼·학습·평가 절

    https://arxiv.org/abs/2501.03575
  3. R3 · GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

    NVIDIA / Bjorck et al.

    v1 2025-03-18 → v2 2025-03-27 · 프리프린트; 모델·데이터·실험 절

    https://arxiv.org/abs/2503.14734
  4. R4 · π0.5: a Vision-Language-Action Model with Open-World Generalization

    Physical Intelligence / Black et al.

    v1 · 2025-04-22 · 프리프린트; 공동학습·일반화 실험 절

    https://arxiv.org/abs/2504.16054
  5. R5 · Real-Time Execution of Action Chunking Flow Policies

    Black, Galliker & Levine

    v1 2025-06-09 → v2 2025-12-05 · NeurIPS 2025 게재; RTC 방법·시뮬레이션/실물 실험

    https://arxiv.org/abs/2506.07339

    공식 NeurIPS 2025 proceedings

  6. R6 · Gemini Robotics 1.5: Pushing the Frontier of Generalist Robots with Advanced Embodied Reasoning, Thinking, and Motion Transfer

    Gemini Robotics Team

    v1 2025-10-02 → v3 2025-11-28 · 기술보고서; 추론·motion transfer·실험 절

    https://arxiv.org/abs/2510.03342
  7. R7 · TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation

    Zhou et al.

    v1 2026-07-08 → v2 2026-07-09 · 프리프린트; §2–5·Table 1. arXiv 버전 날짜 사용; 본문 표제의 별도 날짜와 구분

    https://arxiv.org/abs/2607.07287
  8. R8 · The Robot Data Factory

    Haddadin et al.

    v1 · 2026-09-15 · 프리프린트; §1 범위, §3–5 구현·운영·공개 계획

    https://arxiv.org/abs/2609.16705
  9. R9 · HarnessPAI: An Evolving Harness for Physical AI

    Wang et al. / Darwin Agent Team

    v1 · 2026-09-24 · 프리프린트; §4–6 실행·실험·성립 조건

    https://arxiv.org/abs/2609.29166
  10. R10 · Evaluating Gemini Robotics Policies in a Veo World Simulator

    Gemini Robotics Team

    v1 2025-12-11 → v2 2026-01-06 · 기술보고서; §2–5·§7, 실물 비교·한계

    https://arxiv.org/abs/2512.10675
  11. R11 · Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark

    Cai et al.

    v1 2026-10-09 → v2 2026-10-12 · 프리프린트; §3–6·Table 3·Appendix E의 조건

    https://arxiv.org/abs/2610.13947
  12. R12 · Encoded but Not in Control: Revealing the Grounding Gap in Vision-Language Robot Policies

    Jiang et al.

    v1 · 2026-10-05 · 프리프린트; 지시 개입·표현·행동 분석

    https://arxiv.org/abs/2610.06235
  13. R13 · DepthWorld: 3D World Model for Robot Manipulation

    Bardhan, Sivic & Petrik

    v1 · 2026-10-06 · CoRL 2026 수락 표기; 데이터·깊이 감독·평가

    https://arxiv.org/abs/2610.08780

    저자 프로젝트·수락 표기

  14. R14 · ActTune: Action-Aware Precision and GPU Operating-Point Adaptation for Energy-Efficient Vision-Language-Action Inference

    Zou et al.

    v1 · 2026-10-06 · 프리프린트; §3–4·부록 설정·에너지 측정

    https://arxiv.org/abs/2610.08444
  15. R15 · PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI

    Ferrag et al.

    v1 · 2026-09-20 · 프리프린트; trace·개발/시험 프로토콜·한계

    https://arxiv.org/abs/2609.23695
  16. P1 · K-문샷 전략 로드맵(안)

    과학기술정보통신부 제출 · 제13회 과학기술관계장관회의 제4호 · 2026-09-30

    공식 공개 안건. 표지·의결주문, 인쇄 p.3 및 pp.47–52, 연계 내용 p.56. 제공 발췌 PDF에서는 p.3→PDF 5, pp.47–52→PDF 7–12, p.56→PDF 16. 공식 ODT 원문과 대조. 개별 사업 공고·예산 확정 자료와 구분.

    https://www.korea.kr/briefing/pressReleaseView.do?newsId=156783671

    정부 공개 첨부 ODT 원문 · 파일명: 260930 (4호) K-문샷 전략 로드맵(안)_최종.odt

  17. P2 · 과학기술 12대 국가미션 해결 ‘K-문샷 프로젝트’ 개시

    과학기술정보통신부 · 2026-05-27

    정책뉴스 본문 중 프로젝트 목적·PD 위촉·추진단 출범 절. 웹 본문이므로 인쇄 쪽수 없음.

    https://m.korea.kr/news/policyNewsView.do?newsId=148965259
  18. P3 · 과기정통부, 「K-문샷 AI 휴머노이드 미션」 현장소통

    과학기술정보통신부 · 2026-08-25

    웹 본문·첨부 안내의 로드맵(안) 전문가 의견수렴 절. 당시 의견수렴 자료이며 9월 로드맵과 구분. 인쇄 쪽수 없는 웹 안내 사용.

    https://m.korea.kr/briefing/pressReleaseView.do?newsId=156775406

조사·출처 확인 2026-10-18 KST. 정부 자료는 공식 공개 원문을 인용했으며 제공된 정책 발췌 PDF 자체를 공개 저장소에 복제하지 않았다. 논문 전체·원자료를 복제하지 않고 필요한 사실을 요약했다.