RoboMME는 장기 시야(long-horizon)와 이력 의존(history-dependent) 조작 과제에서 비전-언어-행동(VLA) 모델의 기억 능력을 평가하는 대규모 표준 벤치마크다. 현재 관측만으로는 풀 수 없는, 과거를 붙잡아야만 풀리는 문제들을 다룬다.
개방형 로봇 조작은 과거를 회상하고 이력을 추론하는 능력을 요구한다. 책을 원래 자리에 되돌리거나, 정해진 횟수만큼 테이블을 닦거나, 사람의 시연을 본 뒤 빨래를 개는 일에서, 현재 프레임 하나로 다음 행동을 결정하는 것은 원리적으로 불가능하다. 같은 관측이 서로 다른 이력에서 발생하지만 서로 다른 행동을 요구하기 때문이다.
대부분의 조작 벤치마크는 시간적 기억을 암묵적으로만 포함한다. 현재 관측만 조건으로 삼는 정책도 높은 성공률을 달성하는데, 온라인 실행 중 객체 상태가 계속 갱신되어 과거 관측 없이도 다음 하위 과제를 추론할 수 있기 때문이다.
MemoryBench는 공간 기억을 명시적으로 다룬 첫 시도지만 태스크가 세 개뿐이고 거의 해결된 상태다. MIKASA-Robo는 이력 의존 태스크를 도입했으나 시야가 짧고 장기 의존성이 부족하며, 모방 학습에 충분한 고품질 시연을 제공하지 못한다.
최근의 기억 기반 정책들은 서로 다른 백본과 일관성 없는 평가 프로토콜에 의존한다. 어떤 기억 설계가 여러 태스크에 걸쳐 일반화되는지 불분명하며, 체계적 비교 자체가 성립하지 않는다.
RoboMME는 명시적 이력 의존을 강제한다. 모든 태스크는 의도적으로 비마르코프(non-Markovian)로 구성되어, 현재 시점에 더 이상 보이지 않는 과거 관측을 추론해야만 풀린다. 대규모 모방 학습을 지원할 충분한 시연을 제공한다.
RoboMME는 인간 기억의 고전적 인지 이론에 기반한다. 장기 기억은 절차적 기억과 선언적 기억으로 나뉘고, 선언적 기억은 다시 일화적·의미적 형태로 나뉜다. 이 구조를 로봇 조작으로 옮겨, 네 개의 기억 유형과 각각에 대응하는 태스크 스위트를 정의한다.
사건의 횟수, 순서, 전이 조건을 여러 스텝에 걸쳐 추적한다. 다음 하위 과제로 언제 넘어갈지 판단하는 능력이다.
폐색이나 장면 변화로 현재 시각 정보가 불안정해질 때 객체 위치와 공간 관계를 유지한다.
시간에 걸쳐 참조 일관성을 보존한다. 시각·언어·행동 단서로부터 동일 객체를 신뢰성 있게 식별한다.
이전에 시연된 운동 패턴이나 조작 행동을 재현한다. 연습으로 획득한 운동 기술에 대응한다.
각 스위트는 네 개의 태스크로 구성되며, 난이도는 장면 혼잡도·시야 길이·환경 동역학에 따라 easy/medium/hard로 계층화된다. ManiSkill 시뮬레이터 위 7자유도 Franka Panda 팔이 사용된다.
| 태스크 | 기억 유형 | 평균 스텝 | 설명 |
|---|---|---|---|
| Counting — 시간적 기억 | |||
| PickXTimes | T | 538 | 지정 색 큐브를 정해진 횟수만큼 집어 놓는다. |
| BinFill | T | 604 | 큐브가 시간에 따라 나타나는 동안, 지정 개수만큼 통에 담는다. |
| SwingXTimes | T | 435 | 두 타깃 사이로 큐브를 지정 횟수만큼 왕복시킨다. |
| StopCube | T | 317 | 움직이는 큐브가 지정 회차에 타깃에 도달하는 정확한 순간 버튼을 누른다. |
| Permanence — 공간적 기억 | |||
| VideoUnmask | S | 217 | 모든 큐브가 가려진 영상을 본 뒤, 지정 색 큐브를 덮은 컨테이너를 연다. |
| ButtonUnmask | S | 267 | 큐브가 가려지는 동안 버튼을 누르고, 이후 지정 색 큐브를 연다. |
| VideoUnmaskSwap | S | 348 | 컨테이너가 위치를 동적으로 교환하는 영상에서 지정 큐브를 추적해 연다. |
| ButtonUnmaskSwap | S | 400 | 가림·교환이 일어나는 동안 버튼을 누른 뒤 지정 큐브를 연다. |
| Reference — 객체 기억 | |||
| PickHighlight | O | 346 | 상호작용 중 잠깐 강조된 큐브들을 모두 집는다. |
| VideoRepick | OT | 687 | 영상에서 조작된 동일 큐브를 지정 횟수만큼 다시 집는다. |
| VideoPlaceButton | OT | 974 | 언어로 지정된 시간 참조(버튼 누른 뒤 타깃 등)에 따라 큐브를 놓는다. |
| VideoPlaceOrder | OT | 1134 | 언어로 지정된 서수 참조(두 번째 타깃 등)에 따라 큐브를 놓는다. |
| Imitation — 절차적 기억 | |||
| MoveCube | P | 394 | 시연된 조작 전략(집기·밀기·갈고리)을 그대로 재현한다. |
| InsertPeg | PO | 479 | 시연과 동일한 페그를 같은 끝으로 잡아 같은 방향으로 삽입한다. |
| PatternLock | P | 208 | 시연된 선형 이동 패턴을 타깃 위에 그대로 재현한다. |
| RouteStick | P | 370 | 시연된 원형 라우팅 경로를 막대로 장애물 주위에 재현한다. |
단일 π0.5 백본 위에 14개의 기억 증강 VLA 변형을 구축한다. 기억 표현과 통합 메커니즘을 통제된 설정에서 체계적으로 비교하여, 어떤 설계가 어떤 태스크에서 유효한지를 분리해 측정한다.
이력을 언어 하위목표로 요약한다. 보조 VLM이 현재 이미지와 이전 하위목표를 조건으로 다음 하위목표를 생성한다. 픽셀 좌표를 포함한 접지(grounded) 변형은 공간 추론에 특히 유리하다.
과거 이미지에서 선택한 시각 토큰 시퀀스로 이력을 표현한다. 객체 외형·공간 배치·운동 단서 같은 저수준 정보를 언어보다 풍부하게 보존한다.
이력을 고정 크기 잠재 상태로 압축한다. 에피소드 길이에 따라 커지지 않는 유계 표현을 유지한다.
기억 토큰을 입력 토큰과 이어붙여 VLM 전문가가 함께 처리한다. 최소한의 구조 변경으로 가능하나, 현재 관측 스트림과 섞이며 컨텍스트 길이가 늘어난다.
적응형 LayerNorm으로 행동 전문가를 조건화한다. 행동 특징이 기억 토큰에 교차 어텐션하여 스케일·시프트를 산출한다. VLM 스트림은 그대로 두고 행동 경로에 직접 주입한다.
전용 기억 전문가를 추가하고 블록 단위 인과 어텐션으로 상호작용한다. 행동 전문가는 VLM·기억 전문가 모두를 참조하되, 두 전문가는 서로 참조하지 않아 간섭을 차단한다.
모든 변형을 16개 태스크 × 50 에피소드, 최종 세 체크포인트와 세 시드(총 9회) 평균으로 평가한다. 기억 예산은 512 토큰으로 고정하여 공정 비교를 보장한다.
어떤 표현이나 통합 전략도 모든 태스크에서 일관되게 우세하지 않다. 효과는 고도로 태스크 의존적이며 상호 보완적이다.
기호적 기억은 계수와 시각 접지에 강하고, 지각적 기억은 시간 민감·운동 중심 행동에 결정적이다.
지각적 기억에서 Memory-as-Modulator가 가장 효과적이다. 경량 특징 단위 조건화가 사전학습 표현을 최대한 보존한다.
| 방법 | PutFruits | DrawPattern | 합계 |
|---|---|---|---|
| π₀.₅ | 2/10 | 0/10 | 4/40 |
| GroundSG+QwenVL | 9/10 | 2/10 | 19/40 |
| FrameSamp+Modul | 6/10 | 8/10 | 25/40 |
어떤 단일 표현이나 통합 전략도 모든 태스크를 지배하지 못한다. 각 설계는 서로 다른 태스크에서 고유한 강점과 한계를 갖는다.
기호적 기억은 계수와 단기 추론에서, 지각적 기억은 운동 중심·시간 민감 행동에서 결정적이다. 지각적 기억 + Memory-as-Modulator가 성능과 계산 효율의 최선 균형을 이룬다.
순환적 기억의 부진은 얕은 통합에서 비롯되며, 더 깊은 구조적 통합과 순환 지향 사전학습이 필요함을 시사한다.
기억 표현들이 상보적이라는 사실은, 여러 형태의 기억을 시너지적으로 결합하는 통합 프레임워크로 나아갈 방향을 가리킨다.