첫째 답사처에 당도했다. 1장에서 받아 든 노정기(路程記)의 첫 물음은 이러했다 — 끊김 없이 흘러가는 행동 기록의 물줄기에서, 학습에 쓸 라벨 달린 과업 토막을 어떻게 건져 올릴 것인가. 이 물줄기에는 이름이 있다. 플레이 궤적(play trajectory)이다. 원격조작자에게 "이 일을 하라" 지시하는 대신 "그저 자유롭게 놀아보라" 이르고 담아낸 데이터이니 [Lynch 2019], 행동은 다채로우나 어디서 한 과업이 끝나고 다음 과업이 시작되는지 경계가 없다. 사람이 메타 글래스 같은 기기로 일상을 통째로 담는 시대 [Guzey 2025]의 데이터가 꼭 이런 꼴일 터, 이 장의 공부는 미리 해 두는 답사인 셈이다.
답사의 결론부터 귀띔하자면 이렇다 — 이 장이 지어 올린 플레이 분할(Play Segmentation)이라는 연장은, 건져 올린 토막들로 데이터 곳간을 불려 라벨 데이터를 두 배로 가진 것보다 나은 정책을 길러낸다. 어떻게 그리되는지, 초입부터 차근차근 걸어 보자.
두루마리처럼 긴 궤적 d^T = (o₀, a₀, …, o_T)의 몇 군데에만 지시 라벨이 붙어
소규모 주석 곳간 Dann을 이루고, 나머지 광대한 구간 — CALVIN 기준 한 궤적이 최대
3만 838 스텝에 이른다 — 은 라벨 없는 Dunann으로 남는다.
할 일은 이 무주석 구간에서 지시 단위의 토막을 건져 라벨을 달아 곳간을 불리는 것이다.
길을 되짚어 보자. 초기의 심층 강화학습 [Mnih 2015]은 맨땅에서 정책을 길렀으나, 과업이 복잡해질수록 — 더구나 성공 여부만 알려주는 희소한 보상 아래서는 — 요구되는 탐험의 품이 감당 못 할 지경이 된다. 밀집 보상을 손으로 깎아 넣을 수야 있지만 [Hwangbo 2019], 그런 세공은 취약하고 보상 해킹에 시달린다 [Amodei 2016]. 파운데이션 모델의 성공이 일러주는 바, 모방학습을 앞세워 사전학습해 두면 정책이 이미 제법 과업을 해내는 상태에서 출발하므로 탐험의 짐이 한결 가벼워진다 [Amin 2025]. 문제는 로보틱스의 고질 — 고품질 시연 데이터가 귀해 이 사전학습을 키울 수 없다는 것이다 [O'Neill 2024]. 그리하여 간소화된 원격조작 [Chi 2024], 교차 에이전트 풀링 [O'Neill 2024], 인간 영상 학습 [Wang 2023b] 같은 방책들이 나왔다. 2장과 3장을 관통하는 화두는 하나다 — 데이터는 넘치되 행동 복제가 삼킬 수 있는 꼴이 아닐 때, 모방학습을 어찌할 것인가.
시절의 풍경도 보아 두자. 자연어를 조건으로 삼는 생성 모델들이 그림으로 [Saharia 2022b], 글로 [Ouyang 2022], 소리로 [Le 2023] 잇달아 돌파구를 열어 오늘날 AI 응용의 등뼈가 되었다 [Achiam 2023]. 그러나 자연어 지시를 게임이나 로봇 에이전트의 궤적으로 옮겨 주는 동급의 모델은 아직 미완의 과제다 [Zitkovich 2023a]. 길을 막는 것은 결국 데이터 — 갖은 환경의 갖은 행동에 주석이 달린 궤적의 결핍이다 [Walke 2023]. 플레이 데이터는 값싸게 모을 수 있으되 지시의 시작과 끝을 일러주지 않으니, 그대로는 지시 추종 정책의 밥이 되지 못한다.
토막을 건져 올리는 일이 어려운 까닭은 자명하다 — 특정 지시와 꼭 맞아떨어지는 토막을 가려내야 하기 때문이다. 엉뚱하거나 라벨이 잘못 붙은 토막을 곳간에 들이면 하류에서 길러질 정책이 도리어 상한다. 이 연구는 먼저 이웃 고을 — 영상 분할 문헌 — 의 기법들을 데려다 써 보고, 그들이 짧은 학습 세그먼트에서 기나긴 플레이 궤적으로 솜씨를 일반화하지 못함을 확인한다. 그리하여 개별 지시 토막만으로 배우고도 긴 궤적을 가를 줄 아는 확률 모델, 플레이 분할(PS)을 새로 벼린다. 이 장의 세 가지 공적을 미리 현판에 새겨 두면 이렇다.
영상 분할 방법들을 플레이 데이터의 사정에 맞게 손보고, 데이터 증강으로 정책 성능을 끌어올리는 능력을 따져 본다.
개별 지시 토막만 보고 배웠으면서도 지시가 줄줄이 이어진 궤적을 가를 줄 아는 분할 기법을 지어 올린다.
PS가 건져 올린 라벨 토막이 두 환경 모두에서 정책의 성능을 실답게 끌어올림을 보인다.
새 연장을 벼리기 전에 이웃 고을의 공방들을 둘러보는 것이 답사의 예의다. 세 곳을 들른다.
비지도로 궤적 무더기에서 재사용할 스킬을 배우는 일가(一家)가 오래 이어져 왔다 [Niekum 2012; Fox 2017; Kipf 2019; Jiang 2022; Fu 2024]. 시점마다 어느 스킬이 살아 있는지를 잠재변수로 두고 궤적의 분포를 모델링한 뒤, 최대우도로 배우고 잠재변수를 추론하면 분할이 딸려 나온다. 허나 그 토막이 특정 지시에 대응한다는 보증이 없다. 본 연구의 주석은 긴 궤적 속 개별 지시의 토막이니, 분할을 잠재변수로 감출 것 없이 궤적을 조건으로 한 분할 분포를 곧바로 배울 수 있다.
정석은 지시–궤적 쌍의 모방학습이다 [Stepputtis 2020; Jang 2021; Lynch 2022]. 주석 만들기가 고되니 준지도 설정이 흔한데, CLIP 임베딩으로 라벨링 모델을 길러 무주석 데이터에 라벨을 찍는 식이다 [Xiao 2023]. 다만 거기서는 라벨 있는 궤적과 없는 궤적이 같은 분포라 토막을 가려낼 일 자체가 없다. 가장 가까운 이웃은 SL3 [Sharma 2022] — 분할하고 라벨 찍고 정책 배우기를 되풀이하는 공법 — 이나, 본 설정의 주석은 계획(plan)이 아니라 시작과 끝이 밝혀진 개별 지시라는 점이 다르다.
비전 동네는 미편집 영상에서 행동을 찾는 일을 두 갈래로 다뤄 왔다. 프레임마다 행동 클래스를 찍는 행동 분할(AS) [Lea 2016; Abu Farha & Gall 2019; Yi 2021; Ding 2023]과, 행동 토막의 경계 시점과 라벨을 짚는 시간적 행동 위치추정(TAL) [Cheng & Bertasius 2022; Shi 2023; Wang 2023a]이다. 본 설정의 고약함은 학습 영상과 시험 영상의 길이도, 담긴 행동의 수도 다르다는 데 있다. 영상 분할 모델을 순차적 의사결정의 데이터 증강에 부린 것은 이 연구가 처음이다.
전체 공정은 세 마디다 — 플레이 궤적을 가르고, 건진 토막에 지시 라벨을 달고, 그 위에서 정책을 기른다. 연장에 따라 가르기와 라벨 달기가 한 손에 이뤄지기도 한다. 먼저 물목(物目)부터 정리해 두자.
| 기호 | 풀이 |
|---|---|
| D_ann = (τ_k, d^T_k)ᴺ | 지시–궤적 쌍 N개의 소규모 주석 곳간. |
| D_unann = (d^T'_k)ᴹ | 라벨 없는 대규모 플레이 궤적 곳간. 그 길이는 T'_k ≫ T_k, 주석 토막보다 훨씬 길다. |
| d^T = (o₀, a₀, …, o_T) | 길이 T+1의 궤적 — o_t와 a_t는 시점 t의 관측과 행동이다. |
| τ ∈ ζ | 유한한 지시 집합 ζ에서 나온 자연어 지시. |
| α₀:T−1 ∈ {0,1}ᵀ | 분할 벡터 — α_i = 1이면 시점 i에서 한 토막이 끝났다는 표식이다. |
| (d^T, α₀:T−1, τ₁:K) | 라벨 달린 분할 궤적의 삼중항 — Σα_t = K개의 토막마다 지시가 붙는다. |
이제 연장 네 자루를 차례로 살핀다. 맨손이나 다름없는 무작위 표집에서 시작해, 이웃 고을에서 모셔온 두 장인의 연장을 손보고, 끝으로 이 집에서 새로 벼린 플레이 분할에 이른다.
플레이 궤적에서 창을 무작위로 오려내고, Dann으로 기른 라벨링 모델에게 이름을 붙이게 한다. 창의 길이는 주석 토막들의 최소–최대 사이에서 균등하게 뽑는다. 오려낸 창이 지시의 시작과 끝에 꼭 맞을 리 만무하니, 라벨링 모델은 배운 적 없는 분포 밖 입력과 마주치게 된다.
복잡도 — 논외
CLIP에 기반해 여러 영상 이해 과업을 두루 하는 틀로, 여기서는 행동 분할 변형을 쓴다.
관측과 지시를 CLIP으로 새기고 자기어텐션 구조가 프레임마다 지시 라벨의 로짓을 내놓는다 —
p(τ₀:T−1|o₀:T) = Π p(τ_t|o₀:T). 플레이 궤적에는 프레임 주석이 없으므로
주석 토막 둘레로 창을 넓혀 뽑고 덧붙은 프레임을 배경(bg)으로 삼아 학습 판을 근사한다.
배경으로 찍힌 프레임을 잘라내면 토막이 나온다. 흠이라면 토막 하나를 모든 지시와 짝지어 돌려야 하니
지시 수 |ζ|만큼 품이 는다는 것.
TAL의 학습 데이터는 (s_i, e_i, c_i) — 시작·끝·클래스의 삼중항이다. 특징 피라미드 위에 새 경계 예측 헤드를 얹어 여러 벤치마크의 정상에 오른 구조로, 주석 토막 둘레의 넓힌 창에서 행동 구간을 짚도록 가르친다. 경계와 클래스를 곧장 내놓으니 뒷손질이 필요 없다. 다만 절단 공법의 태생적 약점이 있다 — 지시 하나의 시작과 끝을 높은 확률로 담는 창 크기가 있으리라는 가정이다. 지시 길이가 들쭉날쭉하면 큰 창은 짧은 지시 여럿을 삼키고, 작은 창은 긴 지시를 영영 담지 못한다. 덧붙이자면 UnLoc도 TriDet도, 완전히 분할된 플레이 궤적이 학습 데이터에 있었다면 긴 궤적을 능히 갈랐을 연장들이다.
복잡도 — O(1) NFE플레이 데이터에 맞춘 조건부 확률 모델이다. 요구조건은 하나 — Dann의 짧은 토막으로 배우되, 긴 플레이 궤적을 가르는 데로 솜씨가 번져야 한다. 라벨링 모델 pθLM과 분할 모델 pθSeg로 일을 나누고, 둘은 매개변수를 나눠 쓰되 예측 헤드만 따로 둔다. 가르기는 동적 계획법으로 푸는데, 이는 은닉 준마르코프 모델의 비터비 알고리즘과 한 핏줄이다 [Yu 2010].
복잡도 — O(T³) NFE
그런데 곳간에는 지시에 들어맞는 진짜 토막(양성)뿐이다. 가리는 눈을 기르자면 가짜도 보여줘야 한다.
그래서 주석 토막 (τ, ot₀:t₁)마다 {t_min, …, t_max}에서 뽑은 걸음 수만큼 구간을 비틀어
세 부류의 부정 표본을 지어 D_ann^aug를 만든다 —
한쪽 경계만 어긋낸 것(ot₀:t₁±k, ot₀−k:t₁),
앞뒤로 늘여 잉여를 붙인 것(ot₀−k:t₁+k'),
통째로 좌우로 밀어낸 것(ot₀+k:t₁+k, ot₀−k:t₁−k)이다.
비트는 폭은 주석 토막들의 길이 형편을 보아 정하는 하이퍼파라미터다. 진짜를 알려면 가짜를 곁에 두고 보아야 한다는,
감식안 기르기의 오랜 이치가 여기에도 통한다.
가를 때는 α* = argmax p_θSeg(α₀:T−1|o₀:T)(식 2.1)를 동적 계획법의 재귀(식 2.2)로 푼다.
이 셈법은 시점 수의 세제곱에 비례하니, 3만 스텝짜리 궤적을 한숨에 가르는 것은 무리다.
하여 크기 ω의 창을 밀고 나간다 — t=0에서 첫 창을 열고, 그 창의 마지막 토막
ot_k:ω에 대해 pθSeg(α=1|ot_k:ω) > 0.5이면 다음 창을 ω에서,
아니면 t_k에서 다시 연다. 이렇게 창을 옮겨 가며 궤적 전체를 마저 가른다.
평가의 눈길은 한 곳에 둔다 — 각 연장이 건져 올린 라벨 토막이 모방학습의 데이터 증강에 실답게 쓸모가 있는가. 시험대가 될 두 고을을 먼저 둘러보고(§2.4.1), 애초에 가르기가 왜 중한지를 확인한 뒤(§2.4.2), 연장별로 하류 정책의 성적을 견주고 그 차이의 연유를 캔다(§2.4.3).
지시 추종 에이전트를 시험하는 격자 마을이다. 지시가 이르는 물건까지 가면 되고, 같은 물건이 여럿이면 아무 데나 닿아도 된다. 시연은 과업을 푸는 봇이 지어 주고, 에이전트가 한 과업을 마칠 때마다 새 목표를 뽑아 열 과업을 잇달아 풀게 하여 플레이 궤적을 짓는다. 시점마다 어느 지시가 살아 있는지 알 수 있으니 건진 토막의 품질을 따질 수 있는, 말하자면 계측이 잘된 시험장이다. 흠이라면 한 시점에 두 지시가 겹칠 수 있다는 것 — 붉은 열쇠를 찾아가는 최적 노정에 노란 공이 우연히 놓이는 식이다.
정책은 [Hui 2020]의 구현을 따라 모방학습으로 기른다.
탁상 위에서 일하는 시뮬레이션 로봇 팔의 플레이 궤적 데이터셋이다. 색색의 물건을 옮기고 문을 여닫고 불을 켜고 끄는 34종의 과업이 있고, 플레이 궤적의 몇몇 토막에는 사람 주석자가 지시를 달아 두었다. 정책의 눈은 둘 — 팔과 탁상을 비추는 고정 카메라와 그리퍼에 달린 카메라다. 평가는 다섯 지시를 잇달아 시키고 첫 실패까지 몇 개를 해냈는가를 세어, 1천 시퀀스의 평균을 낸다.
정책은 선행 연구를 따라 다중 문맥 모방학습(MCIL) [Lynch & Sermanet 2021]으로 기른다.
가르기가 정녕 중한가(§2.4.2). 주석 데이터를 10%·25%·50%로 줄여 정책을 길러 보면 예상대로 성적이 내려앉는다(Figure 2.4의 gt 조건). 이제 부분집합 — 출발 밑천(starting split)이라 부르자, BabyAI는 10%, CALVIN은 25% — 에서 시작해 무주석 궤적에서 건진 토막을 보태어 100% 성적의 회복을 꾀한다. 먼저 행동 인식 문헌의 I3D 구조 [Carreira & Zisserman 2017]로 출발 밑천 위에서 라벨링 모델을 기른다 — 검증 정확도가 BabyAI 약 92%, CALVIN 약 95%로 제법 미덥다. 경계가 정확한 정답 토막에 이 모델의 라벨을 달아 보태면, 두 고을 모두 전체 라벨 데이터의 성적이 고스란히 돌아온다 — 높은 정확도가 남은 데이터로 번져 오라벨이 몇 점 섞여도 대세에 지장이 없는 것이다. 반면 무작위 토막을 보태면 성적이 상하거나(BabyAI) 제자리걸음이다(CALVIN). BabyAI에서 탈이 더 큰 까닭은 지시 길이의 들쭉날쭉함이 심해, 무작위 창이 온전한 지시 하나에 들어맞을 공산이 낮기 때문이다.
연장들의 성적을 견준다(§2.4.3). 모든 분할 모델을 출발 밑천으로 기른 뒤 플레이 궤적에서 토막을 건지게 하고, 곳간이 원래 라벨 데이터셋과 같은 쌍 수에 이를 때까지 보태어 정책을 기른다. 가른 품질은 라벨 정확도와 분할점의 정밀도·재현율로 잰다. 유념할 것은, BabyAI에서는 두 지시가 겹칠 수 있어 주석에 없는 옳은 분할점과 라벨을 고를 수도 있으므로 이 수치들이 실제 실력의 하한이라는 점이다.
⟨Table 2.2⟩ 건져 올린 라벨 토막의 품질(BabyAI). UnLoc과 TriDet은 궤적 전체를 가르지 않고 토막 하나의 시작과 끝만 내놓으므로 재현율은 재지 않는다.
| 연장 | Precision | Recall | F1 | Label Acc. |
|---|---|---|---|---|
| 플레이 분할 (PS) | 0.826 | 0.627 | 0.716 | 0.516 |
| UnLoc | 0.283 | — | — | 0.353 |
| TriDet | 0.338 | — | — | 0.323 |
영상 분할의 두 장인은 정밀도도 라벨 정확도도 낮다 — 학습 때 본 토막에서 플레이 궤적의 낯선 창으로 솜씨가 번지지 못한 것이다. PS는 두 장인을 앞서되, 재현율이 정밀도보다 눈에 띄게 낮아 덜 가르는 버릇(과소분할)이 있음을 내비친다. 건진 토막의 길이 분포(Figure 2.5)를 보아도 전체 생김새는 정답과 닮았으나 1–3스텝짜리 잔토막이 적다.
PS는 10%의 출발 밑천을 0.702까지 끌어올린다 — 라벨 데이터를 두 배로 가진 GT 25%(0.645)를 웃도는 성적이다. TriDet의 토막은 정책을 도리어 상하게 하고, UnLoc의 토막은 짧아서 약발이 미미하다 — 정책 학습 때 상태–지시 쌍이 궤적에서 표집되므로, 긴 토막일수록 훈련 밥상에서 차지하는 몫이 크기 때문이다.
CALVIN 고을의 플레이 궤적에는 주석이 없어 가른 품질을 직접 따질 길이 없다 — 그만큼 실제 형편에 가까운 시험이다. [Xiao 2023]을 따라 라벨링 모델의 자신 없는 토막은 걸러내며, 그 문턱은 검증 집합에서 라벨 정확도 90%가 되도록 잡는다.
이 고을에서는 이웃 장인들도 밥값을 한다 — BabyAI와 달리 무작위 창이 기껏해야 지시 하나와 남의 지시 부스러기를 담을 공산이 커서, 배운 대로 부스러기를 잘라내는 절단 솜씨가 통하는 것이다. 그럼에도 PS는 으뜸 장인을 앞서며 라벨 데이터 두 배의 GT 50%(1.411)를 웃도는 1.477을 적어 낸다.
다만 정답 재라벨링(1.679)과의 거리는 아직 멀다. 그 연유를 캐 보니(Figure 2.6), 원래 곳간의 라벨은 고르게 퍼져 있는데 PS가 보탠 토막에서는 몇몇 과업의 라벨이 유난히 도드라져 균형이 무너져 있었다. 과업마다 보태진 토막 수와 그 과업에서 정책이 나아진 폭 사이에는 양의 상관이 보인다(Figure 2.7) — 어떤 과업의 토막은 끝내 건져 올리지 못했다는 것, 이것이 성적 격차의 유력한 내력이다.
좋은 답사기는 상찬만 늘어놓지 않는다. 첫째, PS는 이웃 장인들보다 나은 토막을 건지지만 그 값으로 가르기의 세제곱 복잡도를 치른다. 분할 분포에서 표집하는 것이 한 방책이 될 수 있으나, 배운 분포가 그럴싸한 분할에만 높은 확률을 주어야 한다 — 그렇지 못하면 가르기의 실수가 삽시간에 눈덩이가 된다. 둘째, 정답 주석이 없을 때 불려 놓은 곳간의 품질을 무엇으로 가늠할 것인가의 문제가 남는다. CALVIN처럼 실제에 가까운 형편일수록 플레이 궤적에 주석이 없으니, 건진 토막의 좋고 나쁨을 따질 잣대가 마땅치 않다.
이 장은 플레이 데이터의 형편에서 가르지 않은 궤적을 데이터 증강에 부려 지시 추종 정책을 북돋울 수 있음을 보였다. 플레이 분할은 손봐 온 영상 분할 기법들을 앞선다. 어떤 분할 모델을 기를 수 있는가는 결국 어떤 주석이 손에 있는가에 달렸다 — 이 장의 설정은 플레이 궤적의 라벨 달린 부분 토막이라는 남다른 주석을 가정했다. 주석마다 다른 품값과, 그로써 기를 수 있는 주석 모델의 가능성 사이의 저울질은 다음 답사자들의 몫으로 남는다.