한 화공의 밑그림,
저마다의 몸짓이 되다

갖가지 순차적 의사결정 과업을 두루 해내는 제너럴리스트 에이전트를 짓는 일은 여전히 열린 숙제다 [Reed 2022]. 이 숙제가 풀리면 과업마다 따로 공들이고 다시 가르치는 품이 사라지고, 과업 사이의 긍정적 전이로 솜씨까지 좋아진다 [Wu 2020b; Ghosh 2024]. 허나 과업마다 관측과 행동 공간이 하도 달라, 오늘의 범용 에이전트들은 로봇 조작 [Ghosh 2024; Cheang 2024], 웹 에이전트 [Deng 2023], 컴퓨터 제어 [Wu 2024], 신체화 내비게이션 [Zheng 2024] 같은 제 고을 안에서만 범용이다. 그래도 실마리는 있다 — 이미지 관측은 여러 고을에 두루 통하는 공용어라는 것. 게임 [Kurin 2017; Guss 2019]에서도, 로봇 제어 [O'Neill 2024]에서도, 웹과 컴퓨터 화면 [Deng 2023; Toyama 2021]에서도 세상은 그림으로 보인다. 이 장은 그 공용어를 딛고, 관측 공간은 나눠 쓰되 행동 공간이 서로 다른 에이전트들을 다스리는 정책을 짓는다.

바탕이 되는 것은 근래 떠오른 범용 정책 [Du 2023a]이다. 공정은 두 마디 — 먼저 조건부 확산 모델이 과업 서술을 이미지 관측 시퀀스로 옮기고(글로 이르면 그림으로 그려내는 셈이다), 이어 역동역학 모델이 그 시퀀스에 행동을 새긴다. 이 공법의 미덕이 여럿이니, 지시–영상 쌍의 방대한 곳간 [Miech 2019; Grauman 2022; Schuhmann 2021]이나 텍스트-투-비디오 파운데이션 모델 [Ho 2022; Cho 2024]을 계획기로 곧장 부릴 수 있고, 그려진 밑그림을 눈으로 살필 수 있으니 해석 가능성도 좋다. 그리고 아직 아무도 파 보지 않은 미덕이 하나 남아 있었다 — 계획기 한 채를 여러 에이전트가 나눠 쓰고, 에이전트별 역동역학 모델을 짝지어 모두를 다스리는 정책을 짓는 일. 이 장이 바로 그 첫 삽이다.

형편은 이렇다. 에이전트마다 지시–궤적 쌍의 작은 곳간이 하나씩 있는데, 어느 것도 홀로는 쓸 만한 지시 추종 정책을 길러낼 만큼 넉넉지 않다. 목표는 개별 곳간을 한데 부어 모든 에이전트의 과업을 풀어내는 정책을 세우는 것. 고비는 확산 계획기가 에이전트마다 다른 능력을 헤아리게 하는 데 있다(Figure 3.1) — 못 하는 몸짓을 밑그림에 그려 넣으면 역동역학 모델이 라벨을 달 수 없어 행동이 종잡을 수 없게 된다. 반대로 잘만 하면 긍정적 전이의 덤이 있다 — 계획기가 남의 궤적까지 보고 배우니 각 에이전트의 정책이 외려 좋아질 수 있는 것이다. 이 장의 두 가지 공적을 현판에 새기면 이렇다.

먼저 범용 정책의 이론 틀인 통합 예측 결정 과정(UDPD) [Du 2023a]을 교차 에이전트 판으로 넓힌다. 교차 에이전트 UDPD(CA-UDPD)는 튜플 G = (N, X, C, H, p)다 — N은 에이전트의 무리, X는 모두의 관측 공간, C는 과업 서술의 공간, H는 시간 지평, 그리고 p(·|x₀, c, k)는 지금 관측 x₀와 과업 c와 일할 에이전트 k에 따라 H스텝 관측 시퀀스 위에 확률을 펴는 조건부 분포다. C는 자연어 지시 전부, X는 RGB 이미지 전부가 될 수 있다. UDPD의 묘는 MDP [Bellman 1958]의 고질을 에두르는 데 있다 — 한결같이 바른 행동으로 이끌도록 적기 어려운 보상 함수 [Langosco di Langosco 2022] 대신 너른 과업 서술을 쓰고, 행동 공간과 전이 동역학은 따로 새기지 않고 관측 시퀀스의 조건부 분포 속에 담아 버린다. 제어를 위해서는 에이전트 유형 k마다, 관측 시퀀스를 제 행동 공간 A_k의 행동열 분포로 옮기는 정책 π_k : X^H → Δ(A_k^{H−1})을 배워야 한다.

데이터 형편(§3.3.2)은 이렇다. 에이전트 n마다 지시–궤적 쌍 M_n개의 곳간 D_n = {(c_i, x_{1:t_i}, a_{i:t_i})}가 있고, 이를 모두 부어 에이전트 표식 n_i가 붙은 혼합 곳간 D = {(c_i, x_{1:t_i}, a_{i:t_i}, n_i)}, 총 M = ΣM_n개의 궤적을 얻는다. 관측 공간의 사이는 두 극단을 상정한다 — 모두 같은 경우(X_n = X_m)와 전혀 겹치지 않는 경우(X_n ∩ X_m = ∅)다. 뒤의 경우엔 관측 자체에 에이전트의 정체가 배어 있어 계획기가 x₀만 보고도 누구를 위한 밑그림인지 안다. 둘 다 있음 직한 형편이다 — 로봇 조작 [O'Neill 2024]에서 손끝 카메라의 그림으로는 누구인지 알 수 없지만, 고정 카메라에는 몸이 곧잘 비치는 법이니.

UCAP(§3.3.3)은 혼합 곳간 D 위에서 조건부 관측 시퀀스 생성기 p(·|x₀, c, k)를 기른다. 긴 시퀀스를 통째로 그리는 대신 크기 4의 창을 무작위로 오려 첫 시점을 x₀로 삼는다 — 곧 x₀에서 출발해 다음 세 시점을 계획하는 것이다. 선행 연구의 시간 초해상(성긴 영상을 먼저 그리고 뒤에 다듬는 공정) [Du 2023a]은 쓰지 않는다. p의 추정에는 조건부 확산 모델을 쓴다 — 데이터에 여러 척도의 소음을 점점이 입히고, 그 과정을 되짚어 본디 형상을 벗겨내는 법을 배우는 모델이다 [Ho 2020; Song & Ermon 2019].

남은 물음은 하나 — 화공에게 "누구를 위한 밑그림인가"를 어찌 일러줄 것인가. 잡음 제거 신경망 D_θ에 에이전트 정보 k를 조건으로 다는 세 가지 방식을 견준다.

밑그림이 나오면 목수의 차례다. 에이전트 n마다 이웃한 관측 두 장을 제 행동 공간으로 옮기는 역동역학 모델 IVD_n : X × X → A_n을 두고, 행동이 달린 관측 시퀀스에서 이웃 쌍을 표집해 교차 엔트로피로 기른다. 역동역학은 표본 몇 줌으로도 배우기 쉬우니 작은 에이전트별 곳간 D_n으로 넉넉히 기를 수 있다.

시험장은 다시 BabyAI 고을 [Chevalier-Boisvert 2019]이다 — 손보기 쉽고 난이도가 층층인 과업을 갖춰서다. 격자 세상을 누비며 물건에 닿고 문을 여는 과업들로, 상태는 격자 표현을 쓰고(계산이 싸다) 완전 관측이며, 성적은 512 에피소드의 과업 완수율로 매긴다. 본디 여섯 가지던 행동 (좌회전·우회전·전진·집기·놓기·조작)을 총 18가지로 늘리고(180도 회전, 대각 이동 따위), 에이전트마다 쓸 수 없는 행동을 가려 여덟 가지 몸을 빚었다. 0–5번의 여섯 몸이 혼합 곳간에 든 구면(ID)의 에이전트요, 6–7번 두 몸은 곳간 밖에 남긴 초면(OOD)의 손님이다.

긍정적 전이를 재는 법(§3.4.2). 세 계단을 밟는다 — ① 에이전트마다 제 작은 곳간으로 단독 범용 정책을 기르고, ② 작은 곳간들을 부은 혼합 곳간으로 UCAP을 기르며(무조건화 Mixture와 세 조건화 변형 각각), ③ 혼합 곳간과 같은 크기의 단독 곳간으로 상한선 격의 정책을 기른다. ①을 웃돌면 긍정적 전이요, 밑돌면 부정적 전이이며, ③은 바랄 수 있는 전이의 천장이다. 결과(Figure 3.4)는 이렇다 — 에이전트 정보를 단 UCAP은 세 고을 모두에서 긍정적 전이를 보였고, 그중 행동 공간 인코딩이 으뜸, 시연 예시가 꼴찌였다. 예시의 부진은 차원이 높은 탓으로 짚인다 — 이름표나 능력 목록보다 조건부 분포를 바로 추정하는 데 표본이 더 드는 것이다. 정보 없는 계획기는 성적이 갈렸다 — 복잡한 고을에서는 전이가 일고 가장 단순한 고을에서는 외려 손해였는데, 복잡한 세상일수록 남의 궤적에서라도 낯선 미끼–목표 조합을 봐 두는 것이 밑천이 되는 까닭이다.

이웃 공법과의 겨루기(§3.4.3). 모방학습(IL) 기준선들을 이 데이터 형편에 맞게 손봐 세운다 — 합성곱 몸통에 MLP를 얹은 구조 [Hui 2020]다. IL 단독(작은 곳간과 큰 곳간 — 각각 문턱과 천장), IL 행동 공간 합집합(합집합 행동 공간에 원-핫 에이전트 ID를 잇대는 통상의 공법 [Zhong 2024] — 불가능한 행동을 고르면 세상이 꿈쩍 않는다), IL 에이전트 헤드(Octo [Ghosh 2024]를 따라 몸통은 하나, 머리는 에이전트마다 하나), 그리고 각 공법을 혼합 곳간으로 먼저 기르고 작은 곳간으로 미세조정한 변형들이다.

세 가지 뒷조사(§3.4.4). 첫째, 관측이 서로 다른 경우 — 에이전트마다 몸 색을 달리 칠해 관측만으로 정체가 드러나게 하면, 화공은 그 빛깔을 능히 읽어 행동 공간 인코딩과 맞먹거나 웃도는 성적을 낸다(Figure 3.5). 물론 초면의 빛깔에는 통하지 않는다. 둘째, 계획의 성김(granularity) — 매 시점 대신 n시점 건너 밑그림을 그리고, 에이전트별 목표 조건 정책이 그 사이를 잇게 하면 어떨까. 오라클로 재 보니 두 시점 건너가 가장 좋았고(Figure 3.6), 2-스텝 계획기는 구면 0.885(.011)에 초면 0.918(.010) — 초면이 구면과 어깨를 나란히 한다. 성긴 밑그림에는 애초에 불가능한 몸짓이 그려질 수 없기 때문이다. 다만 목표 조건 정책은 역동역학보다 배우는 데 데이터가 더 든다. 셋째, 몸의 가짓수 — 초면 일반화가 안 되던 까닭이 몸이 여섯뿐인 탓인지 보려고, 18가지 행동을 이리저리 엮어 6,595가지 몸의 궤적으로 곳간을 다시 지었다(총량은 그대로다). 과연 행동 공간 인코딩은 0.494에서 0.906(.010)으로, 시연 예시는 0.453에서 0.611(.012)로 올라섰다(Table 3.5). 몸이 다양해야 조건과 능력의 연을 배우는 것이다.

혼합 곳간의 전이는 확인했으되, 관측이 훨씬 어지러운 형편 — 갖은 로봇 조작기의 관측이 뒤섞인 OXE 데이터셋 [O'Neill 2024] 같은 — 에서도 이 전이가 버틸지는 미지수다. 더 크고 이질적인 곳간으로 공법을 키워 보는 일이 다음 답사자의 몫이다. 확산 계획기의 값도 만만치 않다 — 수렴까지 모방학습의 약 40배에 이르는 갱신이 들고, 샘플러는 한 수에 128번의 신경망 평가를 쓴다(모방학습은 단 한 번이다). 점진적 증류 [Salimans & Ho 2022]나 일관성 모델 [Song 2023]이 생성력의 손실을 줄이면서 표집을 빠르게 하는 처방으로 알려져 있다.

이 장은 범용 정책의 공법 [Du 2023a]을 빌려, 능력이 다른 에이전트들을 위한 관측 시퀀스를 그려내는 확산 계획기를 기를 수 있음을 보였다. 모든 몸의 곳간을 부어 기른 계획기는 작은 단독 곳간으로 기른 것보다 나은 범용 정책을 낳고, 행동 공간 인코딩이나 시연 예시 같은 에이전트 정보를 달아 주면 더 좋아진다. 어떤 정보를 달든 미세조정 없는 초면 일반화는 여전히 험로이며, 몸의 가짓수를 늘리는 것과 계획을 성기게 그리는 것이 그 고개를 넘는 방책으로 남는다. 관측 공간마저 이질적인 에이전트들로 [Ghosh 2024; Doshi 2024], 더 복잡한 세상으로 [O'Neill 2024] 공법을 넓히는 일은 장래의 숙제다.