암스테르담에서 온 논문 한 권,
그 첫 장을 함께 걷다

낯선 고장을 답사할 때 먼저 지도를 펴듯, 이 분야에 들어서는 이는 먼저 문제의 생김새부터 살펴야 한다. 순차적 의사결정(sequential decision-making) 문제란, 에이전트가 시스템의 동역학이나 관측 가능성에 도사린 불확실성을 감안하면서 시간에 걸쳐 행동을 골라 과업의 목표를 최적화해야 하는 상황을 이른다. 말이 어렵지, 로봇이 물건을 집는 일 [Levine 2016], 컴퓨터가 바둑과 게임을 두는 일 [Tesauro 1995; Mnih 2015], 의사가 치료 계획을 짜는 일 [Murphy 2005]이 모두 이 우산 아래 들어온다. 사람 사는 일이 대개 그렇듯, 한 수 한 수가 다음 수를 규정하는 문제들이다.

이 땅의 표준 지도가 마르코프 결정 과정(MDP) [Puterman 1994]이다. M = (S, A, T, R, γ)라는 다섯 글자의 튜플로 적히는데, 겉보기엔 무뚝뚝한 기호지만 하나하나 뜯어보면 제 몫이 분명하다.

물론 이 지도가 만능은 아니어서, 학계는 부분관측의 POMDP [Kaelbling 1998], 계층적 프레임워크 [Sutton 1999], 다중 에이전트 환경 [Stone & Veloso 2000]으로 길을 넓혀 왔다. 그러나 이 논문은 MDP로 모델링할 수 있는 문제에 발길을 한정한다. 가림이 있는 조작 과업처럼 부분적으로만 보이는 세계라도, 최근의 관측과 행동을 이력으로 묶어 상태를 다시 정의하면 MDP의 가정은 곧잘 지켜진다 [Mnih 2015]. 좋은 답사가 그렇듯, 갈 곳을 정하는 것만큼 가지 않을 곳을 정하는 것도 안목이다.

심층 신경망이 데이터만 넉넉하면 고차원의 상태·행동 공간에서도 복잡한 행동을 배워낸다는 사실이 선구적 연구들로 입증된 이래, 심층 아키텍처는 정책을 매개변수화하는 표준 살림이 되었다. 그 매개변수 θ*를 배우는 길은 크게 두 갈래다. 갈림길 앞에 서서 양쪽을 번갈아 바라보자.

이 논문은 어느 한쪽 편을 들지 않고 두 길을 다 걷는다. 모방학습은 2장과 3장에서, 심층 강화학습은 4장과 5장에서 만난다.

답사를 다니다 보면 명찰(名刹)일수록 무너진 축대가 눈에 밟히는 법이다. RL과 IL 가운데 어느 쪽이 제어 정책을 얻는 데 더 나은 길인가 하는 물음은 여전히 열려 있다 [Osa 2018]. 이 논문의 전반부는 기존에 손대지 못하던 정보원에서 시연을 끌어와 모방학습의 데이터 곳간을 넓히는 일을 한다 — 데이터가 다양해지면 훈련에서 시험으로 넘어갈 때의 분포 이동이 줄어든다. 후반부는 지식그래프 [Speer 2017]에 새겨진 구조적 정보나 인간이 매긴 품질 평가 [Bai 2022b] 같은 보조 정보로 심층 강화학습을 개선하거나 아예 가능하게 만드는 일을 한다.

먼저 모방학습의 무너진 자리부터 보자(§1.1.1). 모방학습은 관측된 상태를 전문가의 행동에 잇는 신경망을 훈련해 원하는 행동을 시연에서 곧바로 얻는다. 데이터셋 안의 상태에 대해서는 정답 행동이 이미 주어져 있으니 따로 탐험할 일이 없다. 문제는 그 취약함이다 — 작은 예측 오차가 시간에 걸쳐 쌓이고 쌓여, 정책은 어느새 배운 적 없는 분포 밖 상태로 떠밀려 간다 [Ross 2011]. 처방은 흔히 "데이터를 더 부어라"인데, 로보틱스처럼 데이터가 귀한 고장에서는 이것이 곧 대역사(大役事)가 된다 [O'Neill 2024]. 길은 둘이다. 하나는 시연 수집 자체를 쉽고 빠르게 만드는 길 [Chi 2024]이요, 다른 하나는 정갈한 전문가 라벨이 붙지 않은 데이터 — 다른 에이전트, 다른 신체에서 온 것일 수도 있는 데이터 — 를 살려 쓰는 길 [Mees 2022b]이다. 이 논문은 둘째 길을 택한다. 2장은 길고 분절 없는 행동 영상, 이른바 플레이 궤적에서 뜻있는 학습 에피소드를 발굴하고, 3장은 여러 에이전트의 데이터셋을 한데 모으는 데서 비롯하는 교차 신체 학습의 문제를 파고든다. 둘 다 값비싼 전문가 시연에 기대는 살림을 줄여, 데이터가 궁한 형편에서도 굳건한 모방학습을 세우려는 공사다.

다음은 강화학습 차례다(§1.1.2). 강화학습은 환경과 부대끼는 온라인 방식 [Sutton 1998]과 쌓아둔 궤적으로 배우는 오프라인 방식 [Levine 2020]이 있고, 동역학 모델을 두지 않는 모델-프리 [Schulman 2017]와 모델을 계획에 부리는 모델-기반 [Sutton 1990]으로도 갈린다. 논문의 후반부가 걷는 길은 모델-프리 심층 강화학습이다. 환경의 모델 없이 상호작용 데이터에서 곧장 정책을 배우는 개념적 단순함이 이 길의 미덕이지만, 표본을 물 쓰듯 쓰는 비효율이 고질이다 [Mnih 2015]. 얼마나 많은 경험이 필요한가는 탐험의 양 [Bellemare 2016], 보상의 희소함, 상태·행동 공간의 차원, 의사결정 지평의 길이에 달렸다. 신경망에 귀납적 편향을 심는 법 [Battaglia 2018; Van der Pol 2020], 다중 과업 사전학습–미세조정 파이프라인 [Nair 2022; Caruana 1997], 새 알고리즘 [Andrychowicz 2017] 등 여러 보수(補修) 공법이 제안되어 왔다.

이 논문이 백지 학습(tabula-rasa)의 벽 앞에서 꺼내 드는 연장은 지식그래프다. WordNet [Miller 1995]과 ConceptNet [Speer 2017]에 갈무리된 상식을 심층 강화학습 에이전트에 이어 붙이고, 상식 추론 게임 [Jiang 2020]에서 그 효험을 가늠한다(4장). 이 방식의 묘미는 지식이 명시적이고 사람이 읽을 수 있는 지식 베이스의 꼴로 환경과 에이전트 사이를 오간다는 데 있다 — 옮겨진 지식을 눈으로 살피고, 손보고, 그 위에서 추론할 수 있다. 반면 오늘날 대부분의 강화학습이 쓰는 지식 전이란 신경망 가중치를 통째로 넘기는 것이니, 효험은 있으되 그 속을 들여다보거나 고쳐 쓰기 어렵다. 말하자면 전자는 현판에 또렷이 새긴 글씨요, 후자는 벽 속에 발라 넣은 회반죽이다.

강화학습의 또 다른 무너진 축대는 보상 함수의 정의다. 게임이야 이기고 지고 점수가 나니 보상이 절로 주어지지만 [Mnih 2015; Silver 2017; Vinyals 2019], 로봇 보행 같은 연속 제어의 고장에서는 수작업으로 보상 항을 깎아 넣어야 하고, 그 세공은 취약하거나 직관에 어긋나거나 본디 목표와 어긋나기 일쑤다 [Hwangbo 2019]. 잘못 새긴 보상은 보상 해킹이라는 낭패로 이어진다 — 적어 놓은 보상은 착실히 늘리면서 정작 의도한 과업과는 어긋나게 구는 것이다 [Amodei 2016]. 보상을 적어 내리기 어려울 때, 인간의 선호 — 비교와 순위와 품평 — 에서 배우는 길이 힘 있는 대안으로 떠올랐다 [Christiano 2017; Ouyang 2022]. 이 논문은 과학적 점수, 곧 인용 수와 리뷰 평점을 예측하여 과학 에이전트를 위한 보상 모델을 학습하는 가능성을 타진한다(5장).

갈림길에서 헤어졌던 두 길은 뜻밖의 자리에서 다시 만난다. 오늘날 뭇사람이 쓰는 대형 파운데이션 모델의 성공 [Achiam 2023; Touvron 2023] 한복판에 모방학습과 심층 강화학습의 결합이 있다. 표준 레시피는 지도 미세조정(SFT) 뒤에 인간 피드백 강화학습(RLHF)을 얹는 것이다. SFT가 고품질 시연을 흉내 내어 든든한 초석을 놓으면, RLHF가 그 위에서 행동을 인간이 선호하는 출력 쪽으로 다듬는다 — 맨땅에서 강화학습을 시작했더라면 치렀을 막대한 탐험의 품을 이렇게 던다.

이 패러다임은 근래 로봇 제어로 번지고 있다. 신흥 비전-언어-행동(VLA) 모델 [Kim 2024; Bjorck 2025]이 같은 2단계 공법을 쓴다 — 먼저 대규모 교차 신체 데이터셋에서 모방학습으로 몸을 만들고, 이어 강화학습으로 일반화와 과업 성능을 벼린다 [Amin 2025]. 두 패러다임은 맞서는 것이 아니라 서로를 채우는 것임을 이 모델들이 몸소 보여준다.

이 논문도 이 2단계 파이프라인의 노정을 따르되, 단계마다 도메인 특유의 난소(難所)를 짚는다. 전반부(2·3장)는 신체화 AI의 사전학습 데이터셋을 넓히는 법을 궁리한다. 이어 미세조정 단계로 넘어가, 사전학습된 가중치 대신 지식그래프로 환경 사이의 지식을 옮기는 대안을 먼저 살피고, 끝으로 파운데이션 모델이 좋은 과학 콘텐츠를 내놓도록 미세조정할 수 있게 하는 과학 도메인의 보상 신호 설계를 연구한다.

지난 십 년 AI의 진보는 스케일링이 끌어왔다 — 모델 매개변수 [Kaplan 2020], 데이터셋 [O'Neill 2024], 컴퓨트 [NVIDIA 2025]를 키우는 것이다. 전문가 궤적의 대규모 사전학습에 과업별 보상의 미세조정을 얹는 파이프라인은 소비자용 파운데이션 모델을 길러낸 성공 레시피가 되었다 [Achiam 2023]. 그런데 NLP [Baack 2024]와 컴퓨터 비전 [Schuhmann 2022]에서는 데이터 스케일링이 이미 고원(高原)에 닿았고, 로보틱스 같은 순차적 의사결정의 고장은 이제야 그 고개를 오르기 시작했다. 한편 파운데이션 모델이 사전학습에서 무엇을 배웠는지는 가중치 속에 묻혀 있어 캐묻기 어렵고, 데이터셋의 편향을 익혀 두었다가 실전에서 퍼뜨릴 수도 있다 [Feng 2023]. 이는 오늘날 AI의 더 큰 논쟁과 잇닿는다 — 스케일링만으로 족한가 [Dwarkesh 2025], 아니면 덩치 대신 다른 학습 알고리즘으로 비슷하거나 더 큰 성취에 이를 수 있는가 [Jolicoeur-Martineau 2025].

이 논문이 답하려는 물음은 결국 하나로 모인다 — 갖가지 보조 정보를 어떻게 부려 써야 더 일반화 잘하는 순차적 의사결정 에이전트를 지을 수 있는가. IL 사전학습–RL 미세조정의 파이프라인은 힘 있는 틀이되, 응용 도메인에 따라 단계마다 다른 난소를 낸다. 그 난소들이 곧 네 개의 답사처다. 이제 하나씩 들러 보자.

옛 건축의 상량문에 목수와 시주의 이름을 적듯, 학위논문의 말미에는 그 뼈대가 된 출판물과 손을 보탠 이들을 적는다. 제1저자 논문 모두에서 저자는 핵심 아이디어의 창출, 실험의 구현, 원고의 집필을 도맡았다.