Neuro-Symbolic Methods for Open-Ended Cooperative AI by Ed Hughes

Abstract

This lecture was delivered at the 2024 Cooperative AI Summer School. For more information, please visit https://www.cooperativeai.com/summer-school/summer-school-2024

Edward Hughes is a Staff Research Engineer at DeepMind. His research pioneers the field of Cooperative AI, algorithms that work in partnership with each other and humans. His work lies at a crossroads linking multi-agent reinforcement learning with sociology and economics. Edward received his PhD in Theoretical Physics from Queen Mary University of London on applications of string theory to particle scattering. He read Mathematics at Cambridge University, where he graduated with Distinction. Edward’s publications are available on Google Scholar.

Ed Hughes는 Google DeepMind의 연구 엔지니어이자 Cooperative AI Foundation의 자문 위원으로서, 협력적 AI 분야의 발전을 위한 자신의 연구를 소개합니다. 그는 자연계의 개방성에 대한 세 가지 예시(자기촉매 시스템, 생물학적 진화, 문화적 진화)를 제시하며, 이러한 시스템에서 협력의 역할이 중요하다고 강조합니다. 또한 인공지능에서의 개방성을 탐구하며, 현재의 인공지능 모델이 최적화에 기반하고 있어 인간 수준의 지능이나 협력 능력을 갖추기에는 불충분하다고 주장합니다. 마지막으로 그는 개방성과 협력을 결합하는 방법을 제시하며, 이를 통해 AI 시스템이 지속적으로 새로운 문제를 생성하고 해결하며 인간에게 이해 가능하도록 유지될 수 있다고 제안합니다.

협력 이유

시스템의 개방형성(open-endedness), 특히 자연계의 진화 과정에서 협력이 중요하게 나타나는 세 가지 이유가 설명됩니다. 이 이유들은 협력이 자연적인 개방형 시스템을 촉진하는 방식과 관련이 있습니다.

협력이 나타나는 세 가지 이유는 다음과 같습니다:

1. 서로 다른 생태적 지위(niches)에서 종들이 공존하도록 함으로써 복잡성을 창출하는 것입니다. 일반적으로 진화는 ‘적자생존’처럼 경쟁적인 것으로 여겨지지만, 사실 진화가 복잡성을 창출하는 이유는 경쟁의 부재 때문이라고 주장됩니다. 경쟁이 없다면 생존 가능한 모든 것이 살아남을 것이기 때문에 복잡성이 증가합니다. 협력은 선택 압력을 완화하고, 종들이 다양한 공간을 탐험하고 서로 다른 생태적 지위에서 생존할 수 있도록 함으로써 경쟁을 회피하는 역할을 합니다.
2. 개체들이 협력함으로써 다음 단계의 에너지 풍요(energy abundance)를 해제할 수 있다는 것입니다. 공동의 목표를 위해 그룹으로 모이면, 환경으로부터 단위당 더 많은 에너지를 추출할 수 있는 능력이 생깁니다. 이는 진화를 위한 최소 기준을 충족하는 더 많은 방법을 찾게 해주고, 개방형성의 특징인 흥미로운 신규성의 폭발을 가져옵니다. 즉, 협력은 선택 압력을 완화하여 변이를 장려합니다.
3. 협력 그 자체가 그룹이 극복해야 할 새로운 도전의 원천이 된다는 것입니다. 개체군이 성장함에 따라 새로운 기술이나 개인이 생기면서 새로운 유형의 협력 문제가 발생하며, 그룹 수준에서 협력을 계속 유지하기 위해 규범적 기반 시설(normative infrastructure)이나 제도(institutions)를 발전시키는 방법을 찾아야 합니다. 이는 새로운 선택 압력을 가하는 동시에, 그룹이 다른 틈새를 선택하게 함으로써 변이(variation)를 정량화(quantizes)하는 흥미로운 영향을 미칩니다.

요약하자면, 협력은 ① 종들의 공존을 통한 복잡성 증가, ② 새로운 에너지원 접근을 통한 신규성 폭발 촉진, ③ 협력 자체에서 발생하는 도전 과제 해결을 통한 시스템 발전이라는 세 가지 방식으로 개방형 시스템의 작동과 발전에 기여하는 것으로 설명됩니다.

Open-ended System

오픈 엔드 시스템(Open-ended system) 또는 열린 결말성(open-endedness)은 여러 수준에서 정의되고 설명됩니다.

대략적인 정의는 시스템이 끝없이 새롭고 흥미로운 것들을 생산하는 것입니다. 우리는 이러한 시스템에 둘러싸여 있으며, 역사상 다양한 오픈 엔드 시스템이 존재해 왔습니다. 자연계의 예시로는 생물학적 진화, 문화적 진화, 심지어 생명체의 기원이 된 자기촉매 시스템(autocatalytic system) 등을 들 수 있습니다. 이러한 자연적 오픈 엔드 시스템은 다양한 규모에서 나타나는 특징이 있습니다.

하지만 이보다 더 정밀한 정의가 제시되었습니다. 이 정의는 관찰자(observer)의 관점에 기반합니다. 시스템이 생성하는 인공물(artifacts)의 순서가 새로운(novel) 동시에 학습 가능할 때(learnable) 해당 시스템은 오픈 엔드적이라고 간주됩니다. 여기서 ‘새로운(novel)’과 ‘학습 가능(learnable)’이라는 두 가지 핵심 특성이 오픈 엔드 시스템의 정의를 구성합니다.

1. 새로움 (Novelty): 시스템이 특정 시점(t)까지의 인공물을 관찰한 관찰자의 입장에서 볼 때, 미래의 인공물들이 점점 더 예측 불가능해지는 것을 의미합니다. 예를 들어, 13세기 관찰자가 미래 기술의 역사를 볼 때, 14세기, 15세기, 16세기의 기술 발전은 시간이 지날수록 점점 더 예측하기 어려워집니다. 이는 무작위 노이즈만 생성하는 시스템과 대조됩니다. 무작위 노이즈는 처음에는 새롭게 느껴질 수 있지만, 관찰자가 그 특성을 파악하고 나면(분포를 학습하면) 더 이상 새롭지 않게 됩니다. 예측 손실(expected loss)이 계속 증가하지 않기 때문입니다.
2. 학습 가능성 (Learnability): 현재 시점의 특정 새로운 인공물이 고정되어 있을 때, 관찰자가 과거의 더 많은 인공물을 볼수록 그 인공물이 점점 더 예측 가능해지는 것을 의미합니다. 이는 과거의 이력을 통해 현재의 새로운 인공물을 더 잘 이해하고 예측할 수 있게 된다는 뜻입니다. 마치 학생이 학부, 석사, 박사 과정을 거치며 전공 분야에 대해 더 많이 학습할수록 특정 개념이나 시스템(예: 대규모 언어 모델)이 더 예측 가능해지는 것과 유사합니다. 서로 상관관계 없이 무작위로 나열된 정보(예: 무작위 위키피디아 문서)는 새로울 수는 있지만, 과거 이력을 통해 현재의 정보를 더 잘 예측할 수 없으므로 학습 가능하지는 않습니다.

오픈 엔드 시스템으로 간주되려면 이 두 가지 특성 모두를 만족해야 합니다.

이러한 정의는 오픈 엔드성이 관찰자에 의존적이라는 점을 강조합니다. 인간에게 오픈 엔드적인 시스템이 생쥐나 외계인에게는 그렇지 않을 수 있습니다. 예를 들어 항공우주의 역사는 인간에게는 새롭고 학습 가능하지만, 생쥐에게는 새로울 수 있으나 학습 가능하지 않고, 모든 것을 아는 외계인에게는 학습 가능하지만 새롭지 않을 수 있습니다.

이 정밀한 정의는 시스템의 안전(safety) 측면과도 연결됩니다. 시스템이 인간에게 계속 오픈 엔드적으로 인식된다는 것은 시스템이 인간의 탐험 기회를 제한하지 않고(새로움 유지), 우리가 시스템이 하는 일을 이해하고 통제할 수 있다(학습 가능성 보장)는 것과 관련이 있습니다. 만약 시스템이 더 이상 인간에게 오픈 엔드적으로 느껴지지 않는다면, 이는 시스템이 인간의 창의성을 제한하거나 우리가 이해할 수 없는 행동을 하기 시작했다는 신호일 수 있으며, 이는 우려해야 할 지점이라고 언급됩니다.

AI 분야에서는 이러한 오픈 엔드 시스템을 만들기 위한 노력이 이루어지고 있으며, 인간의 선택(selection)을 대체하는 품질 다양성(Quality Diversity) 알고리즘이나 대규모 언어 모델을 활용하여 시스템의 선택 및 변이(mutation)를 자동화하는 연구(예: Omni Epic) 등이 진행되고 있습니다.

Problems in Open-endedness

AI에서 오픈 엔드니스(open-endedness)를 추구하거나 구현하는 과정에서 여러 문제점이나 도전 과제가 언급됩니다. 이러한 문제점들은 현재 AI 시스템의 한계와 오픈 엔드 시스템이 갖는 본질적인 특성에서 기인합니다.

AI에서 오픈 엔드니스의 주요 문제점은 다음과 같습니다.

1. 현재 주류 AI(최적화 기반 모델)의 한계: 현재 가장 강력한 모델들의 중심 철학은 최적화(optimization)입니다. 대규모 언어 모델(LLMs)과 같은 시스템은 대규모 데이터를 학습하고 특정 목적 함수(예: 다음 토큰 예측)를 최적화하여 구축됩니다. 이러한 최적화 기반 접근 방식은 지식 검색, 예측, 지침 따르기, 내삽(interpolation) 등에는 뛰어나지만, 추론(reasoning), 탐험(exploration), 외삽(extrapolation), 협력(cooperation)에는 특별히 능숙하지 않습니다. 따라서 현재 AI는 인간 연구자가 데이터셋을 수집하고, 목적을 결정하고, 학습 알고리즘을 프로그래밍하는 등 여전히 인간이 주요 역할을 수행하는 “인간 개입(human in the loop)”이 필요한 구조입니다. 인간처럼 전반적인 목적 없이도 새로운 정보를 탐색하고, 피드백을 통해 실시간으로 학습을 조절하는 등의 능력이 부족하여 오픈 엔드 시스템에 필요한 특성을 자연스럽게 갖추기 어렵습니다.
2. 초기 오픈 엔드 AI 방법론의 비확장성 및 비일반화성: Picbreeder와 같은 초기 오픈 엔드 시스템 연구는 인간이 개입하여 지역적인 선택(local selection)을 수행하는 방식이었습니다. 사용자가 이미지의 진화 과정에서 ‘흥미로운’ 것을 선택하는 방식이었죠. 이러한 인간 개입 방식은 확장성이 떨어지고, 신경망의 가중치나 구조를 변이시키는 것에 국한되어 원하는 종류의 일반 지능으로 일반화하기 어렵다는 문제가 있었습니다. 품질 다양성(Quality Diversity, QD) 알고리즘(예: Map-Elites)은 선택 과정을 자동화했지만, 여전히 인간이 검색 공간(search space)을 설계하고 변이 알고리즘(mutation algorithm)을 설계해야 한다는 한계가 있었습니다.
3. 자연계 협력 메커니즘의 AI 통합 문제: 자연계의 오픈 엔드 시스템(예: 진화)에서 협력은 ① 종의 공존을 통한 복잡성 증가, ② 에너지 풍요 해제를 통한 신규성 폭발, ③ 협력 자체에서 발생하는 새로운 도전 과제 생성을 통해 중요한 역할을 합니다. 최근 AI 오픈 엔드 시스템 연구(예: Omni Epic)에서는 대규모 언어 모델을 활용하여 인간의 선택과 변이 과정을 자동화하려는 시도가 이루어지고 있지만, 자연에서 협력이 어떻게 공존을 이끌어내는지, 협력을 통해 어떻게 새로운 에너지원을 해제하고 신규성을 폭발시키는지(즉, AI 시스템이 어떻게 협력을 통해 자체적인 특징 공간을 구성하는지), 그리고 협력 자체가 어떻게 그룹 수준의 새로운 도전 과제를 생성하고 시스템 발전을 이끌어내는지에 대한 이해와 이를 AI 알고리즘에 통합하는 것은 여전히 큰 연구 과제이자 문제점으로 남아있습니다. 오픈 엔드 AI 커뮤니티는 이러한 자연계 협력 메커니즘에 대해 아직 충분히 알지 못하며, 이는 새로운 오픈 엔드 알고리즘 개발의 중요한 기회이기도 합니다.
4. 오픈 엔드 시스템을 지속하기 위한 기반 모델의 한계: Foundation Model(대규모 언어 모델 등)은 오픈 엔드니스를 다음 단계로 이끌 잠재력을 가지고 있지만, 현재의 협력적 문화에 기반하여 훈련되었다는 한계가 있습니다. 만약 오픈 엔드 알고리즘이 계속 발전하려면, 훈련되는 ‘문화’ 자체를 확장해야 하며, 이는 협력의 역할을 이해하고 활용하여 특징 공간을 스스로 구성하는 등의 능력을 포함해야 할 가능성이 높습니다. 즉, 현재의 기반 모델만으로는 장기적인 오픈 엔드 시스템을 지속하기 어렵다는 문제가 있습니다.
5. 안전 및 통제 문제: AI에서 자동화된 발견 프로세스(오픈 엔드니스가 추구하는 목표 중 하나)는 새로운 위험한 AI 능력을 초래할 수 있다는 중대한 문제점이 있습니다. 현재는 인간(연구자)이 발견 과정에 개입하며 가치 정렬(value alignment)을 어느 정도 기대할 수 있지만, AI가 스스로 발견하고 발전하는 시스템에서는 이러한 안전 장치가 사라질 수 있습니다. 이는 매우 신중하고 책임감 있게 다루어져야 할 부분입니다.

이러한 안전 문제와 관련하여 발생하는 구체적인 도전 과제들은 다음과 같습니다.

• 평가 방법의 부족: 현재의 AI 평가 방식은 오픈 엔드 시스템에 적합하지 않습니다. 시스템이 사회에 미치는 영향을 포함하는 오픈 엔드적이고 사회적인 평가 방식이 필요합니다.
• 오픈 엔드성 상실 감지: 시스템이 인간에게 더 이상 오픈 엔드적으로 느껴지지 않게 되는 시점을 감지하는 메커니즘이 필요합니다. 이는 시스템이 인간의 창의성을 제한하거나, 혹은 우리가 이해하거나 통제할 수 없는 행동을 하기 시작했다는 신호일 수 있기 때문입니다. 오픈 엔드니스의 정의(새로움과 학습 가능성) 자체가 관찰자(인간)에 의존하기 때문에, 시스템이 인간에게 학습 불가능해지거나 예측 불가능하지만 이해할 수 없는 방식으로 작동하는 것은 심각한 문제입니다.
• 사회적 인식 및 참여 부족: AI 오픈 엔드 시스템 개발과 관련된 잠재적 이점과 위험에 대해 더 많은 사람이 인지하고, 정책 및 논의에 참여할 수 있도록 하는 사회적인 노력이 필요합니다.

요약하자면, AI에서 오픈 엔드니스의 문제점은 현재 AI 기술의 내재적 한계, 과거 방법론의 비효율성, 자연계의 성공적인 협력 메커니즘 통합의 어려움, 기반 모델의 장기적 지속성 문제, 그리고 무엇보다도 자동화된 발견 과정에서 발생하는 잠재적인 안전 및 통제 문제에 있습니다. 이러한 문제들을 해결하는 것이 AI 분야에서 오픈 엔드니스를 책임감 있게 발전시키는 데 핵심적인 과제입니다.