“Neurosymbolic AI: Evolution and Current state of affairs” by Luis C. Lamb

Abstract

The talk was given on 26 Feb 2024 at the NucLeaR workshop - Neuro-Symbolic Learning and Reasoning in the Era of Large Language Models @ AAAI 2024

PDF slides of the talk can be downloaded at: https://asimmunawar.github.io (Go to “More”)

Workshop organizers: Pranava Madhyastha, Alexander Gray, Elham Barezi, Abulhair Saparov, Asim Munawar Workshop URL: https://nuclear-workshop.github.io/

Speaker’s Bio

Luis Lamb holds a PhD in Computer Science from Imperial College London and an MBA from MIT. He has been a full professor at the Federal University of Rio Grande do Sul, Brazil, Visiting Professor at City University London, Visiting Fellow at the MIT Sloan School of Management, where has taught New Ventures: building Innovation-driven Entreperprises in growth markets in 2023.

Since Januray 2024, he is Senior Manager of AI and Machine Learning at the Boeing Company.

He pioneered work on Neurosymbolic AI as a means to integrate sound symnbolic reasoning and interpretable machine learning. His current research interests focus neurosymbolic AI, trustworthy AI, and interpretable models of machine learning and reasoning.

Neurosymbolic AI

뉴로심볼릭 AI(Neurosymbolic AI)는 인공지능 분야에서 학습(Learning)과 추론(Reasoning)이라는 두 가지 주요 접근 방식을 통합하려는 시도를 의미합니다. 이는 신경망(Neural Networks) 또는 연결주의(Connectionist) 시스템의 학습 능력과 기호(Symbolic) 또는 논리 기반 시스템의 추론 및 지식 표현 능력을 결합하는 것을 목표로 합니다.

뉴로심볼릭 AI는 다음과 같은 특징과 중요성을 가집니다:

통합의 역사: 뉴로심볼릭 AI의 개념은 비교적 새로운 것처럼 보일 수 있지만, 사실 인공지능 분야의 오랜 역사, 심지어 초기 선구자들(Turing, McCulloch & Pitts, von Neumann 등)의 연구에서도 학습과 추론, 신경 활동과 논리적 사고의 연결에 대한 관심이 존재했습니다.
지식의 중요성: 뉴로심볼릭 AI에서는 지식(Knowledge)이 매우 중요하게 강조됩니다.
현재 AI의 한계 극복: 순수 머신 러닝 또는 딥 러닝 모델은 종종 “블랙박스”처럼 작동하여 내부 작동 방식을 이해하기 어렵고(설명 가능성 부족), 엄밀성이나 검증 가능성 면에서 한계를 가질 수 있습니다. 소스에서는 특히 대규모 언어 모델(LLMs)의 기반이 “불안정하다(shaky foundations)”고 언급하며, 이러한 기술을 사회에 제공할 때 안전과 보안이 중요함을 강조합니다. 기호 시스템은 모델을 확인하고 검증하는 데 성공적인 역사를 가지고 있으며, 이러한 기법을 머신 러닝과 결합하는 것이 중요하다고 언급됩니다.
엄밀성과 검증: 뉴로심볼릭 AI는 컴퓨터 과학의 전통에서 이어지는 학문적 엄밀성(Academic rigor)과 계산적 객체를 수학적 객체로 해석하는 관점을 중요시하며, 검증 가능하고(Verifiable) 검토 가능한(checkable) 시스템 구축을 목표로 합니다.
더 풍부한 인지 모델: 뉴로심볼릭 AI는 기계가 어떻게 생각하는지 이해하고, 나아가 인간의 사고방식을 이해하는 데 도움을 줄 수 있는 더 풍부한 인지 모델(Richer cognitive models)을 개발하는 방법으로 제시됩니다. Daniel Kahneman 같은 인지 과학자들도 상징(symbols)이 인지에 매우 중요하다고 언급하며, 인간의 인지 시스템(System One과 System Two)과의 유사성이 논의됩니다.
기술적 접근: 뉴로심볼릭 AI를 구현하는 기술적 접근 방식에는 인공 신경망 내부에 논리적 개념이나 프로그램 조각을 표현하고 실행 가능하도록 만드는 것, 연결주의 모델 내에서 양상 논리(Modal Logic)와 같은 특정 논리의 추론을 계산하는 것(예: 연결주의 양상 논리), 그리고 그래프 신경망(Graph Neural Networks)을 활용하는 것 등이 포함됩니다.
최근 부활: 딥 러닝의 성공 이후 설명 가능성 및 엄밀성 문제와 같은 한계가 인식되면서, Daniel Kahneman이나 Steven Wolfram 같은 저명한 학자들이 두 접근 방식의 결합 필요성을 언급하며 뉴로심볼릭 AI에 대한 관심이 다시 높아지고 있습니다. IBM, Microsoft, Google DeepMind 등 주요 연구소에서도 이 분야에 주목하고 있습니다.
도전 과제: 뉴로심볼릭 AI 분야의 주요 도전 과제 중 하나는 상식 추론(Common Sense Reasoning)입니다. 소스에서는 대규모 언어 모델이 상식을 어느 정도 이해하는 것처럼 보이지만, 그 내부 표현 방식은 여전히 불분명하며, 특히 공간 추론이나 물리적 속성과 결합될 때 상식의 실패 사례가 발견된다고 언급합니다. 1차 또는 고차 논리의 효과적인 처리 또한 도전 과제로 남아 있습니다.

요약하자면, 뉴로심볼릭 AI는 학습과 추론의 통합을 통해 현재 AI의 한계를 극복하고 더 엄밀하고 설명 가능하며 인간 인지와 유사한 능력을 갖춘 강력한 AI 시스템을 구축하려는 분야입니다.

History of AI

인공지능(AI) 발전의 중요한 전환점 또는 단계에 대해 다음과 같은 내용들이 언급됩니다.

초기 AI의 연결: AI의 진화와 영향은 시작부터 추론(reasoning)과 학습(learning)에 연결되어 있었습니다. 튜링, 맥컬록 & 피츠, 폰 노이만과 같은 초기 선구자들의 작업에서도 논리와 인공 신경망 또는 연결주의 모델 간의 연결에 대한 관심이 있었습니다.
IBM Deep Blue의 승리: 지난 30년 또는 40년 동안의 중요한 전환점 중 하나는 IBM Deep Blue가 Gary Kasparov를 물리친 것입니다. 이는 기술 및 공학의 위대한 업적으로 간주되었으며, 50년대에 제시된 세계 체스 챔피언을 이기는 것과 같은 도전 과제가 실현 가능해졌음을 보여주었습니다. Kasparov 자신도 AI에 의해 대체된 최초의 지식 노동자라고 말했습니다.
딥 러닝의 부상: 신경망은 항상 인기가 있었던 것은 아니지만, 2006년부터 Jeff Hinton의 논문을 시작으로 딥 러닝 또는 딥 네트워크가 현대적인 의미에서 명시적으로 언급되기 시작했습니다. 이후 2010년에서 2012년경 컴퓨터 비전과 이미지 인식에서의 성공에 힘입어 딥 러닝은 큰 주목을 받았습니다.
현대 딥 러닝의 한계 인식 및 뉴로심볼릭 AI의 부활: 2010년부터 2018-2019년까지 신경망과 딥 러닝이 큰 관심을 받은 후, 사람들은 “무슨 일이 실제로 일어나고 있는지 모른다”는 문제(해석 가능성 부족 등)를 인식하기 시작했습니다. 2017년 보고서에서는 기계 학습이 직면한 도전 과제로 해석 가능성, 검증 및 유효성 확인, 보안 등을 언급했으며, 이러한 과제는 여전히 매우 관련성이 있습니다. 이러한 한계에 대한 인식과 함께, 2020년경 Daniel Kahneman과 같은 인지 과학자들이 시스템 원과 시스템 투 이론을 언급하며 신경망 내에 기호를 표현하는 작업에 대한 관심이 다시 높아졌습니다. Kahneman이 뇌의 인지 과정에 심볼릭 표현이 중요하다고 말한 것은 뉴로심볼릭 AI 분야의 전환점이 되었다고 합니다.
대규모 언어 모델(LLMs)의 등장과 새로운 통합의 기회: 최근 ChatGPT와 같은 매우 인기 있는 대규모 언어 모델(LLMs)의 등장은 AI 분야에 큰 영향을 미쳤습니다. 그러나 이러한 모델의 기초는 “불안정하다(shaky foundations)”고 언급되며, 특히 상식 추론 등에서 실패 사례가 발견됩니다. 이러한 기술을 사회에 제공할 때 안전과 보안의 중요성이 강조됩니다. Steven Wolfram은 LLMs의 성공 덕분에 이제 두 접근 방식(신경망 기반 학습과 기호 기반 추론)을 결합하여 더 강력한 AI 시스템을 만들 기회가 마침내 생겼다고 언급했습니다. 따라서 LLMs의 등장은 뉴로심볼릭 AI가 학습과 추론을 통합하려는 노력을 강화할 수 있는 중요한 기회를 제공하는 단계로 볼 수 있습니다.

요약하자면, AI 발전의 중요한 전환점으로는 IBM Deep Blue의 체스 챔피언 승리, 딥 러닝의 부상과 성공, 그리고 최근의 대규모 언어 모델의 등장 및 그 한계 인식을 통한 뉴로심볼릭 AI로의 관심 부활 등이 소스에서 언급되었습니다. 특히 Daniel Kahneman의 기호 중요성 언급과 Steven Wolfram의 LLMs 성공을 통한 통합 기회 강조는 최근 AI 발전 과정에서 뉴로심볼릭 AI 분야에 대한 관심이 다시 높아지는 중요한 계기가 되었습니다.

초기 인공지능 연구자들의 목표

초기 인공지능(AI) 연구자들, 즉 1950년대와 1960년대의 선구자들은 여러 중요한 목표를 가지고 있었습니다.

추론 및 학습과의 연결: AI의 발전은 시작부터 추론(reasoning)과 학습(learning)에 연결되어 있었습니다.
계산 객체의 엄밀하고 수학적인 해석: 1950년대와 1960년대에 이 분야를 정의한 사람들에게 컴퓨팅은 매우 엄밀한 노력(extremely rigorous Endeavor)이었습니다. 그들은 모든 계산적 객체나 구성을 수학적 객체로 해석할 수 있다고 보았습니다.
사고 과정의 이해: 튜링(Turing)과 같은 선구자에게 중요한 질문 중 하나는 기계가 어떻게 생각하는지 이해하는 것(how machines think)이었고, 나아가 이 사고 과정이 우리가 어떻게 생각하는지 이해하는 데 어떻게 도움이 될 수 있는지 탐구하는 것이었습니다. 그는 인공적인 사고 기계가 아마도 어떻게 생각하는지를 이해함으로써 사고 과정을 이해하고자 했습니다.
다양한 접근 방식 간의 연결 이해 및 통합: 폰 노이만(Von Neumann)을 포함한 당시 분야의 선구자들은 사용되고 있던 다양한 접근 방식 간의 연결을 이해하는 데 관심이 있었습니다. 폰 노이만은 논리와 오토마타(automata), 그리고 최초의 인공 신경망 모델과 직관주의 논리(intuitionistic logic) 사이에 연결이 있음을 이미 인식했습니다. 매컬록 & 피츠(McCulloch and Pitts)의 초기 인공 신경망 논문 제목 자체에도 논리적 연산과 신경 활동 간의 연결에 대한 아이디어가 담겨 있었습니다.
더 풍부한 AI 모델 구축: 튜링, 매컬록 & 피츠, 폰 노이만과 같은 연구자들은 이러한 연결을 보고 두 학파(연결주의와 기호주의)를 함께 발전시켜 더 풍부한 컴퓨팅 모델, 더 풍부한 AI 모델을 구축할 수 있는 기반이 있다고 보았습니다.

요약하자면, 초기 AI 연구자들의 목표는 단순히 특정 작업을 수행하는 기계를 만드는 것을 넘어, 기계의 사고 과정 자체를 이해하고, 이를 통해 인간의 사고 방식까지 이해하려는 심오한 탐구와 당시 존재했던 다양한 계산 및 인지 모델(신경망, 논리, 오토마타 등) 간의 근본적인 연결을 찾아내어 이를 통합하여 더 강력하고 엄밀한 AI 시스템을 구축하는 데 있었습니다. 또한, 체스 챔피언을 이기는 것과 같은 구체적인 도전 과제를 해결하는 것도 포함되었습니다.

지식 표현, 추론, 학습은 뉴로심볼릭 AI의 발전

쿼리에서는 지식 표현(Knowledge Representation), 추론(Reasoning), 학습(Learning)이 뉴로심볼릭 AI의 발전과 어떻게 연결되는지에 대해 질문하셨습니다.

소스에 따르면, 이 세 가지 개념은 뉴로심볼릭 AI 분야의 핵심을 이루며, AI 발전 초기부터 상호 연결되어 있었습니다. 뉴로심볼릭 AI는 기본적으로 학습 능력을 가진 신경망(connectionist) 시스템과 추론 능력 및 지식 표현 능력을 가진 기호(symbolic) 또는 논리 기반 시스템을 통합하려는 시도입니다.

각 개념의 연결은 다음과 같이 설명할 수 있습니다:

학습 (Learning):
- 인공지능 발전의 초기부터 추론과 함께 중요한 요소였습니다.
- 특히 2010년 이후 딥 러닝(Deep Learning)의 성공으로 주목받는 AI의 주요 접근 방식이 되었습니다.
- 신경망 기반 학습 모델은 복잡한 데이터에서 패턴을 학습하는 데 매우 뛰어나지만, 종종 “블랙박스”처럼 작동하여 내부 작동 방식을 이해하기 어렵고(설명 가능성 부족), 엄밀성이나 검증 가능성 측면에서 한계를 가질 수 있습니다.
- 최근의 대규모 언어 모델(LLMs) 역시 성공적이지만 그 기반이 “불안정하다(shaky foundations)”고 언급되며, 상식 추론 등에서 실패 사례가 발견됩니다.
- 뉴로심볼릭 AI는 이러한 순수 학습 모델의 한계를 극복하기 위해 추론 및 지식 표현과 결합하려는 시도에서 비롯됩니다. 학습된 모델의 안전성과 보안을 보장하기 위해 검증 가능한 시스템이 필요하며, 이는 심볼릭/논리적 접근 방식과의 결합을 통해 가능해집니다.
추론 (Reasoning):
- AI는 시작부터 추론과 연결되어 있었습니다.
- 심볼릭(Symbolic) 또는 논리 기반 시스템은 전통적으로 추론 능력을 모델링하는 데 사용되었습니다.
- 추론은 논리적인 절차에 기반하며, 이는 컴퓨터 과학의 엄밀한 전통과 연결됩니다.
- 기호 시스템은 모델의 검증 가능성(verifiable) 및 확인 가능성(checkable)을 제공하는 데 강점을 가집니다. 이는 소프트웨어 검증이나 모델 검증과 같은 성공적인 분야에서 입증되었습니다.
- 뉴로심볼릭 AI는 학습된 모델이 단순히 패턴을 인식하는 것을 넘어 논리적 추론을 수행하거나, 상식 추론, 시공간 추론, 양상 논리(Modal Logic)와 같은 특정 논리의 추론 등을 수행하도록 하는 것을 목표로 합니다.
- 일부 뉴로심볼릭 AI 접근 방식에서는 인공 신경망 내에서 논리적 추론 규칙을 계산하거나 실행 가능하게 만드는 방법을 연구합니다.
지식 표현 (Knowledge Representation):
- 소스에서는 지식(knowledge)의 중요성이 뉴로심볼릭 AI에서 매우 강조된다고 언급합니다.
- AI의 초기 역사부터 지식의 상징적 표현에 대한 관심이 있었습니다.
- 기호 시스템은 지식을 명시적이고 구조적인 방식으로 표현하는 데 강점이 있습니다 (예: 논리, 규칙, 그래프 등).
- 뉴로심볼릭 AI는 신경망이 암묵적으로 학습하는 패턴을 명시적인 지식으로 표현하거나, 기존의 구조화된 지식(예: 그래프, 논리 프로그램)을 학습 과정에 통합하는 방법을 모색합니다.
- 지식 표현은 상식 추론이나 시간의 흐름에 따른 지식의 변화를 모델링하는 것과 같은 복잡한 추론 작업을 가능하게 하는 데 필수적입니다. 그래프 신경망(Graph Neural Networks)은 추상적인 구조와 많은 양의 지식을 표현하는 데 유망한 접근 방식으로 언급됩니다.

세 개념의 연결과 뉴로심볼릭 AI 발전:

뉴로심볼릭 AI는 이러한 학습, 추론, 지식 표현의 개념을 분리된 것으로 보지 않고, 상호 보완적으로 통합함으로써 더 강력하고, 엄밀하며, 설명 가능한(interpretable), 검증 가능한(verifiable) AI 시스템을 만들고자 합니다.

학습은 복잡하고 불완전한 현실 세계의 데이터에서 패턴을 추출하고 적응하는 능력을 제공합니다.
추론과 지식 표현은 학습된 정보에 구조, 논리, 의미를 부여하고, 결정 과정을 투명하게 만들며, 특정 규칙이나 제약 조건을 따르도록 강제하여 안전하고 신뢰할 수 있는 시스템을 구축하는 데 기여합니다.
예를 들어, 신경망이 이미지를 보고 객체를 인식하는 학습 능력을 가졌다면, 뉴로심볼릭 AI는 여기에 “객체가 떨어질 때는 아래로 떨어진다”는 물리적 상식(지식 표현)과 그에 따른 논리적 결론을 도출하는 추론 능력을 결합하여, 단순히 패턴 매칭에 그치지 않고 물리적 세계를 더 잘 이해하고 예측하는 시스템을 만들 수 있습니다.
Daniel Kahneman과 같은 인지 과학자들이 인간 인지 과정에 심볼릭 표현이 중요하다고 언급하면서, 인간의 사고방식을 더 잘 이해하고 모방하려는 관점에서도 뉴로심볼릭 AI가 주목받고 있습니다.

따라서 뉴로심볼릭 AI의 발전은 단순히 학습 모델을 개선하는 것을 넘어, 학습된 패턴에 논리적 구조와 명시적 지식을 결합하여 기계가 더 깊이 이해하고, 추론하며, 신뢰할 수 있는 방식으로 작동하도록 만드는 통합 과정과 깊이 연결되어 있다고 볼 수 있습니다. 이는 AI 분야의 오랜 과제이자 현재의 딥 러닝 기반 AI가 마주한 한계를 극복하기 위한 중요한 방향으로 제시됩니다.

심볼릭 시스템의 장점

심볼릭 시스템(Symbolic systems)의 장점에 대해 설명해 드리겠습니다.

심볼릭 시스템은 인공지능 분야, 특히 뉴로심볼릭 AI의 맥락에서 여러 중요한 장점을 제공합니다. 자료에 따르면 이러한 장점은 다음과 같습니다.

엄밀성 및 수학적 기초 (Rigor and Mathematical Foundations):
- 1950년대와 1960년대 인공지능 분야를 정의했던 선구자들에게 컴퓨팅은 매우 엄밀한 노력(extremely rigorous Endeavor) 이었습니다.
- 이들은 모든 계산적 객체나 구성을 수학적 객체로 해석할 수 있다고 보았습니다.
- 심볼릭 시스템은 이러한 컴퓨터 과학의 엄밀한 전통과 수학적 기초에서 비롯됩니다.
- Les Valiant와 같은 연구자들은 학습과 추론을 원칙적이고(principled), 다루기 쉬우며(tractable), 극도로 엄밀한(extremely rigorous) 방식으로 통합해야 한다고 주장했으며, 심볼릭 접근 방식이 이러한 엄밀성을 제공하는 데 기여합니다.
검증 가능성 및 확인 가능성 (Verifiability and Checkability):
- 심볼릭 시스템의 핵심적인 장점 중 하나는 이들이 매우 실현 가능하거나(very viable) 또는 모델을 확인할 수 있는(you can check those models) 시스템이라는 점입니다.
- 이는 소프트웨어 검증(software verification) 및 모델 검증(model checking)과 같은 주류 컴퓨터 과학 분야에서 극도로 성공적인(extremely successful) 기술로 입증되었습니다.
- 특히 하드웨어 산업에서는 Pentium Five 칩 문제 사례 이후 모델 검증과 같은 형식 검증(formal verification) 기법이 산업 성공에 극도로 중요하다(extremely important)는 것을 깨닫게 되었습니다.
- 기계 학습에 이러한 심볼릭 기술 및 추론 기법을 엄밀한 방식으로 결합하는 것은 더 풍부하고 검증 가능한(verifiable) 인지 모델을 개발하는 방법으로 제시됩니다.
- 이는 AI 시스템의 안전성(safety)과 보안(security)을 보장하는 데 극도로 중요합니다(extremely important). 오늘날의 대규모 언어 모델(LLMs)의 “불안정한 기초(shaky foundations)”를 보완하고, 사용자가 이해하기 어려운 위험을 줄이는 데 기여할 수 있습니다.
해석 가능성 및 설명 가능성 (Interpretability and Explainability):
- 심볼릭 접근 방식은 신경망이 어떤 종류의 계산을 수행하는지 논리적인 관점에서 보여주는 것을 시도하는 데 사용될 수 있습니다.
- 이를 통해 오늘날 AI 커뮤니티에서 흔한 “블랙박스(black boxes)”에 대해 더 나은 설명을 탐색하는 것이 가능해집니다.
- 인간과 언어 모델 또는 생성형 AI 도구 간의 상호작용을 이해 가능하고(understandable), 설명 가능하며(explainable), 타당하고(sound), 유용하며 위험이 없는(do not offer any risks) 부분으로 만드는 데 기여할 수 있습니다.
지식 표현 및 구조화 (Knowledge Representation and Structuring):
- 심볼릭 시스템은 지식(knowledge)의 중요성을 강조하며, 지식을 명시적이고 구조적인 방식으로 표현하는 데 강점을 가집니다.
- 그래프 신경망(Graph Neural Networks)과 같은 기법은 추상적인 구조와 많은 양의 지식을 표현하는 데 유망하며, 그래프는 상징적 구조의 한 형태라고 볼 수 있습니다.
- 지식의 상징적 표현에 대한 관심은 AI 역사 초기부터 있었습니다.
- 인지 과학자들은 인간의 인지 과정에서 상징적 표현이 중요하다고(symbols are very important to cognition, reasoning, thinking, learning) 제안하며, Daniel Kahneman은 인간의 인지 과정에 상징적 표현이 있다고 언급했습니다. 이는 시스템 2 사고 과정에서 기호 조작이 포함된다는 생각과 연결됩니다.
- 이러한 지식 표현 능력은 상식 추론(common sense reasoning), 시공간 추론(spatial and temporal reasoning) 등 복잡한 추론 작업을 가능하게 하는 데 필수적입니다.
추론 능력 제공 (Providing Reasoning Capabilities):
- AI는 시작부터 추론과 연결되어 있었으며, 심볼릭 시스템은 전통적으로 추론 능력을 모델링하는 데 사용되었습니다.
- 인공 신경망 내에서 논리적 추론 규칙이나 결정 절차를 계산하거나 실행 가능하게 만드는 것이 시연되었습니다.
- 이를 통해 신경망이 특정 논리 단편(fragments of logic)의 추론을 수행하거나, 논리 프로그래밍의 의미론(semantics)을 근사하는 것이 가능함을 보여주었습니다.
- 심볼릭 또는 뉴로심볼릭 접근 방식은 1차 논리 추론(first order logic reasoning), 상식 추론(common sense reasoning), 조합 문제(combinatorial problems)와 같은 도전적인 추론 문제를 해결하는 데 관련이 있습니다. 상식 추론은 현재 AI가 마주한 주요 도전 과제 중 하나입니다.
강력하고 신뢰할 수 있는 AI 시스템 구축 기반 (Basis for Building Stronger and Reliable AI Systems):
- 심볼릭 시스템은 학습 능력(신경망)과 결합될 때 더 풍부하고 강력한 AI 모델을 구축하기 위한 기반을 제공합니다.
- 엄밀한 수학적 기초와 검증 가능성은 시스템의 신뢰성(reliability)과 안전성(safety)을 높이는 데 기여합니다.
- 뉴로심볼릭 AI는 이러한 심볼릭 시스템의 장점을 학습 능력과 결합하여, 데이터 기반 학습 모델의 한계를 보완하고 더 깊이 이해하고, 추론하며, 신뢰할 수 있는 방식으로 작동하는 시스템을 만드는 것을 목표로 합니다. Steven Wolfram은 LLM 성공 덕분에 두 접근 방식(신경망과 심볼릭)을 결합하여 더 강력한 AI 시스템(stronger AI systems)을 만들 기회가 왔다고 언급했습니다.

요약하자면, 심볼릭 시스템은 AI에게 엄밀성, 검증 가능성, 해석 가능성, 명시적인 지식 표현 및 구조화 능력, 그리고 강력한 추론 능력을 제공합니다. 이러한 장점들은 현재의 딥 러닝 기반 AI가 마주한 한계를 극복하고, 더 안전하고 신뢰할 수 있으며, 엄밀하고, 설명 가능한 AI 시스템을 구축하기 위한 필수적인 요소로 간주됩니다.

뉴로 심볼릭 AI의 역사

뉴로 심볼릭 AI의 역사는 인공지능 분야의 역사 자체와 깊이 연결되어 있으며 매우 긴 역사를 가지고 있습니다.

핵심적인 내용은 다음과 같습니다.

AI의 태동기 (1940년대-1960년대):
- 인공지능은 처음부터 추론(reasoning)과 학습(learning)이 연결되어 있었습니다.
- 1950년대와 1960년대 인공지능 분야를 개척한 선구자들에게 컴퓨팅은 매우 엄밀한(extremely rigorous) 노력이었으며, 계산적 객체를 수학적 객체로 해석할 수 있다고 보았습니다. 이는 심볼릭 시스템의 엄밀한 기초와 연결됩니다.
- 놀랍게도 이미 이 시기에 두 분야 간의 연결성이 인식되었습니다. 폰 노이만(Von Neumann)은 1950년대에 논리(logic)와 오토마타(automata - 초기 인공 신경망과 관련 있음) 사이에 직관주의 논리(intuitionistic logic)를 통한 연결이 있음을 인지했습니다.
- 인공 신경망에 관한 최초의 논문 중 하나로 간주되는 McCulloch와 Pitts의 논문조차 제목에 “신경 활동에 내재된 아이디어의 논리적 연산(a logical calculus of ideas imminent in nervous activity)”과 같이 겉보기에 상반되는 두 가지 개념을 포함하고 있었습니다. 이 논문의 첫 예시들은 이진 논리 연산자를 처리하는 방법을 보여주었습니다.
- 이처럼 뉴로 심볼릭 AI는 최소한 40년대, 50년대 또는 60년대로 거슬러 올라가는 긴 역사를 가지고 있다고 주장할 수 있습니다. 튜링(Turing), McCulloch와 Pitts, 폰 노이만과 같은 인물들은 이러한 연결성을 보고 두 분야를 결합하여 더 풍부한 컴퓨팅 모델을 만들 수 있다고 생각했습니다.
신경망의 부침과 딥 러닝의 시대 (2000년대 이후):
- 2000년대 초반에는 신경망 관련 논문이 주요 학회에서 거부될 정도로 신경망이 인기가 없었던 시기도 있었습니다.
- 하지만 2006년 제프 힌튼(Jeff Hinton)의 논문을 시작으로 딥 러닝(Deep Learning)이 부각되었고, 2010년에서 2012년 이후 컴퓨터 비전 등에서 성공을 거두며 매우 큰 주목을 받기 시작했습니다.
- 흥미롭게도, 힌튼의 2006년 논문이 실린 저널과 같은 호에 뉴로 심볼릭 추론 및 학습 모델에 관한 논문도 게재되었습니다. 이는 딥 러닝의 부상 중에도 뉴로 심볼릭 접근 방식에 대한 연구가 계속되었음을 보여줍니다.
최근의 재조명 및 부활 (2018/2019년 이후):
- 2010년부터 2018/2019년까지 신경망과 딥 러닝이 큰 주목을 받은 후, 사람들은 시스템이 무엇을 하는지 실제로 알 수 없는 문제(“블랙박스”)를 인식하기 시작했습니다.
- 이에 따라 2020년경부터 뉴로 심볼릭 AI에 대한 관심이 다시 높아지기 시작했습니다. 이는 대니얼 카너먼(Daniel Kahneman)의 시스템 1/시스템 2 이론과도 연결되었습니다.
- 연구자들은 신경망이 어떤 종류의 연산을 논리적인 관점에서 수행하는지 보여주려는 시도를 하게 되었고, 이를 통해 블랙박스 모델에 대한 더 나은 설명을 탐색할 수 있게 되었습니다.
- 특히 대니얼 카너먼이 2020년 AAAI 컨퍼런스에서 뇌의 인지 과정에 상징적 표현이 있으며, 기호가 인지, 추론, 사고, 학습에 매우 중요하다고 언급한 것이 뉴로 심볼릭 AI 분야의 전환점이 되었다고 자료는 설명합니다. 그는 시스템 2 사고 과정이 기호 조작을 포함한다고 말했습니다.
- 현재의 대규모 언어 모델(LLMs)과 같은 파운데이션 모델들이 가지는 “불안정한 기초(shaky foundations)” 문제, 즉 정보의 잘못된 확산이나 오해의 소지 및 안전성/보안성 문제는 검증 및 확인 가능성이 뛰어난 심볼릭 기술의 중요성을 다시 한번 부각시켰습니다. 펜티엄 칩 문제 사례처럼 형식 검증 기법이 산업 성공에 중요했던 것처럼, AI의 안전성 확보에도 심볼릭 기술이 중요해졌습니다.
- 스티븐 울프럼(Steven Wolfram)은 최근 LLM의 성공 덕분에 두 가지 접근 방식(신경망과 심볼릭)을 결합하여 더 강력한 AI 시스템을 만들 기회가 왔다고 언급하며, 현재가 두 접근 방식의 통합이 중요해진 시점임을 시사했습니다.

요약하자면, 뉴로 심볼릭 AI의 역사는 인공지능 연구의 초기부터 시작되어 추론과 학습의 통합을 추구해왔습니다. 신경망 연구의 부침을 겪기도 했으나, 딥 러닝의 한계와 인지 과학의 통찰, 그리고 안전하고 신뢰할 수 있는 AI 시스템 구축의 필요성이 대두되면서 최근 다시금 중요한 연구 분야로 재조명받고 있습니다.

뉴로 심볼릭 AI 연구의 주요 과제

뉴로 심볼릭 AI 연구의 주요 과제에 대해 설명해 드리겠습니다.

뉴로 심볼릭 AI는 인공지능의 역사만큼이나 오랜 연구 분야이지만, 현재 시점에도 여러 중요한 과제들에 직면해 있습니다. 주요 과제들은 다음과 같습니다.

강력한 추론 능력의 구현: 인공지능은 초기부터 추론과 연결되어 있었지만, 여전히 다양하고 복잡한 추론을 효과적으로 수행하는 것은 과제로 남아있습니다. 여기에는 1차 논리 및 고차 논리 추론, 시공간 추론(Spatial and Temporal Reasoning) 및 불확실성 추론, 그리고 조합 문제(Combinatorial Problems) 해결 등이 포함됩니다. 특히 레스 발리언트(Les Valiant)와 같은 연구자들은 학습과 추론을 원칙적이고(principled), 다루기 쉬우며(tractable), 극도로 엄밀한(extremely rigorous) 방식으로 통합해야 한다고 주장했으며, 이러한 통합을 통한 강력한 추론 능력 확보가 중요합니다.
상식 추론(Common Sense Reasoning)의 해결: 상식 추론은 현재 인공지능 커뮤니티가 마주한 주요 도전 과제 중 하나로 반복해서 언급됩니다. 대규모 언어 모델(LLMs)이 언어적 관점에서 상식을 이해하는 것처럼 보일 수 있지만, 시스템 내부의 표현(representation)과 상식의 형식화(formalization)는 여전히 큰 과제로 남아있습니다. 자료에서는 아동도 쉽게 인지할 수 있는 상식적 오류를 현재의 강력한 모델들이 범하는 사례를 들며, 상식 추론의 형식화가 아직 해결된 문제가 아님을 강조합니다.
모델의 검증 및 확인 가능성(Verification and Validation): 현재 대규모 언어 모델들이 가진 “불안정한 기초(shaky foundations)” 문제, 즉 정보의 잘못된 확산이나 오해의 소지 및 안전성/보안성 문제는 심각합니다. AI 시스템이 안전하고(safe) 보안이 유지되며(secure) 신뢰할 수 있도록(reliable) 보장하는 것은 극도로 중요하며, 이를 위해 심볼릭 시스템이 가진 검증 및 확인 가능성 이점을 활용해야 합니다. 소프트웨어 및 모델 검증과 같은 기술을 머신 러닝과 결합하여 엄밀한 방식으로(rigorous way) 더 풍부하고 검증 가능한(verifiable) 인지 모델을 개발하는 것이 과제입니다. 이는 과거 하드웨어 산업에서 펜티엄 칩 문제 이후 형식 검증이 중요해졌던 것처럼 AI 산업에서도 중요해지고 있습니다.
해석 가능성 및 설명 가능성(Interpretability and Explainability): 신경망과 같은 현재의 인기 있는 AI 모델들은 종종 “블랙박스(black boxes)”처럼 작동하여, 사용자가 그 작동 방식이나 의사결정 과정을 이해하기 어렵습니다. 심볼릭 접근 방식을 통해 신경망이 어떤 계산을 수행하는지 논리적인 관점에서 보여주려는 시도는 이러한 블랙박스에 대한 더 나은 설명을 탐색하는 데 도움을 줄 수 있지만, 여전히 모델의 내부 작동 방식을 완전히 이해하고 인간에게 설명 가능한 형태로 제공하는 것은 중요한 과제입니다.
효과적인 지식 표현 및 추상화: 시공간, 불확실성과 같은 다양한 영역의 추론 및 인지를 위해서는 더 나은 추상화(better abstractions)와 표현(representations)이 필요합니다. 또한 시간이 지남에 따라 진화하는 지식(knowledge that evolves in time)을 효율적으로 표현하는 것도 복잡성 문제가 수반되는 과제입니다. 그래프 신경망(Graph Neural Networks)과 같이 추상적인 구조와 많은 양의 지식을 표현할 수 있는 richer representation의 개발 및 활용이 모색되고 있습니다.
학습과 추론의 원칙적 통합: AI 초기부터 학습과 추론은 연결되어 있었지만, 이 두 가지 접근 방식(신경망과 심볼릭 시스템)을 엄밀하고 원칙적인 방식으로 효과적으로 결합하여 더 풍부하고 강력한 AI 시스템을 만드는 것은 여전히 활발히 연구되는 과제입니다. 신경망 내에서 특정 논리 단편의 추론을 수행하거나, 가능 세계(possible worlds)와 같은 심볼릭 개념을 신경망 시스템 내에 표현하고 연결하는 등의 연구가 진행되었으나, 더욱 일반적이고 강력한 통합 방법론이 필요합니다.
인간-AI 상호작용의 개선: 현재의 언어 모델 및 생성형 AI 도구와 사람 간의 상호작용은 다중 에이전트 시스템으로 볼 수 있으며, 이 상호작용을 사용자가 이해 가능하고(understandable), 설명 가능하며(explainable), 타당하고(sound), 유용하며 위험이 없는(do not offer any risks) 부분으로 만드는 것이 중요합니다. 이를 위해 다중 에이전트 시스템의 형식화 이론과 언어 모델의 형식화를 결합하는 등의 접근 방식이 모색되고 있습니다.

요약하자면, 뉴로 심볼릭 AI 연구는 복잡한 추론(특히 상식 추론)의 해결, 모델의 신뢰성 및 안전성 확보(검증 및 확인 가능성), 블랙박스 문제 해결(해석 가능성), 효과적인 지식 표현 및 추상화, 그리고 학습과 추론의 원칙적인 통합 및 인간-AI 상호작용 개선과 같은 다양한 과제들을 해결하기 위해 노력하고 있습니다. 이러한 과제들은 현재의 AI 시스템이 가진 한계를 극복하고 미래의 더욱 강력하고 신뢰할 수 있는 인공지능을 구축하는 데 필수적입니다.

심볼릭 시스템의 핵심 이점

심볼릭(symbolic) 시스템의 핵심 이점은 다음과 같습니다.

뛰어난 검증 및 확인 가능성 (Verifiability and Validation): 심볼릭 시스템의 가장 중요한 이점 중 하나는 검증 가능하고 확인 가능한 시스템이라는 것입니다. 즉, 모델을 확인(check)할 수 있습니다. mainstream 컴퓨터 과학 분야에서 매우 성공적인 기법으로 간주되는 소프트웨어 검증(software verification) 및 모델 검증(model checking)과 같은 기술이 바로 심볼릭 시스템의 이러한 특성을 활용합니다. 예를 들어, 인텔 펜티엄 칩 문제 발생 이후 하드웨어 산업에서 형식 검증(formal verification) 기법을 사용하는 것이 산업 성공에 극도로 중요하다는 사실을 깨달았는데, 이는 심볼릭 접근 방식의 가치를 보여주는 사례입니다. 대규모 언어 모델(LLMs)과 같은 현재의 파운데이션 모델들이 가진 “불안정한 기초(shaky foundations)” 문제 (정보의 잘못된 확산, 오해의 소지 등)를 고려할 때, AI 시스템이 안전하고(safe) 보안이 유지되며(secure) 신뢰할 수 있도록(reliable) 보장하기 위해 심볼릭 시스템의 검증 및 확인 가능성 이점을 활용하는 것이 극도로 중요합니다. 연구자들은 사회에 제공하는 기술이 안전하고 보안이 유지되는 기술임을 보장해야 합니다.
엄밀하고 형식적인 기반 (Rigorous and Formal Foundations): 컴퓨터 과학 분야를 개척한 선구자들에게 컴퓨팅은 매우 엄밀한(extremely rigorous) 노력이었으며, 계산적 객체를 수학적 객체로 해석할 수 있다고 보았습니다. 심볼릭 시스템은 이러한 엄밀한 수학적 기반과 증명(proofs)의 전통에서 비롯됩니다. 레스 발리언트(Les Valiant)와 같은 연구자들은 학습과 추론을 원칙적이고(principled), 다루기 쉬우며(tractable), 극도로 엄밀한(extremely rigorous) 방식으로 통합해야 한다고 주장했으며, 심볼릭 접근 방식은 이러한 엄밀성을 제공하는 데 중요한 역할을 합니다.
블랙박스 모델의 이해 및 해석 가능성 지원: 현재 인기 있는 신경망 모델은 종종 그 작동 방식이 불투명한 “블랙박스(black boxes)”로 간주됩니다. 심볼릭 접근 방식을 통해 신경망이 어떤 종류의 계산을 논리적인 관점에서 수행하는지 보여주려는 시도가 이루어지고 있으며, 이는 이러한 블랙박스에 대한 더 나은 설명을 탐색하는 데 도움을 줄 수 있습니다. 기호는 시스템의 내부 표현과 작동 방식을 보다 구조적이고 논리적으로 설명할 수 있는 프레임워크를 제공할 잠재력이 있습니다.
인간 인지 과정(특히 시스템 2)과의 연결: 대니얼 카너먼(Daniel Kahneman)과 같은 인지 과학 연구자들은 뇌의 인지 과정, 특히 느리고 의식적인 사고 과정인 시스템 2 사고가 기호 조작(manipulation of symbols)을 포함하며, 기호가 인지, 추론, 사고, 학습에 매우 중요하다고 언급했습니다. 이는 심볼릭 접근 방식이 인간의 고차원적 인지 및 추론 과정을 모델링하는 데 적합할 수 있음을 시사합니다.
복잡한 시스템 및 인간-AI 상호작용의 형식화: 사람과 언어 모델 또는 생성형 AI 도구 간의 상호작용과 같은 다중 에이전트 시스템에서, 상호작용이 사용자가 이해 가능하고(understandable), 설명 가능하며(explainable), 타당하고(sound), 유용하며 위험이 없는(do not offer any risks) 부분으로 만들기 위해서는 형식화가 중요합니다. 인공 에이전트를 고려하여 개발된 다중 에이전트 시스템의 형식화 이론을 언어 모델의 형식화와 결합하는 시도는 심볼릭 논리가 복잡한 상호작용 시스템의 안전성 및 신뢰성을 확보하는 데 기여할 수 있음을 보여줍니다.

요약하자면, 심볼릭 시스템의 가장 큰 이점은 모델의 검증 및 확인 가능성을 통해 안전하고 신뢰할 수 있는 AI 시스템을 구축할 수 있다는 점이며, 더 나아가 엄밀한 이론적 기반을 제공하고, 신경망의 해석 가능성을 돕고, 인간의 고차원적 인지 및 추론(시스템 2)을 모델링하며, 복잡한 시스템의 형식화 및 안정적인 상호작용에 기여할 수 있습니다. 이러한 이점들은 뉴로 심볼릭 AI 연구가 현재 AI 시스템의 한계를 극복하기 위해 주목받는 이유 중 하나입니다.

AI Agents as Neuro-Symbolic Systems?

Thinking through AI agents and the neuro-symbolic definition from an early LLM agent paper called MRKL. I’m sharing my reasoning behind using the “neuro-symbolic system” definition for AI agents.

Stop Thinking, Just Do!

Neurosymbolic AI - Evolution and Current state of affairs

Tags

27 May 2025