Symbolic AGI: How the Natural Will Build the Formal

Abstract

True AGI will combine formal and informal methods. People are already combining these tools in this way. M-x Jarvis in our time, but evolving Open Source is critical to delivering real value.

This video is part of Positron’s efforts to make a case for open innovation. You can show support for this effort on Positron’s Github Sponsors page https://github.com/sponsors/positron-solutions

Empirical argument that induction must be capable of emerging deductive and formal systems.
Decoding to a less restricted but less consistent informal systems and then re-encoding to formal can identify new consistency.
Formal systems can be used to induce coherence in informal systems, accelerating the search for new formal coherence.
Both logic and metalanguage can naturally emerge by generalizing logical dependence and stripping away semantics
If a self-model is exposed, the metalanguage capability implies self-programming capability.

텍스트는 자연어 처리와 형식 시스템을 결합하여 정확하고 일반적인 인공지능을 구축하는 방법을 제안하는 기술적 논의입니다. 귀납적 추론의 유연성과 연역적 추론의 정확성을 모두 활용하는 스펙트럼 추론이라는 개념을 소개하고, 튜링 완전성을 갖춘 아키텍처를 통해 보편적인 계산 능력과 자기 성찰 능력을 확보하는 방법을 설명합니다. 또한, 오픈 소스 개발의 중요성을 강조하며 기존 기술 기업의 한계를 지적합니다.

Artificial General Intelligence

인공지능 분야에서는 혁신적인 발전이 계속될 것으로 예상됩니다. 이러한 발전의 궁극적인 목표 중 하나는 정확한 AGI(범용 인공지능)를 달성하는 것입니다.

인공지능 발전의 주요 동력과 관련된 핵심 개념 및 방향성은 다음과 같습니다.

추론 능력의 조합:
- 유도 추론(Inductive reasoning): 패턴 일치 방식으로 작동하며, 대부분의 경우에만 정답을 도출합니다. 상관관계와 인과관계 오류에 취약하지만 매우 다재다능합니다.
- 연역 추론(Deductive reasoning): 구조화된 방식으로 작동하며, 논증의 도출 과정에 초점을 맞춥니다. 유효한 논증과 참인 전제를 통해 얻은 결론은 절대적으로 확실합니다. 연역 추론은 진실 보존 특성을 가지며, 새로운 경험적 사실 없이도 더 많은 결론을 도출할 수 있습니다.
- 정확한 AGI를 달성하기 위해서는 연역적으로 추론할 수 있어야 하며 어떤 것이든 형식화할 수 있어야 합니다. 그러나 역설적이게도, 이러한 정확성을 달성하기 위해서는 유도 추론과 자연어를 사용하는 부정확한 시스템이 필요합니다. 유도 추론의 부족한 정확성과 불확실성은 새로운 형식 시스템에 도달하여 연역을 유도할 수 있습니다.
형식 시스템 및 기호 추론:
- 형식 시스템은 문법, 잘 구성된 공식, 추론 규칙(진실 보존), 도출, 정리, 증명 등으로 구성됩니다. 형식 시스템의 핵심 속성은 일관성(consistency)으로, 모순을 도출하지 않는다는 것을 의미합니다.
- 기호 추론(Symbolic reasoning)은 이러한 형식 시스템 내에서 정확한 표현식을 변환하여 추론을 수행하는 방식입니다. 공간과 연산 비용을 절약하고, 정보 손실이 없으며, 변환을 위해 경험적 데이터가 필요하지 않다는 장점이 있습니다.
형식화의 과제와 극복:
- 형식 시스템만으로는 해결하기 어려운 문제들이 있습니다. 예를 들어, 문법을 얻는 방법, 또는 정리를 도출할 때 어떤 추론 규칙을 사용할지 결정하는 문제입니다.
- 괴델의 불완전성 정리는 충분히 복잡한 형식 시스템에는 시스템 내에서 참이지만 공리에서 증명할 수 없는 명제가 존재함을 보여줍니다.
- 타르스키의 정의 불가능성 정리는 객체 언어의 진실에 대해 추론하려면 메타 언어가 필요하며, 메타 언어에 있는 아이디어 중 일부는 객체 언어에 존재하지 않는다는 것을 나타냅니다. 이는 메타 언어의 근원에 대한 질문으로 이어집니다.
- 이러한 한계를 극복하기 위해 유도 추론과 자연어가 형식화를 달성하는 데 필수적입니다. 초기 인류가 형식 시스템 없이 기하학 등을 형식화할 수 있었던 것처럼, 유도 추론과 자연어가 새로운 형식 시스템을 발견하는 역할을 할 수 있습니다. 현재의 LLM(대규모 언어 모델)이 문장을 생성하고 변환하는 능력은 이러한 AGI 돌파를 가능하게 하는 중요한 요소로 여겨집니다.
미래 AGI 아키텍처: 스펙트럼 추론(Spectral Reasoning):
- 제안된 AGI 모델은 스펙트럼 추론 능력을 가집니다. 이는 유도 추론, 연역 추론, 기호 추론 등 다양한 추론 기법을 모두 사용하는 것을 의미합니다.
- 스펙트럼 추론은 자연어(의미론적, 경험적)에서 형식어(구문론적, 추상적)까지의 스펙트럼을 포괄합니다. 자연어에서 형식어로 이동할수록 예측력이 높아지고 일관성이 강해집니다.
- 새로운 지식은 경험적 관찰에서 시작하여 유도 추론, 연역 추론을 거쳐 순수한 기호 형태로 발전할 수 있습니다.
- 형식 시스템에서 막다른 길에 다다랐을 때, 형식적 문장을 더 자연스러운 문장으로 디코딩하고, 연역적 추론(Chain of Thought)을 통해 재인코딩하여 새로운 형식 시스템을 시도할 수 있습니다.
- 이를 구현하기 위해 자동화된 정리 증명기(기호 추론), 미세 조정된 LLM(자연어, 연역 추론), 더 단순한 신경망/휴리스틱(유도 추론) 등 다양한 도구를 사용하며, LLM은 기호와 자연어 간의 인코딩/디코딩을 연결하는 역할을 합니다.
추론과 계산의 동일성 및 범용 계산:
- 연역 논증의 구성과 진실 보존은 순수 함수의 구성과 거울상 같습니다. 추론을 수행하는 능력은 계산을 수행하는 능력과 동일한 능력입니다.
- 진정한 범용 계산(Universal Computation) 능력은 AGI의 핵심 요구 사항 중 하나입니다. 이는 튜링 머신과 유사한 아키텍처를 통해 달성될 수 있습니다. 작업 메모리, 프로시저 모음, 제어 기능 등이 필요합니다.
- 기존 LLM(트랜스포머)은 이전 출력을 재사용하는 일종의 재귀/계산을 수행하지만, 이전 출력에 쓸 수 없다는 한계가 있어 계산 깊이에 제약이 있습니다. 패딩 등을 사용하여 이를 보완하기도 합니다.
- 제안된 아키텍처에서는 재귀적인 구조(예: 고정점 계산)를 통해 구성, 흐름 제어, 작업 확인 등을 구현할 수 있습니다.
온라인 학습, 자기 성찰 및 자기 프로그래밍:
- AGI는 온라인 학습 능력을 가져야 합니다. 새로운 정리를 도출하면 그것이 미래의 모든 추론에 반영되어야 합니다.
- 형식 시스템에서 생성된 합성 데이터를 사용하여 비공식 시스템의 일관성을 높일 수 있으며, 이 학습을 통해 새로운 것을 더 빠르게 형식화할 수 있습니다.
- 이를 위해서는 AGI가 자신의 추론 과정을 들여다보는 자기 성찰(introspection)이 필요합니다. 이는 자신의 계획과 사용 중인 프로시저를 읽고 추론에 대해 추론하는 메타 언어/메타 로직을 사용하는 것과 같습니다.
- 자기 성찰이 달성되면 자기 프로그래밍 능력이 자연스럽게 나타납니다. 프로그램에 대한 진술에 대해 기호적 또는 연역적 추론을 수행하여 새로운 프로그램으로 재인코딩할 수 있습니다.
- 범용 계산 능력과 결합하여, AGI는 다른 프로그램의 동작을 보고 프로그램을 작성하는 방법을 추론할 수 있게 됩니다.
학습 도메인 및 데이터:
- AGI는 수학, 추론, 논리, 컴퓨터 과학과 같은 순수 추상적인 분야에 대한 모든 것을 배울 수 있습니다. 이러한 분야의 경험적 정보는 프로그램을 실행하는 것만으로 얻을 수 있기 때문입니다.
- 추상 시스템의 경우, 무한한 참 데이터(합성 데이터)를 생성할 수 있습니다 (예: 튜링 머신 시뮬레이션).
- 데이터 가용성은 문제가 되지 않습니다. 인터넷에는 방대한 양의 데이터가 있으며(예: Archive 논문), 더욱 정교한 모델은 동일한 데이터로 더 많은 것을 할 수 있습니다. 특히, 이론적 이해와 경험적 이해를 모두 갖춘 모델은 데이터를 훨씬 더 잘 활용할 수 있습니다.
해결되지 않는 한계:
- AGI의 발전에도 불구하고 컴퓨팅 복잡성 클래스(BQP-hard, NP-hard)의 경계가 이동하지는 않으며, 최소 인코딩 길이(콜모고로프 복잡성)와 같은 근본적인 한계도 그대로 남습니다.
- 정지 문제(halting problem)와 같은 결정 불가능한 문제들은 여전히 해결할 수 없습니다.
- 우주의 경험적 지식이 필요한 문제들을 결정하는 것은 여전히 큰 과제입니다. 수학 시스템이 일관적인지 결정할 수는 있지만, 그것이 물리적 현실을 실제로 나타내는지 결정하는 것과는 다릅니다. 일관적이지만 예측력이 없는 모델이 있을 수 있으며, 어떤 설명이 옳은지는 실험 결과를 통해서만 결정할 수 있습니다.
남아 있는 과제:
- 사람이 사용하도록 설계된 기존 도구(대화형 정리 증명기 등)에 기계가 사용하기 적합한 인터페이스를 제공하고 자동화된 방식으로 재설계하는 작업.
- 스펙트럼 추론에서 프로시저 호출을 조정하고 메모리, 입출력을 관리하며 자기 성찰을 위한 모델을 노출하는 런타임 설계.
- 스펙트럼 추론 구현, 형식-자연어 변환, 제어 로직 구현 등 런타임에 충분한 기능 채우기. 추상적인 애플리케이션을 위한 기본 기능(논리 능력 등)은 합성 데이터로 훈련 가능하며 재배포될 수 있습니다.
- 스펙트럼 추론을 구현하는 데 필요한 새로운 종류의 신경망 아키텍처 개발. LLM은 느리고 비용이 많이 들 수 있으며, 다른 모델이 더 단순한 아이디어를 구현하고 구성 및 온라인 학습에 최적화될 수 있습니다.
- AGI 프로그램을 어떻게 동기 부여하고 수렴 행동을 유도할 것인지에 대한 문제. 제어 로직에 내재된 결정 불가능한 문제를 넘어서야 합니다.
문제가 아닌 것:
- 정확성: 연역적이고 형식화된 시스템을 통해 얻어집니다.
- 범용 계산: 올바른 아키텍처와 토폴로지를 통해 얻어집니다.
- 하드웨어 규모: 현재는 비용이 많이 들지만, 기능 수준을 달성하는 것이 중요하며, 기호 추론 등 효율적인 방법으로 비용이 줄어들 것으로 예상됩니다.
- 데이터 가용성: 인터넷, 아카이브, 증가하는 데이터 양, 동일 데이터로 더 많은 것을 할 수 있는 능력, 합성 데이터 생성 능력 등으로 인해 문제가 되지 않습니다.
잠재적 위험과 오픈 소스의 중요성:
- 기술 발전이 빠르게 진행될 때, 표면적인 제품/기술에만 집중하거나, 특정 데이터나 LLM의 작은 이점에 의존하는 시도는 빠르게 시대에 뒤떨어질 수 있습니다. 거대 기술 기업들은 기존 수익원에 기술을 적용하는 데 집중하는 경향이 있어, 새로운 혁신 분야를 놓칠 수 있습니다.
- 경쟁 환경은 90년대 유닉스 전쟁과 유사하며, 네트워크 효과와 클라우드 종속 등으로 더욱 심화될 수 있습니다.
- 이러한 상황에서 오픈 소스는 기술이 하류로 흘러가 가치 창출 기회를 실현할 수 있도록 하는 데 중요합니다. 소비자를 무시하지 않고, 재정적 기여만 할 수 있는 사용자들을 포함하는 생태계 지원이 필요합니다. Emacs와 같은 사용자의 적응성, 자기 성찰성, 통합된 프로그래밍 인터페이스를 갖춘 니치 분야에서의 개발이 시작점이 될 수 있습니다.

결론적으로, 인공지능 발전은 유도 및 연역 추론의 조합, 형식 시스템과 기호 추론, 그리고 이들을 통합하는 스펙트럼 추론이라는 새로운 아키텍처를 통해 이루어질 것으로 보입니다. 진정한 AGI는 범용 계산 능력, 온라인 학습, 자기 성찰, 자기 프로그래밍 능력을 갖추게 될 것입니다. 추상적인 영역에서의 학습은 무한한 합성 데이터를 통해 가능하지만, 경험적 지식이 필요한 현실 세계 문제와 근본적인 계산 한계는 여전히 존재합니다. 인터페이스, 런타임, 새로운 아키텍처 등 해결해야 할 과제가 많지만, 오픈 소스 개발과 같은 노력이 광범위한 혁신을 이끄는 데 중요한 역할을 할 것으로 전망됩니다.

자연어 처리 및 귀납적 추론이 형식 시스템 구축

자연어 처리 및 귀납적 추론이 형식 시스템 구축에 어떤 역할을 하는지에 대해 답변드리겠습니다.

소스에 따르면, 형식 시스템은 문법, 추론 규칙, 공리 등으로 구성되며, 정확하고 일관된 추론을 가능하게 합니다. 그러나 형식 시스템만으로는 한계가 있습니다. 커트 괴델(Kurt Gödel)의 증명은 충분히 복잡한 일관된 형식 시스템의 경우, 해당 언어에는 참이지만 공리로부터 증명될 수 없는 명제가 존재함을 보여주었습니다. 타르스키(Tarski)의 정의 불가능성 정리(undefinability theorem)는 언어(object language)에 대해 추론하려면 메타 언어(metalanguage)가 필요하며, 메타 언어에 존재하는 아이디어와 개념 중 일부는 객체 언어에 존재하지 않음을 시사합니다. 이로 인해 형식 시스템을 사용하여 새로운 형식 시스템을 식별하고 개발하려는 시도는 순환적인 문제에 빠지게 됩니다.

이러한 한계를 극복하고 새로운 형식 시스템을 구축하기 위해서는 자연어와 귀납적 추론이 필수적인 역할을 합니다.

새로운 형식 시스템의 발견 (유도): 초기 인류에게는 형식 시스템이 없었음에도 불구하고, 고대 그리스 시대의 철학자들은 초등 기하학과 같은 분야를 형식화할 수 있었습니다. 이는 자연어와 귀납적 추론이 형식화를 달성할 수 있음을 시사합니다. 연역적 추론이 정해진 궤도(formal system) 위에서 진리를 찾는 것이라면, 귀납적 추론은 다소 부정확하지만 기존 궤도를 벗어나 다른 진리를 찾을 수 있도록 합니다. 자연어의 부족한 정확성과 귀납적 추론의 불확실성은 새로운 형식 시스템에 도달하기 위한 ‘충분히 정확한 의심의 벡터’를 따를 수 있습니다. 이를 통해 ‘도덕적으로 참’이라고 여겨지는 것(증명되지 않았지만 참일 것이라고 강하게 의심되는 것)을 발견하고, 이를 연역적 증명으로 만들 수 있는 엄격한 형태로 추출할 수 있습니다. 이것이 바로 연역을 유도하는 과정입니다.
의미에서 구문으로의 전환: 모든 지식은 경험적 관찰로 시작하며, 우리는 사건들을 보게 됩니다. 우연의 패턴을 보기 시작하면서 귀납적 추론을 사용하여 사건들을 연관시킬 수 있습니다. 이러한 패턴 간에 종속성이 있음을 명확해지면(단방향적인 우연의 증가), 이러한 종속성에 논리적 의미를 부여할 수 있으며, 이것이 연역적 추론의 시작입니다. 논리의 일관성이 나타남에 따라 의미론적 의미를 완전히 벗겨내고 순수하게 기호적인 형태로 추론할 수 있게 됩니다. 자연어(귀납적 추론, 완전한 의미론적 의미)에서 형식 문법(기호적 추론, 완전한 구문론적)으로 이동함에 따라, 우리는 귀납적 추론에서 연역적 추론 및 형식적 추론으로 이동하며, 경험적으로 측정된 것에서 추상적인 것으로 이동합니다.
형식 시스템의 한계 극복 및 개선: 형식 시스템에서 막다른 골목에 부딪혔을 때, 스펙트럼 추론(Spectral Reasoning)은 형식 문장을 더 자연스러운 문장으로 일시적으로 다운그레이드(디코딩)할 수 있게 합니다. 그런 다음, 더 적은 제약으로 연역적 추론(Chain of Thought)을 수행한 후, 이를 다시 형식적 추론으로 재인코딩할 수 있습니다. 새로운 형식 시스템이 작동하면 이를 유지하고, 그렇지 않거나 일관성이 없거나 예측이 관찰과 모순되면, 다시 자연어로 디코딩하고 이러한 발견을 사용하여 다시 시도할 수 있습니다. 이러한 기호적 표현과 자연어 사이의 격차를 해소하기 위해 미세 조정된 대규모 언어 모델(LLMs)에 크게 의존할 수 있습니다. 이 모델들은 기호적 표현을 인코딩 및 디코딩하여 의미론적 의미를 추가하고, 연역적 추론에 사용할 수 있는 문장으로 변환하는 데 사용됩니다.
온라인 학습 및 자체 개선: 형식적 표현을 자연어로 디코딩하고 연역적 네트워크를 사용하여 연쇄적 사고(Chain of Thought) 추론을 수행하는 것은 형식 시스템에서 수행할 수 있는 증명에 해당해야 합니다. 형식 시스템에서 생성할 수 있는 합성 데이터를 사용하여 비형식 시스템의 일관성을 인쇄(imprint)할 수 있으며, 이러한 학습은 양방향으로 이루어져야 합니다. 형식 모델에서 이러한 일관성과 예측력을 발견하면, 이러한 변화는 시스템을 재학습시키는 합성 데이터로 사용되어 동일한 것을 더 빠르게 형식화할 수 있게 하며, 이는 새로운 것들을 더 빠르게 형식화하는 것으로 일반화될 것입니다.
프로그램(형식 시스템)에 대한 추론: 스펙트럼 추론의 모든 신경망, 절차, 프로그램은 프로그래밍 언어(형식 언어)로 표현됩니다. 이러한 프로그램의 구성 방법에 대해 추론하려면 메타논리(metalogic)를 사용하게 됩니다. 프로그램에 대한 명제에 대해 기호적 또는 연역적 연쇄적 사고 추론을 수행하면, 이를 새로운 프로그램으로 재인코딩할 수 있습니다. 즉, 자연어 메타 언어를 사용하여 프로그램(형식 시스템)에 대해 추론하는 것은 새로운 프로그램(새로운 형식 시스템의 구현)을 작성하는 방법으로 이어질 수 있습니다.

요약하자면, 자연어 처리 및 귀납적 추론은 형식 시스템 자체의 내재적인 한계(불완전성, 정의 불가능성)를 극복하고 새로운 형식 시스템을 발견, 유도 및 개선하는 데 핵심적인 역할을 합니다. 자연어는 의미론적 맥락을 제공하고, 귀납적 추론은 새로운 아이디어와 구조를 발견하며, LLM과 같은 도구는 자연어와 기호적 표현 사이를 인코딩/디코딩하여 이러한 과정을 가능하게 합니다.

Open Source

개방형 소스(open source) 접근 방식은 인공지능 혁신과 발전에 있어 중요한 순간으로 여겨집니다.

현재 기술 시장의 선두 기업들과 신생 기업들은 대체로 기존 수익 흐름에 AI를 적용하고, 기존 제품을 약간 개선하는 데 집중하고 있습니다. 이러한 기업들은 근본적인 혁신을 주도하지는 않을 것으로 예상됩니다. 일부 대기업은 AI 경쟁 우위를 확산시키고 네트워크 효과를 활용하기 위해 기술을 오픈 소스로 공개할 수도 있습니다.

소스는 질병 치료, 신소재 개발, 통합 설계, 핵융합 발전 등 혁신적인 분야에서 완전히 새로운 혁신을 통한 가치 창출의 진정한 잠재력이 있다고 주장합니다. 현재의 경쟁 환경은 독점 데이터와 점진적인 이점에 초점을 맞추고 있으며, 이는 과거 폐쇄형 소스 옵션이 승리하지 못했던 기술 전쟁과 유사합니다. 사용자 생성 데이터 독점, 네트워크 효과, 클라우드 소프트웨어의 제한 등으로 인해 상황은 더욱 복잡해졌습니다.

이러한 상황에서 개방형 소스는 정체(loggy)를 깨고 기술이 거대한 가치 창출 기회가 존재하는 새로운 분야로 흘러갈 수 있도록 하는 잠재적인 해결책으로 제시됩니다. 이를 달성하기 위해서는 더 정교한 방법이 필요하며, 재정적으로만 기여할 수 있는 소비자들을 지원하는 것을 포함해야 합니다.

요약하자면, 소스는 개방형 소스가 현재 시장 선두 기업들의 초점을 넘어선 광범위한 혁신을 가능하게 하고, 사회적 및 경제적 가치 창출의 상당한 잠재력을 가진 분야로 기술이 흐르도록 촉진하는 데 중요하다고 강조합니다.

Stop Thinking, Just Do!