TagsArticle Source
Objective-driven AI; Towards AI systems that can learn, remember, reason, and plan
Abstract
How could machines learn as efficiently as humans and animals?
How could machines learn how the world works and acquire common sense?
How could machines learn to reason and plan? Current AI architectures, such as Auto-Regressive Large Language Models fall short. I will propose a modular cognitive architecture that may constitute a path towards answering these questions. The centerpiece of the architecture is a predictive world model that allows the system to predict the consequences of its actions and to plan a sequence of actions that optimize a set of objectives. The objectives include guardrails that guarantee the system’s controllability and safety. The world model employs a Hierarchical Joint Embedding Predictive Architecture (H-JEPA) trained with self-supervised learning. The JEPA learns abstract representations of the percepts that are simultaneously maximally informative and maximally predictable. The corresponding working paper is available here: https://openreview.net/forum?id=BZ5a1r-kVsf
기계가 인간이나 동물처럼 효율적으로 학습할 수 있을까?
기계가 세상을 어떻게 작동하는지 배우고 상식을 습득할 수 있을까?
기계가 추론하고 계획을 세울 수 있도록 학습할 수 있을까?
현재의 자기회귀적 대규모 언어 모델과 같은 인공지능 아키텍처는 이러한 핵심적인 질문들에 대한 답을 제시하는 데 한계가 있습니다. 이 발표에서는 이러한 질문들에 답을 찾는 길을 제시하는 모듈형 인지 아키텍처를 제안합니다. 이 아키텍처의 중심은 시스템이 자신의 행동 결과를 예측하고 목표 세트를 최적화하는 행동 시퀀스를 계획할 수 있도록 하는 예측 세계 모델입니다. 이 목표에는 시스템의 제어 가능성과 안전성을 보장하는 보호 장치가 포함됩니다. 세계 모델은 자기-지도 학습을 통해 훈련된 계층적 공동 임베딩 예측 아키텍처(H-JEPA)를 사용합니다. JEPA는 동시에 최대한의 정보를 담고 있으며 최대한 예측 가능한 지각에 대한 추상적 표현을 학습합니다.