AGI는 더 큰 언어모델 하나가 아니라, 세계와 연결된 네 개의 인지 고리를 요구한다

지능을 “문제를 잘 푸는 능력”보다 넓게 정의한다

논문은 지능을 한 환경 또는 여러 환경에서 목표를 달성하는 능력으로 정의한다. 시스템은 자신의 상태와 환경의 상태를 추론하고, 그 추론을 목표를 달성하는 행동으로 바꿔야 한다. 인간 지능의 강점은 특정 감각기관의 우월성보다 지식을 사회·문화적으로 구조화하고 이전하는 능력에 있으며, 언어가 이 과정의 중심 매체라는 것이 저자들의 출발점이다.

언어는 단지 사물에 이름을 붙이는 사전이 아니다. 타인의 경험을 축적해 직접 경험하지 않은 지식까지 학습하게 하고, 추상 개념을 표현하고 조직하며, 기억·지각·추론 과정 자체에 cue를 제공한다. 논문은 이를 인간 인지를 “language-augmented cognition”으로 보는 관점과 연결한다.

AGI는 omniscience도, Strong AI의 sentience도 아니다

저자들의 AGI는 모든 것을 아는 초지능이 아니다. 제한되고 불확실한 세계지식을 가졌더라도 여러 domain에서 새 문제를 유연하게 풀고, sensorimotor control·perception·context understanding·commonsense·analytical reasoning을 수행하는 adaptive generalist다. Strong AI는 이와 별도로 subjective experience, intentionality, morality, emotion, consciousness 같은 실제 인간 정신상태까지 요구하는 개념으로 구분한다.

Figure 1은 이 위에 situatedness, agency, high-level cognitive skills, general knowledge를 함께 놓는다. 즉 AGI를 단일 점수 대신 서로 얽힌 능력 묶음으로 본다.

pretraining, finetuning, RAG, tool use가 지능의 확장 경로를 만든다

Figure 2는 인간과 LLM의 지식 확장 방식을 병렬로 놓는다. 인간의 일반지식에 대응해 pretraining이 vast task-agnostic representations를 만들고, 전문 훈련에 대응해 finetuning이 domain competence를 추가한다. 전문가 상담에 대응해 RAG가 external knowledge를 가져오고, 도구 사용에 대응해 API·software·machine use가 모델의 고유 능력 밖의 작업을 수행한다. 저자들은 이 “확장 가능성”이 LLM을 AGI 연구의 유력한 substrate로 만든다고 본다.

상관관계를 많이 배우는 것과 세계의 원리를 아는 것은 같지 않다

논문은 multimodal LLM의 reasoning, planning, mathematics, open-vocabulary QA, creative generation을 인정한다. 동시에 context understanding이 피상적이고, 학습된 지식이 관찰된 pattern에 머물며 underlying principles를 포착하지 못한다고 비판한다. 그래서 Section 2.3은 네 foundational principles를 제시한다.

인지가 머릿속 계산만이라면 행동의 결과를 배울 수 없다

저자들은 brain, body, environment를 하나의 결합 시스템으로 본 embodied cognition 전통을 AGI에 적용한다. 센서를 통해 세계를 관찰하고, actuator로 세계를 바꾸고, 그 결과를 다시 감지하는 loop가 있어야 perception이 행동의 consequences와 연결된다. 이 관점에서 embodiment는 단순 robot body가 아니라 knowledge acquisition과 agency를 조직하는 framework다.

goal-awareness, self-awareness, situational-awareness, deliberate action

긴 계획을 만들 수 있다는 사실과 상위 목적을 가진다는 사실은 다르다

prompt에 목표를 적거나, goal planner와 retrieval agent를 조합하거나, goal을 knowledge graph에 encode하거나, imitation learning·RLHF·LLM feedback으로 long-term behavior를 조정하는 방법이 소개된다. EmbodiedGPT와 CoTDiffusion처럼 chain-of-thought로 subgoal을 만드는 방법도 포함된다.

그러나 Figure 8은 현재 접근이 low-level, task-specific goals에 주로 한정된다고 요약한다. 여러 중간 목표가 충돌할 때 societal interest 같은 global goal을 기준으로 trade-off를 해결하는 능력은 아직 약하다는 것이 survey의 진단이다.

현실은 풍부하지만 비싸고, simulation은 싸지만 현실과 다르다

실세계 embodied AI는 egocentric video, audio, IMU, GNSS, HMD, gyroscope 등 multisensory data를 통해 학습한다. EgoExoLearn, HoloAssist, EgoTracks, EgoChoir 같은 dataset과 EmbodiedGPT, PaLM-E, AlanaVLM이 사례로 등장한다. 문제는 수집비용과 task specificity다.

그래서 survey는 virtual environment를 네 부류로 정리한다. 3D game engine(AirSim, AI2-THOR, CARLA), physics simulator(PyBullet, Isaac Gym 등), XR/VR/MR, 그리고 LLM/VLM이 code와 scene graph를 생성하는 AI-generated world다. Figure 5는 EmbodiedGPT의 vision transformer-Embodied Former-LLM-policy network 연결을, Figure 7은 MultiPLY가 text·visual·thermal·audio·tactile modality를 묶어 planning, tool use, QA, navigation을 수행하는 모습을 보여준다.

위험을 피하려면 장면과 자기 몸을 동시에 알아야 한다

Figure 6의 autonomous vehicle 예는 situational-awareness와 self-awareness를 한 장면에 겹친다. pedestrian을 피해야 한다는 environmental understanding만으로는 충분하지 않다. 차체의 제동·회전 같은 physical constraints까지 알아야 safe maneuver를 선택할 수 있다. 저자들은 이 결합 상태를 situatedness라 부른다.

RED, METAL, SLEEP에서 “영화 촬영”까지

Figure 9는 RED, METAL, SLEEP 같은 symbol이 실제 red car, metallic trophy, sleeping person에 연결되는 구조를 보여준다. Figure 10은 이 primitive symbols를 계층적으로 조합하면 sitting, walking, shooting a movie 같은 higher-level scene semantics를 형성할 수 있지만, 복잡한 장면은 추가 context가 필요하다고 강조한다.

Grounding의 목표는 language token을 그저 다른 token과 statistically 가까운 좌표에 놓는 것이 아니라, 특정 interpretation 아래에서 object, property, action, social concept에 의미 있게 닿게 만드는 것이다.

그래프가 모델을 ground하고, 모델이 다시 그래프를 확장한다

논문은 knowledge graph를 explicit relation 때문에 hallucination 완화와 reasoning/planning에 유리한 grounding substrate로 본다. 동시에 KG의 수동 구축 비용을 줄이기 위해 LLM이 entity·relation을 추출하고 ontology/KG를 보강하는 연구를 소개한다. 결국 KG→LLM과 LLM→KG가 서로를 반복적으로 개선하는 feedback 구조가 가능하다는 것이다.

확장성이 높은 대신 잘못 ground된 symbol을 찾기 어렵다

embedding grounding은 words·visual concepts를 co-occurrence와 context로 encode해 실제 object, action, perceptual experience와 연결한다. 가장 scalable한 방식이지만 precise mapping을 보장하지 못하고 어떤 symbol이 잘못 ground됐는지 진단하기 어렵다. survey는 이 지점을 trustworthiness와 explainability 문제로 연결한다.

Association → Intervention → Counterfactual

survey는 Pearl의 세 단계 causal hierarchy를 중심 틀로 쓴다. Association은 관찰된 통계적 관계를 묻는다. Intervention은 변수를 의도적으로 바꿨을 때 outcome이 어떻게 달라지는지 묻는다. Counterfactual은 실제로 일어나지 않은 alternative history를 상정한다.

Figure 12는 “What is X?”, “What if X changes?”, “What if X had happened differently?”를 각각 recognition, projection, imagination/retrospection과 연결한다. Figure 13은 cooking과 driving처럼 일상 행동조차 volume, heat, speed, momentum, collision 같은 causal knowledge를 필요로 한다고 설명한다.

causal 문장을 잘 생성해도 causal mechanism이 있다는 뜻은 아니다

LLM은 대규모 text에서 “lack of exercise leads to obesity” 같은 causal statement와 scientific law를 학습해 intervention·counterfactual 질문에도 응답할 수 있다. 그러나 survey는 여러 연구를 근거로 pure data-driven LLM이 실제 underlying mechanism을 내재적으로 알고 있다고 볼 수 없으며, correlation을 causation으로 오인할 위험이 있다고 비판한다.

LLM은 causal graph를 사용하기도 하고, 만들기도 한다

KG, causal graphical model, SCM을 external causal structure로 넣는 접근은 변수와 edge를 명시하고 assumptions를 falsify하거나 intervention effect를 계산할 수 있게 한다. Causal Relationship Enhancement 같은 submodule, causal graph RAG가 여기에 포함된다. 반대로 LLM의 world knowledge를 prior로 사용해 causal variables와 edge 후보를 제안하고 graph를 prompting으로 refine하는 연구도 소개된다.

정확한 법칙은 강하지만, 모르는 세계를 시뮬레이션할 수는 없다

Figure 14의 축구 장면처럼 인간은 공의 force, direction, speed를 대략 추정한다. physics engine은 이를 Newtonian mechanics, thermodynamics 등 명시적 법칙으로 더 정확하게 simulation할 수 있다. 이를 embodied agent training에 사용하면 falling, collision, burning, deformation 같은 causal patterns를 경험할 수 있다.

그러나 high-fidelity simulation은 계산비용이 크고, 인간 사회·문화·감정처럼 formal parameterization이 어려운 phenomena를 놓친다. 그래서 survey는 deep learned knowledge와 physics prior를 섞는 방향을 제시한다.

기억은 저장장치가 아니라 계산을 생략하는 방법이다

논문은 memory를 embodiment·grounding·causality와 다른 성격의 원리로 본다. 새로운 세계지식을 직접 만드는 것보다 이미 획득한 지식을 preserve, consolidate, restructure하고 다시 꺼내는 역할이다. 숙련된 driving이나 mathematics처럼 이미 배운 procedure를 매번 처음부터 reasoning하지 않는 것이 scarce cognitive resources를 아끼는 방식이다.

parameter, attention, explicit memory, external memory

사실을 아는 것, 겪은 것을 기억하는 것, 할 줄 아는 것은 서로 다르다

Semantic memory는 특정 개인 경험과 무관한 fact, formula, rule, definition을 보존한다. Episodic memory는 사건을 time-ordered context와 함께 저장하며 서로 다른 사건을 자동으로 일반화하지 않는다. Procedural memory는 task를 수행하는 action sequence와 skill을 저장해 reasoning 없이 빠르게 실행하도록 한다.

survey는 AriGraph, HippoRAG, KG-Agent 같은 structured long-term memory, MemGPT·ChatDB·vector DB 계열 explicit memory, Reflexion·Generative Agents·Voyager 같은 experience-based agent memory를 폭넓게 연결한다.

기억은 pipeline이 아니라 순환하는 정보 흐름이다

Figure 15는 external sensory signal이 sensory memory를 거쳐 working memory로 들어가고, semantic·episodic·procedural long-term memory와 양방향으로 교환되며 perception, reasoning, planning, action execution으로 이어지는 구조를 그린다. self-introspection, memory reflection, stored-knowledge refinement도 cognitive information processing의 일부다.

Embodiment → Grounding → Causality → Memory → Action

Embodiment는 세계와 interface하는 sensor/actuator와 experience를 제공한다. 그 sensorimotor experience가 symbol을 실제 object·event에 ground한다. grounded experience 위에서 action과 feedback의 관계를 관찰하면 causal knowledge를 배울 수 있다. memory는 grounded symbols, causal relations, episodic experiences, procedural skills를 보존하고 prior knowledge와 결합한다.

이 loop에서 memory는 종착점이 아니다. 저장된 prior causal relationship과 grounded symbol이 다시 perception과 reasoning으로 들어가며, 행동이 새 experience를 만들어 loop를 갱신한다.

AGI architecture를 block diagram으로 읽기

실험으로 검증된 end-to-end AGI system이 아니다

더 많은 data가 world mechanism의 빈칸을 자동으로 채우지는 않는다

저자들은 “AGI is already here”류 주장을 premature and exaggerated라고 평가한다. 모델과 dataset을 계속 scale하는 전략은 원칙적으로 많은 domain pattern을 흡수할 수 있지만, specialized domain data의 부족, correlation-causation 혼동, unseen context에서의 brittle transfer 때문에 인간 수준의 robustness·flexibility·efficiency에 미치지 못할 수 있다고 본다.

deep learning과 prior structure를 한 cognitive system에서 결합해야 한다

Discussion은 향후 paradigm을 deep neural representations와 neuro-symbolic structure의 통합으로 본다. physical constraints, causal priors, KG/ontology, memory subsystem을 외부 addon으로 흩어 놓는 대신 interrelated primitives로 처리하고, subcomponent 사이의 information exchange를 cognitive process의 핵심으로 설계하자는 주장이다.

human benchmark parity가 인간과 같은 지능을 뜻하지 않는다

논문은 AGI 평가가 근본적으로 어렵다고 인정한다. biological intelligence는 survival과 adaptation의 evolutionary context에서 형성되고, social·emotional·creative dimension까지 포함한다. machine intelligence는 설계된 objective를 풀도록 최적화된다. 둘의 생성 원리와 strength/weakness가 다르므로 task performance를 직접 비교하면 misleading할 수 있다.

더 나아가 저자들은 intelligence를 multidimensional continuous metric으로 보고, 현재 LLM이 AGI에서 얼마나 떨어져 있는지를 객관적으로 측정하는 것 자체가 실용적으로 어렵다고 말한다. 그런데 이어지는 문단에서는 다양한 복잡한 환경에서 인간과 AI의 decision/action을 구별할 수 없게 되면 limited human-level general intelligence라고 부를 수 있다는 operational intuition을 제시한다.

“foreseeable future”는 측정 결과가 아니라 저자들의 전망이다

Conclusion은 embodiment, grounding, causality, memory가 AGI에 필요한 유일한 원리는 아니지만 fundamental building blocks라고 정리한다. 각각을 구현하는 rudimentary techniques가 이미 존재하며, 이해와 구현법이 발전하면 human-level general intelligence가 foreseeable future에 가능하다고 전망한다.

네 원리를 “있다/없다”가 아니라 falsifiable interface로 바꿔야 한다

AGI를 모델 하나의 능력이 아니라 인지 순환계의 품질로 보라

이 survey의 가장 생산적인 독법은 AGI를 “더 많은 parameter”와 동의어로 두지 않는 것이다. language model은 generic knowledge와 flexible interface를 제공하는 강력한 core일 수 있다. 그러나 세계를 경험하는 embodiment, 의미를 붙이는 grounding, 변화의 이유를 설명하는 causality, 과거를 재사용하는 memory가 서로 feedback을 주고받아야 generalist behavior가 견고해질 수 있다는 것이 논문의 전체 논지다.

핵심 논지를 지탱하는 대표 문헌