● NEURAL● SYMBOLICRESEARCH PARADIGM · 2025.01 – 2026.08.09

Neuro-Symbolic AI검증 가능한 자율 추론으로 가는 길 — LLM 멀티에이전트, 지식그래프, 형식논리가 수렴하는 지점

Neural Intelligence+ Symbolic Knowledge+ Agentic Interaction Verifiable Autonomous Reasoning

2025년 1월부터 2026년 8월 9일 현재까지의 연구를 대상으로, 뉴로-심볼릭 AI를 중심축에 두고 LLM 기반 멀티에이전트 시스템, Knowledge Graph, formal logic, symbolic solver, agent memory, planning, verification이 어떻게 하나의 연구 패러다임으로 수렴하는지 정리했다. IJCAI·ACL·NAACL·EMNLP·ICLR·KR의 peer-reviewed 논문을 우선했고, 2026년 최신성이 중요한 경우 arXiv 프리프린트임을 구분했다. 연구의 무게중심은 분명하게 이동하고 있다. LLM에게 모든 추론을 맡기는 AI에서, LLM은 이해·가설·계획을 담당하고 KG·logic·solver·state machine은 구조·제약·검증을 담당하며, 여러 에이전트가 이들을 동적으로 조정하는 AI로.[1]

01

정의 — 두 종류의 계산, 네 단계의 성숙도

뉴로-심볼릭 AI라는 말은 오래됐다. 그러나 2025–2026년의 뉴로-심볼릭은 과거의 그것과 다르다. 무엇이 결합되고, 어디까지 결합되어야 진짜인지부터 따진다.

1.1Neuro-Symbolic AI란 무엇인가

뉴로-심볼릭 AI는 본질적으로 두 종류의 계산을 결합한다.

NEURAL COMPONENT

fθ : x → z

텍스트·영상·센서·관찰에서 패턴을 학습하고, 불확실한 의미를 추론한다. 모호함을 다루는 데 강하다. 확률적이고 연속적이다.

SYMBOLIC COMPONENT

ℛ(K, R, z) → y

명시적 knowledge(K), rules(R), constraints, symbolic state를 사용해 논리적·구조적 추론을 수행한다. 결정적이고 이산적이다. 검증이 가능하다.

2025 IJCAI survey는 이 결합을 Neuro helps Symbolic, Symbolic helps Neuro, Hybrid Neuro-Symbolic Architecture의 관점으로 설명하고, LLM reasoning에서는 다시 Symbolic→LLM, LLM→Symbolic, LLM+Symbolic의 세 결합방식으로 정리한다.[1] 가장 간단한 정의는 다음과 같다.

SIMPLEST DEFINITION
NeSy AI = Learning/Generalization + Explicit Representation + Logical/Structured Reasoning

그러나 여기서 분명히 해둘 것이 있다. LLM + KG라고 해서 모두 강한 의미의 뉴로-심볼릭 AI인 것은 아니다. 최근 문헌을 바탕으로 연구적으로 구분하면 다음 네 단계가 유용하다. 위로 올라갈수록 기호가 실제 계산과 검증에 깊이 개입한다.

LEVEL 1Weak NeSy
KG → text → LLM
KG가 단순 context provider에 머문다. 기호는 있으나 계산하지 않는다.
LEVEL 2Executable NeSy
LLM → symbolic query → KG/solver
기호 엔진이 실제 계산을 수행한다. LLM은 질의를 만들고, 답은 기호가 낸다.
LEVEL 3Verified NeSy
LLM proposal → symbolic verification
solver와 constraint가 LLM의 오류를 거부한다. 기호가 검증자가 된다.
LEVEL 4Agentic NeSy
multi-agent + KG + rules + verifier + memory
탐색·추론·검증·갱신이 closed loop를 이룬다. 최근 연구의 핵심이 바로 여기다.

1.2LLM 기반 Neuro-Symbolic Agent의 정의

하나의 에이전트는 다음 다섯 요소의 결합으로 볼 수 있다.

AGENT — INTERNAL STRUCTURE
Aᵢ = (Mᵢ, Sᵢ, Kᵢ, Tᵢ, πᵢ)
M: LLM/neural model · S: symbolic state · K: KG/rules/ontology · T: tools, graph engine, solver · π: action/reasoning policy

KG-Agent는 LLM, KG executor, multifunctional tools, knowledge memory를 반복적으로 연결하고, LLM이 어떤 도구를 쓸지 스스로 선택하게 한다.[3] SymAgent는 한발 더 나간다. KG를 정적인 datastore가 아니라 에이전트가 상호작용하는 dynamic reasoning environment로 간주한다.[2]

멀티에이전트까지 포함하면 𝒜 = {A₁, …, Aₙ}이고, 에이전트들이 하나의 symbolic world state를 공유하면서 Aᵢ ↔ S ↔ Aⱼ 형태로 추론을 수행한다. ACL 2026의 Leibniz가 대표 사례다. Evolution Agent와 Reduction Agent가 동일한 belief-state space를 공유하면서 서로 반대 방향으로 논리 추론을 수행한다.[10]

02

문제 정의 — 무엇을 풀어야 하는가

뉴로-심볼릭 에이전트 연구의 근본 문제는 하나의 질문으로 정식화할 수 있다.

CORE RESEARCH PROBLEM

불완전하고 비정형적인 자연어와 관찰을 neural model이 이해하게 하면서도, 그 결과를 explicit symbols, KG, rules, constraints로 grounding하여 여러 에이전트가 검증 가능한 방식으로 계획·추론·행동하게 만들 수 있는가?

입력 문제 Q, knowledge graph Gt, rules Rt, environment observation Ot, constraints C, agents 𝒜가 주어졌다고 하자. 파이프라인은 네 단계로 움직인다.

PIPELINE — GROUND · TRANSLATE · DECIDE · VERIFY
① zt = fθ(Q, Ot) … neural grounding ② St = Γ(zt, Gt, Rt) … symbolic representation ③ at = π𝒜(St, Gt, Rt) … agent decisionV(St, at, C) ∈ {true, false} … symbolic verification
검증이 false이면 실행하지 않는다. Plan → Verify → Repair → Replan을 수행한다. 실행보다 검증이 먼저다.

따라서 연구목표는 단순 accuracy 최대화가 아니다. 다음 목적함수에 가깝다.

OBJECTIVE
maxπ Accuracy + α·Faithfulness + β·ConstraintSatisfaction + γ·Traceability λ·Hallucination μ·Cost ν·Risk

이 방향을 가장 명확히 보여주는 것이 BioProAgent다. 이 시스템은 wet-lab planning에서 probabilistic LLM planning을 deterministic finite-state machine으로 제한하고, Design–Verify–Rectify 과정을 실행 전에 거치게 한다. 논문의 BioProBench에서 physical compliance는 ReAct의 21.0%에서 95.6%로 보고되었다.[12]

해석특정 benchmark의 결과다. 그러나 함의는 크다. NeSy의 역할이 "답변 향상"에서 physical safety guarantee에 가까운 execution control로 확대되고 있다는 것이다.
03

핵심 개념 — 여덟 개의 기둥

이 분야의 논문들이 공유하는 개념적 기반을 여덟 개로 정리한다. 하나하나가 별개의 연구축이면서 서로 맞물린다.

3.1Symbol Grounding

가장 중요한 개념이다. 자연어 "A를 B보다 먼저 처리해야 한다"를 텍스트로 유지하는 것과 Before(A, B)로 변환하는 것은 본질적으로 다르다. Neural model은 모호함을 이해하는 데 강하다. 그러나 symbolic solver가 이해하려면 entity, predicate, variable, type, constraint가 명확해야 한다. 뉴로-심볼릭 AI의 핵심은 결국 이 변환이다.

Natural Language Symbols Executable Semantics

Leibniz가 지적하는 주요 병목 역시 rule semantic grounding과 rule application이다.[10]

3.2Autoformalization

LLM이 자연어를 First-Order Logic, SAT/SMT, ASP, PDDL, SPARQL, SQL, program, KG triples로 변환하는 과정이다. 2026 EACL의 Adaptive LLM-Symbolic Reasoning via Dynamic Logical Solver Composition은 LLM이 문제에 필요한 formal reasoning strategy를 먼저 판단하고 적절한 logical solver를 동적으로 선택한다. 이 연구에서 formal strategy 예측 정확도는 90% 이상으로 보고되며, 여러 reasoning paradigm을 하나의 architecture 안에서 조합한다.[11] 향후 에이전트의 핵심 능력은 Question → Answer가 아니다.

Question Formalization Solver Proof / Result

3.3Knowledge Graph as Symbolic Substrate

뉴로-심볼릭 연구에서 KG는 단순 검색 DB가 아니다. G = (V, E, R) 안에 entity, relation, type, constraint가 명시적으로 존재하므로 KG 자체가 external symbolic state가 된다. SymAgent는 KG의 implicit logical pattern에서 symbolic rule을 유도하고, KG에 정보가 없으면 external document까지 쓴다. 추론 과정에서 missing triple을 발견해 KG update 후보까지 만든다.[2]

KG — EXPANDED ROLE
KG = Knowledge Store + Reasoning Space + World State + Memory

3.4Neural Induction + Symbolic Deduction

Neural system은 induction에 강하다(Examples → Pattern). Symbolic system은 deduction에 강하다(Facts + Rules → Conclusion). 뉴로-심볼릭 시스템은 이 둘을 하나의 사슬로 잇는다. IJCAI 2025 survey도 deduction, induction, abduction을 LLM reasoning의 핵심 유형으로 구분한다.[1]

Induce Formalize Deduce Verify

3.5Symbolic Verification

LLM이 "답은 x다"라고 생성하는 것과 solver가 C(x) = true임을 검증하는 것은 다르다. 최근 NeSy에서는 LLM을 proposer, symbolic system을 verifier로 보는 구조가 점점 중요해진다.

THE DIVISION

LLM proposes, Symbolic system disposes. — 제안은 뉴럴이 하고, 처분은 기호가 한다.

IJCAI survey는 여기서 한 걸음 더 나아가, symbolic solver의 검증 결과를 supervised-learning regularizer나 reinforcement-learning reward로 사용하는 symbolic feedback을 주요 발전 방향으로 다룬다.[1]

3.6Neuro-Symbolic Memory

기존 agent memory는 주로 vector embedding이다. 그러나 vector similarity는 "A가 B보다 먼저 일어났는가?", "A와 C 사이의 causal path는?", "이 규칙은 현재 조건에서 유효한가?" 같은 명시적 deduction에 약하다. 2026년 프리프린트 NS-Mem은 episodic, semantic, logic-rule의 3-layer memory를 구성하고 similarity retrieval과 deterministic symbolic query를 결합한다. 연구진은 pure-neural memory 대비 평균 4.35%의 reasoning accuracy 향상과 constrained query에서 최대 12.5% 향상을 보고했다.[15]

3.7Belief-State Knowledge Graph

2026년 7월의 최신 프리프린트 NeSyFS는 특히 흥미롭다. 에이전트가 환경의 진짜 상태를 다 볼 수 없는 partial observability 상황에서, 전체 dialogue history를 기억하는 대신 Gt = Update(Gt−1, ot, at)라는 dynamic KG belief state를 유지한다. 이때 KG는 "외부 지식"이 아니라 에이전트가 현재 세계에 대해 믿고 있는 것을 나타낸다. Fast-thinking은 이 KG에서 관련 triplet을 읽어 빠르게 행동하고, 실패와 불확실성이 커지면 slow-thinking planner로 전환한다.[18]

3.8Multi-Agent Symbolic Collaboration

Multi-Agent NeSy에서는 에이전트마다 다른 epistemic role을 부여할 수 있다. Planner, Inducer, Deductive Solver, Critic, Verifier, Memory/KG Curator가 그것이다. ACL 2026 Leibniz는 Evolution Agent와 Reduction Agent가 각각 forward-like exploratory reasoning과 target-directed reverse reasoning을 수행하면서 shared belief state를 갱신한다.[10] ICLR 2026 CLAUSE는 더 직접적이다. Subgraph Architect, Path Navigator, Context Curator라는 세 에이전트를 두고 KG context construction 자체를 multi-agent sequential decision process로 바꾼다.[9]

04

2025 → 2026 — 흐름의 이동

2025년 이후 뉴로-심볼릭 AI의 성격은 크게 변했다. 한 해 사이에 무엇이 달라졌는지를 보면 방향이 보인다.

2025"LLM reasoning을 symbolic system으로 보강"

IJCAI 2025 survey가 NeSy LLM reasoning을 체계화했고, ACL/NAACL 계열에서는 KG-Agent, RefKG, Metagent-P, KnowAgent처럼 LLM이 KG·action knowledge·cognitive architecture와 상호작용하게 하는 agent architecture가 본격화됐다.[1] 같은 해 SymAgent는 KG를 dynamic reasoning environment로 간주했고, NS-KGQA는 neural KG embedding과 symbolic question subgraph/resolver를 결합해 zero-shot complex KGQA를 수행했다.[2]

2026"Symbolic reasoning이 agent architecture 자체로 진입"

ICLR 2026 CLAUSE에서는 KG 탐색을 여러 에이전트가 최적화하고, ACL 2026 Leibniz에서는 symbolic belief update가 multi-agent collaboration의 중심이 된다. BioProAgent는 symbolic FSM을 실제 execution safety layer로 쓴다.[9]

동시에 KR 2026에서는 Neuro-Symbolic Multi-Agent System 자체에 대한 game-theoretic semantics와 computational complexity 분석까지 등장했다. "잘 작동하는 architecture를 만들자"에서 "이러한 multi-agent hybrid reasoning system이 무엇을 계산할 수 있으며 언제 안정적인가?"라는 이론적 단계로 넘어가기 시작했다는 뜻이다.[14]

2026년 7월에는 partial observability를 위한 KG belief state 기반 NeSyFS와, temporal KG memory를 제어하는 neuro-symbolic meta-policy 연구까지 등장했다. KG가 외부 knowledge base에서 continually updated cognitive state로 발전하고 있다.[18]

05

동기와 배경 — 왜 결합이 필연인가

순수 뉴럴도, 순수 심볼릭도 각자의 벽에 부딪힌다. 결합은 취향이 아니라 필연이다. 그리고 그 결합의 인터페이스가 KG이고, 운영 방식이 멀티에이전트다.

5.1Pure Neural AI의 한계

LLM은 fuzzy language understanding, pattern discovery, induction, generalization에 강하다. 그러나 다음에서는 여전히 취약할 수 있다.

  • exact constraint satisfaction — 정확한 제약 충족
  • stable multi-hop deduction — 안정적인 다단계 연역
  • numerical consistency — 수치 일관성
  • persistent state — 지속적 상태 유지
  • formal guarantees — 형식적 보증

IJCAI 2025 survey는 LLM reasoning의 문제를 reasoning-function error, representation error 등의 관점에서 분석하고 symbolic method의 역할을 제시한다.[1]

5.2Pure Symbolic AI의 한계

반대로 symbolic system은 A ∧ B → C처럼 명확한 규칙에는 강하지만, 현실의 자연어·영상·센서는 깨끗한 predicate로 주어지지 않는다. "The red object seems to be behind the cup"을 정확히 Behind(redObject, cup)으로 만드는 것부터가 어려운 문제다. JARVIS가 LLM을 language understanding과 subgoal generation에 쓰고, 이후 symbolic module이 commonsense reasoning과 action generation을 담당하는 이유가 이 역할 분담이다.[8]

5.3왜 Knowledge Graph인가

KG는 neural과 symbolic 세계 사이의 훌륭한 인터페이스다. 자연어보다 구조적이면서도, 고전 FOL보다 현실세계의 복잡한 entity와 relation을 표현하기 쉽다. 따라서 다음 구조가 자연스럽다.

Unstructured World LLM KG Symbolic Reasoning Decision

RefKG와 KG-Agent는 LLM이 KG를 능동적으로 탐색하면서 multi-hop reasoning을 수행하게 한다.[4]

5.4왜 Multi-Agent인가

한 에이전트에게 extraction, induction, planning, deduction, verification, execution을 모두 맡기면 역할 간 오류를 분리하기 어렵다. 따라서 뉴로-심볼릭 MAS는 인지작업을 기능별 에이전트로 나누어 Proposal → Critique → Proof → Action으로 구성할 수 있다. Leibniz와 CLAUSE는 각각 logical reasoning과 KG exploration에서 역할 분담이 실제 reasoning architecture의 일부가 될 수 있음을 보여준다.[10]

06

도전 과제 — 열 개의 장벽

패러다임의 매력과 문제의 난이도는 별개다. 넘어야 할 장벽을 열 개로 정리한다.

6.1

Symbol Grounding Problem

가장 오래됐고 여전히 가장 어렵다. Natural Language → Predicate 변환이 틀리면 solver가 아무리 완벽해도 최종 답은 틀린다. Perfect Solver + Wrong Formalization = Wrong Answer. Leibniz가 rule semantic grounding을 주요 병목으로 지적하는 것도 이 때문이다.[10]

6.2

Representation Brittleness

Symbolic system은 정확한 표현에 의존한다. 작은 predicate/type 오류 하나가 reasoning failure를 낳는다. IJCAI survey도 symbolic representation error와 differentiable symbolic module의 scalability·robustness 문제를 주요 challenge로 논의한다.[1]

6.3

Incomplete Knowledge Graph

현실 KG는 완전하지 않다. G ⊭ P라고 해서 반드시 G ⊨ ¬P인 것은 아니다. Absence of evidence ≠ evidence of absence. SymAgent가 KG와 external document를 함께 쓰고 missing triple까지 식별하려는 이유가 이 open-world 문제다.[2]

6.4

KG Construction 자체의 오류

LLM이 KG를 만들면 hallucination → wrong triple → symbolic reasoning → confidently wrong conclusion이라는 심각한 문제가 생긴다. 2026년 프리프린트 Better Later Than Sooner는 open-domain LLM extraction 후 ontology violation을 찾아 선택적으로 교정하는 뉴로-심볼릭 KG construction을 제안한다. ontology를 extraction 결과의 validator로 쓰는 것이다.[17]

6.5

Combinatorial Explosion

Symbolic search는 path와 rule 수가 늘수록 |𝒫| ≈ bd처럼 폭발할 수 있다. CLAUSE가 static k-hop KG expansion 대신 Architect–Navigator–Curator에게 어떤 node와 path를 확장할지 선택하게 한 것은 정확도뿐 아니라 graph expansion, latency, token budget까지 함께 제어하기 위해서다.[9]

6.6

Neural–Symbolic Joint Optimization

Neural network는 continuous differentiation을 쓰고 symbolic reasoning은 discrete operation인 경우가 많다. ∇θ SymbolicSolver를 직접 정의하기 어렵다. IJCAI survey는 differentiable symbolic modulesymbolic feedback/RL을 이 문제의 두 방향으로 제시한다.[1]

6.7

Multi-Agent Coordination

에이전트를 늘리면 새로운 문제가 생긴다. A₁ ⊨ P인데 A₂ ⊨ ¬P일 때 누가 옳은가? KR 2026의 formal study가 probabilistic neural evaluation, symbolic strategic reasoning, multi-player interaction의 조합에 대해 computational complexity와 equilibrium을 분석한 것은, 뉴로-심볼릭 MAS가 이제 coordination theory를 필요로 한다는 의미다.[14]

6.8

Partial Observability

실제 에이전트는 세계 전체를 볼 수 없다. ot ≠ st다. 2026 NeSyFS는 KG를 latent-state belief approximation으로 쓰며 fast/slow reasoning을 전환한다. 뉴로-심볼릭 AI가 reasoning 문제에서 POMDP/world-model 문제로 확대되고 있다.[18]

6.9

Temporal Knowledge

사실은 영원히 참이지 않을 수 있다. 미래 KG는 (subject, predicate, object, time)을 다루어야 한다. 2026년 temporal KG memory 연구는 무엇을 기억·검색·망각할지 neural meta-policy가 결정하되, 실행되는 memory operation은 symbolic하게 유지하는 방향을 제안한다.[19]

6.10

Safe Physical Execution

텍스트 QA에서 hallucination은 잘못된 답으로 끝난다. robot이나 laboratory agent에서는 hallucination → unsafe action이 된다. BioProAgent가 probabilistic plan과 hardware execution 사이에 deterministic FSM을 삽입하는 것이 이 차이를 보여준다.[12]

07

연구 질문 — 열 개의 RQ

현재 연구를 바탕으로 특히 중요한 질문 열 개를 추린다.

RQ 01

Symbol grounding을 어떻게 검증할 것인가

NaturalLanguage —Γ→ Symbols에서 Γ 자체가 틀렸음을 누가 검증하는가?

RQ 02

Reasoning control은 어느 쪽이 갖는가

LLM → Solver가 나은가, Solver → LLM이 나은가, 아니면 bidirectional인가? 문제별로 어떻게 결정하는가? IJCAI survey의 세 결합방식이 바로 이 설계공간이다.

RQ 03

KG를 world model로 만들 수 있는가

retrieval source가 아니라 KGₜ ≃ Belief(Stateₜ)가 가능한가? NeSyFS와 temporal KG memory가 초기 답을 제시한다.

RQ 04

Deduction과 abduction의 결합

Incomplete KG에서 Known facts → deduction뿐 아니라 Missing fact → hypothesis → external evidence가 필요하다. SymAgent의 KG–external-document 결합이 이 문제와 직결된다.

RQ 05

어떤 solver를 언제 선택하는가

π(q) ∈ {SAT, SMT, FOL, ASP, KG, SQL, PDDL, Python}이라는 solver-routing problem이다. 2026 EACL 연구가 LLM의 reasoning paradigm 예측으로 formal solver를 동적으로 조합한다.

RQ 06

Belief conflict의 해결

다수결이 좋은가, proof가 있는 에이전트가 우선인가, confidence-weighted consensus가 좋은가? Leibniz의 shared belief-state architecture가 이 문제를 구체적으로 다룬다.

RQ 07

KG traversal의 학습 가능성

π_θ(G, q) → {expand, follow, backtrack, stop}. CLAUSE는 이를 resource-constrained multi-agent RL로 직접 정식화한다.

RQ 08

Symbolic correctness × Probabilistic uncertainty

현실 지식은 P(Predicate=true)=0.73일 수도 있다. Boolean logic과 neural probability의 연결은 여전히 핵심 문제이며, KR 2026 formal NeSy MAS 연구의 중심도 이 결합이다.

RQ 09

Verifier를 training signal로 쓸 수 있는가

reward = 1 if Solver verifies else 0처럼 proof/constraint를 RL reward로 사용할 수 있다. IJCAI 2025 survey가 symbolic feedback과 neuro-symbolic RL을 중요한 방향으로 제시한다.

RQ 10

Proof-carrying agent를 어떻게 만들 것인가

최종 출력이 Answer만이 아니라 Answer + Evidence + Rules + Proof + Provenance를 제공하게 만들 수 있는가?

08

접근 방법 — A부터 J까지

문헌에서 확인되는 방법론을 열 갈래로 나눈다. 앞의 넷이 결합의 방향이라면, 뒤의 여섯은 결합의 심화다.

A

Symbolic → LLM

Symbolic knowledge를 LLM의 context 또는 constraint로 사용한다. KG/Rules → LLM → Answer. RefKG는 query를 분해하고 KG를 탐색한 뒤 knowledge reconstruction을 수행한다. 단순 KG retrieval이 아니라 reflection을 포함한다는 점이 특징이다.[4]

B

LLM → Symbolic Solver

NLLLMFormal ProgramSolverResult

LLM은 natural language understanding과 formalization을 담당하고, 실제 reasoning은 solver가 수행한다. 2026 EACL의 adaptive solver composition이 대표적인 최신 접근이다.[11] 이 구조의 장점은 명확하다. 언어의 유연성은 LLM에게, 계산의 엄밀성은 solver에게.

C

Agentic KG Reasoning

KG-Agent는 LLM + Toolbox + KG Executor + Memory를 반복적으로 연결하고 에이전트가 필요한 tool을 자율 선택한다. multi-hop reasoning을 program language로 표현한 instruction data도 사용한다.[3]

ThinkQueryGraphObserveUpdateMemoryThink
D

Neural Rule Induction + Symbolic Execution

KGNeural InductionRulesPlannerSubproblemsExecutorAnswer

SymAgent의 Agent-Planner는 LLM의 inductive ability로 KG에서 symbolic rule을 추출한다. 여기에 online exploration과 offline policy update를 결합해 self-learning까지 수행한다.[2]

E

Multi-Agent Bidirectional Reasoning

Leibniz는 EvolutionAgent ⇄ BeliefState ⇄ ReductionAgent를 쓴다. Evolution Agent는 facts/rules에서 target 방향으로 정보를 발전시키고, Reduction Agent는 target에서 역방향으로 conflict와 필요한 premise를 찾는다.[10] 이 접근의 중요한 의미는, multi-agent collaboration을 단순 토론이 아니라 서로 다른 logical operator의 분업으로 볼 수 있다는 점이다.

F

Multi-Agent Graph Context Engineering

CLAUSE의 핵심은 Subgraph Architect + Path Navigator + Context Curator다. 세 에이전트를 Lagrangian-constrained multi-agent PPO로 공동 최적화하여 어떤 graph를 확장할지, 어떤 path를 따라갈지, 어떤 evidence를 유지할지, 언제 멈출지를 결정한다.[9] RAG가 Retrieve(q)에서 Learned Sequential Graph Decision Process로 변하는 것이다.

G

Differentiable Neuro-Symbolic Reasoning

2026 프리프린트 NeuroSymActive는 soft-unification형 symbolic module, neural path evaluator, active value-guided exploration을 결합해 KGQA를 수행한다.[16] Discrete Logic ↔ Continuous Learning 사이에 gradient 또는 soft truth value를 만드는 접근이다.

H

Neuro-Symbolic Memory

NS-Mem은 Memory = Episodic + Semantic + Logic Rules의 구조를 갖고 neural similarity와 deterministic symbolic retrieval을 함께 쓴다.[15] 향후 agent memory는 단순 vector store가 아니라 Vector Memory + KG Memory + Rule Memory + Temporal Memory로 발전할 가능성이 높다.

I

Deterministic Safety Envelope

LLM PlannerFSM Safety LayerPhysical Execution

BioProAgent는 FSM을 planner와 실행 사이에 배치한다.[12] 이것은 매우 중요한 architecture pattern이다. Probabilistic intelligence inside a deterministic safety envelope — 결정론적 안전막 안에서 작동하는 확률적 지능.

J

Compile Once, Execute Many

ACL 2026 Industry Track의 legal reasoning 연구는 흥미로운 Amortized Intelligence 개념을 제시한다. LLM을 매 transaction마다 실행하는 대신, 계약서를 한 번 해석해 typed graph representation인 DACL로 compile한다.

Legal TextLLM (once)DACL GraphDeterministic Engine (many times)Decision

저자들의 평가에서는 고빈도 workflow에서 90% 이상의 compute-cost 감소와 높은 consistency가 보고됐다.[13] 설계원리로 압축하면 이렇다. Interpret once, reason deterministically many times.

09

핵심 응용 — 일곱 개의 현장

이론이 아니다. 일곱 개 분야에서 이미 검증되고 있다.

9.1 · KGQA

Knowledge Graph Question Answering

가장 직접적인 적용이다. KG-Agent, SymAgent, NS-KGQA, RefKG, CLAUSE가 complex multi-hop KG reasoning을 다룬다. NS-KGQA는 neural KG embedding과 symbolic resolver를 결합하는 zero-shot 구조를 쓴다.

9.2 · OPEN-WORLD PLANNING

오픈월드 계획

Metagent-P는 LLM world knowledge, symbolic cognitive architecture, metacognition을 결합해 Planning → Verification → Execution → Reflection 루프를 구성한다. Minecraft long-horizon task에서 평가되었다.

9.3 · EMBODIED AI

임바디드 AI와 로보틱스

JARVIS는 visual observation에서 semantic map을 만들고 LLM으로 symbolic subgoal을 얻은 뒤 symbolic module로 action planning을 수행한다. TEACh의 dialog-based embodied task에서 평가되었다.

9.4 · SCIENTIFIC DISCOVERY

과학적 발견 / Wet Lab

BioProAgent에서 symbolic system은 설명 가능성 도구가 아니라 실험장비 안전과 protocol validity를 검사하는 execution gate다. AI4Science에서는 Hypothesis → Plan → FormalConstraint → Verify → Experiment가 중요한 형태가 될 수 있다.

9.5 · LEGAL

법률·규제 추론

법률은 조건, 예외, 날짜, 가격 공식, obligation처럼 explicit logic이 많아 뉴로-심볼릭 architecture와 잘 맞는다. 2026 ACL Industry의 DACL architecture는 계약을 typed graph IR로 compile한 뒤 deterministic adjudication을 수행한다.

9.6 · LONG-TERM MEMORY

장기 멀티모달 에이전트

NS-Mem과 2026 temporal-KG 연구는 agent memory를 relation, temporal state, rules까지 포함하는 structured memory로 발전시키고 있다.

9.7 · PARTIAL OBSERVABILITY

부분관측 에이전트

2026년 7월 31일 공개된 NeSyFS는 WebShop, ALFWorld, ScienceWorld 같은 환경에서 KG를 belief state로 사용해 fast/slow reasoning을 전환한다. 현재 시점에서 NeSy 에이전트와 KG의 결합이 world-modeling 방향으로 가장 명확히 발전한 사례 중 하나다.

10

미해결 문제 — 여덟 개의 공백

아직 아무도 만족스럽게 답하지 못한 문제들이다. 논문이 될 자리가 여기에 있다.

10.1

The Grounding Bottleneck

현재 가장 근본적인 문제는 reasoning engine이 아니라 Natural Language ↔ Symbol 인터페이스일 가능성이 크다. 완벽한 theorem prover도 잘못 formalize된 premise는 구할 수 없다.

10.2

Non-Monotonic / Open-World Reasoning

현실은 Unknown ≠ False다. KG 에이전트가 classical closed-world assumption에서 벗어나 Known, Unknown, Contradicted, Probable 같은 epistemic state를 표현할 필요가 있다.

10.3

Probabilistic Symbolic Knowledge

현재 대부분의 KG triple은 (A, R, B)다. 미래에는 (A, R, B, p, t, source)가 되어야 한다. confidence, temporal validity, source provenance가 first-class citizen이 되어야 한다는 뜻이다.

10.4

Symbolic Hallucination

LLM hallucination만 문제가 아니다. LLM이 잘못된 predicate나 rule을 만들고 그것을 solver가 정확히 실행하면 perfectly executed hallucination이 된다. 완벽하게 실행된 환각이다. 2026 ontology-grounded KG correction 연구가 extraction 후 ontology constraint를 확인하는 이유가 이 문제와 직결된다.[17]

10.5

Dynamic Ontology

현실의 concept가 변하거나 새 entity/relation이 등장하면 Ontologyt → Ontologyt+1이 필요하다. 그런데 기존 rule, KG, agent memory, embedding의 semantics를 깨뜨리지 않고 ontology를 변경하는 문제는 아직 충분히 해결되지 않았다.

10.6

Multi-Agent Consensus Is Not Proof

세 에이전트가 모두 같은 답을 낸다고 그것이 참이라는 보장은 없다. MajorityVote ≠ LogicalValidity. 미래의 멀티에이전트 시스템에서는 debate보다 Proof, Constraint, Evidence, Provenance가 consensus의 근거가 되어야 한다. KR 2026이 multi-agent NeSy의 formal semantics를 연구하기 시작한 것은 이 이론적 공백과 관련된다.[14]

10.7

Continual Symbolic Memory

Memory를 추가하는 것보다 어려운 것은 무엇을 잊을 것인가다. 오래된 rule, 변경된 fact, contradictory evidence를 어떻게 처리할지에 대한 temporal/non-monotonic memory theory가 필요하다. 2026 temporal KG meta-policy 연구가 기억·검색·망각을 adaptive symbolic operation으로 다루기 시작했다.[19]

10.8

Evaluation

향후 뉴로-심볼릭 에이전트 benchmark는 answer accuracy만으로 부족하다. 최소한 Answer Accuracy, Formalization Accuracy, Proof Validity, Constraint Satisfaction, KG Retrieval Precision, Agent Coordination, Provenance Completeness, Safety, Latency, Cost를 분리하여 평가해야 한다.

11

미래 방향 — 아홉 개의 경로

문헌을 종합했을 때 앞으로 가장 유망한 방향은 다음 아홉 가지다.

11.1LLM-centric AI에서 Neuro-Symbolic Agentic AI로

지금까지가 LLM + Tools였다면 향후에는 LLM + KG + Rules + Solver + Memory + Verifier + Agents가 하나의 cognitive architecture를 이룰 가능성이 크다. 현재의 KG-Agent, Leibniz, CLAUSE, BioProAgent가 각각 이 구조의 일부를 보여주고 있다.[3]

11.2Knowledge Graph에서 Executable World Model로

KG의 가장 중요한 미래 변화는 KG = Facts에서 KG = Facts + Rules + State + Actions + Constraints + Evidence로의 변화다. NeSyFS가 KG를 current belief state로 사용하는 접근이 이 방향을 잘 보여준다.[18]

11.3Proof-Carrying Agents

미래의 에이전트는 "제 답은 이것입니다"라고 말하는 데서 멈추면 안 된다. "제 답은 이것이며, 사용한 facts는 F, rules는 R, proof path는 P, sources는 S입니다"라고 해야 한다.

PROOF-CARRYING OUTPUT
Output = Decision + Proof + Evidence + Provenance
고위험 의료·법률·과학·산업 automation에서 특히 중요하다. Legal DACL과 BioProAgent가 deterministic trace와 verification을 활용하는 구체적 사례다.

11.4Self-Evolving Knowledge Graphs

에이전트는 KG를 읽기만 하지 않는다.

ReadReasonDetectMissingKnowledgeAcquireEvidenceVerifyUpdateKG

SymAgent의 missing-triple detection과 2026 ontology-grounded KG correction이 이 방향을 보여준다.[2]

11.5Adaptive Solver Society

하나의 symbolic solver가 모든 문제를 풀기보다 SATAgent, KGAgent, SQLAgent, PlannerAgent, TheoremAgent처럼 solver-specialized agent들이 존재하고 meta-agent가 이를 선택하는 구조가 가능해진다. 2026 EACL의 dynamic solver composition이 이 아이디어의 초기 형태다.[11]

11.6Agent Topology 자체의 Symbolic Optimization

현재의 멀티에이전트 시스템은 사람이 Planner → Researcher → Critic → Writer를 미리 정한다. 향후에는 Task → Optimal Agent Graph를 생성할 수 있다. CLAUSE에서 이미 graph reasoning 과정 자체를 세 에이전트가 resource-aware policy로 최적화하고 있어 중요한 단초를 제공한다.[9]

11.7Neuro-Symbolic Fast–Slow Agents

2026 NeSyFS가 보여주는 가장 흥미로운 방향 중 하나다. 모든 질문에 expensive reasoning을 하지 않는다. Fast Neural Response를 먼저 쓰고, uncertainty나 failure가 커지면 Slow Symbolic/Planning Reasoning으로 전환한다.[18] 미래 시스템은 "필요한 만큼만 깊게 추론한다(Reason only as deeply as necessary)"는 adaptive-computation principle을 따를 가능성이 크다.

11.8Compile-Time Intelligence

DACL 방식처럼 매번 LLM inference를 돌리는 대신 LLM interprets once → symbolic artifact → cheap deterministic execution으로 이동하는 것도 중요한 방향이다. 반복적 industrial workflow에서는 비용, latency, reproducibility, auditability 측면에서 매우 매력적인 architecture다.[13]

11.9Neuro-Symbolic Memory OS

장기적으로 agent memory는 다음처럼 계층화될 가능성이 크다.

LAYERED MEMORY
M = Mepisodic Msemantic MKG Mrules Mtemporal Mprovenance

NS-Mem과 temporal KG meta-policy 연구가 각각 structured long-term reasoning과 adaptive remember/retrieve/forget 문제를 다루고 있다.[15]

12

통합 구조 — NeSy-Agent Knowledge Fabric

2025–2026 연구들을 하나의 architecture로 종합하면 다음 8계층 구조가 특히 유망하다. 계층의 색이 곧 계산의 성격이다 — 호박색은 뉴럴, 비취색은 심볼릭, 회색은 세계와 인간이다.

NESY-AGENT KNOWLEDGE FABRIC — 8-LAYER ARCHITECTURE · L7에서 L0으로 되돌아오는 feedback
L7Human / Physical Action
Decision · Robot · Lab · API
L6Formal Verification & Safety
SAT/SMT · FSM · Rules · Constraints
L5Multi-Agent Reasoning
Planner · Inducer · Critic · Verifier
L4Symbolic Planning / Execution
Programs · SPARQL · SQL · PDDL
L3Living Knowledge Graph
Entity · Relation · State · Evidence · Time · Confidence · Provenance
L2Neuro-Symbolic Memory
Vector + Episodic + Semantic + Rules
L1Neural Grounding
LLM · VLM · Embeddings · Perception
L0World
Text · DB · Sensor · Image · Experiment
↑ feedback : L7 → L0

이 architecture에서 LLM은 모든 것을 계산하는 두뇌가 아니다. 역할은 셋으로 나뉜다.

LLM — NEURAL
Understand + Induce +
Hypothesize + Plan

이해하고, 귀납하고, 가설을 세우고, 계획한다. 참일 수도 있는 것을 제안한다.

KG & SYMBOLIC SYSTEM
Represent + Constrain +
Deduce + Verify

표현하고, 제약하고, 연역하고, 검증한다. 반드시 참이어야 하는 것을 확정한다.

MULTI-AGENT SYSTEM
Decompose + Coordinate +
Critique + Repair

분해하고, 조정하고, 비판하고, 수리한다. 다음에 무엇을 조사할지 결정한다.

THE CENTRAL THESIS

Neural models should propose what might be true; symbolic systems should establish what must be true; agents should decide what to investigate next. — 그리고 이 세 층을 Knowledge Graph가 연결한다는 것이 2025–2026년 연구에서 가장 중요한 변화다.

13

핵심 참고논문과 출처

이 주제를 시작할 때 우선적으로 읽을 만한 문헌 19편이다. 원문 URL을 그대로 옮겼다.

Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models
Yang et al. · IJCAI 2025 — NeSy LLM 연구를 Symbolic→LLM, LLM→Symbolic, LLM+Symbolic으로 체계화한 기본 문헌
ijcai.org/proceedings/2025/1195.pdf
SymAgent: A Neural-Symbolic Self-Learning Agent Framework for Complex Reasoning over Knowledge Graphs
Liu et al. · 2025 — KG를 dynamic environment로 보고 rule induction, planning, execution, self-learning을 결합
arxiv.org/abs/2502.03283
KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph
Jiang et al. · ACL 2025
aclanthology.org/2025.acl-long.468
Reflection on Knowledge Graph for Large Language Models Reasoning
Zhou et al. · ACL Findings 2025
aclanthology.org/2025.findings-acl.1221
Metagent-P: A Neuro-Symbolic Planning Agent with Metacognition for Open Worlds
Zhou et al. · ACL Findings 2025
aclanthology.org/2025.findings-acl.1169
KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents
Zhu et al. · NAACL Findings 2025
aclanthology.org/2025.findings-naacl.205
A Zero-Shot Neuro-Symbolic Approach for Complex Knowledge Graph Question Answering
Agarwal & Bedathur · EMNLP Findings 2025
aclanthology.org/2025.findings-emnlp.617
JARVIS: A Neuro-Symbolic Commonsense Reasoning Framework for Conversational Embodied Agents
Zheng et al. · NeSy 2025 / PMLR
proceedings.mlr.press/v284/zheng25a.html
CLAUSE: Agentic Neuro-Symbolic Knowledge Graph Reasoning via Dynamic Learnable Context Engineering
Zhao et al. · ICLR 2026 — ICLR 공식 프로그램 등재
arxiv.org/abs/2509.21035
Leibniz: Theory-of-Mind Driven Neuro-Symbolic Logical Reasoning via Multi-Agent Collaboration
Fan et al. · ACL 2026
aclanthology.org/2026.acl-long.924
Adaptive LLM-Symbolic Reasoning via Dynamic Logical Solver Composition
EACL 2026
aclanthology.org/2026.eacl-long.54
BioProAgent: Neuro-Symbolic Grounding for Constrained Scientific Planning
Liu et al. · ACL 2026
aclanthology.org/2026.acl-long.1981
Accurate Legal Reasoning at Scale: Neuro-Symbolic Offloading and Structural Auditability for Robust Legal Adjudication
Sójka & Kowalczyk · ACL Industry 2026
aclanthology.org/2026.acl-industry.102
Semantic Foundations of Neuro-Symbolic Multi-Agent Systems
Gutierrez · KR 2026 — Multi-agent NeSy의 game-theoretic·complexity-theoretic formal foundation
proceedings.kr.org/2026/88
Advancing Multimodal Agent Reasoning with Long-Term Neuro-Symbolic Memory (NS-Mem)
Jiang et al. · 2026 preprint
arxiv.org/abs/2603.15280
NeuroSymActive: Differentiable Neural-Symbolic Reasoning with Active Exploration for Knowledge Graph Question Answering
Fu et al. · 2026 preprint
arxiv.org/abs/2602.15353
Better Later Than Sooner: Neuro-Symbolic Knowledge Graph Construction via Ontology-grounded Post-extraction Correction
Loconte et al. · 2026 preprint
arxiv.org/abs/2605.29168
NeSyFS: A Neuro-symbolic Fast-Slow Thinking Framework for LLM Agent under Partial Observability
Xu & Fekri · 2026-07-31 preprint — KG belief state + fast/slow agent architecture
arxiv.org/abs/2607.28942
Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability
Kim et al. · 2026-07 preprint — Temporal RDF/KG memory의 adaptive remember/retrieve/forget policy
arxiv.org/abs/2607.18368
검증 안내위 서지 정보와 URL은 원문 자료를 그대로 옮긴 것이다. 2026년 문헌 상당수는 프리프린트이므로 인용 전 원문 확인을 권한다.
CONCLUSION

"뉴럴 네트워크 + 논리"라는 고전적 정의는 더 이상 충분하지 않다

2025–2026의 가장 중요한 변화가 바로 이것이다. 뉴로-심볼릭 AI는 지금 다음의 경로로 진화하고 있다.

Neuro-Symbolic AI → Neuro-Symbolic Agent → Neuro-Symbolic Multi-Agent System → Neuro-Symbolic Cognitive Infrastructure

이 진화에서 각 구성요소의 자리가 다시 정해진다. Knowledge Graph는 단순한 외부 지식저장소가 아니라 neural perception과 symbolic reasoning 사이의 공유 가능한 "세계 상태(world state)"가 된다. Multi-Agent System은 그 세계 위에서 역할을 분담하는 distributed reasoning machinery가 된다. 그리고 symbolic solver는 LLM의 결론에 대한 formal reality check가 된다.

제안은 뉴럴이 하고, 확정은 기호가 하고, 다음 조사는 에이전트가 결정한다. 이 분업이 성립할 때 비로소 자율 추론은 검증 가능해진다. 이것이 현재 문헌들을 하나로 연결했을 때 얻는 가장 설득력 있는 결론이다.