제2장 문헌 검토 — Neural Symbolic Knowledge Graph Reasoning

SECTION 2.1 — SYMBOLIC

심볼릭 지식그래프 추론

기호는 개체나 개념을, 관계는 그들 사이의 연결을 나타낸다. 심볼릭 추론은 이 기호들에 논리 규칙과 연산을 적용하여 연역적 추론·의미론적 추론·지식 통합과 같은 작업을 수행한다.

DEFINITION · 심볼릭 추론

지식그래프에서의 심볼릭 추론은 그래프 구조 내 개체·관계·규칙의 기호적 표현에 기반하여 논리적 결론을 도출하고 추론을 수행하는 과정이다. 기호 표현과 논리 추론을 활용함으로써 지식그래프는 자연어 처리부터 인공지능 응용에 이르는 다양한 도메인에서 복잡한 문제 해결, 의미 이해, 의사결정을 뒷받침한다.

서브그래프 매칭 — 심볼릭 추론의 주류

대부분의 서브그래프 매칭 기반 방법이 심볼릭 추론에 속하며, 질의 그래프의 구조를 매칭하여 지식그래프에서 답을 찾는 것을 목표로 한다. 서브그래프 매칭은 정확(exact) 매칭과 비정확(inexact) 매칭으로 나뉜다.

SUBGRAPH MATCHING

정확 서브그래프 매칭

EXACT — 문제 설정에 따라 두 하위 그룹으로 분화

① 다수 데이터 그래프 데이터베이스 탐색

그래프 마이닝으로 작은 빈발 서브그래프(경로·트리 등)를 찾은 뒤, 필터-정제(filter-and-refine) 전략으로 거짓 데이터 그래프를 가지치기하여 탐색 공간을 크게 줄인다.

gIndex [158] FG-Index [27] Tree+delta [170]

② 단일 거대 데이터 그래프 탐색

질의 그래프의 노드를 데이터 그래프에 하나씩 반복적으로 대응시키고, 시도가 실패하면 백트래킹한다.

Ullmann [31] CFL [10]

비정확 서브그래프 매칭

INEXACT — 거대 그래프 위 근사 서브그래프 탐색

광범위하게 연구되어 온 문제로, 대표 연구는 다음과 같다. Tong et al.[144]은 질의의 위상을 보존하는 최선노력(best-effort) 패턴 매칭을, Tian et al.[142]은 효율적 인덱싱을 갖춘 근사 매칭 도구 TALE을, Khan et al.[64]은 새로운 매칭 비용 척도 정의에 기반한 휴리스틱 접근 NeMa를 제안했다. Pientar et al.[114]의 MAGE는 G-Ray의 개선판으로, 노드·간선 속성을 모두 갖는 그래프를 지원한다. Zhang et al.의 SAPPER[168]는 인덱스에 하이브리드 이웃 단위 구조를 활용하고, Tian et al.[141]의 SAGA는 유연한 그래프 거리 모델로 그래프 간 유사도를 측정한다. He et al.[56]의 Closure-Tree는 서브그래프 질의와 유사도 질의를 모두 지원하는 인덱스 기반 알고리즘이다.

best-effort [144]TALE [142] NeMa [64]MAGE [114] SAPPER [168]SAGA [141] Closure-Tree [56]

서브그래프 매칭 너머 — 팩트체킹으로의 확장

심볼릭 추론은 네트워크 모델링[100, 101], 규칙 학습[97, 98], 계산적 팩트체킹[83] 등 여러 응용에도 활용되어 왔다. 팩트체킹에서는 지식그래프 내 트리플 형태의 주장(claim)이 주어졌을 때, 그 주장의 진위 여부를 심볼릭 기법으로 추론한다.

지식 스트림
[125]

지식그래프를 가중 유향 그래프로 변환한 뒤, 최대 유량(maximum flow) 알고리즘에 기반해 이른바 지식 스트림(knowledge stream)을 추출하여 트리플/주장의 진실성을 검사한다.

판별 경로
[129]

특정 술어(predicate)의 판별적 경로(discriminative paths)를 학습하여 거짓 주장을 탐지한다. 술어별로 서로 다른 학습 데이터가 필요한 지도 학습 방식이다. 한계 — 주장의 술어가 학습 데이터에 없으면(신흥 뉴스의 허위 주장 탐지에서 흔한 상황) 알고리즘을 적용할 수 없다

랜덤워크
그래프 커널
[83, 88]

영향 함수(influence function)로 지식 세그먼트 내 각 요소의 중요도를 측정한 뒤, 중요 요소들에 근거하여 진실성을 예측하는 랜덤워크 그래프 커널 기반 방법이다.

최단 경로
Ciampaglia
2015 [30]

적절히 정의된 의미론적 근접도(semantic proximity) 하에서 개념 노드 간 최단 경로를 찾는 것만으로 인간 팩트체킹의 복잡성을 상당히 잘 근사할 수 있음을 보였다. Wikipedia에서 추출한 지식그래프 위에서 수만 건의 주장을 평가했으며, 이후 많은 연구가 이 방향을 따랐다.

온톨로지
패턴 [78]

Lin et al.은 팩트체킹에 온톨로지 패턴을 도입해 의미론적·위상적 제약을 부여했다. 이 제약은 지식그래프 질의에 사용되는 서브그래프 패턴으로 표현된다.

ClaimsKG
[140]

Tchechmedjiev et al.은 맥락화된 주장의 정답 기반(ground truth) 확립을 위해, 주장과 관련 메타데이터에 관한 대규모·최신·질의 가능한 구조화 코퍼스인 ClaimsKG를 공개했다.

SECTION 2.2 — NEURAL

뉴럴 지식그래프 추론

명시적 규칙·패턴·논리 연산에 의존하는 전통적 심볼릭 추론과 달리, 뉴럴 추론은 딥러닝으로 임베딩 공간 내의 암묵적 지식을 학습한다. 이를 통해 개체 간의 복잡한 비선형 의존성을 포착하고, 상호 연결된 노드들로부터 고수준 지식을 추론할 수 있다.

TASK · 지식그래프 임베딩 (KG Embedding)

뉴럴 지식그래프 추론의 대표 태스크다. (h, t, ?) 형태의 부분 트리플이 질의로 주어지면, 지식그래프의 기존 정보에 기반해 누락된 링크나 개체를 예측한다. 핵심 아이디어는 각 개체와 술어마다 저차원 벡터를 임베딩 공간에서 학습하고, 이 임베딩 벡터들을 추론 태스크에 사용하는 것이다.

대표 임베딩 모델의 계보

[11]

TRANSLATION

TransE

h + r ≈ t

관계 r을 머리 개체에서 꼬리 개체로의 전이(transition)로 본다. 이상적으로는 꼬리 개체가 머리 개체와 관계의 합이 되어야 한다.

[162]

BILINEAR

DistMult

score = Σ (h ⊙ r ⊙ t)

TransE처럼 실수 공간에 임베딩하되, 관계 r을 머리 개체 h의 원소별 가중치로 본다. 점수 함수는 머리 개체의 모든 원소를 관계의 대응 원소로 가중합한 값이며, 이상적인 꼬리 개체는 h⊙r이 된다.

[147]

COMPLEX SPACE

ComplEx

Re(< h, r, t̄ >)

복소 벡터 공간에 임베딩하여 각 임베딩이 실수부와 허수부를 갖는다. z = x + iy의 켤레는 x − iy다. 점수 함수는 DistMult와 유사하나 t를 켤레 t̄로 바꾸고 실수부만 취한다. 에르미트 내적 <h, r, t̄>는 비대칭이므로 반대칭(anti-symmetry) 관계를 자연스럽게 포착한다.

[138]

ROTATION

RotatE

t = h ∘ r, |r| = 1

이전 방법들의 한계를 해결하기 위해 제안됐다. ComplEx처럼 복소 공간을 쓰되, 모든 관계 임베딩을 머리 개체에서 꼬리 개체로의 회전(rotation)으로 모델링한다. 대칭/반대칭·역(inversion)·합성(composition) 등 다양한 관계 속성을 지원한다.

이 밖에 BoxE[2]는 기하학적 박스로, KG2E[53]는 가우시안 분포로 개체를 표현하는 등 표현 형태를 다양화한 방법들이 있다.

SECTION 2.3 — NEURO-SYMBOLIC

뉴로-심볼릭 지식그래프 추론

뉴럴 네트워크 기반 접근과 심볼릭 추론 기법의 융합이다. 뉴럴 네트워크가 지식그래프 내 기호적 개체·관계의 표현을 학습해 의미와 구조적 의존성을 포착하고, 학습된 표현을 심볼릭 추론 메커니즘과 결합해 논리적 추론을 수행한다.

WHY HYBRID · 두 패러다임의 상호 보완

뉴럴 네트워크는 데이터로부터의 학습과 불확실성 처리 능력을, 심볼릭 추론은 형식 논리 기반 추론과 해석 가능성을 제공한다. 두 요소를 통합함으로써 뉴로-심볼릭 접근은 각 접근의 한계를 극복하고자 하며, 자연어 이해·지식그래프 추론·자동 정리 증명 등에서 더 견고하고 유연한 추론 능력을 보여 왔다. 질의응답, 추천 시스템, 네트워크 정렬[159, 160] 등 다양한 응용에 적용될 수 있다. 이 절은 주로 추론 과정에서 서로 다른 질의 유형을 다루는 연구들을 논의한다.

입력 질의가 자연어 질문인 경우로, 지식그래프 질의응답(KGQA)으로 알려져 광범위하게 연구되어 왔다.

[152]

베이지안 + 랜덤워크

Wang et al.은 베이지안 확률 모델과 랜덤워크를 결합하여 주어진 질의 개체와 가장 유사한 개념들을 찾는다.

[163]

사용자 친화적 KG 검색 엔진

Yang et al.은 배경 지식그래프에 대한 통찰 부족으로 사용자가 질의를 정밀하게 구성하기 어렵다는 점을 발견하고, 질의 형성·변환을 지원하는 검색 엔진을 개발했다.

[58]

GQBE

Jayaram et al.의 지식그래프 질의 시스템. 다른 그래프 질의 시스템과 달리 개체 튜플 리스트로 구성된 개체 튜플 질의에 초점을 둔다.

[165]

질의 그래프 변환 (Xi et al.)

자연어 문장을 질의 그래프로 변환해 답을 찾는 전략. 후보 질의 그래프 랭킹 컴포넌트와 참 질의 그래프 생성 컴포넌트를 반복 갱신하여 양쪽 성능을 함께 개선하고, 최종 질의 그래프로 KG를 검색한다.

[86]

KGQA × KGC 멀티태스크 (Liu et al.)

지식그래프 질의응답(KGQA)과 지식그래프 완성(KGC)을 동시에 다루는 멀티태스크 모델을 제안한다.

[103, 126]

임베딩 직접 학습

자연어 문장으로부터 임베딩을 직접 학습하고 임베딩 공간에서 답을 검색하는 방법들이다.

입력 질의가 그래프 질의인 경우다.

[117]

연산의 뉴럴 네트워크화

질의 그래프의 서로 다른 연산을 각기 다른 뉴럴 네트워크로 모델링하고, 질의 과정을 임베딩 공간에서의 개체 탐색 문제로 변환한다.

[167]

KG를 환경으로 삼는 RL 에이전트 (Zhang et al.)

지식그래프를 강화학습의 환경으로 두고, 입력 질문의 답을 찾기 위해 KG를 탐색(navigate)하는 에이전트 모델을 제안한다.

[35, 79, 157]

경로 탐색 RL

강화학습 모델로 지식그래프에서 질의 응답을 위한 경로를 찾는다.

[3, 12, 105, 115, 172]

RL + 타 기법 통합

강화학습을 다른 방법과 통합하여 더 인간다운(human-like) 답변을 생성한다.

질의가 모호한 경우, 보통 질문 재작성(question rewriting)으로 해결한다. 모호한 입력 질문을 더 명료한 표현으로 재구성하는 접근으로, 검색 엔진 결과의 정확도를 높이거나 NLP 시스템이 질문을 더 잘 이해하게 만든다.

[148]

단방향 Transformer 디코더

사용자의 입력 질문을 자동 재작성하여 대화형 질의응답 시스템의 성능을 개선한다.

[41]

Seq2Seq + CANARD

대화 이력에 따라 현재 질문을 재작성하는 Seq2Seq 모델을 제안하고, 새 데이터셋 CANARD를 공개했다.

[42]

KG 기반 재작성 규칙 마이닝

배경 지식그래프로부터 질의 재작성 규칙을 마이닝하고, 재작성 연산자로 새로운 질문을 생성한다.

질의가 동적인 경우로, 대화형 질의응답(ConvQA)으로 알려져 있다. ConvQA는 대화 맥락 속에서 질문을 이해하고 응답하는 것을 목표로 하며, 다양한 접근이 시도되어 왔다. Google의 LaMDA[1], Apple의 Siri, OpenAI의 ChatGPT 같은 시스템들도 이 태스크를 추구하고 있으며, 강화학습과 기계학습 기법은 여러 태스크 해결에 활용될 수 있다[17–22, 69, 113].

[13]

RL 기반 질문 재구성

시스템의 이해를 돕도록 입력 질문을 재구성(reformulate)하는 에이전트를 강화학습으로 훈련한다.

[51]

인코더-디코더 → 논리 질의

자연어 질문을 논리 질의(logical query)로 변환하여 답을 찾는다.

[61]

Transformer + 그래프 어텐션

Transformer로 논리 형식을 생성하고, 그래프 어텐션으로 질의 맥락 내 개체를 식별한다.

[3]

Alexa 데이터 주도 대화 시스템

주석·비주석 데이터를 함께 사용하는 태스크 지향 대화 시스템 구축법. 개발자가 대화 모델을 쉽게 훈련·배포하고 새 데이터 소스·태스크·도메인을 통합할 수 있게 한다.

[38]

멀티턴 대화 에이전트

복잡한 질의를 직접 작성하지 않고도 사용자가 지식베이스(KB)를 검색하도록 돕는 멀티턴 대화 에이전트를 제안한다.

[63]

다중 에이전트 탐색

입력 질문과 대화 이력에 따라 여러 에이전트가 배경 지식그래프를 탐색한다.

[167]

적응적 경로 생성기 + 시맨틱 정책망

랜덤워크 에이전트 대신, 목표 개체 도달까지 관계 경로를 순차 생성하는 원자 연산 기반 적응적 경로 생성기를 개발했다. 문자 수준·문장 수준 정보를 함께 쓰는 시맨틱 정책 네트워크가 에이전트를 안내한다.

큰 성공에도 불구하고, 현재의 반복적 추론 방법에는 여전히 한계와 열린 과제가 남아 있다.

OPEN 01

불완전·잡음 KG 처리

불완전하거나 잡음이 있는 지식그래프를 다루기 어렵다.

OPEN 02

응답의 일관성·적합성

생성된 응답이 일관적이며 사용자의 요구에 적합함을 보장해야 한다.

OPEN 03

지속 학습·적응

새롭게 진화하는 지식을 다루기 위한 지속적 학습과 적응이 필요하다.

SECTION 2.4 — LLM × KG

LLM과 지식그래프 추론

대규모 언어모델의 지형은 다양하고 강력한 모델들의 등장과 함께 크게 진화해 왔다. GPT-2[115]와 GPT-3[12]는 탁월한 텍스트 생성 능력과 광범위한 태스크 수행 능력으로 큰 인기를 얻었고, LLaMA[145]와 LLaMA2[146]는 코드와 자연어 프롬프트 모두로부터 코드 및 코드에 관한 자연어를 생성하는 최신 모델이다. BARD[99]는 인터넷의 최신 정보로 학습되어 실시간 정보 수집에 강점이 있다. 이 다양한 스펙트럼은 서로 다른 NLP 태스크를 다루는 풍부한 도구 상자를 제공한다.

프롬프트 엔지니어링 기반 추론의 진화

언어모델을 추론 태스크에 활용하는 최근 연구는 대부분 프롬프트 엔지니어링에 기반한다. 추론 구조가 단일 문장 → 사슬 → 트리 → 그래프로 일반화되어 온 흐름이 뚜렷하다. 이 밖에도 다양한 프롬프트 엔지니어링 방법이 제안되었다[32, 171].

STEP-BY-STEP · KOJIMA [67]

제로샷 단계적 사고

간단한 문구 하나를 추가하는 것만으로 다양한 다운스트림 태스크에서 LLM 성능이 크게 향상됨을 발견했다.

"Let's think step by step."

CHAIN · WEI [154]

중간 단계 분해

질문을 중간 단계들로 분해해 답한다. 단계적으로 답을 구성한 유사 예시들을 프롬프트로 제공한 뒤 요청한 답을 얻는다.

TREE · YAO [164]

다중 사고 샘플링

각 중간 단계에서 여러 사고(thought)를 샘플링하고, 서로 다른 추론 경로들을 고려하는 심사숙고형 의사결정을 수행하게 한다.

GRAPH · BESTA [8]

사고의 그래프화

LLM이 생성한 정보를 임의의 그래프로 모델링한다. 정보 단위('LLM 사고')가 정점, 정점 간 의존성이 간선이 된다.

KG × LLM 결합 — 그리고 복잡 논리 질의라는 공백

지식그래프와 LLM을 결합하여 자연어 질문에 답하려는 연구들이 있다. 그러나 접근별로 다룰 수 있는 질의의 복잡도에 뚜렷한 한계가 존재한다.

계열	대표 연구	접근	한계
KG + LLM 직접 결합	RoG [96] · ToG [137]	지식그래프를 LLM과 결합해 자연어 질문에 응답	단순 질문 또는 멀티홉 질문에 국한
검색 증강 생성(RAG) [74]	GraphRAG [40] · REPLUG [131]	검색 증강 생성으로 복잡한 자연어 질문에 대응	복잡 논리 질의 처리를 위해 설계되지 않음
복잡 논리 질의	KARL [28]	복잡 논리 질의(complex logical query) 응답에 집중	이 문제를 다룬 유일한 연구

GAP

기존 KG×LLM 결합과 RAG 계열 모두 복잡 논리 질의를 정면으로 다루지 못한다. 이 공백을 겨냥한 유일한 연구가 KARL[28]이며, 이는 본 책의 후속 장들이 겨냥하는 문제 공간과 직결된다.