지식 그래프는 최근 폭넓은 주목을 받으며 다양한 도메인과 다운스트림 태스크에 성공적으로 적용되고 있다. 이 책은 다양한 지식 그래프 추론 태스크의 최신 진전을 뉴로-심볼릭이라는 새로운 관점으로 정리한다. 뉴럴 네트워크와 심볼릭 추론 사이의 간극을 메움으로써, 연구자·실무자·관심 있는 독자가 지식 그래프가 제기하는 복잡한 난제를 다룰 수 있는 지식과 도구를 갖추도록 하는 것이 목표다.
“All our knowledge begins with the senses, proceeds then to the understanding, and ends with reason. There is nothing higher than reason.” — Immanuel Kant
지식 그래프(Knowledge Graph, KG)는 두 가지 방식으로 동시에 이해된다. 한편으로 KG는 엔티티 사이의 관계를 통해 사실을 저장하는 트리플(triple)의 집합이며, 그 형식은 (head entity, relation, tail entity)다. 예를 들어 (Mina Miller, LiveIn, USA)는 하나의 트리플이고, 여기서 “Mina Miller”와 “USA”는 엔티티이며 “LiveIn”은 두 엔티티를 잇는 관계다.
다른 한편으로 이름이 시사하듯 KG는 본질적으로 그래프다. 노드는 엔티티를, 링크는 엔티티 사이의 관계를 나타낸다. 아래 Fig. 1.1a의 예시는 5개 엔티티, 3개 관계, 4개의 관측된 사실을 포함한다. KG는 엔티티 외에 개념(concept)도 포함할 수 있으며, 이는 6장에서 상세히 다룬다.
다양한 형태의 KG가 등장했으며, 크게 세 갈래로 구분된다.
특정 도메인에 국한되지 않는 광범위한 사실을 담는다. DBpedia [1], Freebase [2]가 대표적이다.
특정 분야의 지식을 집중적으로 구축한다. 생의학 분야의 STRING [3], 전자상거래 분야의 Amazon Product Graph [4]가 있다.
구체적 엔티티가 아닌 일반 개념에 대한 상식 지식을 기술한다. WordNet [5], ConceptNet [6]이 이에 해당한다.
지식은 인간 지능에서 결정적인 역할을 담당한다. 시간에 걸쳐 축적된 지식이 인간의 추론과 문제 해결을 가능하게 한다. 인공지능(AI) 역시 인간의 행동과 결정을 모방하려 한다는 점에서 동일한 목표를 설정한다. 지식 그래프는 여러 출처에서 수집된 지식을 표현하고 저장하며 관리하는 중요한 수단으로 기능한다.
KG를 AI에 도입하면 AI 시스템의 성능과 추론 능력을 체계적으로 개선할 수 있다. Google은 2012년부터 검색 엔진에 KG를 활용해 웹페이지 검색을 지식 검색으로 전환하고 사용자 경험을 크게 향상시켰다 [7]. Google에 이어 Meta, Amazon, LinkedIn 등 다수의 기업이 유사한 발상으로 자체 KG를 출시했다. 오늘날 KG는 전자상거래 추천 시스템, 생의학 약물 재창출, 질의응답(Q&A) 시스템, AI 어시스턴트의 대화 시스템 등 여러 도메인에서 활발히 탐구되고 배치되고 있다.
Google [7], Microsoft Bing [8], Yahoo [9]가 KG를 폭넓게 사용한다. 유명 인물에 대한 질의가 들어오면 Google 검색 엔진은 학력·출생지·배우자 등의 관련 정보를 인포박스 형태의 지식 패널로 정리해 반환한다.
클릭률·구매 등 상품과 구매자 사이의 행동 관계를 포착하도록 KG를 구축한다. 이 KG는 상품·광고의 개인화 추천을 위한 추천 시스템을 뒷받침한다. Amazon [4], eBay [10], Alibaba [11]가 KG에 크게 의존한다.
연관 종목 간 사업 관계를 포착하는 기업 KG를 구축해 주가 변동을 예측한다. 또한 금융 보안 영역에서 KG는 금융 범죄 예방과 조사를 지원해, 은행이 고객 사이의 자금 흐름을 파악하고 규정 미준수 고객을 식별하도록 돕는다. Bloomberg [12], Capital One [13], Wells Fargo [14]가 대표적이다.
Bio2RDF [15] 같은 KG는 생의학 영역 내부의 관계를 조직하고 범주화해, 의료 제공자가 진단을 검증하고 개별 요구에 맞춘 치료 계획을 식별하도록 지원한다. 나아가 생의학 KG는 신약 설계와 약물 재창출을 통해 제약 산업을 크게 진전시켰다 [16].
KG 추론은 그래프에 인코딩된 관계와 사실을 사용해 KG로부터 새로운 지식을 추론하는 것을 목표로 한다. 구체적으로는 누락된 트리플을 추론하거나, KG에 내재된 패턴을 논리 규칙의 형태로 요약하는 데 관심이 있다. 이 책은 세 가지 유형의 추론 태스크를 다룬다.
지식 그래프 완성은 기존 사실로 추론하여 원홉(one-hop) 질의를 예측하는 것을 목표로 한다. 예를 들어 Fig. 1.1에서 머리 엔티티 “Mary Stilwell”과 관계 “LiveIn”이 주어지면, 완성 태스크는 누락된 꼬리 엔티티를 예측한다. 질의 (Mary Stilwell, LiveIn, ?)는 원홉 링크 예측으로 볼 수 있으므로 원홉 질의라 부르며, 이는 멀티홉 질의나 1차 논리 질의 같은 복합 질의와 대비된다.
KG 완성과 마찬가지로 복합 질의도 질의에 기술된 제약을 만족하는 엔티티를 KG에서 반환한다. 다만 완성 태스크와 달리 복합 질의는 엔티티와 목표 엔티티 사이의 훨씬 복잡한 구조적 패턴을 기술한다. 예컨대 Fig. 1.1에서 “미국인의 배우자는 어떤 언어를 사용하는가?”라는 질의는 엔티티, 변수(자리표시자 엔티티), 목표 엔티티를 사용해 1차 논리(first-order logic, FOL) 형식으로 표현된다.
이 유형의 질의는 엔티티 사이의 여러 관계를 포함하므로 더 진전된 추론을 요구한다.
head ← body 형태의 논리 규칙은 일상생활이나 특정 도메인에서 추론을 수행할 때 빈번히 사용된다. 이러한 논리 규칙은 대부분 인간 전문가가 경험을 요약해 제공하며, 획득에 상당한 노동이 소요된다. KG로부터의 논리 규칙 귀납은 KG의 인스턴스 수준 사실을 템플릿 수준 규칙으로 요약함으로써 논리 규칙을 자동으로 학습하는 것을 목표로 한다. Fig. 1.1에서는 다음 규칙을 학습할 수 있다.
논리 규칙은 지식의 또 다른 중요한 형태로서, 추론 과정을 더 투명하고, 책임 추적이 가능하며, 신뢰할 수 있게 만든다.
앞의 두 KG 추론 태스크는 연역적 추론의 범주에 속하고, 세 번째는 귀납적 추론의 범주에 속한다. 둘 모두 인간이 지닌 결정적인 추론 유형이다. 이 책은 세 번째 추론 유형인 가설적 추론(abductive reasoning)은 다루지 않으며, 이는 매우 흥미로운 향후 연구 과제로 남는다.
전체적으로 KG 추론은 그래프에 표현된 지식을 확장하는 것을 목표로 하며, 이는 지식 표현과 지식 관리 과정에서 결정적인 단계다. KG에 인코딩된 관계와 사실을 활용함으로써, KG 추론은 새로운 지식을 추론하고 예측을 수행하며 다양한 응용을 지원하는 강력하고 유연한 수단을 제공한다.
AI 초기부터 KG 추론에서 가장 많이 연구된 접근법은 심볼릭 추론이다. 심볼릭 추론은 전문가 지식을 논리 기반 표현 언어의 문장으로 인코딩하고 논리적 추론(logical inference)의 형태로 추론을 구현하며, 고수준 추론을 다루고 사고 과정을 모델링할 수 있다. 최근에는 표현 학습 기반 기법이 KG 추론에 제안되었다. 표현 학습은 엔티티를 연속 벡터로, 관계를 엔티티 위에 정의된 연산으로 사상하여 추론 태스크를 학습 태스크로 전환한다.
논리와 추론 규칙으로 전제에서 결론을 도출한다.
SpeakLanguage(x,y) ← LiveIn(x,z) ∧ OfficialLanguage(z,y)와 관측 사실 LiveIn(Mina Miller, USA), OfficialLanguage(USA, English)가 주어지면 새로운 사실 SpeakLanguage(Mina Miller, English)를 추론한다.추론을 연속 공간에서의 학습 문제로 전환한다.
요약하면 심볼릭 논리 추론 기법과 표현 학습 기반 기법은 KG 추론의 두 주요 방향이며, 각각 AI의 1차 물결과 AI의 2차 물결에 대응한다. 두 연구 계열 모두 장단점을 지니므로, 이 둘을 결합하는 것, 즉 뉴로-심볼릭 통합이 자연스러운 선택이며 이것이 이 책의 초점이다.
지식 그래프 추론을 논할 때 심볼릭 추론과 표현 학습은 흔히 별개의 접근으로 간주된다. 그러나 두 접근은 서로를 강화할 잠재력을 지니며, 이를 통해 더 포괄적이고 효과적인 KG 추론 모델에 도달할 수 있다.
한편으로 심볼릭 접근은 정밀하고 논리적으로 일관된 추론이 요구되는 태스크에 특히 적합하다. 논리 규칙을 활용해 해석 가능성과 일반화 가능성을 제공하며, 추론 결과에 대한 통찰력 있는 해석을 가능하게 하고 미관측 대상으로의 직접적인 일반화를 촉진한다. 반면 대규모 데이터셋으로의 확장과 복잡하거나 모호한 상황의 처리에서 난관에 부딪힌다. 명확한 규칙 집합이나 논리적 관계가 확보되지 않은 경우, 심볼릭 추론은 정확한 예측을 제공하기 어렵다.
다른 한편으로 표현 학습 기반 기법은 트리플 사이의 복잡한 패턴을 탐색함으로써 심볼릭 접근의 한계를 보완한다. KG 내부의 정교한 관계와 의존성을 포착하는 데 뛰어나며, 명시적 규칙이 없는 상황에서도 효과적인 추론을 가능하게 한다. 엔티티를 연속 벡터로 사상하고 관계를 연산으로 표현함으로써 대규모 데이터셋 처리에서 확장성을 제공한다. 다만 심볼릭 접근에 비해 해석 가능성과 일반화 가능성이 부족하고, 최적 성능을 얻기 위해 상당한 양의 학습 데이터를 요구한다.
심볼릭 추론의 강점과 표현 학습의 강점을 결합하면 KG 추론에 대한 더 포괄적인 접근에 도달한다. 심볼릭 추론의 해석 가능성과 논리적 일관성을 활용하는 동시에 표현 학습의 패턴 인식 능력과 확장성을 끌어들이면, 더 확장 가능하고 일반화 가능하며 해석 가능한 뉴로-심볼릭 모델로 이어진다.
심볼릭 추론은 대규모 문제에서 계산 비용이 크다. 대규모 KG 추론 태스크에서 전통적 심볼릭 방법은 계산 복잡도가 KG 크기에 대해 지수적으로 증가하므로 적합하지 않다. 반면 표현 학습은 상당한 계산상의 이점을 보인다. 이러한 복잡도 감소는 더 효율적이고 확장 가능한 계산을 허용하여, 복잡한 KG를 다루는 뉴로-심볼릭 모델의 성능과 적용 범위를 넓힌다.
심볼릭 논리의 강한 일반화 가능성은 뉴럴 방법의 데이터 가용성 부족을 보완하는 데 활용된다. 표현 학습은 대량의 고품질 학습 데이터에 크게 의존하지만, 뉴로-심볼릭 방법은 가용 학습 데이터 양의 제약에 크게 영향받지 않는다. 퓨샷 학습 태스크에서 뉴로-심볼릭 시스템은 심볼릭 지식을 추가 데이터로 사용해 제한된 학습 샘플을 보강할 수 있다.
뉴로-심볼릭 시스템은 추적된 추론 과정이나 결과에 대한 근거 사슬 같은 명시적 계산 과정을 제공할 수 있다. 의료 진단에서 뉴로-심볼릭 시스템은 결정을 내리는 데 그치지 않고, 의사의 진단을 돕기 위해 그 결정의 이유까지 제시하도록 기대된다.
뉴로-심볼릭 시스템이 가져오는 이점에 근거해, 이 책은 심볼릭 시스템의 이산 기호와 뉴럴 시스템의 연속 벡터를 매끄럽게 통합하여 추론 성능을 개선하는 방법을 논의하는 데 집중한다. 이는 지식 그래프를 다루고 활용하는 방식을 근본적으로 바꿀 잠재력을 지닌다.
1장은 KG 추론 문제와 이 책의 고유한 뉴로-심볼릭 관점에 대한 일반적 소개를 제공한다. 2장은 이후 장에서 사용할 기본 개념과 정의를 다룬다. 세 가지 KG 추론 태스크는 각각 3장, 4장, 5장에서 논의한다. 이어서 온톨로지를 KG에 도입하고 온톨로지를 다루는 기법을 논의한다.
이후 장에서 사용되는 기본 개념과 정의를 다룬다. 그래프와 심볼릭 논리 두 언어로 KG를 정의하고, 명제 논리·1차 논리·퍼지 논리와 논리 규칙을 소개한다.
기존 사실로 추론하여 누락된 사실을 예측하는 태스크다. 이 장은 다음 장에서 다루는 복합 질의와 대비되는 원홉 질의에만 집중한다. (1) 전통적 심볼릭 추론 방법, (2) 최근의 표현 학습 기반 방법, (3) 뉴로-심볼릭 통합 기반 방법을 포괄적으로 소개하고, 마지막에 논리 추론과 표현 학습을 결합해 KG 완성을 강화하는 저자들의 최근 성과를 제시한다.
엔티티 사이의 여러 관계나 조건을 포함해 더 진전된 추론을 수행하는, 한층 도전적인 문제를 논의한다. KG에서 복합 질의 응답에 대응하는 두 접근, 즉 (1) 전통적 부분그래프 매칭 방법과 (2) 보다 최근의 뉴로-심볼릭 방법인 논리 질의 임베딩을 다룬다. 마지막에 표현 학습과 퍼지 논리를 결합해 FOL 질의를 임베딩으로 표현하는 뉴로-심볼릭 접근을 소개한다.
논리 규칙은 도메인 지식과 가설을 표현하는 데 널리 사용되며, 3장에서 논의한 심볼릭 추론 기반 방법의 근간이다. 그럼에도 규칙 획득에는 상당한 노동이 소요된다. 이 장은 KG로부터 논리 규칙을 자동 학습하는 문제를 (1) 전통적 탐색 기반 방법과 (2) 최근의 뉴로-심볼릭 통합 접근의 두 계열로 포괄적으로 조망하고, 마지막에 최신 뉴로-심볼릭 규칙 학습 알고리즘을 소개한다.
많은 KG는 (1) 메타 수준 추상화를 위한 온톨로지 뷰와 (2) 인스턴스 수준 인스턴스화를 위한 인스턴스 뷰의 두 뷰를 표현하지만, 3~5장은 KG 추론에 인스턴스 뷰만 활용한다. 이 장은 KG 추론을 더욱 개선할 목적으로 온톨로지 뷰의 추가 정보를 결합하는 방법에 집중한다. 개념, 개념 계층, 관계 계층을 KG 추론에 주입하는 방법을 조망하고, 마지막에 KG의 온톨로지 뷰와 인스턴스 뷰를 최초로 공동 고려한 KG 임베딩 접근을 상세히 소개한다.
책을 마무리하고 향후 여러 연구 방향을 제시한다.
KG는 트리플의 집합이면서 동시에 이종 그래프다. 두 관점은 등가이며, 이 이중성이 심볼릭 추론과 표현 학습이라는 두 접근이 모두 성립하는 근거다.
KG 추론은 KG 완성(원홉 질의), 복합 질의 응답(FOL 질의), 논리 규칙 귀납의 세 태스크로 정리된다. 앞의 둘은 연역, 마지막은 귀납에 속하며 가설적 추론은 이 책의 범위 밖이다.
심볼릭 추론은 해석 가능성과 일반화 가능성을 얻는 대가로 취약성과 확장성 부족을 안는다. 표현 학습은 강건성과 확장성을 얻는 대가로 규칙 활용 불가, 데이터 의존성, 해석 불가를 안는다.
두 계열은 AI의 1차 물결과 2차 물결에 대응하며 상호 보완적이다. 통합의 목표는 확장 가능하고 일반화 가능하며 해석 가능한 추론을 동시에 달성하는 것이다.
이 책의 일관된 기술적 질문은 하나다. 심볼릭 시스템의 이산 기호와 뉴럴 시스템의 연속 벡터를 어떻게 매끄럽게 통합하는가.