기존 KGQA는 질의가 결함 없이 주어진다고 가정하지만, 실제 질의는 모호하고 부정확하다. PrefNet은 정보 검색에서 검증된 의사 적합성 피드백(Pseudo Relevance Feedback, PReF)을 그래프 데이터에 적용하여, 상위 후보 답들로부터 참 질의 구조를 역으로 추론하고 응답 성능을 함께 끌어올린다. 베이즈 규칙으로 문제를 분해하고, 각 구성 요소를 신경망으로 모델링하며, 변분 베이지안 추론으로 학습하고, 이웃 임베딩 기반 VGAE로 열등한 질의를 가지치기한 뒤, 추론된 질의로 후보 답을 재랭킹한다.
RnG-KBQA[165](랭킹-생성 전략), KVMem[103], EmbedKGQA[126] 등 KGQA 방법들은 큰 진전을 이뤘으나, 대부분 입력 질의가 정확하다고 암묵적으로 가정한다. 실제로는 세 가지 이유로 질의가 불완전하다.
정보 검색(IR) 분야는 이런 문제에 적합성 피드백(Relevance Feedback, ReF)으로 대응해 왔다 — 검색 결과에 대한 피드백으로 질의를 개선하는 기법으로, 명시적(explicit)·암묵적(implicit)· 의사(pseudo) 피드백의 세 형태가 있다. 의사 적합성 피드백은 상위 검색 결과가 적합하다고 가정하고 이를 이용해 질의를 재구성한다. IR에서는 효과가 검증됐으나 그래프 질의 시스템에서는 연구되지 않았다. 이 장은 의사 적합성 피드백을 그래프 데이터에 적용한 PrefNet을 제안한다 — 상위 후보 답들을 신호로 삼아 모호한 질의 뒤에 숨은 참 질의 구조를 추론하고, 그 추론으로 답변 자체를 재랭킹하여 KGQA 성능을 개선한다.
지식그래프는 𝒢 = (V, R, ℒ)로 표기한다.
핵심 기호 — Q: 모호한 자연어 질문, h_Q: 그 임베딩,
T: 참 질의 그래프, A_Q: 답 집합, a: 후보 답,
v_Q: 토픽(앵커) 개체, z: 잠재 경로,
r_Q: 질문이 매핑되는 유일 관계.
이 장은 1-홉 모호 질의에 집중하며, 각 질문은 단일 토픽 개체 vQ를 포함하고 vQ는 주어진다고 가정한다. 또한 각 질문은 유일한 관계 rQ에 매핑된다.
KGQA의 목표는 Pr(T|Q, vQ)·Pr(a|T, vQ)의 최대화다. 베이즈 규칙으로 이를 분해하면 의사 적합성 피드백이 자연스럽게 문제 구조 안에 들어온다.
참 질의의 사후확률은 잠재 경로 z를 경유해 분해된다:
log Pr(T|a, v_Q) = log Σ_z Pr_θ(z|a, v_Q)·Pr_η(T|z, a, v_Q) (Eq 7.6).
직관은 이웃 정보다 — vQ 주변에 bornAt·liveIn·hasChild가 있으면 사람일 가능성이 높고,
a 주변에 hasMajor·locatedIn·university_founder가 있으면 대학일 가능성이 높다.
이 이웃 신호로 vQ→a 사이의 그럴듯한 경로와 관계를 추론한다.
Eq 7.6을 직접 최적화하는 것은 모든 가능한 경로에 대한 합산이 계산 불가능(intractable)하므로 어렵다. 변분 추론에 의지하여 음의 증거 하한(negative ELBO)을 최소화한다.
따라서 Eq 7.13의 최소화가 log Pr(T|a, vQ)를 가장 잘 근사한다.
변분 사후분포 qϕ는 사전분포(Eq 7.11)와 같은 모델을 쓰되, T의 임베딩을 주입한다:
x = s_(v_Q,a) + e_T, q_ϕ(z|T,a,v_Q) = Sigmoid(x · Z) (Eq 7.15).
갱신은 경사 하강으로 수행하며, ϕ에 대한 손실의 기울기(Eq 7.16)는 변분 분포에서 뽑은
잠재 변수 N개 샘플의 몬테카를로 방법으로 근사한다(Eq 7.17).
η에 대한 기울기는 직접 계산할 수 있고, θ에 대한 기울기는
KL(qϕ ‖ Prθ)의 θ에 대한 기울기 계산과 동치다.
초기 Top-k 후보로부터 Pr(T|a, vQ)가 잠재적 참 질의 관계 집합을 생성한다. 초기 후보 집합에 잡음이 있을 수 있으므로, 생성된 T의 품질을 높이기 위해 이웃 임베딩 기반 VGAE[66]로 저품질 T를 가지치기한다. 이후 또 다른 신경망으로 Pr(Q|T, vQ) — T와 입력 모호 질의 Q의 유사도 — 를 모델링하며, [11]에서 영감을 받아 임베딩 공간의 거리로 근사한다.
완전한 KG와 에지 50%·20%를 무작위 삭제한 불완전 KG에서 PrefNet의 효과를 검증한다 — 표의 "half"는 50% 누락(50% 보존), "80% KG"는 20% 누락(80% 보존)을 뜻한다.
질의 랭킹 베이스라인 4종 — HGNet[24](입력 질의를 SPARQL로 변환하는 생성 방식), RnG-KBQA[165](부트스트래핑으로 질의 그래프 랭커·생성기 훈련), VGAE[66](변분 오토인코더 변형 — 인코더는 사전학습 BERT, 디코더는 FNN, 이웃 정보 미사용), Neighborhood-VGAE(PrefNet이 쓰는 관계 가지치기 모델, §7.3.4). QA 베이스라인 3종 — GraftNet[136], KVMem[103], EmbedKGQA[126](관계 매칭 포함 버전 — 미포함보다 성능이 좋다). 관련 방법 GRF[133]는 코드·데이터셋 모두 비공개라 비교를 향후 과제로 남긴다.
전통적 KBQA는 자연어 질의를 질의 그래프로 변환한 뒤 답을 찾지만, 입력 질의의 모호성 때문에 생성된 질의 그래프가 부정확하곤 하다. 의사 적합성 피드백은 반대로 상위 후보 답들에 따라 질의를 추론한다. MetaQA의 배경 KG 데이터 포맷이 HGNet·RnG-KBQA의 요구 형식과 달라 MetaQA 질의 랭킹 실험은 생략한다.
| 모델 | Webqsp half | Webqsp 80% KG | Webqsp full | SimpleQA half | SimpleQA 80% KG | SimpleQA full |
|---|---|---|---|---|---|---|
| RnG-KBQA | 61.2 | 63.3 | 66.7 | – | – | – |
| VGAE | 70.7 | 71.3 | 73.7 | 87.4 | 89.1 | 91.6 |
| Neighborhood-VGAE | 74.2 | 76.1 | 78.1 | 90.3 | 92.3 | 93.5 |
| PrefNet | 75.7 | 77.2 | 79.0 | 90.8 | 92.7 | 94.5 |
PrefNet의 질의 랭킹 정확도가 가장 높다 — Webqsp에서 VGAE 대비 50%·80% KG 각각 +5.0%p·+5.9%p, Neighborhood-VGAE 대비 평균 +0.9%p이며 완전 KG에서도 유사하다. 또한 50% KG 대비 80%·완전 KG에서 네 방법 모두 정확도가 높아진다 — 배경 지식그래프가 완전해질수록 모든 방법이 더 정확한 질의 그래프를 생성한다.
| 모델 | Webqsp 50% | Webqsp 80% | Webqsp 완전 | SimpleQA 50% | SimpleQA 80% | SimpleQA 완전 | MetaQA 50% | MetaQA 80% | MetaQA 완전 |
|---|---|---|---|---|---|---|---|---|---|
| GraftNet | 32.7 | 39.8 | – | 39.8 | – | – | 64.0 | – | – |
| KVMem | 44.2 | – | 46.7 | 28.9 | – | – | 63.6 | – | – |
| HGNet | 37.8 | 45.4 | 46.1 | – | – | – | – | – | – |
| RnG-KBQA | 40.6 | 48.5 | 53.1 | – | – | – | – | – | – |
| EmbedKGQA | 46.3 | 52.8 | 56.7 | 46.5 | 58.9 | 64.3 | 83.1 | 90.1 | 95.3 |
| PrefNet | 47.7 | 53.7 | 57.2 | 48.8 | 60.1 | 64.8 | 83.9 | 90.6 | 95.6 |
배경 지식그래프의 희소성(불완전성)이 커질수록 모든 방법의 Hit@1이 감소한다 — 배경 KG의 품질이 KGQA에 상당한 영향을 미친다. 베이스라인 중에서는 관계 매칭을 포함한 EmbedKGQA가 최고 정확도이고, PrefNet은 여기서 평균 1%를 추가로 개선한다. SimpleQuestions·MetaQA에서도 유사한 결과가 관찰된다.
질의 추론 컴포넌트의 실행 시간은 Webqsp·SimpleQA에서 MetaQA보다 훨씬 큰데, 배경 지식그래프가 훨씬 크기 때문이다. 긴 훈련 시간에도 불구하고 질의 추론의 테스트 시간은 비교적 짧다(Fig 7.3). 질의 랭킹(§7.3.4)과 답 재랭킹(§7.3.5)의 실행 시간은 질의 추론에 비해 무시할 만하다 — 전체 테스트 데이터셋에서 20분 미만이다.
A — 질의 추론. 모듈을 각 데이터셋의 배경 지식그래프만으로 먼저 사전훈련하고, 질문 훈련 데이터로 재훈련한다. 두 과정 모두 데이터를 훈련 80% / 검증 10% / 테스트 10%로 분할한다. 질의 추론 모듈은 모든 데이터셋에서 매우 높은 Hit@K를 보인다 — 평균 Hit@1 88.8%, Hit@3 95.8%, Hit@5 96.9%. 완전한 배경 지식그래프에서는 앵커 노드 vQ와 후보 답 a 사이의 올바른 경로를 직접 찾을 수 있어 질의 추론 모듈이 필요 없다(각주 4).
| Table 7.6 · 질의 추론 성능 | wsp 50% | wsp 80% | sQA 50% | sQA 80% | MetaQA 50% | MetaQA 80% |
|---|---|---|---|---|---|---|
| Hit@1 | 82.4 | 87.4 | 92.6 | 95.9 | 86.2 | 88.4 |
| Hit@3 | 91.8 | 93.4 | 98.8 | 99.6 | 98.1 | 93.2 |
| Hit@5 | 93.7 | 94.7 | 99.3 | 99.9 | 99.9 | 94.1 |
B — 질의 랭킹. 입력 질문이 모호할 때 참 질의 의도의 정확한 예측이 얼마나 어려운지를 실례로 보인다(Table 7.7). 질의 "thomas jefferson role in declaration independence"에서 질의 생성기 VGAE는 의도를 "film.actor.film"으로 판단한다 — "role in"이라는 구문이 보통 "누군가 영화에서 배역을 연기한다"를 기술하는 데 쓰이기 때문이다. 그러나 의사 적합성 피드백을 쓰면 질의 추론 모듈이 thomas jefferson이 정치인/외교관임을 발견하고, 이것이 참 의도 "people.person.profession"의 올바른 예측을 도와 배경 지식그래프에서 정답(statesperson)을 찾는다.
| 질문 (Table 7.7) | PrefNet이 찾은 질의 관계 | VGAE가 찾은 질의 관계 |
|---|---|---|
| Thomas jefferson role in declaration independence | people.person.profession | film.actor.film |
| State mount st. helens in | location.location.containedby | geography.mountain.mountain_type |
| Monarchy japan | location.country.form_of_government | schema.administrative_area.administrative_children |
| First gulf war fought | time.event.locations | military_command.military_commander |
| Buddha come | people.person.place_of_birth | people.person.places_lived |
| Part country new england | location.location.containedby | base.locations.countries.continent |
| Drink john pemberton create | inventor.inventions | symbols.name_source.namesakes |
| Jesus after he died cross | people.deceased_person.place_of_death | people.person.profession |
| Charles babbage discover | inventor.inventions | base.argumentmaps.innovator.original_ideas |
| Country code mexico | location.country.internet_tld | location.location.adjoin_s |
C — 질의응답. EmbedKGQA—RM은 관계 매칭 없는 EmbedKGQA, EmbedKGQA+QI는 질의 추론 모듈이 추론한 질의 정보를 EmbedKGQA의 관계 매칭 과정에 추가한 것이다 — 관계 매칭은 앵커 노드 vQ와 후보 답 a 사이의 최단 경로를 찾아 후보를 정렬하는데, 이 정렬 시 질의 추론이 만든 관계를 최단 경로에 더한다. 제안한 PrefNet이 최고 성능을 달성한다.
| Table 7.8 · QA 어블레이션 | webqsp 50% | webqsp 80% | simpleQA 50% | simpleQA 80% |
|---|---|---|---|---|
| EmbedKGQA—RM (관계 매칭 없음) | 44.8 | 50.3 | 46.5 | 58.9 |
| EmbedKGQA | 45.9 | 52.8 | 46.6 | 58.8 |
| EmbedKGQA+QI (질의 추론 추가) | 46.3 | 52.8 | 46.7 | 58.9 |
| PrefNet | 47.7 | 53.7 | 48.8 | 60.1 |
지식그래프의 심볼릭 서브그래프 정보로 후보 답을 재랭킹하는 접근은 유망한 결과를 보였다. 그래프 신경망 기반 모델의 통합이 참 질의 의도를 더 잘 예측하게 하여 뉴로-심볼릭 추론의 효과를 입증한다. 다만 현재 접근은 지식그래프의 명시적 트리플 정보만 활용하며, 질문이 지닌 다른 암묵적 의미 정보를 놓친다 — 이 암묵적 정보의 활용이 유망한 향후 방향이다.