제9장 불완전한 KG 위 뉴로-심볼릭 추론에 의한 동적 질의 응답

SECTION 9.1

서론 — 단발 질문에서 이어지는 대화로

전통적 KGQA는 실세계 대화의 반복적 본성이 아닌 단발(single-shot) 질문만을 고려해 왔다. 대화형 질의응답(ConvQA)은 사용자가 QA 시스템과 대화하듯 상호작용하게 하여 이 간극을 메운다 — Apple의 Siri, Amazon의 Alexa, OpenAI의 ChatGPT가 보여주듯 ConvQA 시스템은 큰 성공을 거두었다.

ConvQA는 사용자가 자연어 질문을 반복적으로 묻고, 시스템이 대화 맥락과 저변의 질의를 해독하며, 자연어 답을 돌려주는 멀티턴 과정이다. 풍부하고 인간다운 응답을 생성하는 모델[3, 12, 172]은 'dialogue' 대화 모델이라 부르고, KG 위 ConvQA처럼 KG의 대응 개체만으로 입력 질문에 답하기 충분한 경우는 'non-dialogue' 대화 모델이라 부른다 — 이 장은 non-dialogue ConvQA 태스크에 집중한다(Fig 9.1).

KG 위 ConvQA를 위한 기존 방법들 — Magdalena 등[63]은 개체명 인식(NER)으로 대화 속 잠재적 KG 토픽 개체를 탐지하고 그 개체들에서 출발하는 멀티에이전트 강화학습으로 답을 찾는다(성능이 탐지된 개체 품질에 크게 좌우된다). Philipp 등[29]은 대화 관련 서브그래프를 찾아 휴리스틱으로 그 안에서 답을 식별하며, 새 질문이 올 때마다 서브그래프를 확장한다. Endri 등[62]은 대조학습으로 KG 개체 임베딩을 서로 비유사하게 만들어 정답과 오답을 분리한다.

TWO LINGUISTIC PHENOMENA [148] 이런 성과에도 불구하고 불명시적(inexplicit) 입력이 ConvQA의 정답 탐색을 방해한다[13, 63, 148]. 대화 속 질의의 의미적 완전성을 해치는 흔한 언어 현상 두 가지 — 아나포라(anaphora)는 이전 맥락의 표현에 의존하는 표현 현상으로, Example 1에서 q₂의 "he"는 a₁을 가리킨다. 생략(ellipsis)은 이전 맥락에 있는 표현의 누락 현상으로, q₄의 완전형은 "Where is Herman Melville's wife from?"이어야 한다. 이에 대응해 입력 질의의 재구성(reformulation)을 학습해 원 질문을 더 의미 있게 다시 쓰고 기존 기법으로 답을 찾는 방법들이 제안됐으나[13, 108, 148], 선행 연구[57]가 보였듯 생성된 재구성은 인간이 만든 재구성에 미치지 못한다[148].

CornNet은 LLM 생성 재구성을 쓰는 non-dialogue ConvQA를 위한 새 강화학습 모델이다. 첫째, 기존 LLM인 GPT2[115]와 Bart[73]를 인간 작성 재구성을 정답으로 삼아 파인튜닝해 고품질 재구성을 생성한다. 둘째, ConvQA 성능을 더 높이기 위해 인간 수준 성능에 근접하는 티처-스튜던트 아키텍처를 제안한다 — (1) 훈련 데이터의 인간 작성 재구성으로 티처 모델을 직접 훈련하고, (2) LLM 생성 재구성을 쓰는 스튜던트 모델이 티처의 출력을 모방하도록 간접 훈련한다. 인간 작성 재구성은 훈련·검증 데이터에만 존재한다. 마지막으로 답을 찾기 위해 RL 모델이 KG 위를 걸으며 정책망에서 행동을 샘플링해 걸음의 방향을 정하고 후보 답을 식별한다.

SECTION 9.2

문제 정의 — 대화, 턴, 그리고 움직이는 토픽

KG는 𝒢 = (V, R, ℒ)로 표기하며, 각 트리플/에지 (h, r, t)는 고유한 에지 임베딩 u_r을 갖는다. 핵심 기호 — C: 대화, T: C의 턴 수, q_i: i번째 질문, Ref^k_{q_i}: q_i의 k번째 재구성, a_i: q_i의 답, v_q1: 대화의 주 토픽 개체, s ∈ S: RL 상태, A_s: 상태 s의 가능 행동 집합, R: 보상, θ / π_θ: 정책망 파라미터와 정책.

FIG 9.1 · EXAMPLE 1 기반 — Moby-Dick 대화 5턴 워크스루 (턴을 클릭하면 상세가 표시된다)

TOPIC ENTITY — 이 턴의 토픽 개체

LINGUISTIC PHENOMENON — 언어 현상

CORNNET — 시스템의 대응

Conversation

T턴 대화 C = (q₁,a₁), …, (q_T,a_T). Example 1은 T = 5턴이다. q₁은 잘 형성되고 나머지 q_t는 모두 불명시적이라 가정한다.

Question

각 질문 q_t는 Ω_t개 단어의 시퀀스. 각 질문은 KG의 유일한 관계 r_qt에 매핑될 수 있다고 가정하며, 문법적 정확성은 가정하지 않는다.

Topic Entity

각 q_t는 토픽/중심 개체 v_qt를 갖는다. q₁의 토픽만 훈련 데이터에 주어지고 q₂…q_T의 토픽은 주어지지 않는다. Example 1의 다섯 토픽은 Moby Dick, Herman Melville, Herman Melville, Moby Dick, Moby Dick이다.

Answer

답 a_t는 KG 개체들의 집합으로 복수·단일·null 값이 가능하다. 진위(true/false) 질문을 제외하면 모든 답 개체가 KG에 존재한다고 가정한다.

Reformulation

입력 질문과 같은 정보를 다른 방식으로 표현하는 문장. 훈련 데이터에서 각 질문은 복수의 재구성을 갖는다고 가정한다.

Turn

C의 각 질문은 그 재구성들·대응하는 답과 함께 하나의 턴 t_i를 구성한다 — 턴은 질문 q_i, 답 a_i, q_i의 재구성들을 포함한다.

PROBLEM 9.1 · 지식그래프 위 대화형 질의응답

주어진 것 — (1) 지식그래프 𝒢, (2) 각 질문이 복수의 인간 작성 재구성을 포함하는 대화 훈련 집합, (3) 질문 재구성이 제공되지 않는 대화 테스트 집합.
출력 — (1) 훈련된 모델, (2) 테스트 집합의 각 대화 속 각 질문에 대한 답.

9.2.1 예비 지식 — 강화학습과 MDP

RL 문제는 통상 마르코프 결정 과정(MDP)[25, 26]으로 정식화된다 — M = (S, A, R, P, γ). S는 상태 공간, A는 행동 공간이고, R: S × A → ℝ은 상태-행동 쌍을 에이전트가 받을 보상 스칼라에 매핑하는 환경의 보상 함수, P: S × A → S는 상태-행동 쌍에서 다음 상태로의 전이 확률을 정의하는 전이 함수, γ ∈ [0, 1]은 할인 인자다. KGQA를 RL 태스크로 모델링하면 에이전트는 KG에서 정답을 찾는 정책을 학습하고, 새 질의를 받으면 정책 함수의 안내에 따라 결정을 내린다.

SECTION 9.3

제안 방법 — 티처를 모방하는 스튜던트, 그래프를 걷는 에이전트

아나포라와 생략 때문에 현행 ConvQA는 입력 질의를 다시 써서 이해하기 쉬운 재구성을 생성하곤 한다. CornNet은 이 아이디어를 따라 GPT2와 Bart를 파인튜닝해 재구성을 생성하되, 두 LLM이 좋은 생성기임에도 여전히 인간 수준에 못 미치므로 티처-스튜던트 아키텍처를 제안한다 — 티처는 인간 작성 재구성으로 질문 표현을 학습하고, 스튜던트는 LLM 생성 재구성을 입력으로 받아 티처의 출력을 모방함으로써 LLM 재구성을 쓰면서도 티처와 같은 성능에 도달하고자 한다. 매 반복마다 모델은 대화 이력과 현재 질의로 현재 토픽 개체를 식별하고, RL 에이전트가 토픽 개체에서 출발해 KG를 여행하며 답을 찾는다 — 대화가 끝날 때까지 턴마다 반복된다(Fig 9.2).

9.3.1 스튜던트 모델 — LLM 재구성 인코더

A — 컨텍스트 인코더 (Eq 9.1–9.2)

질문 q_i의 앞뒤에 경계 표시 토큰 [CLS]·<s>를 붙이고 사전학습 BERT[37]로 토큰별 문맥 임베딩을 추출한다:

[h_CLS, w₁, …, w_{Ω_t}, h_s] = BERT([CLS], w₁, …, w_{Ω_t}, <s>) (9.1)
h_{q_i} = FFN(h_CLS ‖ h_s) (9.2)

[CLS] 임베딩과 <s> 임베딩의 변환으로 문맥 질문 임베딩을 얻는다(FFN: 순전파 신경망).

B — 컨텍스트 융합 (Eq 9.3)

훈련 중 각 입력 질문에는 생성된 재구성이 여러 개 대응한다. 각 재구성의 문맥 임베딩을 컨텍스트 인코더로 얻은 뒤, N개 재구성 임베딩과 원 질문 문맥 임베딩을 쌓아 N+1개 임베딩의 시퀀스를 만들고, 이를 하나의 언어 문장 임베딩처럼 Transformer 인코더[149]에 통과시켜 병합한다:

M_{q_i} = TRANSFORMER([h_{q_i} ‖ h_{Ref¹_{q_i}} ‖ … ‖ h_{Ref^n_{q_i}}])[0] (9.3)

M_{q_i}는 재구성을 병합한 뒤의 질의 임베딩이다.

C — 대화 이력 통합 (Eq 9.4)

ConvQA의 또 다른 문제는 사용자 입력의 모호성이다 — Example 1의 q₃ "And where is he from originally?"에서 대화 이력 없이는 대명사 'he'의 선행사를 식별할 수 없다. 따라서 대화 이력은 CornNet의 성공에 필수적이며, LSTM으로 모든 대화 이력을 인코딩한다:

l_{q_i} = LSTM(M_{q_i}) (9.4)

LSTM의 출력 l_{q_i}가 질의 임베딩으로 취급되어 다른 컴포넌트들이 사용한다. 여기서 쓰이는 재구성은 LLM이 생성한 것이다.

9.3.2 티처 모델 — 인간 작성 재구성 인코더

재구성은 여러 방법에서 QA 성능 향상에 쓰여 왔다 — Christian 등[13]은 Seq2Seq 기반 RL 에이전트로 입력 질문을 기계 판독형 재구성으로 변환하고, Svitlana 등[148]은 Transformer 디코더 기반 질문 재작성 모델을 제안했다. 그러나 연구[57]에 따르면 대부분의 질문 재구성 방법은 성능을 약 2–3%만 개선하며, LLM이 온갖 자연어 태스크에서 인기가 폭발했음에도 LLM 생성 재구성 기반 ConvQA 성능은 여전히 인간 재구성이 상한이다[57, 148].

EQ 9.5 · 티처-스튜던트 모방 손실 (Fig 9.3 — Reformulation Imitator)

티처 네트워크는 스튜던트와 같은 구조지만 인간 작성 재구성을 입력으로 쓴다. 훈련의 목표는 스튜던트의 출력 질문 임베딩을 임베딩 공간에서 티처의 출력에 최대한 근접시키는 것이며, 거리는 L2 거리로 측정한다:

ℒ = Σ_{q_i∈C} [d(Υ_{q_i}, l_{q_i})] (9.5)

Υ_{q_i}는 입력 질문 q_i에 대한 티처의 출력, l_{q_i}는 재구성을 포함한 같은 입력에 대한 스튜던트의 출력이다. 이 거리를 최소화하면 합성 재구성만 접근 가능한 상황에서도 스튜던트가 티처와 유사한 출력을 내도록 보장할 수 있다. 티처는 사전훈련 후 고정된 채 스튜던트를 훈련한다. 테스트 단계에서는 질문이 주어지면 먼저 LLM으로 복수의 재구성을 생성하고 스튜던트 모델로 인코딩한다. 티처 모델을 테스트 데이터에 직접 쓰면 인간 재구성과 LLM 생성 재구성의 데이터 분포 차이 때문에 제안 모델보다 약간 열등하다.

9.3.3 토픽 개체 추론 (Eq 9.6–9.8)

MLP 분류기 — 토픽 유지/변경 판정

대화 중 토픽 개체는 시간에 따라 변할 수 있다. 대화 이력과 현재 질문에 기반해 현재 토픽 개체를 결정하며, 토픽 개체가 유지되는지를 MLP로 판정한다 — 분류기가 현재 질문의 토픽 개체가 이전 질문의 답이 아니라고 예측하면, 토픽 개체를 주 토픽 개체 v_q1로 설정한다. 분류기는 ReLU 활성화의 FFN과 분류층으로 구성되고, 분류층은 2차원 출력에 softmax를 적용해 교차 엔트로피 손실을 계산한다(PyTorch 인덱스 표기로 v_{q_i} = a_i−1일 확률은 2차원 출력의 두 번째 원소):

Pr(v_{q_i} = aⁱ⁻¹) = MLP_classifier(FNN(l_{q_i}))[1] (9.6)

A — 토픽 개체 선택기 사전훈련. 토픽 개체 선택기의 목표는 RL 모델의 입력이 되는 대화 내 올바른 토픽 개체의 식별이다. RL 모델의 훈련 안정화를 위해 분류기 파라미터를 이진 교차 엔트로피 손실로 사전훈련한다:

ℒ₁ = −[y·log(Pr(v_{q_i} = aⁱ⁻¹)) + (1−y)·log(1 − Pr(v_{q_i} = aⁱ⁻¹))] (9.7–9.8)

9.3.4 질의응답 — MDP 정식화

STATES · 상태

i번째 단계의 상태는 삼중 s_t = (n_i, l_q, g_i) — n_i는 에이전트가 있는 현재 개체, l_q는 앞의 방법으로 생성한 질문 임베딩, g_i는 탐색 이력 정보다. (n_i, g_i)는 상태 의존 정보, l_q는 모든 상태가 공유하는 전역 문맥이다.

ACTIONS · 행동

상태의 가능 행동 집합은 정점 n_t의 모든 나가는 에지 — A_s = {(r_i, u_ri, e_e′) | (n_t, r_i, e′) ∈ 𝒢}. 에이전트는 에지 라벨 r_i와 목적 정점 e′를 알고 어느 에지를 탈지 고른다. A_s = (r_i, e_e′)만 쓰는 기존 방법[63, 79]과 달리 고유 에지 임베딩 u_r도 사용한다. 탐색 종료 옵션을 위해 모든 개체에 셀프루프 에지를 추가하고, 트리플의 역관계도 그래프에 포함한다.

TRANSITION · 전이

전이 함수 δ: S × A → S는 다음 상태의 확률 분포 δ(s_{t+1}|s_t, a_t)를 나타낸다. 현재 상태 s_t에서 적절한 행동 a_t를 골라 다음 상태 s_{t+1} = (n_{t+1}, l_q, g_{t+1})에 도달한다 — n_t와 g_t는 갱신되고 질의·답은 그대로다.

REWARDS · 보상

현재 위치가 정답이면 R_b(s_t) = 1, 아니면 0을 받는다. 실험에서는 γ = 1로 설정한다.

9.3.5 정책망 (Eq 9.9–9.11)

탐색 이력 LSTM과 정책

𝒢의 모든 개체·관계에 밀집 벡터 임베딩 e ∈ ℝ^d, r ∈ ℝ^d를 부여한다. 행동 a_t = (r_{r_i}, u_{r_i}, e_e′) ∈ A_t는 관계 임베딩·고유 에지 임베딩·끝 노드 임베딩의 연결(concatenation)로 표현된다. 탐색 이력 (n₁ = v_{q_i}, r₁, n₂, …, n_t) ∈ H는 t단계까지의 관측·행동 시퀀스로, LSTM으로 인코딩한다:

g₀ = LSTM(0, [e_{v_qi} ‖ l_{q_i}]) (9.9)
g_t = LSTM(g_t−1, a_t−1), t > 0 (9.10)

질문 임베딩 l_{q_i}가 e_{v_q}와 함께 시작 행동을 이룬다. 행동 공간은 A_t의 모든 행동 임베딩을 쌓아 인코딩한다 — A_t ∈ ℝ^|A_t|×3d. 정책망 π는:

π_θ(a_t|s_t) = δ(A_t × W₂ ReLU(W₁[n_t ‖ l_{q_i} ‖ g_t])) (9.11)

δ는 softmax 연산자다.

9.3.6 지식 기반 소프트 보상 (Eq 9.12–9.13)

ConvQA의 약한 감독(weak supervision) 때문에 에이전트는 목표 개체에 도달해야만 양의 보상을 받는다 — 이런 지연되고 희소한 보상은 수렴을 크게 늦춘다. 이를 해결하기 위해 목표 답이 아닌 개체들에도 정답과의 유사도를 재는 소프트 보상을 부여한다. 이는 수렴을 가속하고 KG의 불완전성을 완화한다. 모든 노드·에지의 초기 개체·관계 임베딩은 ComplEx[147]로 학습하며, n_t가 정답일 확률은:

SOFT REWARD 전략

Pr(n_t | l_{q_i}, v_{q_i}, 𝒢) = Re(< l_{q_i}, e_{n_t}, e_{v_qi} >) (9.12)
R(s_t) = R_b(s_t) + (1 − R_b(s_t))·Pr(n_t | l_{q_i}, v_{q_i}, 𝒢) (9.13)

목적지 n_t가 𝒢 기준 정답이면 에이전트는 보상 1을 받고, 아니면 사전학습 분포로 가중된 사실 점수 Pr(n_t|l_{q_i}, v_{q_i}, 𝒢)를 받는다.

9.3.7 훈련 — REINFORCE와 엔트로피 정규화 (Eq 9.14–9.18)

몬테카를로 · REINFORCE · 탐험 장려

대화 집합이 주어지면 보상을 최대화하는 최선의 답 a* = argmax_a Σ_C Σ_T R(a_i|q_i)를 반환하고자 한다. 목표는 정책 하에서 반환된 답의 기대 보상 𝔼_{a₁,…,a_T∼π_θ}[R(s_t)]의 최대화다. 기대값 계산이 어려우므로 몬테카를로 샘플링으로 불편 추정치를 얻는다:

𝔼_{a₁,…,a_T∼π_θ}[R(s_t)] ≈ (1/N) Σ_i=1^N Σ_j=1^T R(s_t)·π_θ(a_t|s_t) (9.14)

실험에서는 훈련 예시마다 복수의 롤아웃을 실행해 기대 보상을 근사하며, 롤아웃 수는 20으로 고정한다. 기울기는 REINFORCE[155]로 계산한다:

∇_θ𝔼[R(s_t)] = Σ_i=1^T ∇_θπ_θ(a_t|s_t)·R(s_t) ≈ (1/N) Σ_i=1^N Σ_j=1^T R(s_t)·∇_θ log(π_θ(a_t|s_t)) (9.15–9.16)

훈련 중 정책이 샘플링하는 경로의 다양성을 장려하기 위해 [63]이 제안한 엔트로피 정규화 항을 비용 함수에 더한다:

H_π,θ(·, s) = −Σ_{a∈A_s} π_θ(a|s)·log π_θ(a|s) (9.17)
최종 목적: 𝔼_{a₁,…,a_T∼π_θ}[R(s_t)] + λ·H_π,θ(·, s) (9.18)

H_π,θ는 더 나은 탐험을 보장하고 에이전트가 국소 최적에 갇히는 것을 막는다. 훈련 후 테스트 단계에서는 질의가 주어지면 KG의 모든 개체를 정답 확률로 랭킹한다 — 정책망이 빔 서치로 최우도 top-k 경로를 유지하고 가능도에 따라 랭킹하며, top-k 후보에 없는 나머지 개체들은 ComplEx로 Eq 9.12에 따라 랭킹한다.

SECTION 9.4

실험 — 정확성과 효율성, 두 질문

공개 데이터셋들에서 CornNet을 평가하며 두 질문에 답한다 — (1) 제안한 CornNet 알고리즘은 ConvQA에 얼마나 정확한가? (2) 제안한 CornNet 알고리즘은 얼마나 효율적인가?

0.417

ConvQA Hit@5 — CONQUER 대비 +4.5%, CONVEX 대비 +20%

+13.7%

도메인별 H@8 평균 개선 (H@5 +6.6%) — 2위 CONQUER 대비

+2.2%

고유 에지 임베딩 u_r의 평균 QA 성능 기여

83.2%

사전훈련 후 토픽 개체 선택기의 분류 정확도

9.4.1 실험 설정

ConvQuestions [29]

총 6,720개 대화, 각 5턴. "Books", "Movies", "Soccer", "Music", "TV Series"의 5개 도메인에 속하며 도메인당 훈련 1344 / 검증 448 / 테스트 448 대화다.

ConvRef [63]

총 6,720개 대화, 각 5턴. 도메인 구성과 분할은 ConvQuestions와 동일하다.

두 데이터셋 모두 Wikidata를 배경 KG로 쓰는데, 전체 Wikidata는 약 20억 트리플로 극히 크다. 따라서 실험에서는 Wikidata의 트리플 부분집합을 샘플링한다 — 먼저 Wikidata와 QA 데이터셋의 중첩 개체를 취하고, 그 개체들의 1-홉 이웃을 모두 얻는다. 1-홉 이웃은 원본 데이터 덤프와 개체들의 온라인 Wikidata 웹사이트 양쪽에서 검색한다.

베이스라인 4종 — Convex[29](서브그래프를 추출한 뒤 그 안에서 답을 식별), Conqer[63](현재 최신(SOTA) 베이스라인 — 재구성을 활용하는 RL로 KG에서 답 탐색), OAT[102](JSON류 구조를 입력으로 받아 광범위한 그래프 질의를 모델링하는 논리 형식(Logical Form, LF) 문법을 생성하는 Transformer 기반 모델 — LF 적용으로 답을 찾는다), Focal Entity[71](그래프 신경망으로 답을 찾는 새로운 그래프 기반 모델). 재구성 생성 LLM 2종 — GPT2[115]와 Bart[73]. 각 입력 질문마다 복수의 재구성을 생성하고 어텐션 메커니즘으로 모델 내부에서 집계한다. 지표 — P@1(상위 1위 정밀도), MRR(첫 문맥 경로가 검색된 순위의 역수 평균), H@k/Hit@k(정답이 상위 k위 내에 검색된 비율).

9.4.2 주요 결과 — Table 9.3 (ConvQA · ConvRef)

모델	ConvQA		ConvRef
모델	Hit@5	MRR	Hit@5	MRR
CONVEX	0.219	0.200	0.257	0.241
CONQUER	0.372	0.327	0.427	0.382
OAT	–	0.260	–	–
Focal Entity	–	0.248	–	–
CornNet	0.417	0.337	0.477	0.353

A — ConvQA 데이터셋 종합 성능. CornNet은 ConvQA에서 H@5와 MRR 지표 모두 기존 베이스라인을 능가한다 — H@5는 CONQUER보다 4.5%, CONVEX보다 20% 우수하다. MRR은 CONVEX가 최저(CornNet보다 13.7% 낮음)이고 CONQUER가 2위지만 역시 CornNet보다 1% 낮다. OAT는 소스 코드가 비공개라 [102]의 결과를 그대로 인용했는데, P@1은 가장 높지만 MRR은 CornNet보다 7.3%p 낮다. Focal Entity는 P@1 2위·MRR 3위다. ConvRef에서도 유사하다 — CornNet은 Hit@5 최고(CONQUER 대비 +5%)이고 P@1·MRR은 2위다. OAT의 소스 코드 부재와 Focal Entity의 ConvRef 실행 실패로 두 방법의 ConvRef 결과는 분석에 포함할 수 없다.

도메인별 성능 — Table 9.2 (H@3 / H@5 / H@8)

모델	Movies			TV series			Music			Soccer
모델	H@3	H@5	H@8	H@3	H@5	H@8	H@3	H@5	H@8	H@3	H@5	H@8
ConvQA
Conv	0.345	0.345	0.345	0.303	0.308	0.309	0.213	0.217	0.221	0.2019	0.2019	0.2019
Conquer	0.336	0.343	0.354	0.375	0.396	0.421	0.279	0.282	0.289	0.325	0.343	0.350
CornNet	0.385	0.456	0.514	0.437	0.482	0.587	0.290	0.356	0.392	0.288	0.418	0.550
ConvRef
Conv	0.345	0.345	0.345	0.303	0.308	0.308	0.213	0.217	0.221	0.202	0.202	0.202
Conquer	0.389	0.404	0.429	0.435	0.442	0.485	0.371	0.398	0.413	0.371	0.384	0.393
CornNet	0.393	0.461	0.521	0.436	0.533	0.564	0.377	0.447	0.484	0.353	0.385	0.425

// 원문 조판의 Table 9.2에는 Movies·TV series·Music·Soccer 4개 도메인 열만 수록되어 있다 — 산문이 언급하는 Books 도메인 열은 표에 없다. ConvRef의 TV series H@3에서는 Conquer(0.435)가 CornNet(0.436)에 근소하게 뒤진다

B — 도메인별 성능. CornNet은 ConvQuestions 벤치마크의 대부분 도메인에서 다른 베이스라인을 능가한다 — 2위 베이스라인 CONQUER 대비 평균 H@8 +13.7%, H@5 +6.6%이며, H@3는 평균 0.58% 낮아 근소하게 밀린다. Books 도메인의 상대적 부진은 "yes/no" 질문과 플롯(줄거리) 관련 질의의 존재 때문일 가능성이 높다 — 토픽 개체 선택기가 토픽 개체를 정확히 결정하기 어려워져 모델 예측에 도전이 된다. ConvRef 데이터셋에서도 유사한 결과가 관찰된다.

9.4.3 어블레이션 연구와 효율성

A — 재구성의 효과. GPT2·Bart 두 LLM으로 재구성을 생성하며, 재구성을 쓰지 않을 때는 질문 인코더의 출력을 LSTM의 입력으로 직접 쓴다. 재구성 사용은 대부분의 경우 ConvQA 성능을 실제로 높인다. GPT2 재구성과 Bart 재구성의 성능은 매우 유사하고, 인간 작성 재구성이 최고 성능이다.

Table 9.4 · 재구성 효과	P@1	Hit@3	Hit@5	Hit@8
재구성 없음	0.231	0.373	0.445	0.474
GPT2 재구성	0.212	0.367	0.451	0.504
Bart 재구성	0.221	0.376	0.441	0.494
인간 재구성	0.257	0.395	0.463	0.518

B — 티처-스튜던트 모델의 효과. LLM 생성 재구성만 쓰면 성능이 티처-스튜던트 모델보다 약 3% 낮고, 인간 작성 재구성으로 훈련하고 생성 재구성으로 테스트하면(Train test different) CornNet보다 약 1.3% 낮다.

Table 9.5 · 티처-스튜던트 효과	P@1	Hit@3	Hit@5	Hit@8
GPT2 재구성	0.212	0.367	0.451	0.504
CornNet (GPT2)	0.265	0.404	0.477	0.526
Bart 재구성	0.221	0.376	0.441	0.494
CornNet (Bart)	0.244	0.413	0.491	0.523
Train test different	0.237	0.389	0.472	0.507

C — 효율성. ConvRef 데이터셋에서의 훈련·테스트 시간 비교(Fig 9.4)에서 CornNet의 훈련·테스트 시간이 가장 짧고 Conv가 가장 길다. 짧은 훈련 시간에도 불구하고 CornNet은 다른 베이스라인 대비 더 좋거나 대등한 ConvQA 성능을 달성한다.

D — 고유 관계(에지) 임베딩의 효과. RL 행동 공간에서 고유 에지 임베딩 사용의 효과를 검증한다 — 실험에는 재구성 4개를 사용하며, "CornNet -"는 고유 에지 임베딩을 쓰지 않는 CornNet이다. 고유 에지 임베딩 사용은 QA 성능을 평균 2.2% 개선한다.

Table 9.6 · 고유 에지 임베딩	P@1	Hit@3	Hit@5	Hit@8	MRR
CornNet -	0.227	0.396	0.469	0.507	0.330
CornNet	0.265	0.404	0.477	0.526	0.353

E — 토픽 개체 선택기의 효과. 토픽 개체 선택기는 훈련 데이터로 사전훈련하며, 훈련 중에는 티처 모델이 입력 질문과 재구성을 인코딩한다. 토픽 개체 선택기 사전훈련 후에는 새 티처 모델이 RL 기반 QA 모델과 함께 재훈련된다. 사전훈련 후 분류기의 정확도는 83.2%로 비교적 높다.

불완전한 KG 위 뉴로-심볼릭 추론에 의한
동적 질의 응답 — CornNet