Knowledge Graphs and LLMs in Action · Chapter 11

그래프를 걷는 법:
표현학습과 그래프 신경망

그래프는 점과 선으로 이루어졌지만, 학습기는 그 풍경을 그대로 읽지 못한다. 제11장은 복잡한 관계의 지형을 벡터의 좌표로 옮기고, 이웃의 말을 모아 노드의 뜻을 갱신하며, 마침내 GNN과 LLM이 한 시스템 안에서 서로의 부족함을 메우는 과정을 설명한다.

옛 지도를 읽으려면 산줄기와 물길을 함께 보아야 한다. 그래프를 읽는 일도 다르지 않다. 노드 하나의 속성만이 아니라, 그 노드가 어디에 놓였고 누구와 이어졌는지를 함께 보아야 비로소 구조의 뜻이 드러난다.
범위: 원서 272–301쪽 핵심: Embedding · Encoder–Decoder · GNN 응용: KG Completion · Node/Link Tasks 연계: GNN × LLM
Opening

손으로 깎던 특징에서, 스스로 배우는 표현으로

앞선 두 장은 사람이 그래프의 성질을 골라 특징으로 만드는 법을 다뤘다. 차수, 중심성, 경로와 같은 수치는 해석하기 좋지만, 실제 지식그래프가 수백만 노드와 관계로 커지면 설계와 계산의 비용이 급격히 늘어난다. 제11장은 이 병목을 표현학습으로 넘는다.

1

문제

수작업 특징은 투명하지만 규모가 커질수록 설계 비용과 유지 비용이 커진다.

2

전환

그래프 표현학습은 구조와 노드 속성에서 조밀한 벡터를 자동으로 학습한다.

3

도구

GNN은 이웃의 정보를 반복적으로 집계·변환해 다운스트림 태스크에 필요한 특징을 발견한다.

이 장의 실용적 관점은 알고리즘 이름을 외우는 데 있지 않다. 데이터의 구조, 새로운 노드의 유입 여부, 계산 자원, 설명 가능성 요구, 최종 태스크를 보고 어떤 표현 방식을 택할지를 판단하는 데 있다.
11.1 · Embeddings in GRL

그래프 표현학습의 세 세대

그래프 표현학습의 역사는 복잡한 구조를 낮은 차원으로 옮기는 작업에서 시작해, 무작위 보행으로 관계의 문맥을 포착하고, 마침내 신경망이 구조와 속성을 함께 읽는 단계로 나아간다.

FIRST GENERATION전통적 그래프 임베딩

고전적 차원 축소의 관점에서 복잡한 그래프를 더 단순한 공간으로 옮기되 핵심 구조를 보존한다.

SECOND GENERATIONword2vec의 영향

Node2Vec처럼 노드의 주변 문맥을 무작위 보행으로 수집해 의미 있는 관계 패턴을 벡터에 담는다.

THIRD GENERATIONGNN과 딥러닝

이미지에서 특징을 자동 학습하듯, 그래프의 이웃 구조와 상호작용을 신경망이 직접 학습한다.

이산 구조에서 연속 공간으로

그래프를 도시의 길과 교차로 목록으로만 설명하면 관계를 계산하기 어렵다. 임베딩은 각 노드에 좌표를 부여한 지도와 같다. 인코더 함수는 노드와 주변 구조, 노드 특징을 다차원 벡터 공간으로 옮기며, 그 공간의 거리가 원래 그래프에서 중요한 관계를 반영하도록 최적화된다.

원래 그래프 encode(x) zᵤzᵥ 연속 임베딩 공간
Geometry · Position · Structure

어떤 공간에, 무엇을 보존할 것인가

임베딩은 단지 벡터를 만드는 일이 아니다. 벡터가 놓일 기하 공간과, 그 벡터가 보존해야 할 구조를 먼저 정해야 한다.

유클리드 공간
쌍곡 공간

유클리드 공간

좌표와 직선거리로 해석하기 쉽고, 대부분의 ML 모델이 기본적으로 가정한다. 좌표 차이에 따라 거리가 선형적으로 증가하며 공간의 성질이 위치에 따라 달라지지 않는다.

쌍곡 공간

경계에 가까워질수록 거리와 가용 공간이 급격히 커진다. 조직도, 생물학적 분류체계, 인터넷 토폴로지처럼 가지가 지수적으로 늘어나는 계층 구조에 적합할 수 있다.

비유클리드 공간이 언제나 우월한 것은 아니다. 그래프가 계층적이라는 강한 근거가 있을 때 선택하고, 거리 계산·시각화·해석을 포함한 전체 파이프라인을 함께 바꿔야 한다.

위치 임베딩과 구조 임베딩

구분보존하려는 것대표적 직관잘 맞는 태스크
위치 임베딩전역 위치, 커뮤니티 사이의 다리, 노드 간 거리누가 도시의 중심에 있고 어느 길목을 잇는가비지도 링크 예측, 클러스터링
구조 임베딩국소 연결 패턴, 역할의 유사성멀리 떨어져도 같은 형태의 골목을 관리하는 두 사람지도 노드 분류, 그래프 분류
최근의 위치 인식 GNN은 두 관점을 엄격히 나누지 않는다. 국소 패턴을 잘 읽는 GNN에 전역 위치 정보를 주입해, 위치와 역할을 상보적으로 표현한다.
Learning Strategy

고정된 퍼즐을 풀 것인가, 풀이법을 배울 것인가

전이적 학습 · Transductive

훈련 시 존재했던 고정 노드의 임베딩을 직접 최적화한다. 기존 노드 사이의 미지 라벨이나 미지 관계를 추론하는 데 강하지만, 새 노드가 들어오면 표현을 바로 만들 수 없다.

귀납적 학습 · Inductive

노드 특징과 구조를 임베딩으로 바꾸는 매핑 함수를 학습한다. 훈련 때 보지 못한 새 사용자나 새 상품에도 같은 규칙을 적용할 수 있어 동적 그래프에 적합하다.

비지도 학습

라벨 없이 누가 누구와 연결되는지를 보며 자연스러운 구조와 군집을 발견한다. 그래프 구조 자체가 중요한 정보를 품고 있다는 가정에 기대는 방식이다.

지도 학습

직무, 질병 분류, 전문가 라벨처럼 추가 문맥을 사용해 특정 목표에 맞는 표현을 학습한다.

임베딩 전략 나침반

제11장의 판단 기준을 조합해 적합한 방향을 확인한다.

대화형

세 응용이 보여주는 선택의 차이

사회관계망

역할 유사성에는 구조 임베딩, 영향력과 다리 역할에는 위치 임베딩이 유용하다. 새 사용자가 계속 오므로 귀납적 능력이 중요하다.

단백질 상호작용망

생물학의 계층 구조는 쌍곡 임베딩과 맞을 수 있다. 새로운 발견을 계속 반영해야 하므로 귀납 학습이 필요하다.

의료 지식그래프

상위 질병 범주에서 세부 질환으로 내려가는 계층성, 서로 다른 의학 분야의 유사 개념, 전문가 라벨을 함께 고려한다.

11.2 · Encoder–Decoder

그래프를 번역하고, 다시 뜻을 복원하는 틀

인코더–디코더는 행렬분해, 무작위 보행, GNN을 한눈에 비교하게 하는 통합 관점이다. 인코더는 그래프를 벡터로 압축하고, 디코더는 그 벡터로 원래의 중요한 성질을 복원한다.

원래 그래프
인접 구조 + 노드 특징
인코더
노드 → 저차원 벡터 z
디코더
이웃·연결·라벨 재구성

인코더의 입력

노드 연결을 나타내는 인접 행렬과 각 노드의 속성 정보다. 단순한 조회표부터 구조와 특징을 함께 처리하는 신경망까지 다양한 구현이 가능하다.

디코더의 역할

노드가 실제로 연결되는지, 이웃이 얼마나 겹치는지, 노드 라벨이 무엇인지 등을 예측한다. 실제 그래프와의 차이가 인코더를 훈련하는 신호가 된다.

좋은 번역은 원문의 문장을 그대로 옮기는 데 그치지 않고 뜻을 보존한다. 좋은 임베딩도 그래프의 모든 세부를 복사하지 않고, 목적에 필요한 구조를 벡터 안에 남긴다.

단순한 인코더는 빠르지만 복잡한 패턴을 덜 포착한다. 신경망 인코더는 풍부한 표현을 만들 수 있으나 더 많은 데이터와 계산이 필요하다. 인코더–디코더 틀은 이 교환관계를 비교하는 공통 언어가 된다.

11.2.4 · Node2Vec

가라테 클럽의 길을 걸으며 공동체를 읽다

가라테 클럽 네트워크는 강사 노드 0과 관리자 노드 33의 갈등 뒤 두 파벌로 나뉜 사례다. Node2Vec은 친구 관계 위를 여러 번 걸으며 함께 등장하는 노드의 문맥을 배우고, 벡터 유사도로 우정과 파벌을 복원한다.

1

무작위 보행

0 → 1 → 2 → 3과 같은 보행을 만들며 넓은 탐색과 깊은 탐색의 균형을 조절한다.

2

벡터 생성

보행 문맥에서 자주 가까이 등장하는 구성원은 유사한 벡터를 갖도록 학습된다.

3

복원

소프트맥스 기반 디코더는 한 노드의 벡터가 주어졌을 때 다른 노드가 보행 주변에 나타날 가능성을 계산한다.

작은 무작위 보행 실험

시작점을 고르고 보행을 실행해, 국소 관계가 문맥 시퀀스로 바뀌는 모습을 확인한다.

Node2Vec 직관
0 1 2 3 8 9 13 23 30 32 33
경로가 여기에 표시된다.

원서의 Listing 11.1은 NetworkX의 가라테 클럽 그래프, Node2Vec 학습, t-SNE 시각화, 유사도 계산, 파벌 예측을 한 흐름으로 묶는다.

공동체 구조

실제 분열 뒤 같은 파벌에 속한 구성원은 벡터 공간에서도 가까워지는 경향을 보인다.

교량 구성원

두 파벌에 모두 친구가 있는 구성원은 중간적 위치를 반영하는 벡터를 갖는다.

지도자 역할

노드 0과 33은 모두 중심적이지만 반대 진영의 지도자라는 차이가 표현에 반영된다.

11.3 · Shallow Embeddings

얕은 임베딩: 노드마다 한 줄씩 놓인 좌표 사전

얕은 임베딩의 인코더는 복잡한 계산 없이 조회표에서 해당 노드의 행을 꺼낸다. 단순하기 때문에 개념을 이해하기 좋고 작은 정적 그래프의 기준선으로 유용하지만, 규모와 변화에 약하다.

node 0[ 0.21, -0.48, 0.77, ... ] node 1[ 0.18, -0.42, 0.70, ... ] node 2[ -0.55, 0.12, 0.09, ... ] node 3[ 0.63, 0.34, -0.22, ... ]

인코더–디코더 관점

인코더는 노드별 행을 반환하고, 디코더는 이 벡터들로 연결 여부나 이웃 유사성을 복원한다. 훈련 과정에서 자주 상호작용하는 노드는 가까운 벡터가 되도록 조정된다.

매개변수 비효율

노드마다 별도 벡터가 필요해 노드 수에 비례해 매개변수가 늘어난다.

공유 부재

그래프 곳곳에서 반복되는 역할 패턴을 하나의 규칙으로 재사용하지 못한다.

특징 맹목성

나이, 관심사, 유형 같은 노드 속성을 자연스럽게 통합하지 못한다.

전이적 한계

훈련 때 없던 새 노드의 벡터를 즉시 만들 수 없어 재학습이 필요하다.

그럼에도 얕은 임베딩은 역사적 출발점이자 강력한 기준선이다. 그래프가 작고 정적이며 자원이 제한된 경우에는 단순성이 오히려 장점이 된다.

11.4 · Embeddings in Knowledge Graphs

연결의 유무를 넘어, 관계의 종류까지 벡터에 담다

단순 그래프에서는 두 노드가 이어졌는지만 보면 되지만, 지식그래프에서는 어떤 관계로 이어졌는지가 핵심이다. 약물·질병·유전자·단백질이 수십 종류의 관계로 연결되는 생의학 KG는 다중관계 임베딩을 요구한다.

AspirinTREATSHeadache
AspirinINHIBITSCOX-2
InflammationCAUSESHeadache

이 표현을 학습하려면 두 장치가 필요하다. 첫째, 임베딩이 그래프를 얼마나 잘 표현하는지 평가하는 손실함수. 둘째, 관계 유형마다 다른 패턴을 처리하는 다중관계 디코더다.

11.4.1 · Loss Function

참 관계는 높이고, 그럴듯한 거짓 관계는 낮추는 법

모든 노드 쌍을 비교하는 방식은 대규모 그래프에서 계산 불가능하다. 백만 노드만 있어도 잠재적 쌍은 거의 일조 개에 이른다. 게다가 실제 그래프는 희소하여 존재하지 않는 관계가 압도적으로 많다. 제11장은 이를 음성 샘플링과 교차엔트로피 손실로 다룬다.

ℒ = Σ(u,τ,v)∈E [ −log σ(DEC(zu,τ,zv)) − γ · 𝔼vₙ∼Pₙ,v log σ(−DEC(zu,τ,zvₙ)) ]

양성 항

실제 관계의 점수를 높게 주도록 보상한다. 예: (Aspirin, TREATS, Headache).

음성 항

샘플링한 거짓 관계의 점수를 낮추도록 벌점을 준다. 모든 비연결을 검사하지 않아도 된다.

γ의 역할

음성 샘플의 중요도를 조절한다. 희소 KG에서는 거짓 관계 구별을 강조하기 위해 1보다 크게 둘 수 있다.

실무에서는 하나의 참 관계마다 대략 5–10개의 음성 예를 사용할 수 있다. 다만 어떤 음성을 고르는지가 학습 품질을 좌우한다.

음성 샘플링 공방

같은 양성 트리플에서 샘플링 전략에 따라 난이도가 어떻게 달라지는지 본다.

양성: Aspirin–TREATS–Headache

무작위 샘플링의 문제

이미 존재하는 관계를 거짓으로 뽑는 false negative가 생길 수 있고, ‘Aspirin treats Laptop’처럼 너무 쉬운 예는 세밀한 구별을 가르치지 못한다.

더 나은 전략

관계의 허용 타입 안에서 후보를 고르거나, 모델이 혼동하기 쉬운 어려운 음성을 생성한다. 주어와 목적어를 번갈아 교체하면 방향성 편향도 줄일 수 있다.

11.4.2 · Multirelationship Decoder

관계마다 다른 문법을 읽는 네 가지 디코더

다중관계 디코더는 대칭·비대칭, 합성, 역관계 같은 패턴을 표현해야 한다. 디코더의 선택은 모델이 무엇을 배울 수 있는지를 직접 규정한다.

TransE관계 벡터로 머리 엔터티를 꼬리 엔터티 쪽으로 평행이동
RESCAL관계별 행렬로 엔터티 벡터를 변환
DistMult관계 유형을 고려한 의미적 일치
ComplEx복소수 공간에서 비대칭 관계를 표현
접근핵심 표현장점제약
TransEzhead + r ≈ ztail직관적이며 합성 패턴에 강함다대일 관계 표현이 어려움
RESCAL관계별 변환 행렬표현력이 높음관계 수가 많으면 매개변수 폭증
DistMult삼선형 의미 일치효율적이고 단순함비대칭 관계에 약함
ComplEx복소수 기반 의미 일치비대칭 관계를 우아하게 처리합성 패턴은 TransE보다 덜 직접적일 수 있음
11.5 · Message Passing and GNNs

노드들이 나누는 신경망의 대화

GNN의 메시지 패싱은 그래프 전체에서 벌어지는 정형화된 대화다. 한 라운드마다 노드는 이웃의 메시지를 모으고, 필요한 정보를 가공하고, 자신의 표현을 갱신한다. 라운드가 늘어날수록 정보는 한 홉씩 더 멀리 이동한다.

1

수집

이웃 노드에서 메시지를 받는다.

2

집계 · AGGREGATE

합, 평균, 정규화, 주의집중 등으로 이웃 정보를 결합한다.

3

갱신 · UPDATE

집계 결과와 기존 노드 상태를 합쳐 새 표현을 만든다.

k-hop 메시지 확산기

슬라이더를 움직여 목표 노드 A가 몇 단계 떨어진 정보까지 품게 되는지 확인한다.

한 층 = 한 홉
A B C D E F G H I J K L M N O P Q
메시지 층수1-hop
목표 노드1-hop2-hop3-hop

분자 그래프에서는 여러 라운드 뒤 원자 표현이 벤젠 고리 같은 구조 정보를 담을 수 있고, 인용망에서는 논문 표현이 관련 논문의 특징을 점차 흡수한다.

기본 GNN 갱신식

hu(k) = σ( Wself(k) hu(k−1) + Wneigh(k) Σv∈N(u) hv(k−1) + b(k) )

노드 자신의 이전 상태와 이웃 상태의 합을 서로 다른 학습 행렬로 변환한 뒤 비선형 활성화를 적용한다. 이웃 수가 노드마다 달라도 합 연산을 통해 가변 크기 입력을 처리한다.

자기고리를 포함한 단순화

hu(k) = σ( W(k) Σv∈N(u)∪{u} hv(k−1) )

이점

AGGREGATE와 UPDATE를 하나로 합쳐 구현이 단순해지고, 매개변수 공유로 과적합 완화와 훈련 안정성을 기대할 수 있다.

대가

자기 정보와 이웃 정보를 같은 방식으로 처리하므로 두 정보의 역할을 구분해 결합하는 유연성이 줄어든다.

11.6 · Generalized Aggregation & Update

집계는 고르게, 중요도는 다르게, 기억은 오래

기본 메시지 패싱은 강력한 골격이지만, 실제 그래프는 이웃 수가 제각각이고 관계의 중요도가 같지 않다. 깊은 층에서는 노드의 개성이 희미해질 수도 있다. 제11장은 정규화, 주의집중, 잔차 연결과 게이트로 이 문제를 보완한다.

정규화

이웃 수가 큰 노드의 메시지가 과도하게 커지지 않도록 스케일을 맞춘다.

주의집중

현재 태스크에 더 중요한 이웃에 더 큰 학습 가중치를 부여한다.

정보 보존

skip connection, gate, jumping knowledge로 깊은 층에서도 고유 특징과 다중 스케일 정보를 유지한다.

이웃 정규화

평균 집계: AGGu(k) = (1 / |N(u)|) Σv∈N(u) hv(k−1)
대칭 정규화: 메시지(v→u) ∝ 1 / √(deg(u) · deg(v))

평균 정규화는 이웃 수가 다른 노드들을 비슷한 스케일로 만든다. GCN의 대칭 정규화는 송신·수신 노드의 차수를 함께 고려해, 인용 수가 매우 큰 논문이 모든 메시지를 지배하는 현상을 줄인다. 다만 정규화는 차수 차이를 희석하므로 구조 정보가 핵심인 태스크에서는 손실이 될 수 있다.

이웃 주의집중과 멀티헤드

h′u = Σv∈N(u) αu,v W hv,   αu,v = softmax( aᵀ[Whu ⊕ Whv] )

이웃 중요도 조절기

세 이웃의 가중치를 바꾸면 목표 노드 표현에 미치는 비중이 달라진다.

Attention
A
B
C
D
B0.25
C0.55
D0.20

멀티헤드 주의집중은 여러 독립 헤드가 병렬로 다른 관계 패턴을 본다. 분자 그래프라면 한 헤드는 결합 유형, 다른 헤드는 공간 배열에 집중할 수 있다. Transformer와 마찬가지로 Q·K·V 투영과 scaled dot-product attention을 사용할 수 있으며, 노드 차수 같은 구조 인코딩을 특징에 더해 그래프 토폴로지를 보충할 수 있다.

규모와 효율

큰 이웃 집합을 병렬 처리할 수 있다.

유연한 특징 학습

각 헤드가 서로 다른 관계나 구조 패턴에 전문화된다.

해석 가능성

주의 가중치로 어떤 이웃이 예측에 중요했는지 살필 수 있다.

일반화된 갱신 방식

기존 노드 특징집계한 이웃 특징Linear + ReLU

Skip connection

GraphSAGE식 연결은 기존 노드 상태와 이웃 집계값을 이어 붙인다. 원래 특징을 보존하고 두 정보의 기여를 분리해 학습하며, 역전파 경로를 늘려 깊은 GNN의 훈련을 돕는다.

기존 상태× (1−g)후보 상태× g선택적 결합

Gated update

게이트가 기존 표현을 얼마나 유지하고 새 이웃 정보를 얼마나 받아들일지 노드별로 결정한다. 노이즈가 있거나 이웃의 관련성이 노드마다 다를 때 유용하다.

1-hop 표현2-hop 표현3-hop 표현LSTM 결합

Jumping knowledge

여러 층의 표현을 보관하고 적응적으로 결합한다. 노드마다 필요한 홉 수가 다를 때 국소·전역 구조를 함께 쓰고, 초기 층의 고유 특징이 사라지는 것을 막는다.

선택 기준은 계산 비용, 태스크 요구, 그래프 특성이다. 인용망에서 논문 내용과 인용 영향을 균형 있게 섞으려면 gate가, 분자에서 여러 규모의 구조 패턴을 포착하려면 jumping knowledge가 적합할 수 있다. 집계와 갱신은 서로 독립적으로 고르는 부품이 아니라 함께 설계해야 하는 한 쌍이다.
11.7 · GNN × LLM

구조를 읽는 눈과 언어를 다루는 입이 만날 때

GNN은 그래프 구조와 이웃 토폴로지를 읽는 데 강하지만 풍부한 텍스트를 다루는 데 약하다. LLM은 긴 텍스트의 의미와 생성에 강하지만 복잡한 그래프 구조를 자연스럽게 처리하지 못한다. 제11장은 세 가지 결합 경로를 제시한다.

LLM as Predictor

GNN이나 그래프 직렬화가 만든 구조 표현을 받아 최종 예측이나 자연어 응답을 생성한다. KG 질의응답처럼 구조 이해와 언어 생성이 동시에 필요한 태스크에 적합하다.

LLM as Encoder

노드·엣지의 텍스트를 풍부한 특징 벡터로 바꾼 뒤 GNN이 관계 구조를 처리한다. 논문 초록을 LLM으로 인코딩하고 인용 GNN으로 미래 인용을 예측하는 식이다.

LLM as Aligner

LLM과 GNN을 병렬로 두고 대조학습이나 상호학습으로 텍스트 표현과 구조 표현을 정렬한다. 멀티모달 KG처럼 두 관점을 분리해 유지하면서 결합할 때 유용하다.

Graph / KG GNN LLM / Output Predictor 경로 LLM Text Encoder GNN Structure Alignment / Task

성공적인 결합의 핵심은 최신 모델을 무작정 붙이는 데 있지 않다. 텍스트와 구조 가운데 무엇이 주된 정보인지, 최종 출력이 분류인지 생성인지, 두 표현을 어느 단계에서 합칠지를 태스크에 맞게 정해야 한다.

Listings 11.1–11.7

코드 목록의 역할 지도

원서의 코드는 완성된 제품보다 개념을 움직여 보는 실험실에 가깝다. 각 목록이 장의 어느 생각을 구현하는지 정리한다.

Listing 11.1 · Node2Vec on Karate Club

가라테 클럽 그래프 적재, 16차원 Node2Vec 학습, 노드 유사도 계산, t-SNE 2차원 시각화, 두 파벌 예측을 수행한다.

Listing 11.2 · Multihead graph attention

특징을 헤드별 청크로 나누고 여러 attention head를 병렬 적용한 뒤 결과를 연결한다.

Listing 11.3 · Transformer-style attention

Q·K·V 선형 변환, scaled dot-product, softmax, 가중합으로 그래프 이웃 주의를 구현한다.

Listing 11.4 · Structural encoding

노드 차수를 학습 가능한 구조 임베딩으로 바꾸고 원래 특징에 더한 뒤 멀티헤드 주의를 적용한다.

Listing 11.5 · GraphSAGE update

노드 특징과 이웃 집계 특징을 연결하고 선형층과 ReLU로 갱신해 skip connection의 효과를 만든다.

Listing 11.6 · Gated update

sigmoid 게이트와 tanh 후보 상태를 사용해 기존 표현과 새 이웃 정보를 선택적으로 혼합한다.

Listing 11.7 · Jumping knowledge

여러 층의 노드 표현을 쌓고 LSTM으로 층별 정보를 결합해 다중 스케일 표현을 만든다.

Summary

제11장이 남기는 열세 개의 표지석

01그래프 표현학습은 노드와 엣지를 조밀한 벡터로 바꾸어 특징 공학을 자동화한다.
02발전 과정은 고전적 차원축소, word2vec 계열, 현대 GNN의 세 세대로 정리된다.
03위치 임베딩은 전역 구조를, 구조 임베딩은 국소 역할 패턴을 보존한다.
04새 노드가 예상되면 고정 노드용 전이 방식보다 매핑 함수를 배우는 귀납 방식이 필요하다.
05계층 그래프는 유클리드보다 쌍곡 공간에서 더 자연스럽게 표현될 수 있다.
06인코더–디코더는 그래프를 벡터로 옮기고 중요한 성질을 복원하는 통합 틀이다.
07얕은 임베딩은 조회표 기반의 단순하고 중요한 기준선이지만 새 노드와 대규모 그래프에 약하다.
08KG 임베딩은 관계 유형을 표현해야 하며, 음성 샘플링 손실과 다중관계 디코더가 핵심이다.
09메시지 패싱은 이웃 정보를 반복 집계해 k-hop 구조와 특징을 노드 표현에 담는다.
10정규화는 이웃 규모 차이를 다루지만 차수 정보를 희석할 수 있다.
11멀티헤드 attention은 서로 다른 관계 패턴을 병렬로 처리하며 Transformer와 구조적으로 맞닿는다.
12skip connection, gate, jumping knowledge는 깊은 층의 정보 손실과 과도한 평활화를 줄인다.
13LLM은 GNN 시스템에서 predictor, encoder, aligner의 세 역할로 결합될 수 있다.
자료 경계
이 웹페이지는 첨부 도서 제11장의 개념, 사례, 수식, 그림 설명, 코드 목록과 요약을 한국어 기술문서로 재구성한 것이다. 외부 연구 동향이나 원문에 없는 성능 수치를 추가하지 않았다. 시각 자료는 원서 도판을 복제하지 않고 핵심 구조만 인라인 SVG로 다시 설계했다.