ICML 2026 논문 기술 해설 · 한글 웹페이지 버전

Towards Hierarchy-Uniformity Equilibrium

하이퍼그래프 대조학습에서 균일성 압력이 의미 계층을 평탄화하는 현상을 Hierarchy-Uniformity Conflict로 정식화하고, 이를 완화하기 위해 HyperDepth가 제안하는 스펙트럴 분리, 계층 프로토타입 정렬, 지역 대조학습 구조를 한글 기술문서 형식으로 재구성한다.

핵심 구조 보기 실험표 보기

15하이퍼그래프 데이터셋

17+지도·자기지도 기준모델

1.89동종성 데이터 평균 순위

3개핵심 구성요소: 스펙트럴·계층·대조

논문 한 줄 요약

하이퍼엣지가 단순한 집합 관계가 아니라 다층 의미 구조를 담는다는 관점에서, 균일성 중심 대조학습의 한계를 기하학적·스펙트럴 관점으로 재정의한다.

핵심 주장.

인스턴스 구별을 위한 hyperspherical uniformity는 필요하지만, 이를 표현공간 전체에 직접 가하면 하이퍼엣지 내부의 상위-중위-하위 의미 계층이 평탄화된다. HyperDepth는 저주파 성분에는 계층 의미를, 고주파 성분에는 지역 구별성을 배치하여 두 목적이 충돌하지 않는 균형점을 찾는다.

Problem

Semantic Flattening

의미적으로 관련된 노드가 균일성 손실에 의해 거의 등거리 점구름으로 배치된다. 계층적 semantic depth가 사라진다.

Mechanism

Frequency Allocation

저주파는 전역 계층 구조, 고주파는 근방 노드 차이를 포착한다. 분리된 목적공간이 gradient interference를 줄인다.

Evidence

15 데이터셋 검증

동종성·이종성 하이퍼그래프에서 지도학습 및 자기지도학습 기준모델과 비교한다. 전체 평균 순위가 가장 우수하다.

1. 문제 설정: 계층성과 균일성의 충돌

논문은 기존 하이퍼그래프 대조학습이 노드 간 “다름”을 과도하게 강조하고, 하이퍼엣지 내부의 다층 의미 관계를 명시적으로 보존하지 못한다고 진단한다.

Uniformity Force

지역 구별성 목적

InfoNCE 기반 학습은 양성 쌍을 가깝게 만들고 음성 쌍을 멀게 만든다. 음성 샘플이 많아질수록 표현은 단위 구면 위에 넓게 퍼지며, 평균 가우시안 포텐셜을 낮추는 방향으로 이동한다.

L_local = E_{i,j in V} exp(-2 ||h_i - h_j||²) 선호 거리: ||h_i - h_j|| → √2

Hierarchy Force

전역 의미 목적

하이퍼엣지는 공저자, 문서, 사용자 그룹처럼 단일 라벨보다 복잡한 계층 의미를 담는다. 같은 조상 의미를 공유하는 노드는 프로토타입 경로상에서 가까워져야 한다.

J_global = Σ_i max_{P in T} <h_i, c_leaf(P)> 선호 거리: ||h_i - h_j|| → 0

정의.

Hierarchy-Uniformity Conflict는 같은 의미 조상을 공유하는 노드 쌍에 대해 지역 균일성은 멀어지기를 요구하고, 전역 계층성은 가까워지기를 요구하는 기하학적 불일치이다. 이 불일치의 결과가 Semantic Flattening이다.

2. 제안 방법: HyperDepth

HyperDepth는 입력 하이퍼그래프와 증강 뷰를 받아 스펙트럴 인코딩, 계층 프로토타입 정렬, 지역 대조학습을 공동 최적화한다.

Dual-view augmentation

특징 마스킹과 Gaussian noise로 두 뷰를 만든다. 하이퍼그래프 구조는 고정한다.

Low/High-pass filtering

정규화 하이퍼그래프 라플라시안의 주파수 성분을 분리한다.

Adaptive gating

노드별 α를 학습해 저주파와 고주파 표현을 결합한다.

Prototype-tree alignment

에너지 기반 NCE로 양성 경로를 낮은 에너지 계곡에 배치한다.

Local contrastive objective

투영공간에서만 균일성을 부여하여 원 표현공간의 계층 평탄화를 억제한다.

Spectral Encoder

분리형 스펙트럴 인코더

저역 통과 필터는 전역 의미 구조를, 고역 통과 필터는 지역 인스턴스 차이를 강조한다. Chebyshev 다항 근사로 행렬 지수 계산 비용을 줄인다.

g_low(λ)=e^{-βλ} g_high(λ)=1-e^{-βλ}

Adaptive Gate

노드별 주파수 혼합

두 분기 출력을 연결한 뒤 MLP와 sigmoid로 α_i를 산출한다. 각 노드는 자신의 구조적 역할에 맞게 저주파·고주파 비중을 달리한다.

α_i = σ(W₂ ReLU(W₁[h_high,i || h_low,i])) h_i = α_i h_high,i + (1-α_i) h_low,i

Energy Alignment

계층 프로토타입 에너지

루트에서 리프까지의 프로토타입 경로를 학습한다. 리프 정렬은 세밀한 클러스터를 만들고, 경로 일관성은 계층적 조상을 유지한다.

E(h_i,P_i)=-(h_i^T c_i^(K)+λ_coh Σ_{k=1}^{K-1} c_i^(k)^T c_i^(k+1))

3. 이론 분석

논문은 스펙트럴 분리 가정 아래 지역 대조 목적과 전역 계층 목적이 서로 직교하는 부분공간에서 작동함을 보인다.

Assumption 1

부분공간 분리

local projection head는 고주파 성분에만 의존하고, semantic projection head와 alignment energy는 저주파 성분에만 의존한다고 둔다.

Theorem 1

Subspace-wise optimization

전체 손실의 gradient는 고주파 지역 손실 gradient와 저주파 전역 손실 gradient의 합으로 분해된다. 정지점에서 각 성분은 자기 부분공간에서 정지한다.

Theorem 2

Equilibrium existence

부드러운 계층 의미와 고주파 지역 최적해가 존재하면, 저주파 계층 해와 고주파 균일성 해를 합성한 표현이 hierarchy-uniformity equilibrium을 이룬다.

Proposition 1.

전역 에너지의 최적점에서 리프 프로토타입은 해당 리프의 평균 방향과 정렬되고, 내부 프로토타입은 자손 리프 평균들의 비음수 가중합 방향과 정렬된다. 따라서 프로토타입 트리는 평면 파티션이 아니라 coarse-to-fine 의미 깊이를 형성한다.

L_total = L_local(g_loc(h_high)) + γ L_global(g_sem(h_low)) ∇_{h_i} L_total = P_high ∇_{h_i} L_local + γ P_low ∇_{h_i} L_global

4. 실험 설계와 주요 결과

실험은 노드 분류를 중심으로 진행한다. 자기지도 사전학습 후 인코더를 동결하고, 10/10/80 train/validation/test split에서 linear probing으로 평가한다.

9동종성 데이터셋

6이종성 데이터셋

5random seed 반복

24h일부 기준모델 시간 제한

Average Rank

동종성 데이터셋 평균 순위

HyperDepth

1.89

HyFi

3.22

TriCL

3.56

HyperAim

3.89

AllSetTransformer

6.50

Interpretation

성능 해석

HyperDepth는 동종성 데이터에서 강한 지도학습 HNN과 자기지도 기준모델을 모두 상회하는 평균 순위를 보인다. 이종성 데이터에서는 HyperAim과 유사하거나 우세하며, Actor, Twitch, Pokec, House, Senate에서 최고 성능을 낸다.

5. 표 기반 결과 요약

원문 표의 핵심 수치를 인터랙티브 탭으로 재구성한다.

Method	Cora-C	Citeseer	Pubmed	Cora-A	Zoo	20News	Mushroom	NTU2012	ModelNet40	A.R.
MLP	60.32 ± 1.5	62.06 ± 2.3	76.27 ± 1.1	64.05 ± 1.4	75.62 ± 9.5	78.19 ± 0.5	99.58 ± 0.3	65.17 ± 2.3	93.75 ± 0.6	13.11
GCN	77.11 ± 1.8	66.07 ± 2.4	82.63 ± 0.6	73.66 ± 1.3	36.79 ± 9.6	79.41 ± 0.3	92.47 ± 0.9	71.17 ± 2.4	91.67 ± 0.2	12.56
HGNN	77.50 ± 1.8	66.16 ± 2.3	83.52 ± 0.7	74.38 ± 1.2	78.58 ± 11.1	80.15 ± 0.3	98.59 ± 0.5	72.03 ± 2.4	92.23 ± 0.2	8.33
UniGCN	77.91 ± 1.9	66.40 ± 1.9	84.08 ± 0.7	77.30 ± 1.4	72.10 ± 12.1	80.24 ± 0.4	98.84 ± 0.5	73.27 ± 2.7	94.62 ± 0.2	8.33
AllSetTransformer	76.21 ± 1.7	67.83 ± 1.8	82.85 ± 0.9	76.94 ± 1.3	72.72 ± 11.8	79.90 ± 0.4	99.48 ± 0.3	75.09 ± 2.5	96.85 ± 0.2	6.50
TriCL	81.03 ± 1.3	71.97 ± 1.3	83.80 ± 0.6	81.02 ± 1.0	79.47 ± 11.0	79.93 ± 0.2	98.93 ± 0.3	74.63 ± 2.5	97.33 ± 0.1	3.56
HyFi	81.48 ± 1.5	72.57 ± 1.1	83.82 ± 0.6	79.33 ± 1.3	80.02 ± 10.9	79.76 ± 0.3	99.65 ± 0.2	75.10 ± 2.6	97.38 ± 0.1	3.22
HyperAim	81.08 ± 1.4	73.13 ± 1.2	83.02 ± 0.5	78.78 ± 1.4	80.31 ± 4.8	79.83 ± 0.2	99.68 ± 0.4	74.76 ± 1.5	97.37 ± 0.1	3.89
HyperDepth	82.69 ± 1.2	72.80 ± 1.4	83.48 ± 0.4	80.71 ± 1.2	89.01 ± 2.6	80.87 ± 0.4	99.71 ± 0.4	79.34 ± 0.8	97.61 ± 0.2	1.89

Method	Actor	Amazon	Twitch	Pokec	House	Senate
Node2vec	59.0 ± 0.3	25.1 ± 0.3	50.0 ± 0.6	50.5 ± 0.5	50.9 ± 1.0	48.2 ± 2.7
DGI	61.5 ± 0.4	25.3 ± 0.3	51.2 ± 0.4	52.9 ± 0.5	54.9 ± 1.2	53.6 ± 2.6
GRACE	62.3 ± 0.5	25.7 ± 0.2	50.1 ± 0.4	56.0 ± 0.7	55.9 ± 1.5	49.3 ± 1.3
TriCL	65.2 ± 0.5	26.4 ± 0.4	50.6 ± 0.5	55.4 ± 0.9	74.4 ± 1.1	58.2 ± 3.6
HyFi	62.3 ± 0.2	19.1 ± 0.1	50.0 ± 0.2	49.2 ± 0.2	73.7 ± 1.1	66.5 ± 2.6
HyperAim	81.0 ± 0.5	29.2 ± 0.3	51.5 ± 0.4	57.0 ± 0.7	74.7 ± 1.9	75.3 ± 0.6
HyperDepth	83.1 ± 0.2	28.7 ± 0.3	52.0 ± 0.6	57.2 ± 0.5	76.1 ± 0.9	76.2 ± 1.8

구분	Dataset	Nodes	Edges	Classes	Features
Homophilic	Cora-C	1,434	1,579	7	1,433
Homophilic	Cora-A	2,388	1,072	7	1,433
Homophilic	Citeseer	1,458	1,079	6	3,703
Homophilic	Pubmed	3,840	7,963	3	500
Homophilic	20News	16,242	100	4	100
Homophilic	ModelNet40	12,311	12,311	40	100
Homophilic	NTU2012	2,012	2,012	67	100
Homophilic	Mushroom	8,124	298	2	22
Homophilic	Zoo	101	43	7	16
Heterophilic	Actor	16,255	10,164	3	50
Heterophilic	Amazon	22,299	2,090	5	111
Heterophilic	Twitch	16,812	2,627	2	7
Heterophilic	Pokec	14,998	2,406	2	65
Heterophilic	House	1,290	1,630	2	2
Heterophilic	Senate	282	597	2	2

78.93

w/o L_local

80.50

w/o L_global

80.30

w/o low-pass

80.98

w/o high-pass

82.69

Full

Ablation Reading

구성요소 제거 결과

Cora-C 기준으로 전체 모델은 82.69%를 달성한다. L_local 제거는 78.93%, L_global 제거는 80.50%로 하락한다. 저주파 제거는 80.30%, 고주파 제거는 80.98%이다. 이는 계층 정렬과 지역 대조 목적이 상호 보완적이고, 저주파 전역 구조가 동종성 그래프에서 특히 중요하다는 해석과 일치한다.

6. 구현·부록·재현성

부록은 표기법, 증명, 알고리즘, 데이터셋 통계, 하이퍼파라미터, 확장 ablation, 민감도 분석을 제공한다.

Training Protocol

재현 프로토콜

ChebNetII 기반 인코더를 사용한다.
AdamW, cosine annealing scheduler를 적용한다.
자기지도 사전학습 후 encoder를 고정한다.
multinomial logistic regression linear probe로 노드 분류 정확도를 측정한다.
5개 random seed 평균과 표준편차를 보고한다.

Hyperparameter Search

공통 탐색 범위

neighbors k ∈ {2, 5, 10, 15, 20}
τ_proto ∈ {0.01, 0.05, 0.1, 0.2, 0.5}
γ ∈ {0.1, 0.5, 1.0, 2.0, 5.0}
hidden d ∈ {128, 256, 512, 1024}
hierarchy levels K ∈ {1, 2, 3, 4}

Algorithm 1: HyperDepth Training Procedure

encoder Φ, projection heads g_loc/g_sem, prototype tree C를 초기화한다.
매 epoch마다 두 개의 feature-augmented view를 생성한다.
두 view를 공유 encoder f_Φ에 통과시켜 H^(1), H^(2)를 얻는다.
T_rect 주기마다 semantic embedding으로 prototype을 geometric rectification한다.
local branch: z_i^(v)=g_loc(h_i^(v))를 만들고 InfoNCE L_local을 계산한다.
global branch: z_i^sem=g_sem(h_i^(1))를 만들고 greedy top-down path P_i^+를 추론한다.
path perturbation으로 negative path를 생성하고 energy-based L_global을 계산한다.
L_total = L_local + γ L_global을 AdamW로 최적화한다.

Algorithm 2: Top-Down Greedy Path Inference

root level에서 <z_i^sem, c>가 가장 큰 prototype을 선택한다.
각 다음 level k에서는 이전 prototype의 children 중
<z_i^sem, c> + λ_coh <c_parent, c>가 최대인 child를 선택한다.
최종 경로 P_i^+ = (c_i^(1), ..., c_i^(K))를 반환한다.
복잡도는 전체 leaf/path 열거 대신 O(K * average branching factor)이다.

Algorithm 3: Geometric Rectification

현재 embedding H를 computation graph에서 detach한다.
각 hierarchy level마다 nearest-prototype assignment를 수행한다.
각 prototype을 자신에게 할당된 node embedding의 normalized mean으로 이동한다.
이 과정은 gradient 업데이트가 아니라 off-graph EM-style re-anchoring이며, prototype collapse를 줄인다.

핵심 표기법 요약

기호	의미
H=(V,E)	노드 집합 V와 하이퍼엣지 집합 E로 구성된 하이퍼그래프
H ∈ {0,1}^{N×E}	incidence matrix
L	normalized hypergraph Laplacian
P_low, P_high	저주파·고주파 eigenspace projector
g_low(λ), g_high(λ)	low/high-pass spectral response
R	Chebyshev polynomial approximation order
C^(k)	k번째 계층 level의 prototype set
P_i	node i에 대한 root-to-leaf prototype path
λ_coh	path coherence 가중치
γ	local/global 손실 균형 계수
τ_nce, τ_proto	InfoNCE 및 prototype energy temperature

민감도 분석 요약

γ, hidden dimension d, Chebyshev order R, hierarchy level K, prototype temperature τ_proto를 변화시켜 15개 데이터셋에서 평가한다. 전반적으로 성능 변화가 완만하며, 대다수 데이터셋은 기본값 주변 넓은 영역에서 근사 최적 성능을 보인다. 논문은 HyperDepth가 정교한 튜닝에 과도하게 의존하지 않는다고 해석한다.

Impact Statement와 연구비

논문은 Hypergraph Contrastive Learning 및 Hypergraph Machine Learning/Computation의 방법론적 기여를 목표로 하며, 일반적인 머신러닝 연구에서 요구되는 표준 고려사항을 넘어 별도의 즉각적 사회적 영향은 예상하지 않는다고 기술한다. 연구비는 Zhejiang R&D Program 및 National Natural Science Foundation of China 지원을 포함한다.

7. 기술적 시사점

이 논문은 하이퍼그래프 자기지도학습의 목적함수 설계 문제를 “어떤 공간에 어떤 압력을 가할 것인가”의 문제로 바꾼다.

Design Lesson

균일성은 필요하지만 위치가 중요하다

균일성 손실을 원 표현공간에 직접 걸면 계층 의미가 사라진다. HyperDepth는 균일성을 projection head에 가두고 semantic space에는 계층 에너지를 둔다.

Spectral Lesson

고주파를 노이즈로만 보면 안 된다

고주파 성분은 근방 노드의 차이를 담는 신호일 수 있다. 동시에 저주파는 계층적 smoothness를 제공한다. adaptive gating은 이 둘을 데이터 의존적으로 조절한다.

Evaluation Lesson

동종성·이종성 모두 필요하다

HyperDepth는 homophilic benchmark에서 저주파 계층 구조의 이점을 보이고, heterophilic benchmark에서 고주파 지역 구별성과 계층 정렬의 결합이 여전히 효과적임을 보인다.