Enhancing inductive numerical reasoning in knowledge graphs with relation-aware relative numeric encoding

다국어 초록 (Multilingual Abstract)

Inductive link prediction aims to predict missing triplets involving newly emerged entities in the Knowledge Graphs (KGs) of the inference phase. Despite advancements in this field, inferring comparative relationships for unseen entities with numeric attributes remains challenging, primarily due to variations in numeric distributions. Moreover, the inherent asymmetric nature of numeric comparison relations (e.g., ”is_taller_than”) complicates the direct application of existing inductive link prediction and numeric encoding models, which often fail to distinguish between such asymmetric pairs. To address these challenges, we propose Relation-aware Relative Numeric Encoding (RRNE), a novel approach enhancing inductive numerical reasoning by considering the relative nature of numerical reasoning. Our method effectively mitigates the aforementioned challenges by computing relative differences between each entity in the subgraph and both the head and tail of the target triplet at the representation level. As a result, the entity representations become more robust when the inference KG exhibits a numerical distribution that is unseen yet follows a similar pattern during training. Also, our method leads to effectively capturing the asymmetry inherent in numeric comparison relations. We conduct extensive experiments on three benchmark datasets―Credit, Spotify, and US-Cities―for inductive numerical reasoning. Our empirical results demonstrate that RRNE significantly outperforms existing baselines, achieving enhancements of up to 24.81% in AUC-PR and 20.69% in AUC. These outcomes validate the effectiveness of our approach in tackling inductive numerical reasoning.

국문 초록 (Abstract)

귀납적 링크 예측은 학습한 지식 그래프에 존재하지 않는 엔티티가 포함된 누락된 삼중항을 예측하는 것을 목표로 한다. 귀납적 링크 예측 분야의 발전에도 불구하고, 수 치 속성을 가진 새롭게 등장한 엔티티들 사이의 비교 관계를 추론하는 것은 여전히 어려 운문제로남아있다. 이는주로학습과정에서보지못한수치분포로인한다양성때문 이다. 또한,수치 비교 관계 (예: 더 크다) 의 본질적인 비대칭성 때문에, 기존의 귀납적 학습 및 수치 인코딩 모델을 직접 적용하기 어렵다. 이러한 모델들은 자주 비대칭적인 쌍을 효과적으로 구별하지 못하는 한계를 보인다.
이러한 문제를 해결하기 위해, 우리는 관계 인식 상대적 수치 인코딩이라는 새로운 접근법을 제안한다. 이 방법은 목표 삼중항에 대한 상대적 차이를 잠재 표현 수준에서 계산함으로써, 귀납적 수치 추론의 성능을 향상시킨다.
관계 인식 상대적 수치 인코딩을 도입함으로써, 지식 그래프 내 개체들의 표현은 학 습 과정에서 보지 못한 수치 분포하에서 더욱 강건해지고, 수치 비교 관계에 내재된 비 대칭성을 효과적으로 포착할 수 있다. 우리는 Credit, Spotify, US-Cities 의 세 가지 벤치 마크 데이터셋에서 광범위한 실험을 수행하였으며, 그 결과 관계 인식 상대적 수치 인코 딩은 기존 비교 모델들보다 AUC-PR 에서 최대 24.81%, AUC 에서 20.69% 향상된 성능을달성했다. 이러한 결과는 제안한 접근법이 귀납적 수치 추론 문제를 해결하는 데 효과적임을 실험적으로 입증한다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1 Research Purpose 1
• 1.2 Contribution 5
• 2. Related Work 6
• 2.1 Transductive Link Prediction in KGs 6
• 2.2 Inductive Link Prediction in KGs 7
• 2.2.1 Rule-based approach 7
• 2.2.2 GNN-based (Subgraph-based) approach 7
• 2.3 Knowledge Graph Embedding with Numeric Attributes 8
• 3. Methodology 9
• 3.1 Problem Definition 9
• 3.2 Subgraph Extraction 9
• 3.3 Relation-aware Relative Numeric Encoding 11
• 3.3.1 Numeric Value Embedding Layer 11
• 3.3.2 Relation-aware Attention Layer 12
• 3.3.3 Relative Numeric Embedding Layer 12
• 3.3.4 Scoring 13
• 3.4 Layer-wise order embedding 14
• 3.5 Hard contrastive learning using in-batch representation 15
• 3.5.1 Hard sample generation 15
• 3.6 Loss Function 17
• 3.6.1 Time complexity analysis 18
• 4. Experiments 19
• 4.1 Experimental Settings 19
• 4.1.1 Dataset 19
• 4.1.2 Baseline 20
• 4.1.3 Implementation details 21
• 4.1.4 Metric 22
• 4.2 Main Results 22
• 4.3 Performance changes with numeric attribute density 23
• 4.4 Ablation study 24
• 4.5 The effect of relative embeddings under numeric shifts 25
• 4.6 Expressiveness for asymmetric triplets 26
• 5. Discussion 27
• 5.1 Limitation 27
• 5.2 Future Work 27
• 6. Conclusion 29
• References 30
• A Detailed GNN architecture 38
• B Case study 39
• Korean Abstract 41