持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第29天，点击查看活动详情

HAKG: Hierarchy-Aware Knowledge Gated Network for Recommendation - SIGIR-2022

HAKG：层次感知的知识门控推荐网络

摘要

知识图在提高推荐性能和可解释性方面发挥着越来越重要的作用。最近的一个技术趋势是基于信息传播方案设计端到端模型。然而，现有的基于传播的方法无法（1）建模底层的层次结构和关系，（2）捕捉项目的高阶协作信号，以学习高质量的用户和项目表示。

在本文中，我们提出了一种新的模型，称为层次感知知识门控网络（HAKG），以解决上述问题。从技术上讲，我们在双曲空间中对用户和项目（由用户项目图捕获）以及实体和关系（在KG中捕获）进行建模，并设计双曲聚合方案来收集KG上的关系上下文。同时，我们引入了一种新的角度约束来保持嵌入空间中项目的特征。此外，我们还提出了一种双项目嵌入设计，分别表示和传播协作信号和知识关联，并利用门控聚合提取鉴别信息，以便更好地捕获用户行为模式。在三个基准数据集上的实验结果表明，与CKAN、HyperKnow和KGIN等最先进的方法相比，HAKG取得了显著的改进。对所学双曲线嵌入的进一步分析证实，HAKG对数据的层次结构提供了有意义的见解。

1、Introduction

传统的基于协同过滤的推荐系统[14,20,26,46]通常存在数据稀疏和冷启动问题。最近，知识图(KG)通过关系提供了与项目相关的各种现实事实，在缓解冷启动问题和提高推荐的可解释性方面表现出了令人印象深刻的能力。

从辅助知识图谱中学习用户和项目表示已经成为知识感知推荐的术语。最近，图神经网络(GNNs)的成功[16,25,38]激发了社区开发基于信息聚合方案的端到端模型[8,10,37,41,43,45,47,49]。其核心思想是通过KG迭代传播高阶信息，可以有效地将多跳邻居集成到表示中，从而提高推荐性能。

但现有模型未能对以下两个重要因素进行建模：

层次结构与关系。现有方法在欧几里得空间中对用户项交互和KG进行建模，而这两种数据结构都表现出高度非欧几里得的潜在解剖结构。具体来说，用户项交互通常遵循幂律分布（如图1（b）所示），表明了底层的层次结构[8,39,54]。同时，分层信息在现实世界的KG中无处不在，因为人类知识是分层组织的[2,6]。基于欧几里德的方法不足以捕捉数据的内在层次结构，因为它们在嵌入层次数据时会受到高度失真[7,12,34]。此外，它们都没有在更细粒度的层次结构级别上考虑KG关系。它们都很方便地忽略了一个重要事实，即等级关系（图1（a）中的蓝线）和非等级关系（图1（a）中的黑线）在描述项目时并不同等重要。以图1（a）中的着装建议为例。层次关系r1为布料i1提供了补充信息，即i1是牛仔裤e1，而非层次关系r5意味着布料i2和布料i3可以组成一套服装。因此，层次关系可以表示项目的属性，而非层次关系只能显示实体之间的相关性。忽略层次结构和关系限制了模型的表达能力。
项目的高阶协同信号。在现有的研究中，项目聚合方案大多是面向KG的，即从KG递归地收集项目的知识关联，而不考虑来自用户的协作信号[47,49]，或者在统一知识图(UKG)中盲目混合来自相邻节点(用户或实体)的异构信息[37,45]。它们没有显式编码物品的重要高阶协作信号，这些信号潜伏在用户物品交互中，从行为角度对用户偏好的学习起着重要作用。以图1(a)为例。路径i1→u1→i3→u2→i2表明项i1和项i2之间的远程连接：由于用户u1和u2共享相同的兴趣(也就是说,他们都喜欢i3)项，用户u1和用户u2分别喜爱的物品i1和i2可能类似于某种程度上。因此，这些面向KG的聚合方案不足以显式捕获用于综合项表示的高阶协同信号。

解决思路：

为了应对上述挑战，需要一个嵌入扭曲程度较小的新潜在空间。双曲几何提供了一种理想的选择，因为它不仅能够以更小的失真进行嵌入[7,12]，而且还自然地保留了数据层次[6,54]。双曲空间的关键性质是，与欧几里得空间不同，它以指数而不是多项式的方式展开。这使得双曲线空间比欧几里得空间有更大的数据容量，因此，它有“足够”的空间来更好地保持层次数据之间的距离，如图2左侧所示。此外，双曲空间可以看作是树的连续版本，由于其类似的结构，这使得它可以完美地建模层次树状数据。因此，我们提出了一种新的双曲线知识感知网络(HAKG)，它具有两个关键组件，可以有效地捕获和建模上述两个重要的因素，没有任何现有的建模方法。

Hierarchy-Aware建模。为了更好地捕捉底层的层次结构，我们将用户和项目嵌入以及实体和关系嵌入映射到双曲线空间。我们还设计了一种新的双曲关系-传递聚合机制来捕获双曲空间中邻居所携带的关系依赖。此外，在层次关系中引入了一种新的角度约束，能够更好地在嵌入空间中保留项目的属性信息，从而提高了表示能力和表达能力。
具有双重嵌入的门控聚合。与以往的基于KG的聚合策略不同，我们将用户-商品交互和KG视为两个不同的信息渠道，并针对这两个渠道制定了不同的聚合策略。另外，由于物品可以作为连接两个信息通道的天然桥梁，我们使用物品的双重嵌入而不是单一嵌入来分别表示和传播每个通道的信息，从而更好地捕捉物品的整体语义。引入信息门控机制，自适应融合两种语义，更好地识别用户行为模式。为此，新提出的HAKG框架旨在i)利用双曲几何的表现力，以更好的分层建模，以及ii)有效地捕获项目的整体语义。我们在三个真实世界的数据集上进行了广泛的实验，以评估HAKG和现有方法的性能。实验结果表明，我们的HAKG显著优于所有的艺术开始的方法，如CKAN [49]， Hyper-Know[31]和KGIN[47]。此外，HAKG能够揭示嵌入空间中数据的底层层次结构和关系，从而提高模型的表达能力。

综上所述，我们的贡献如下：

我们从一个新的角度提出了知识感知推荐，考虑了层次和高阶项的协作信号。
我们在双曲空间中嵌入用户和条目，以及实体和关系，并在KG中设计了一个新的双曲聚合来保持邻居之间的关系依赖。此外，在层次关系中引入了角度约束，对具有嵌入空间属性的项进行了分析。
我们设计了双项嵌入设计，以便：①更好地同时表示和传播协作信号和知识关联，②更有效地利用信息门机制，从行为和属性方面控制针对用户偏好的判别信号。

2、Problem Formulation

我们首先介绍与我们研究的问题相关的数据结构，然后制定我们的任务。

用户项二部图。在本文中，我们主要关注从内隐反馈中学习用户偏好[35]。更具体地说，行为数据（例如，单击并查看）涉及一组用户U={u} 和一组项目I={i}. 我们将用户项交互建模为一个二部图G_b = {(u,i)|u ∈ U,i ∈I} 每个(u,i) 对表示该用户u已与项i目交互。

知识图（KG）。KG是真实世界事实的集合，例如项目属性、概念或外部常识。设T为三元组集，E为实体集，R为关系集，涉及规范方向和逆方向的关系（例如，组合和组合）。设KG为非均匀图Gk = {(ℎ, r, t) } ，每个三元组(ℎ, r, t) ∈ T意味着有关系r，头实体之间ℎ 和尾巴实体. 例如，三元组（牛仔裤、品牌、Levi’s）表示牛仔裤的品牌是Levi’s。当我们假设所有项目在KG中作为实体出现时(即I⊂E)，这是由所有现有的知识感知推荐系统[44,45,47]作出的常见假设，我们可以将用户-项目图中的项目与KG中的实体联系起来，为交互提供辅助语义。

任务描述。给定一个用户项图G푏 一公斤重푘, 我们的知识感知推荐任务是预测用户采纳她从未参与过的项目的可能性。

3、Methodology

引入双曲空间的概念，HAKG的两个关键组成部分：层次感知建模和具有双重嵌入的门控聚合。前者在双曲空间中嵌入用户和项目以及实体和关系，它采用了一种新的基于KG的双曲型关系感知聚合，并引入了一个角度约束来学习嵌入空间中项的属性语义。后者利用双项嵌入分别对用户项图中的高阶协作信号和KG中的知识关联进行编码，并通过门机制提取有用的语义来学习高质量的用户表示。

3.1、Preliminaries

双曲几何[3]是具有常负曲率的非欧几何。与欧几里得空间相比，双曲几何所覆盖的空间以指数的方式增加，而不是以多项式的方式增加。此属性允许我们有效地捕获双曲线空间中用户-项目交互和KG的底层层次结构。在这项工作中，我们使用曲率恒定的Poincaré球模型 -c = -1来学习双曲嵌入，因为它对梯度优化是可行的[33,54]。下面我们首先介绍Poincaré球模型的必要的数学基础。

3.2、Hierarchy-Aware Modeling（强调属性对当前项目或用户的影响）

与之前基于传播的研究[37,43,45,47]不同的是，我们的目的是捕获数据的非欧氏潜在解剖。以图1(b)所示的阿里巴巴- ifishion数据集为例，用户-物品交互的程度分布揭示了一个具有幂律分布的底层层次树状结构。同时，KG也表现出层次模式[2,6]。然而，在欧几里得空间中，由于数据的高失真，不能很好地捕捉数据的层次性[12,34]。因此，我们在双曲空间中嵌入了用户和项目，以及实体和关系，在双曲空间中，层次结构可以自然地保留。由于以往基于欧几里得的方法在双曲空间中不可行，我们在KG中设计了一种新的聚合方案。

同时，我们认为以前的方法不能正确地描述项目的特征，因为它们没有区分层次关系和其他关系，只在粗粒度上建模KG关系。具体来说，KG中的层次关系通常携带实体的属性信息(如品牌、面料)，而非层次关系只能表示实体之间的关联(如匹配、相似)。这促使我们在嵌入空间中引入额外的约束，以提高表征能力和表达能力。

这一节内容不太好懂

3.2.1、双曲关系传递聚合

引入KG之后，一个项目 i 可以设计多个KG三元组，项目i 的邻域反映了 i 和 i 的连接实体之间关系的相似性，N_i={(r,t)|(i,r,t)∈G_k}是项目 i 的一阶关系，聚合邻域信息，生成项目 i 的知识表示：

f_B是聚合和提取知识图谱中项目 i 的所有连接（i,r,e）的聚合函数。

之前的研究[47]表明，基于节点的聚合无法区分关系路径，这无法保留路径所承载的关系依赖性。因此，有必要将关系路径集成到表示中。

均值聚合器中的关系上下文建模为：

为了避免双曲空间中的复杂平均运算，我们首先将每个关系上下文映射到切线空间，因为这是欧几里德近似的最佳表现（参见图3）；然后我们利用指数映射将其映射回双曲空间以获得表示e（1）。因此，聚合器能够将关系消息集成到双曲空间中的目标表示中，并通过映射操作避免复杂的双曲均值池。

进一步堆叠更多聚合层，以探索项目的高阶知识关联。从技术上讲，我们递归地将项目i在l层之后的知识表示形式表述为：

3.2.2、Angle Constraint of Hierarchical triplets

层级关系可以揭示项目的属性，但上述聚合方案不能在嵌入空间中保留这种语义，因为它只是将所有相邻信息聚合为表示。

接下来，我们将重点关注具有层次关系的项目的属性信息建模。为了便于讨论，我们假设KG中的所有关系都分为两种类型（即层次关系和非层次关系），并且关系的类型是先验的。

双锥曲线，锥的角度计算：

换句话说，双曲蕴涵锥在嵌入空间中形成嵌套结构，锥的宽度（又称角度）可以自然地表示嵌入的“属性”语义，如图2右侧所示。为了利用双曲蕴涵锥几何的表达能力，我们首先使用 H={(i,t)|(i,r,t)∈G∧ r}以表示KG中层次关系r的层次实体集，并使用等式（9）定义嵌入空间中的角度约束：

e_i和e_t是实体i、t的最终表示，计算公式如公式(15)

虽然这种约束可以确保属性具有几何角度的语义，但它也限制了表征能力。例如，假设项目i是一条具有多层次关系（例如品牌和面料）的牛仔裤。由于每个i的连通实体在双曲空间中定义了一个蕴涵锥，i的嵌入只能在它们的相交区域。由于项目在KG中通常有几十个关系，因此该交叉区域可能非常小，导致嵌入空间可能崩溃。因此，我们通过随机分配一个对应的子空间来放松它，以嵌入满足以下约束的项i：

其中e′i和e′t分别是ei和et的子空间嵌入，通过随机掩蔽一些维数。在我们当前的实现中，每个维度被屏蔽的概率为0.5，而这个概率可以很容易地调整，以满足应用需求。通过这样做，我们只在d双曲平面的子集中执行角度约束，为表达项目的关联性和其他知识语义留出了空间。

3.3、Gated Aggregation with Dual embeddings（聚合知识嵌入和邻居的协作信息）

HAKG框架的第二个关键组件主要用于捕获项目的高阶协作信号。现有的方法利用面向KG的聚合策略从相邻节点收集与项目相关的信息。不幸的是，这种方法要么将协作信号与知识关联混合在一起，使它们变得难以区分[8,45]，要么完全忽略项目[47,49]的协作信号，从而导致次优项目表示。因此，我们建议使用双项目嵌入分别聚合两种类型的信息，以解决这一限制：

（1）知识项目嵌入，如第3.2节所示，知识项目嵌入用于描述具有KG知识信息的项目。

（2）协作项目嵌入，对项目的高阶协作信号（如用户项目图中的共生关系）进行编码。在项目整体表示的基础上，我们进一步开发了一种信息门机制，以自适应地提取有用信息，供用户聚合。我们在图3中说明了我们的方法。