携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第28天，点击查看活动详情

前言

Hello！ 非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～   自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称：海轰 标签：程序猿｜C++选手｜学生 简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖...已保研。 学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！   唯有努力💪  

知其然 知其所以然！

  本文仅记录自己感兴趣的内容

简介

原文链接：epubs.siam.org/doi/10.1137…

会议：SDM （CCF-B）

年度：2020

Abstract

图卷积是将结构化网格数据卷积到非结构化图数据的一种推广

因为任何类型的数据都可以在特征图上表示，图卷积已经成为建模各种类型数据的强大工具

然而，这种灵活性是有代价的:昂贵的时间和空间复杂性

即使有了最先进的可伸缩图卷积算法，缩放图卷积的实际应用仍然具有挑战性

因此，我们建议使用多元幂次迭代嵌入(DPIE)来构建可扩展的图卷积神经网络

• 基于dpi的图卷积通过嵌入低维避免了矩阵向量乘法形式的昂贵的卷积运算

• 同时，DPIE隐式生成图，这大大降低了从非结构化数据构建图时的空间成本

DPIE是一种速度快数量级的近似谱嵌入方法，它不会产生额外的空间复杂度，从而实现高效有效的图卷积逼近

该方法在各种类型的数据上进行了测试。

我们还将图卷积扩展到图卷积领域从未研究过的超大规模数据

实验结果表明了基于dpie的图卷积的可扩展性和有效性

1 Introduction

近年来，卷积神经网络(CNNs)在网格结构数据的许多应用中取得了巨大的成功，如图像分类和语音识别[8]

cnn提供了从本地数据结构中提取基本信息的能力

然而，由于数据结构不规则，将CNNs应用于一般的图形数据，如社交网络[16]或分子[7]，仍然具有挑战性。

为了解决这个问题，图神经网络(GNNs)/几何深度学习[3]被提出，其中特征可以从图中任何类型(欧几里得/非欧几里得)的邻近节点中提取

因此，gnn被认为是一种更通用的cnn框架

---

类似于欧氏网格上的卷积，现有的图卷积方法开发了用于过滤图邻域的方案

这个过滤器通常是在图拉普拉斯算子或亲和力矩阵的基础上创建的，它结合了卷积的力量和图的信息

然而，我们的实验表明，现有的gnn大多存在时空复杂性问题

• 首先，大规模图的空间复杂性是某些应用的一个问题，例如密集图分类问题
  • 本质上，一种图分类方法需要O(n2)亲和力/连通性矩阵，其中n为图节点数量
  • 随着图大小，即图节点数量的增加，图卷积方法要求每一层的图大小都是二次元
  • 虽然现有的方法仍然适用于小规模稀疏图，但并不是所有的数据都可以表示为稀疏图
  • 因此，现有的算法使用次优选择，如特征选择或k近邻表示，来强制图结构稀疏或更小
• 其次，在如此大的图上进行图卷积的计算复杂度是另一个主要的限制因素
  • 谱图卷积方法[4,8]需要对图的亲和/连通矩阵进行特征值分解，其最差时间复杂度为O(n3)
  • 为了避免这种立方时间复杂度，人们提出了无光谱方法[5,15]
  • 然而，输入图的大小仍然是$O(n^2)$，而且固有的时间复杂度下限仍然是$O(n^2d)$，其中d是通道的数量

为了解决这些空间和时间复杂度问题，本文提出了一种基于多元幂次迭代嵌入(DPIE)[11]的图卷积方法，这是一种用于近似光谱嵌入的有效且极快的算法

• 利用DPIE嵌入近似图卷积，将涉及n × n个矩阵运算的图卷积变换为n × k个矩阵，从而引入了DPIE图卷积
• DPIE还允许跳过显式图构造，当数据不容易在图中结构化时，导致空间复杂度为O(n·k)，其中k为常数，且k为n

因此，本文提出的方法几乎与现有方法一样精确，但速度更快，所需空间更少

我们在这项工作中的主要贡献包括:

• 我们在时间和空间复杂度上都超越了现有的方法，使我们能够将图卷积扩展到大规模数据集，同时在各种数据集上保持准确性和有效性。
• 提出了一种基于DPIE的几何CNN框架，该框架不显式计算图的亲和矩阵和拉普拉斯算子。
• 系统实验结果验证了基于dpie的图卷积算法的实用性和实用性。研究总结了图像、文本和图形数据集。

2 Related Works

Spectral Graph Convolution

谱图卷积的引入[4]定义了傅里叶域的卷积

该方法在特征向量计算的基础上，以矩阵向量积的形式构造卷积

然而，使用特征向量会导致尺度问题

为了避免谱信息的显式计算，ChebyNet[5]利用Chebyshev多项式来近似谱卷积，直接使用拉普拉斯算子作为滤波器;展示了本地化的效果;并提高可伸缩性

图卷积网络(GCNs)[15]通过将切比雪夫多项式截断到一阶来进行进一步的简化，利用单一的滤波矩阵来传播信号。

Spatial Graph Convolution

除了基于傅立叶域参数化滤波器的图卷积，其他的方法都在争相直接训练传播的权值

消息传递神经网络(mpnn)[7]定义了消息传递函数来在图上传播信号

传递函数可以看作是GCNs中的过滤矩阵L，但它使用自适应权值来取代固定的拉普拉斯项

MoNet[20]通过学习具有伪坐标和可学习参数μ和σ的滤波器̃L来改善图卷积性能

图注意网络(GATs)[23]使用注意机制来生成过滤器

这些方法通过训练滤波矩阵的权值$\tilde L$得到了复杂的滤波矩阵，但同时增加了时间复杂度。

Graph Embedding

当用于大规模数据集时，上述方法仍然存在可伸缩性问题

为了解决这些问题，人们提出了几种图嵌入方法[9,12]，例如通过抽样将来自相邻节点的高维信息嵌入到低维中

不同于这些用于节点分类的方法(例如，逐节点抽样[9]或逐层抽样[12])，我们的方法近似于图的亲和力矩阵或拉普拉斯算子，可以用于节点和图的分类

3 Methods

...

4 Experiments

Data Sets

4.1 Semi-supervised Node Classification

4.2 Image Classification

4.3 Text Categorization

5 Conclusion and Future Work

本文介绍了基于一阶切比雪夫图卷积近似的dpie -卷积网络

实验表明，DPIE卷积可以近似最先进的图卷积，同时大大降低时间复杂度

此外，对于非结构化数据，如文本数据，由于DPIE避免了特征图计算，因此也简化了生成图cnn的管道

这也有助于DPIE卷积网络的鲁棒可扩展性

---

对于未来的工作，对局部逼近的改进应该是有兴趣的

另一个重要的方向涉及图卷积框架中的池化策略

由于DPIE针对的是大规模的数据集，现有的基于图粗化算法[6]的池化方法并不实用

相反，通过DPIE嵌入汇集可能是一个有前途的方向

结语

文章仅作为个人学习笔记记录，记录从0到1的一个过程

希望对您有一点点帮助，如有错误欢迎小伙伴指正