深度学习各子领域略览及术语列表 (7)

开启掘金成长之旅！这是我参与「掘金日新计划 · 2 月更文挑战」的第 20 天，点击查看活动详情

27. 异质图神经网络HGNN（异质图神经网络（持续更新ing...））
    1. metapath
    2. meta-graph
    3. metapath-based neighborhood
    4. meta-path neighbor graph / metapath-based graph
    5. network schema
    6. metapath及其相关概念（持续更新ing...）
    7. metapath2vec
    8. HAN
    9. GTN
    10. MAGNN
    11. HGT
    12. RGCN
    13. GATNE
    14. G2G
    15. DEAL
28. 动态图神经网络
    1. 动态网络（dynamic network）和时态网络(temporal network)有区别吗？ - 知乎：感觉结论是没有区别
29. hyperbolic
30. graph un-learning：理念是从模型中去掉已学习的部分训练集（想要保护隐私，所以要删除指定用户数据，这种scenario）
31. 用GNN做NLP
    1. TextGCN
32. AutoGraph：这个我主要是听过北大一位毕业博士给我们实验室讲的talk。我自己不是做这个的，所以只在此简单罗列。对slides或者相关专业人士有需求的可以联系我，我再去帮你找人。 补充知识点：GNN算子可以分为propagate（P）和transform（T）
    1. G-NAS：PT的pipeline（模式和深度）是固定的 GraphNAS Graph Neural Architecture Search Auto-GNN: Neural Architecture Search of Graph Neural Networks
    2. Model Degradation Hinders Deep Graph Neural Networks：这篇paper考虑了以前工作太浅导致对全图信息的表现力不足，GNN很难做深是个经典问题了，本文这里给出的解释是拉普拉斯平滑（slides这里还有一些相关论文列表，JKNet，SGC，APPNP，DAGNN等，其他略，可以看下面一条的deep GNN工作集锦），主要探讨了P和T两种算子的深度分别对GNN产生的影响
    3. DFG-NAS: Deep Graph Neural Architecture Search：design space考虑不同的PT顺序、组合和数量，加入门机制、skip connection等 （架构的选择与图的稀疏程度、大小等有关）
    4. PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm：这篇主要考虑信息通讯代价的问题，提升GNN的scalability PKU-DAIR/SGL: A scalable graph learning toolkit for extremely large graph datasets. (WWW'22, 🏆 Best Student Paper Award) Neural Message Passing (NMP) 范式（聚合过程是通讯，更新过程是计算）会导致图运算耗时 SGAP范式： 这个架构看起来是传播→训练→传播again（这回用的是训练后得到的软标签），具体的没看 design space是3个SGAP步骤中的参数选择
    5. Angel Graph
33. mengliu1998/awesome-deep-gnn: Papers about developing deep Graph Neural Networks (GNNs)：关注GNN深度的相关工作
34. 图神经网络随机删减方法 AAAI 2023 | DropMessage: 图神经网络随机删减方法的归并统一