图神经网络 (GNN)

图神经网络是图数据最原始的半监督深度学习方法。
GNN 的思路：为了编码图的结构信息，每个节点可以由低维状态向量表示。对于以图为中心的任务，建议添加一个特殊节点，这个节点具有与整个图相对应的唯一属性。
回顾过去，GNN 统一了一些处理图数据的早期方法，如递归神经网络和马尔可夫链。
展望未来，GNN 中的概念具有深远的启示：许多最先进的 GCN 实际上遵循与邻近节点交换信息的框架。事实上，GNN 和 GCN 可以统一到一个通用框架中，GNN 相当于 GCN 使用相同层来达到的稳定状态。从概念角度来看，GNN 是非常重要的，但它也有几个缺点：首先，在其计算过程中，公式 (具体公式可查看原文) 中的映射必须是压缩映射，这就严重限制了建模能力。其次，由于在梯度下降步骤之间需要许多迭代，因此 GNN 在计算上的代价是昂贵的。

图卷积网络 (GCN)

除了 GNN，图卷积网络 (GCN) 是图的另一类半监督方法。
由于 GCN 通常可以像标准的 CNN 那样通过反向传播来训练特定任务的损失，所以本文主要关注其采用的体系结构。
下表总结了本文所研究的 GCN 的主要特征：
不同图卷积网络之间的比较

可以看到在本文所研究的 22 种 GCN 方法中，从类型角度看分为两种，一种是光谱域 (Spectral)、另一种是空间域 (Spatial)。

在卷积操作过程中，每种方法所采用的技术也大不相同，主要包括插值核 (Interpolation Kernel)、多项式、First-order 以及 Random Walk 等等。在 Readout 方面，主要包括分层聚类、分层聚类 + FC、Set2set 等等技术。当然在在可扩展性、节点特征以及其它改进方面也各不相同。

图自编码器 (GAE)

自编码器 (AE) 和变分自编码器 (VAE) 广泛应用于无监督学习中，它们适用于学习无监督信息的图节点表示。
下表总结了本文所研究的 GAE 主要特征：
不同 GAE 之间的比较

可以看到，在本文所研究的 10 种 GAE 方法中，7 种属于自编码器 (AE)、3 种属于变分自编码器 (VAE)。每种方法采用的降维方法也有所不同，主要包括 L2-Reconstruction、拉普拉斯特征映射 (Laplacian Eigenmap)、递归 Reconstruction、排序、GAN 等等。在可扩展性、节点特征以及其它改进方面也各不相同。除了上述两个主要分类外，也有一些进展值得讨论。首先是对抗性训练方案，尤其是生成对抗网络 (GAN)，这是最近机器学习领域的一个热门话题。GAN 的基本思想是构建两个相关联的模型，一个判别器和一个生成器。生成器的目的是通过产生假数据来 “欺骗” 判别器，判别器的目的是区分样本是真实数据还是由生成器产生的假数据。然后，两个模型可以通过极大极小博弈进行联合训练，从而相互受益。S. Pan 等人将对抗训练方案作为一个额外的正则化项纳入 GAE。整个架构如图 9 所示。具体来说，编码器用作生成器，判别器的目的是区分潜在表示是来自生成器还是来自先验分布。这样，自动编码器就被强制匹配先验分布以作为正则化。

最新的进展

递归神经网络 (RNN)，例如 GRU 或 LSTM 是建模序列数据的一个实际标准，在 GNN 中用于模拟节点状态。RNN 也可以用于图级别。为了消除歧义，我们将这种架构称为 Graph RNNs。You et al.将 Graph RNN 应用于图生成问题。具体来说，他们采用两个 RNN，一个用于生成新的节点，另一个用于以自回归的方式为新添加的节点生成边。结果表明，与传统的基于规则的图生成模型相比，这种分层 RNN 结构在具有可接受的时间复杂度的同时，能够有效地从输入图中学习。
动态图神经网络 (Dynamic Graph Neural Network, DGNN)[95] 提出利用 time-aware LSTM来学习动态图中的节点表示。作者表明， time-aware LSTM 可以很好地建模边形成的顺序和时间间隔，从而有利于图的广泛应用。
也可以将 Graph RNN 与其他架构 (如 GCN 或 GAE) 结合使用。例如 RMGCNN[96] 将 LSTM 应用于 GCN 的结果，逐步重构图，如图 10 所示，旨在解决图的稀疏性问题。Dynamic GCN应用 LSTM 在动态网络中收集不同时间片段的 GCN 结果，目的是获取空间和时间图信息。

图 10：RMGCNN 的框架 # 图强化学习 **GCPN** 利用 RL 生成目标导向的分子图，以处理不可导目标和约束。实验结果证明了 GCPN 在各种**图生成**问题中的有效性。 **MolGAN**也采用了类似的思想，即使用 RL 生成分子图。MolGAN 建议直接生成完整的图，而不是通过一系列的动作来生成图，这对小分子很有效。 # 基于图的深度学习的应用和未来方向 ## 应用 除了标准图推理等任务，如**节点分类**或**图分类**，基于深度学习的方法也已经应用于广泛的学科，如建模社会影响、推荐、化学、物理、疾病或药物预测、自然语言处理、计算机视觉、交通预测、程序归纳、以及求解基于图的 NP 问题。 这些应用还表明，基于图的深度学习不仅有助于挖掘现有图数据背后的丰富价值，而且还通过将关系数据自然地建模为图，有助于推进其他学科的发展，极大地扩大了基于图的深度学习的适用性。 ## 以下几个正在进行或未来的方向值得关注： **不同类型的图**。由于图数据结构极其不同，现有的方法无法处理所有的图数据。下一个重要的方向是**设计特定的深度学习模型来处理这些不同类型的图**。 **动态图**。大多数现有方法关注于静态图。然而，许多真实图本质上是动态的，其中**节点、边及其特征可以随着时间的推移而改变**。例如，在社交网络中，人们可能建立新的社会关系，删除旧的关系，他们所扮演的角色，例如爱好和职业可以随着时间的推移而改变。新用户可以加入网络，老用户可以离开。**如何对动态图的演化特征进行建模**，并支持模型参数的增量更新，在很大程度上仍是未解决的问题。 **可解释性**。由于图通常与其他学科相关，因此，对基于图的深度学习模型作出解释对于决策问题至关重要。例如，在医学或与疾病有关的问题中，在将计算机实验转化为临床应用方面，可解释性是必不可少的。然而，由于图中的节点和边是高度互连的，基于图的深度学习的可解释性甚至比其他黑盒模型更具挑战性。 **组合性**。如前几节所示，许多现有的架构可以一起工作，例如使用 GCN 作为 GAEs 或 Graph RNNs 中的一个层。除了设计新的构建块，如何有原则地组合这些架构是一个有趣的方向。 综上所述，我们的研究表明，图深度学习是一个很有前途、且发展迅速的研究领域，既有令人兴奋的机会，也有挑战。研究图深度学习是关系数据建模的关键部分，是迈向更好的机器学习和人工智能时代的重要一步。

论文地址：https://arxiv.org/pdf/1812.04202v1.pdf

标签：编码器,GCN,学习,GAE,GNN,节点
来源： https://blog.csdn.net/XXMRXXX/article/details/100191519