Should Graph Convolution Trust Neighbors? A Simple Causal Inference Method
作者：互联网
摘要：
最近对图卷积网络(GCNs)的研究揭示了局部自适应的有用性，它使调整邻居对目标节点表示的贡献成为可能。现有的工作通常通过引入一个额外的模块，如图注意力，它学习邻居节点的权重，去实现局部自适应。然而，这种方法在实际中效率不好，因为拟合训练数据并不一定会导致合理的局部自适应，特别是在数据标记很少的情况下。
在一个正交的方向上，这项工作探索了如何在模型推理阶段实现局部自适应，这是一个很少得到关注的新角度。保持训练阶段不变性是普遍的主要优点——它可以应用于大多数GCNs，并提高其推断精度。给定一个训练过的GCN模型，其想法是通过阻止图结构从而做出反事实的预测，即迫使模型使用每个节点自己的特征来预测其标签。通过比较原始预测与反事实预测，我们可以评估邻居节点的可信度。此外，我们还探讨了图的不确定性，这种不确定性衡量了预测如何随着图结构的变化而变化，并在推理阶段引入了边丢失来估计图的不确定性。我们对7个节点分类数据集进行了实证研究，以验证该方法的有效性。
1.介绍
GCN在广泛的图形分析应用中是一种很有前景的技术，如用户分析、文本分类和推荐系统。其主要思想是通过传播邻居的表示来增强目标节点的表示，根据连通性强制执行平滑度约束。一般情况下，图卷积会根据同质性猜想增加同一类型下节点的表示相似性。然而，在现实世界的图中也存在着一些跨类别的连接，如引文网络和社交网络，两个已连接的节点属于不同的类别（请参见图1中的节点2）。在这种情况下，图卷积可能会不恰当地将邻域表示与目标节点融合，从而误导预测。为了解决这一困境，必须赋予GCN自适应局部性，即以特定于节点的方式调整来自邻居节点的影响。
GCN自适应局部模块的设计备受关注，主要是注意力机制，包括邻居注意力和跳注意力。关键思想是根据邻居的表示来评估邻居的可信度。理想情况下，注意力权重减少属于不同类别的邻居，以减少它们对目标节点的负面影响。在不同GCN层上，目标节点的跳注意力权重，对应于不同跳上邻居的聚集。首先，跳注意可以通过突出目标节点自身的特征来消除邻居的负面影响。由于注意力网络缺乏监管标签，它通常根据GCN的总体训练目标进行优化，但在实践中可能不可靠。
很好地拟合训练数据并不一定能导致对邻居可信度的准确评估。 更糟糕的是，为了拟合训练数据，图的注意力可能会被虚假信号干扰。表1提供了一个节点分类在数据集OGB-arXiv的经验验证，其中有代表性的GCN模型使用不同的可信信号进行测试。可信信号表示是否信任邻居的“基本真相”（详见第3节）。在表中，Self+Neighbor_Trust指的是在GCN训练时将可信任的信号整合到节点特征中。Self+Neighbor_Bound是指在推理阶段使用可信信号的上限性能。对于所有模型，Self+Neighbor_Bound和Self+Neighbor_Trust之间存在很大的性能差距，表明它们的自适应局部化模块不能如预期的那样充分利用信号来实现准确的自适应局部化。
这项工作探索了当训练良好的GCN预测无标签节点时，推理阶段的自适应局部性。我们的假设是，模型输出揭示了邻居的可信度，从而可以指导自适应局部性。例如，我们不能信任邻居，如果模型在考虑到邻居的情况下，其预测是不确定的。此外，如果只有目标节点特征时，模型已经有信心进行预测，我们也可以丢弃邻居。本质上，目标节点的特征和邻居都是对目标节点进行预测的原因。通过区分这两种因果效应，我们可以根据邻居的可信度对模型预测进行修正。这样，将自适应局部性从模型训练中分离出来，可以应用于任何GCN模型。
为此，我们提出了一种自适应推理机制(AdaInf)，它将调整作为一种选择机制来实现。特别地，基于预测的可信度和不确定性，在GCN的原始预测(即，信任邻居)和图结构被阻止的反事实预测(即，信任自己)之间做出选择。尤其是，我们探索图的不确定性，旨在捕捉预测如何随着图结构的变化而变化。为了估计图的不确定性，我们提出了蒙特卡罗边缘下降(MCE)，它可以执行随机的边dropout，并评估预测的变化。最后，我们将图的不确定性与构成预测特征的其他因素输入到一个分类器中，以学习AdaInf的选择。我们在APPNP上使用了AdaInf，这是一个最先进的节点分类的GCN模型。在7个不同节点分类设置的数据集上进行的广泛实验验证了我们提出的有效性。
本工作的主要贡献总结如下：
• 我们在GCN推理过程中实现了自适应局部性，并提出了一种与模型无关的AdaInf机制。
• 我们提出MCE来估计GCN预测的图的不确定性，将边dropout引入推理阶段。
• 我们在7个节点分类数据集上进行了实验，以证明所提方法的合理性。
2.准备工作
节点分类
我们将一个具有N个节点的图表示为
标签：Neighbors,Inference,Convolution,模型,GCN,Self,邻居,节点,预测 来源： https://blog.csdn.net/ZZZ___bj/article/details/120583591