编程语言
首页 > 编程语言> > GCN学习 DROPEDGE: TOWARDS DEEP GRAPH CONVOLUTIONAL NETWORKS ON NODE CLASSIFICATION

GCN学习 DROPEDGE: TOWARDS DEEP GRAPH CONVOLUTIONAL NETWORKS ON NODE CLASSIFICATION

作者:互联网

阅读DropEdge,加深GCN,解决图神经网络无法加深的问题。

文章目录


一、Introduction

图卷积网络是利用消息传递或者说聚合节点邻居的信以及自身的信息来获取节点的高阶特征。但是过度拟合过度平滑是GCN进行节点分类的主要障碍。通过本文提出的DropEdge方法就可以解决这两个问题。

二、DropEdge

思想

主要思想:指的是在每次训练时间内,随机剔除输入图的固定比率的边,将DropEdge应用于GCN很多好处。

方法

在开始之前,每个epoch随即提出图中的一定数量的边,剔除边后的邻接矩阵是 A d r o p A_{drop} Adrop​,则有 A d r o p = A − A ′ A_{drop} = A - A' Adrop​=A−A′
A ′ A' A′是由原来的矩阵选取随机个数边的子集。

防止过拟合

同时为了防止过拟合,还需要归一化处理。就是利用GCN中对每个节点的邻居信息进行聚合,因此它在训练时使用的是随机的邻居子集进行聚合,而不是使用所有的邻居。

DropEdge删边率为p,对邻居聚合的期望是由p改变的。在对权重进行归一化后就不会再使用 p。因此,DropEdge没有改变邻居聚合的期望,是用于GNN训练的无偏的数据增强方法,可以有效防止GNN训练时的过拟合问题。类似于经典的图像数据增强方法:rotation, cropping, flapping。(有点不理解)

层级DropEdge

前面所说的DropEdge用的公式是一次性的,所有层共享一个邻接矩阵。但每层也可以单独进行DropEdge,为数据带来更多的随机性。本文还是所有图卷积层共享相同的邻接矩阵。

阻止过平滑

过平滑指的是随着网络层不断加深,节点的表示最终会收敛到一个固定点。(待理解)这种不必要的收敛会损害GCN的能力,因为最终的输出将会和节点特征无关。
本文使用了一种概念,将过平滑看成收敛到一个子空间而不是一个固定点。

1子空间。是N维空间的子空间,大小为M维。
ϵ − s m o o t h i n g \epsilon -smoothing ϵ−smoothing 层,定义满足(3)的公式的层就该层。满足(3)则称节点特征发生了 ϵ − s m o o t h i n g \epsilon -smoothing ϵ−smoothing现象。
(略复杂)
在这里插入图片描述

在足够深的GCN条件下,任意小的 ϵ 值 \epsilon值 ϵ值,都会有 ϵ − s m o o t h i n g 问 题 \epsilon-smoothing问题 ϵ−smoothing问题,但没有提出对应的解决方法,但可以缓解。

总结:在这里插入图片描述

DropEdge与其他概念的区别

1.DropEdge和Dropout

Dropout是对特征向量中某些维度随机置零,可缓解过拟合,但不能缓解过平滑
DropEdge可以看成Dropout向图数据的推广,将删除特征换成删除边,两者是互补关系。

2.DropEdge和DropNode

作者将基于节点采样的方法称为DropNode。DropEdge是放弃边,但依旧保持节点的特征,而DropNode是放弃了节点,不如DropEdge更灵活。
同时DropNode的效率比较低。因为DropEdge对所有边的采样是并行的。

3.DropEdge和Graph-Sparsification

图稀疏性目标是删除不必要的边,尽可能保留原始输入的信息,而DropEdge则是规定删除总数而随机删除边。图稀疏性的方法需要额外的优化过程来决定删除哪些边。

总结

本文提出的方法有效的缓解了原本GCN在深度加大的问题的问题。和DropOut方法有相似之处,不仅解决了额过拟合的问题,还在图领域解决了过平滑问题。未来的应用可以有效的解决性能问题。
本文参考文献


  1. https://blog.csdn.net/byn12345/article/details/105444937/?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2&spm=1001.2101.3001.4242 ↩︎

标签:CONVOLUTIONAL,NODE,TOWARDS,平滑,GCN,DropEdge,拟合,smoothing,节点
来源: https://blog.csdn.net/weixin_43537073/article/details/112706979