PGL图学习之图神经网络GraphSAGE-icode9
作者：互联网
在图神经网络中，所使用的数据有可能是亿规模的数据信息，而因为GPU/CPU资源是有限的没法一次性地图全图送进云计算服务器，必须参考深度神经网络中的mini-batch观念。
传统深度神经网络mini-batch练习每个batch的样版中间无依靠，双层样版运算量固定不动；但在图神经网络中，每个batch里的连接点中间互相依赖，在预估双层的时候会造成运算量发生爆炸，因而引进了图取样这个概念。
GraphSAGE都是图嵌入优化算法中的一种。在毕业论文InductiveRepresentationLearningonLargeGraphs在大图上的梳理表示学习中指出。github链接和官方网详细介绍连接。
与node2vec相比而言，node2vec是在图的连接点等级中进行置入，GraphSAGE则在全部图的等级中进行置入。以前的互联网表示学习的transductive，无法进而给出了一个inductive的GraphSAGE优化算法。GraphSAGE与此同时运用连接点特点信息及构造信息内容获得GraphEmbedding的投射，较之前的办法，以前都是保留了投射后结论，而GraphSAGE保留了形成embedding的投射，扩展性比较强，针对节点分类和链接预测难题表现也非常明显。
0.1明确提出环境
现有的方式必须图上每一个端点在练习embedding的情况下都出现了；这种先人的方式实质上是transductive，不可以自然而然广泛到未见到的端点。原文中给出了GraphSAGE，是一个inductive的架构，可以借助端点特点信息内容（例如文本属性）来有效地为没见过的端点形成embedding。GraphSAGE是为了学习一种连接点表明方式，即怎样通过从一个端点的部分隔壁邻居取样并汇聚端点特点，而非为每一个端点练习独立的embedding。
这一优化算法在三个inductive端点归类benchmark上远远超过了这些较强的Baseline。原文中基于citation和Reddit贴子数据库的信息图表中对未见到的端点归类，试验说明应用一个PPI（protein-proteininteractions）图组数据，优化算法能够类化到彻底未见到的图中。
0.2回望GCN以及难题
在各类图上，节点低维空间向量embedding被验证了做为各种各样预测分析和图分析每日任务的特点键入是非常有利的。顶点embedding最基本基本上理论是应用特征提取技术性从高维空间内容中提炼出一个端点邻居信息内容，存进低维空间向量中。这种端点置入后会做为后续机器学习系统的键入，处理像端点归类、聚类算法、链接预测这种问题。
GCN虽然可以获取图上端点的embedding，可是存在一些难题：
GCN的最基本观念：把一个连接点在图片中的高纬临接信息内容特征提取到一个低维的向量表示。
GCN的优势：能够捕获graph的全局性信息内容，进而更好地表明node的特点。
GCN的缺陷：Transductivelearning的方法，必须将所有连接点都参加练习才会得到nodeembedding，没法迅速获得新node的embedding。
1.图采样算法
1.1GraphSage:RepresentationLearningonLargeGraphs
图采样算法：说白了，图采样算法便是在一张图内进行取样得到一个子图，这儿的取样并不是随机采样，反而是采取一些对策。最典型的图采样算法包含GraphSAGE、PinSAGE等。
文章内容码源连接：
https://cs.stanford.edu/people/jure/pubs/graphsage-nips17.pdf
https://github.com/williamleif/GraphSAGE
前边GCN讲的文中，我所使用的图连接点数量很少，可是在现实问题中，一张图很有可能连接点特别多，因而就没办法一次性把整个图送进云计算服务器，因此我们应当应用一种高效的采样算法，从地图全图中取样出一个子图，这样就能进行练习了。
GraphSAGE与GCN比照：
即然新增加连接点，一定会更改原来节点表明，那样为什么一定要获得每一个节点一个固定表明呢？为何不立即学习培训一种节点表明方式。去学习一个节点信息内容如何通过其隔壁邻居节点特点汇聚而成的。学到了这种“聚合函数”，而我本来就已经知道每个节点特点和邻居关系，我们就能更方便地得到一个新节点地表示了。
GCN等transductive的方式，学习到的是每一个节点一个唯一明确的embedding；而GraphSAGE方式学习到的nodeembedding，是依据node的邻居关系的改变而改变的，换句话说，即便是旧的node，假如设立了一些新的link，这么其相匹配的embedding还会转变，并且非常方便地学习到。
充分了解图采样算法前，咱们最少需要确保取样后子图是相通的。比如上涂涂中，左侧取样的子图便是连接的，右侧的子图并不是连接的。
GraphSAGE的关键：GraphSAGE并不是尝试学习一个图中所有node的embedding，反而是学习一个为每个node造成embedding的投射。GraphSage架构其中包含2个非常重要的实际操作：Sample取样和Aggregate聚合。那也是其名字GraphSage(GraphSAmpleandaggreGatE)的来历。GraphSAGE主要分为二步：取样、汇聚。GraphSAGE的取样方式就是隔壁邻居取样，隔壁邻居取样的意思解释在某一个连接点邻居连接点中挑选好多个连接点做为原节点一阶隔壁邻居，后对进新取样的连接点邻居中不断挑选连接点做为原节点二阶连接点，依此类推。
原文中并不是对每一个端点都练习一个独立的embeddding向量，反而是练习了一组aggregatorfunctions，这种函数公式学习怎么从一个端点的部分隔壁邻居汇聚特点信息内容（如图1）。每一个聚合函数从一个端点的差异的hops换句话说不同类型的检索深层汇聚信息内容。检测或者推论时，应用练习好的软件，根据学到的聚合函数的方式对彻底未见到的端点形成embedding。
GraphSAGE是Graph SAmpleandaggreGatE的简称，其运作步骤以上如图所示，可分为三个步骤：
对图中每一个端点隔壁邻居端点开展取样，而且每个节点度是不一致的，为了能测算高效率，为每一个连接点取样固定不动总数邻居
依据聚合函数汇聚隔壁邻居端点蕴涵信息内容
获得图上各端点的向量表示供中下游每日任务应用
隔壁邻居取样的优势：
巨大降低运算量
容许广泛到原连接关系，个人理解类似dropout的观念，可以增强图模型泛化能力
取样的时期最先选择一个点，随后任意选择那个点的一阶隔壁邻居，再用这种隔壁邻居为切入点随机抽取它们一阶隔壁邻居。比如下面的图中，我们应该预测分析0号连接点，因而最先随机抽取0号节点一阶隔壁邻居2、4、5，随后随机抽取2号节点一阶隔壁邻居8、9；4号节点一阶隔壁邻居11、12；5号节点一阶隔壁邻居13、15
汇聚从总体上是直接将子图从地图全图中抽离出来，从边缘连接点逐渐，一层一层往里升级连接点