Hinton Neural Networks课程笔记4a：使用神经网络做逻辑推理
作者：互联网
例子简单讲就是给定n个三元组（A，R，B）作为训练集，然后给定A和R，神经网络输出B。这里涉及到学习A,R,B的特征表示，不仅要有意义，而且还有三者之间进行配合。
例子简介：亲戚关系推断
这节主要介绍一个使用神经网络做逻辑推理的例子：亲戚关系推断。
非常常见的家族图谱，就不赘述了。注意两个地方：等于号表示两者结婚了；上下两个图谱，表示两个家庭。
家庭图谱可以用作逻辑推断（例如妈妈的妈妈叫姥姥。。。），例子如下：
学习亲戚关系推断
将家庭图谱表示为上诉逻辑推断的形式之后，可以把输入看做三元组（例如（x, has-mother, y））。直觉传统的做逻辑推断的方法是使用符号规则，例如指定规则：
这样的缺点是需要人工设定，穷尽可能。
希望可以使用神经网络学习到如何做逻辑推断，设计网络结构如下：
输入三元组的前两个元素，输出第三个元素，可以用于质询，例如：问colin的father是，输出james。
对于元素的输入，使用one-hot方式表示，优势是不引入先验（如果使用二进制密集表示，那么会存在某两个点在空间上比其他点近），易于分析。
元素输入之后分别使用一个编码器对其进行编码，这个编码过程可以加入一些限制，传统的方式是使得维度减少，强制性使得信息压缩，保留有用信息。
元素输出同样是one-hot格式的，输出每个类别的可能性，通常是softmax。同样的，输出之前使用解码器解码，即对所有元素融合过程中是以编解码后的隐层表示进行交互。
中间层学习预测逻辑推理的功能，同时也兼具协调两个编码器和一个解码器的功能，使得三者的隐层表示互相之间是有意义的。
对学习到的编码器进行分析
上图展示了将输入24维编码到6维隐层表示的编码器权重，图中存在6个灰色的大框，分别表示六个隐层神经元，每个神经元内上下两行分别表示两个家族，每个黑白矩形表示对应家族成员到相应神经元的输入权重，白色为正数，黑色为负数。因为两个家族结构一样，所以只使用一个家族的名称表示，另一个家族的名称省略。
首先观察右上方神经元，清晰可见的一行白矩形，一行黑矩形，可见这个矩形用于区分两个家族。同一个家族的输入，只会对应于同一个家族的输出，学习到家族分类是很有必要的。
继续观察其下方的神经元，可以看到其随辈分的增加，值在变大。（Andrew对应于白色大矩形，而colin是黑色大矩形，james的绝对值相对较小）
验证性能
这部分就是很toy的了，留下四个测试，其他的训练，查看结果：
[原文链接]：https://blog.csdn.net/silent56_th/article/details/77747426
标签：表示,输出,Neural,家族,推断,Hinton,矩形,Networks,输入 来源： https://www.cnblogs.com/liuxp775/p/12504888.html