java-Autoencoder的实现

我正在尝试用Java自己实现自动编码器.从理论上,我了解到自动编码器基本上是一个对称网络.

因此,如果我选择总共有5层,我是否必须在训练(反向传播)阶段使用9层或足够使用5层？

我一直在读理论,但是它们太抽象了并且充满了数学公式,我无法通过Google获得任何实现细节.

这样做的通常方法是什么？

在训练阶段,使用反向传播的自动编码器试图获得与输入相似的输出,目的是使误差最小.如上所示.上图中的层数为7,而训练后的实际层数为4.因此,在训练的同时我可以仅用4进行反向传播吗？如果是这样,我该怎么做？

解决方法:

简单的反向传播不适用于这么多的层.由于所谓的消失梯度现象,具有两个以上隐藏层的网络将无法学到任何合理的信息.实际上,使用一个隐藏层可获得最佳结果.因此,在使用自动编码器的情况下,您应该具有INPUT层,HIDDEN层和OUTPUT层.通用逼近定理清楚地表明,对于任何问题,这都足够了.

从OOP的角度来看,这取决于您是否打算对不同类型的神经元重用此代码,对于神经元类型,我的意思是比不同的激活函数(行为不同(随机神经元？))更深的含义.不同的拓扑(未完全连接的网络).如果不是,则将每个神经元建模为一个单独的对象是完全多余的.

标签：autoencoder,machine-learning,backpropagation,java
来源： https://codeday.me/bug/20191122/2058763.html