消失的梯度问题：问题，原因，意义及其解决对策
作者：互联网
本文为 AI 研习社编译的技术博客，原标题 ：
The Vanishing Gradient Problem
作者 | Chi-Feng Wang
翻译 | Dddda 编辑 | 王立鱼
原文链接：
https://towardsdatascience.com/solving-nlp-task-using-sequence2sequence-model-from-zero-to-hero-c193c1bd03d1
问题
随着越来越多的激活函数加到神经网络中，损失函数的梯度趋近于0，使得网络结构很难训练。
原因
具体的激活函数，比如sigmoid函数，把很大的空间压缩到0和1之间。因此，sigmoid函数的输入即使变化很大也只会改变一点输出。因此，求导就变得很小。
图1：sigmoid函数以及导数
例如，图一是sigmoid函数及其导数。注意当sigmoid函数的输入变大或变小时（当|x|），导数如何接近零。
为什么这是重要的?
对于使用激活函数的仅有几层的浅层网络结构，这不是很大的问题。然而，当使用更多层的时候，可能会造成梯度太小而不能很好的训练。
神经网络的梯度是使用反向传播来找到的。简单来说，反向传播通过将网络从最终层逐层移动到初始层来找到网络的导数。 通过链式的规则，将各层的导数乘上网络（从最终层到初始层），计算出初始层的导数。
然而，当有n个隐藏层使用像sigmoid的激活函数时，n个小的倒数相乘。因此，当我们反向传到初始层的时候，梯度会大幅度下降。
一个小的梯度意味着初始层的权重和偏差不会在训练中得到有效更新。由于这些初始层通常对识别输入数据的核心元素至关重要，因此可能导致整个网络的整体不准确。
解决方案
最简单的解决方案是使用激活函数，像ReLU，不会导致一个小的导数。
残差网络是另外一个解决方案，因为提供了残差与之前的层直接连接。就像图2中，残差连接直接将block的开头x的值添加到block（F(x)+x）的结尾。
这个残差连接不通过“挤压”的激活函数，从而导致block的整体倒数更大。
图2：残差层
*************************************************************************
译者个人注解：精髓就在于直接连过来的那个x了。h（x）＝f（x）＋ x，h（x）对 x 求偏导，值为1，这个1直接传到block的最前端，保证了来自后一层的梯度值完好的传过了这一层然后进入到前一层，使得浅层的weights也可以得到很好的训练。
*************************************************************************
最后，batch normalization层还可以解决这个问题。如前所述，当一个大的输入空间映射到一个小的输入空间时，问题就出现了，导致导数消失。 在图1中，很清晰看到|x|变大的时候。bath normalization通过简单地规范化输入来减少这个问题，这样x就不会到达sigmoid函数的外边缘。如图3所示，它对输入进行了规范化，使其大部分落在绿色区域，其中导数不太小。
图三： 限制输入的sigmoid 函数
如果你有任何的问题或者建议，记得评论 :）
阅读以下的文章来获得更多的信息：
-
https://www.quora.com/What-is-the-vanishing-gradient-problem
-
https://en.wikipedia.org/wiki/Vanishing_gradient_problem
-
https://towardsdatascience.com/intuit-and-implement-batch-normalization-c05480333c5b
想要继续查看该篇文章相关链接和参考文献？
点击【消失的梯度问题：问题、原因、意义及其解决对策】即可访问!
今日资源推荐：数据科学家修炼之道
这是一本跟数据科学和数据科学家有关的“手册”，它还包含传统统计学、编程或计算机科学教科书中所没有的信息。《数据天才：数据科学家修炼之道》有3个组成部分：一是多层次地讨论数据科学是什么，以及数据科学涉及哪些其他学科；二是数据科学的技术应用层面，包括教程和案例研究；三是给正在从业和有抱负的数据科学家介绍一些职业资源。
点击链接即可获取：https://ai.yanxishe.com/page/resourceDetail/614
标签：函数,导数,sigmoid,梯度,问题,https,输入,对策 来源： https://blog.csdn.net/qq_42793029/article/details/91441806