累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。
在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。
根本原因是sigmoid函数的缺陷。
方法：
1、好的初始化方法，逐层预训练，后向传播微调。
2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。
标签：函数,梯度,消失,relu,参数,累乘,解决,衰减
来源： https://www.cnblogs.com/pacino12134/p/11110341.html