常用激活函数总结
作者:互联网
常用激活函数总结
1.Sigmoid 函数
基本概念:Sigmoid函数,它能够把x属于R的输入“压缩”到x属于(0,1)区间内。
表达式:
缺点:sigmoid函数容易出现梯度弥散现象,当网络的层数增加时,较前层的参数无法及时更新,所以无法训练深层神经网络。
用法:tf.nn.Sigmoid(x) 属于概率输出
延伸:梯度弥散是指梯度值接近0的现象。
2.ReLU函数 (修正线性单元)
基本概念:ReLU(修正线性单元),它对于小于0的值全部抑制为0,对于正数则直接输出。又叫单边抑制特性。
表达式:
优点:在反向传播时,它既不会放大梯度,不会造成梯度爆炸;也不会造成梯度弥散。
用法:tf.nn.relu(x)
3.LeakyReLU 函数
基本概念:添加了一个用户超参数,避免了ReLU造成梯度弥散现象。
表达式:
LeakyReLU函数的导数,当x小于零时,LeakyReLU函数导数值为p,p一般是认为设置的一个较小数值(如0.01或0.02)
用法:tf.nn.leaky_relu(x, alpha=…)
4.Tanh函数
基本概念:Tanh函数,能将x属于R的输入“压缩”到区间[-1,1]区间。
表达式:
用法:tf.nn,tanh(x)
参考文章
[1] https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book
标签:总结,函数,nn,梯度,弥散,tf,激活,表达式 来源: https://blog.csdn.net/weixin_44312422/article/details/115213516