其他分享
首页 > 其他分享> > 机器学习中的激活函数作用

机器学习中的激活函数作用

作者:互联网

https://blog.csdn.net/a6333230/article/details/80887062

https://blog.csdn.net/newmemory/article/details/86654706
神经网络的激活函数必须使用非线性函数。换句话说,激活函数不能使

用线性函数。为什么不能使用线性函数呢?因为使用线性函数的话,加深神

经网络的层数就没有意义了。

https://www.cnblogs.com/nhdmmdxq/p/9553428.html
可以看出,如果用线性激活函数,或者叫恒等激活函数,那么神经网络只是把输入的线性组合再输出.

后续的例子中会看到,如果使用线性激活函数或者不使用激活函数,那么无论你的神经网络有多少层,一直在做的只是计算线性激活函数,所以不如直接去掉全部隐藏层。因为这种算法和没有任何隐藏层的标准逻辑logistic回归是一样的。

只有一个地方可以使用线性激活函数g(z) = z 就是如果你要机器学习的是回归问题,所以y是一个实数,比如说,你想预测房地产价格,所以y不是0和1,而是一个实数,那么用线性激活函数也许可行。但是隐藏单元不能用线性激活函数,通常是非线性函数,它们可以用ReLU或者tanh或者带泄露的ReLU或者别的东西。
所以唯一可以用线性激活函数的地方通常是输出层。

激活函数的意义(需要激活函数的理由)
激活函数是神经网络的一个重要组成部分。如果不用激活函数(即相当于激活函数为f(x)=x),在这种情况下,网络的每一层的输入都是上一层的线性输出,因此,无论该神经网络有多少层,最终的输出都是输入的线性组合,与没有隐藏层的效果相当,这种情况就是最原始的感知机。
正因为上面的原因,才需要引入非线性函数作为激活函数,这样深层神经网络才有意义,输出不再是输入的线性组合,就可以逼近任意函数。

标签:机器,函数,线性组合,神经网络,https,线性,激活
来源: https://blog.csdn.net/weixin_40922555/article/details/90411780