前馈神经网络
作者：互联网
前馈神经网络
4.1 神经元
人工神经元（ Artificial Neuron ），简称神经元（ Neuron ），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出．
图 4.1 给出了一个典型的神经元结构示例．
下面介绍几种在神经网络中常用的激活函数．
4.1.1 Sigmoid 型函数
Sigmoid 型函数是指一类 S 型曲线函数，为两端饱和函数．常用的 Sigmoid型函数有 Logistic 函数和 Tanh 函数．
图 4.2 给出了 Logistic 函数和 Tanh 函数的形状． Tanh 函数的输出是零中心化的（Zero-Centered ），而 Logistic 函数的输出恒大于 0 ．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（ Bias Shift ），并进一步使得梯度下降的收敛速度变慢．
Hard-Logistic 函数和 Hard-Tanh 函数：Logistic 函数和 Tanh 函数都是 Sigmoid 型函数，具有饱和性，但是计算开销较大．因为这两个函数都是在中间（ 0 附近）近似线性，两端饱和．因此，这两个函数可以通过分段函数来近似．
图 4.3 给出了 Hard-Logistic 函数和 Hard-Tanh 函数的形状．
4.1.2 ReLU 函数
ReLU （ Rectified Linear Unit ，修正线性单元）也叫Rectifier 函数 ，是目前深度神经网络中经常使用的激活函数．ReLU 实际上是一个斜坡（ ramp ）函数.
在实际使用中，为了弥补Relu函数的缺点，有几种 ReLU 的变种也会被广泛使用．