卷积神经网络

卷积层

鲁棒性： 也就是当数据发生变化或者其他的原因，算法的效率稳定。

卷积的特性： 拥有局部感知机制，因为每个卷积核的权值是不变的所以具有权值共享的特点，目的就是进行图像特征提取。

上图的参数大大的减少了，这就是权值共享的优势。

• 卷积的深度就是卷积核的个数，也就是输出特征矩阵的channel与卷积核个数相同。
• 卷积核的channel和输入特征层的channel相同

。
激活函数

使用较多的是relu激活函数。在用relu的时候尽量不要用很大的学习率进行学习，这样的话会导致很多神经元失活，神经元一旦失活在进行反向传播的时候可能就不会再次激活

。
卷积之后的矩阵尺寸

池化层

MaxPooling下采样

目的：对特征图进行稀疏处理，减小数据运算量。

AveragePooling下采样层

下采样层的特点：

• 没有训练参数，不像卷积层每个卷积核是带有固定的参数的。
• 只改变特征矩阵的宽度和高度，并不会改变特征矩阵的深度。
• 一般情况下，下采样层的size和stride相同。

反向传播

误差的计算

w的第一个1表示上一层的第几个节点，第二个1表示本层中的第几个节点，上标的1就表示这是属于第几层。

最后一层的激活函数用softmax

误差的反向传播



更新权重

在实际情况下更新权重的时候并不是指向损失梯度全局最优的方向，因为我们不可能一次性的将数据载入内存，我们可以一次将几十张图片载入内存，为batch设置大小，然后分批次的载入图片

• 易受样本噪声的影响：也就是样本的标注可能是错误的，求出来的损失梯度可能就有错误，如果标注是正确的话求的梯度方向是朝向上的，但是标注错误的话可能就会和正确的梯度方向相背`
  
• 可能陷入局部最优解，如上图红色所标注的地方
  解决上述的问题的方法：
  SGD+Momentum优化器
  

优点：能够有效抑制样本噪声的影响

• St就是对我们的损失梯度的平方然后进行求和，在运算的过程中随着St的增大学习率会逐渐的减小，这样就实现了自适应学习率的情况
• 缺点就是学习率下降到的太快可能还没有收敛就停止了训练。

针对Adagrad优化器的缺点：有人提出了RMSProp优化器（自适应学习率）

添加的这个参数就是控制学习率的衰减速度的，也就是梯度的和不会增加的太快，从而解决了Adagrad优化器没有收敛就停止了训练这种情况。

我们常使用的是SGD，虽然SGD速度很慢但是它是梯度方向是非常理想的，
还有就是SGD+Momentum以及Adam优化器。

标签：采样,知识点,卷积,矩阵,学习,神经网络,SGD,就是
来源： https://blog.csdn.net/qq_35690040/article/details/118633064