深度学习--daydayup

深度学习和卷积神经网络的关系

什么是深度学习？

什么是卷积神经网络？

在论文基于视觉注意机制的神经网络模型研究及应用一文中，作者指出，人工神经网络、卷积神经网络、深度学习，这些是同一项技术在不同历史时期由于不同的研究侧重点而获得的不同名称。

卷积：根据百科定义，卷积本质上其实是一种数学算子，通过函数f，g生成第三个函数

我们称  为  的卷积，它把跟两个变量有关的二维函数，卷成了一个一维函数。x+y=n;

其连续的定义为：

 

 

 其离散的定义为：

 

 

 参考知乎：https://www.zhihu.com/question/22298352

离散的卷积例子：掷两个骰子

连续的卷积例子：做馒头，馒头会腐败

假设馒头的生产速度是  ，那么一天后生产出来的馒头总量为：

 

 

 

馒头生产出来之后，就会慢慢腐败，假设腐败函数为  ，比如，10个馒头，24小时会腐败：

 

我的理解是，这里的g（t）实际上是一个腐败百分比函数，随着时间变化，腐败的成分越来越高，比如24小时时，腐败百分比达到百分之五十，那就是坏了五个馒头。同时23，22小时也可这样计算。

那总的来说，坏掉的馒头为：

 

这就是连续的卷积。这里第一个小时生成出的馒头，经过24小时的腐败，第二个小时生成出来的，经过23小时腐败。

卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音.

 

什么是激活函数？

所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。常用的激活函数是Sigmoid函数。

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间  。公式如下

 

 

 

关于神经元：

 

 

这里的f也可单独提出来作为激活层。

 w代表权重（也称作滤波器，卷积核，权重是有大小的，他可能是一个数值，也可能表现为一个矩阵值，权重的大小称作接受域，再强调一下，权重是数字，接受域是权重大小。既然有了接受域，从一个接收域移动到下个接受域的距离称为步长。不够步长移动的时候，一般会采用周围补零的策略），Θ代表偏置，所谓偏置就是偏置值允许将激活函数向左或向右移位，这可能是成功学习的关键。正因为有了偏置的存在，函数的输出才有了可变性。它的存在是为了更好的拟合数据。

卷积层-Convolutions   子采样和局部平均层-subsampling层

另外还有池化层POOL的概念主要作用是减小特征图，起到降维的作用。常用的方法是选取局部区域的最大值或者平均值。卷积层的作用是特征提取。

卷积神经网络定义： 卷积神经网络是一个多层的神经网络，每层由多个二维平面(特征映射)组成，而每个平面由多个独立神经元组成。每一个特征映射都是平面形式的。

子抽样 ： 每个卷积层后面跟着一个实现局部平均和子抽样的计算层(池化层)，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形 的敏感度下降的作用。

 

关于注意机制

Attention Mechanism 最关键的部分就是权重的学习。

 

 

标签：馒头,函数,映射,--,腐败,卷积,神经网络,深度,daydayup
来源： https://www.cnblogs.com/awangkuo/p/14261435.html