Datawhale2021年11月组队学习——卷积神经网络
作者:互联网
以下内容为对Datawhale2021年11月组队学习中“水很深的深度学习”课程的卷积神经网络的简要总结。
原文链接: https://datawhalechina.github.io/unusual-deep-learning/
卷积神经网络CNN
CNN的引出:全连接神经网络的权重矩阵的参数非常多,而且往往自然图像中的物体都具有局部不变性特征,即尺度缩放、平移、旋转等操作不影响其语义信息,但是全连接前馈网络很难提取这些局部不变特征,这就引出了我们将要介绍的卷积神经网络
卷积神经网络也是一种前馈神经网络,是受到生物学上感受野(感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质)的机制而提出的(在视觉神经系统中,一个神经元的感受野是指视网膜上的特定区域,只有这个区域内的刺激才能够激活该神经元)。
卷积
( f ∗ g ) ( n ) (f*g)(n) (f∗g)(n)成为 f 和 g 的卷积,连续卷积和离散卷积可以表达为如下形式:
- 连续卷积:
(
f
∗
g
)
(
n
)
=
∫
−
∞
∞
f
(
τ
)
g
(
n
−
τ
)
d
τ
(f*g)(n)=\int_{-∞}^{∞}f(τ)g(n−τ)dτ
(f∗g)(n)=∫−∞∞f(τ)g(n−τ)dτ
n = τ + ( n − τ ) n=τ+(n−τ) n=τ+(n−τ) - 离散卷积: ( f ∗ g ) ( n ) = ∑ − ∞ ∞ f ( τ ) g ( n − τ ) d τ (f*g)(n)=\sum_{-∞}^{∞}f(τ)g(n−τ)dτ (f∗g)(n)=∑−∞∞f(τ)g(n−τ)dτ
卷积的应用
卷积有很多应用,经常用于处理一个输入,通过系统产生一个适应需求的输出。
- 统计学中加权平均法
- 概率论中两个独立变量之和概率密度的计算
- 信号处理中的线性系统
- 物理学的线性系统
- 图像处理中的应用(卷积神经网络)
卷积经常用在信号处理中,用于计算信号的延迟累积。
例:
不同的滤波器来提取信号序列中的不同特征:
引入滤波器的滑动步长S和零填充P:
- 步长( Stride):指卷积核在滑动时的时间间隔。
- 零填充( Zero Padding):在输入向量两端进行补零。
卷积的结果按输出长度不同可以分为三类: