其他分享
首页 > 其他分享> > 深度学习和神经网络-深层神经网络

深度学习和神经网络-深层神经网络

作者:互联网

1.深层神经网络(Deep L-layer neural network)

  在前面的内容中,我们学习了只有一个单独隐藏层的神经网络的正向传播和反向传播,还有逻辑回归,并且还学到了向量化(这在随机初始化权重时很重要)

  现在我们要将这邪恶理念集合起来,用来执行我们自己的深度神经网络。在过去的几年里。DLI(深度学习学院deep learning institute)已经意识到有一些函数,只有非常深的神经网络才能学会,而浅层的模型则办不到。尽管对于任何给定的问题很难去提前预测到底需要多深的神经网络,所以我们可以先尝试逻辑回归,尝试一层然后两层隐含层,然后把隐含层的数量看作是另一个可以自由选择大小的超参数,然后在保留交叉验证数据上评估,或者用开发集来评估。

  我们再看一下深度学习的符号定义:

 

上图是一个四层的神经网络,有三个隐藏层。我们可以看到,第一层有五个隐藏单元,第二层有五个,第三层三个。我们用L表示层数,上图中:L=4,输入层的索引为“0”

,第一个隐藏层n[1]=5,表示有五个隐藏神经元,同理,n[2]=5,n[3]=3,n[4]=n[L]=1(输出单元为1)。对于输出层,n[0]=nx=3。在不同层所拥有的神经元的数目,对于每层都用a[l]来记作 l 层激活后结果,我们会看到在正向传播时,最终我们可以计算出a[l]。通过激活函数g计算z[l],激活函数也被索引为层数l,然后我们用w[l]来记作在l层计算z[l]值的权重。类似的,z[l]里的方程b[l]也一样。

最后总结符号约定:

输入的特征记作x,但是x同样也是0层的激活函数,所以x=a[0]。

最后一层的激活函数,所以a[L]时等于这个神经网络所预测的输出结果。

 

2.前向传播和反向传播(Forward and backward propagation)

前向传播 :输入a[l-1],输出a[l],缓存z[l];从实现的角度来说,我们可以缓存w[l]和b[l],这样更容易在不同的环节中调用函数。

所以前向传播的步骤可以写成:z[l]=W[l]*A[l-1]+b[l]  A[l]=g(Z[l])

前向传播需要提供A[0]也就是X来初始化;初始化的是第一层的上输入值。a[0]对应于一个训练样本的输入特征,而A[0]对应于一整个训练样本的输入特征,所以这就是这条链的第一个前向函数的输入,重复这个步骤就可以实现从左到右计算前向传播。

下面是反向传播的步骤:输入为da[l],输出为da[l-1],dw[l],db[l]

 

所以反向传播的步骤可以写成:

 

 用向量化的方法可以写成:

 

 

3.深层网络中的前向传播(Forward propagation in a Deep  Network)

我们先来看对其中一个训练样本x如何应用前向传播,之后应用于向量化的版本。

第一层需要计算z[1]=w[1]x+b[1], a[1]=g[1](z[1])(x可以看作a[0])

第二层需要计算z[2]=w[2]a[1]+b[2], a[2]=g[2](z[2])

以此类推:

前向传播可以归纳为多次迭代z[l]=w[l]a[l-1]+b[l], a[l]=g[l](z[l])

向量化实现过程可以写成:Z[l]=W[l]a[l-1]+b[l], A[l]=g[l](Z[l]) (A[0]=X)

 

4.为什么使用深层表示(Why deep representations)

 

   首先,深度网络究竟在计算什么?如果你在建一个人脸识别或是人脸检测系统,深度神经网络所做的事就是,当你宿儒一张脸部的照片,然后你可以把深度神经网络的第一层,当作一个特征探测器或者边缘探测器,在这个例子里,我们建立一个大概20个隐藏单元的深度神经网络,来解释是如何针对这张图计算的。隐藏单元就是这些图里这些小方块,举个例子,这个小方块就是一个隐藏单元,他会去找这张照片里“  l  ”边缘的方向。那么这个隐藏单元(第四行第四列),可能是在找’‘—’‘水平向的边缘在哪里。我们可以先把神经网络的第一层看作图,然后去找这张照片的各个边缘。我们可以把照片里组成边缘的像素们放在一起看,然后它可以把被探测到的边缘组合合成面部的不同部分。比如说,可能有一个神经元会去找眼睛的部分,另外还有别的找鼻子的部分,然后把这些部分放在一起,比如眼睛鼻子下巴,就可以识别或是探测不同的人脸。

  我们直觉上把这种神经网络的前几层当作探测简单的函数,比如边缘,之后把他们跟后几层结合起来,那么总体上就能学习更多复杂的函数。其实边缘探测器相对来说都是针对照片中非常小的面积,就像第一块,都是很小的区域。而面部探测器就会针对大一些的区域,但是主要的概念是:一般我们都会从比较小的细节入手,比如边缘,然后在一步步到更大更复杂的区域,比如一只眼睛或是一个鼻子,再把鼻子眼睛装一块组合成更加复杂的部分。

所以深度神经网络的这许多隐藏层中,较早的前几层能学习一些低层次的简单特征,等到后几层,就能把简单的特征结合起来,去探测更加复杂的东西。同时我们所计算的之前的几层,也就是相对简单的输入函数,比如图像的单元的边缘等等。到网络的深层的时候,我们实际上就可以做很多更加复杂的事,比如探测面部。

 

5.搭建神经网络块(Building blocks of deep neural  networks)

  

 

 这是一个层数较少的神经网络,我们选择其中一层(方框部分),从这层的计算着手。在第l层有参数W[l]和b[l],正向传播里有输入的激活函数,输入是前一层a[l-1],输出是a[l],存在z[l]=W[l]a[l-1]+b[l],a[l]=g[l](z[l]),那么这就是如何从输入a[l-1]走到输出a[l],之后我们可以把z[l]的值缓存起来,原因在于z[i]对于以后的正向和反向传播步骤都非常重要。然后是反向传播步骤,同样也是第l层的计算,我们需要实现一个函数的输入为da[l],输出da[l-1]的函数。在这里我们需要注意,输入在这里其实是da[l]以及所缓存的z[l]的值,之前计算好的z[l]的值,处理输出da[l-1]以外,也需要输出需要的梯度dW[l]和db[l],这是为了实现梯度下降学习。

  总结起来就是,在l层,我们会有正向函数,输入a[l-1]并且输出为a[l],为了计算结果你需要用到W[l]和b[l],以及输出到缓存的z[l]。然后用作反向传播的反向函数,数另外一个函数,输入da[l],输出da[l-1],此时我们会得到激活函数的导数,也就是希望的导数值da[l]。

  之后如果我们实现了这两个正向和反向函数,那么神经网络的计算过程会是这样的:把输入特征a[0],放入到第一层并计算第一层的激活函数,用a[1]表示(需要用W[1]和b[1]来计算),之后我们同样缓存z[1]值,以此类推,到第二层,第三层,直到最后我们算出来a[L],第L层的最终输出值为y^。在这些过程中我们缓存了所有z的值,这就是正向传播的例子。

  对于反向传播而言,我们需要一系列的反向迭代,具体如下图的流程图,就是这样反向计算梯度,需要把da[L]的值放在这里,,然后这个方块会计算出da[L-1]的值,以此类推,直到我们得到da[2]和da[1],其实还可以计算多一个输出值,就是da[0],但是这其实是你输入特征的导数,其值并不重要。在反向传播步骤中也会输出dW[i]和db[i]。目前为止我们算出了所有需要的导数。

 

  神经网络的一步训练包含了,从a[0]开始,也就是x然后经过一系列正向传播计算得到y^,之后再用输出值计算这个(第二行最后一个方块),再实现反向传播。现在,我们就有所有的导数项了,W也会在每层被更新为W=W-adW,b也是一样,b=b-adb ,反向传播就计算完毕,我们有所有的导数值,那么这是神经网络一个梯度下降循环。

 

6.参数VS超参数 (Parameters vs Hyperparameters)

想要你的神经网络起到很好的作用,我们必须规划好参数和超参数。那么,什么十超参数?比如算法中的learning rate a(学习率)、iterations(梯度下降法循环的数量)、L(隐藏层数目)、n[l](隐藏层单元数目)、choice of activation funcction(激活函数的选择)都需要我们来设置,这些数字实际上控制了最后参数W和b 的值,所以他们被称为超参数。

那么,如何寻找超参数的最优值?

 

 我想Idea——Code——Experiment——Idea这个循环,尝试各种不同的参数,实现模型并且观察是否成功,然后再迭代。实际上,今天的深度学习应用领域,对于最优超参数的值还只是一个经验性的过程。当我们在开发新应用的啥时候,预先很难知道,究竟超参数的最优值应该是数目,所以通常,我们必须尝试很多不同的值,并走这个循环,尝试各种参数。

 

7.深度学习和大脑的关联性(What does this have to do with the brain?)

  为什么人们会说深度学习和大脑相关呢?

  当你在实现一个神经网络的时候,那些公式是你在做的东西,你会做前向传播,反向传播,梯度下降法,其实很难表达这些公式具体做了什么,深度学习像大脑这样的类比其实过度简化了我们大脑具体在做什么,但因为这种形式很简洁,也很能让普通人更愿意公开讨论,也方便新闻报道,但其实这个类比是非常不正确的。

   一个神经网络的逻辑单元可以看成是对一个生物神经元的过度简化,但是迄今为止连神经科学家都很难解释究竟一个神经元能做什么,它是极其复杂的;它的一些功能可能真的类似logistic 回归的运算,但单个神经元到底在做什么目前还没有人可以真正解释。

  深度学习确实是一个很好的工具来学习各种很灵活很复杂的函数,学习到从x到y 的映射,在监督学习中学到从输入到输出的映射。但是这种和人类大脑的类比,在这个领域的早期也许值得一提,但现在这个类比已经过时了。

 

标签:函数,da,神经网络,深层,反向,深度,传播,输入
来源: https://www.cnblogs.com/lopezj/p/14313121.html