其他分享
首页 > 其他分享> > 吴恩达视频观后感三(浅层神经网络backpropagation中求导问题)

吴恩达视频观后感三(浅层神经网络backpropagation中求导问题)

作者:互联网

这个图是具有隐藏层的浅层神经网络,其中一些基础的求导已经整理过:

https://blog.csdn.net/nyist_yangguang/article/details/110233726

 

在本图中,

  L是包含第二层神经元的参数a和分类值y    (L的值是一个单样本误差,cost函数是全体样本的损失平均值,即误差平均值),方程:

这里面的y hat就是a,y就是分类值。

  z是第二层神经元的输出值,在此基础上需要让z当做激活函数的自变量,来求出一个合适的a,即y hat。

W和x的维度关系也整理过了 https://blog.csdn.net/nyist_yangguang/article/details/110393335

但是此处的W定义就是一个行向量 https://blog.csdn.net/nyist_yangguang/article/details/110800025

W是一个行向量(在第一层是个矩阵,此处只有一个神经元),x是一个矩阵(各列是各样本信息,或者是上一层各神经元计算结果),但是中,dz是一个行向量,a就是x,是矩阵,

两者相乘还是一个行向量,但是大家都知道,W是一个列向量(https://blog.csdn.net/nyist_yangguang/article/details/110393335),所以求过之后需要转置。

 

 

 

标签:吴恩达,观后感,blog,backpropagation,csdn,details,https,nyist,net
来源: https://blog.csdn.net/nyist_yangguang/article/details/110794121