重要公式的推导过程

一、神经网络--反向传播详细推导过程中的公式推导

其中，aL和y为特征维度为n_out的向量,而||S||₂为S的L2范数。

　　　　损失函数有了，现在我们开始用梯度下降法迭代求解每一层的W,b

　　　　首先是输出层第L层。注意到输出层的W,b满足下式：

　　

• 求导用到的公式有：

1：标量对多个向量的链式求导法则：x→y→z其中x、y为向量，z为标量；

2：标量对矩阵求导的四个公式：这里我就写一个用到的：其中X和A是矩阵 z为标量 y为向量

• 开始求导

　　首先说一下其中的符号关系J(W,b,x,y)是标量，W为矩阵，a和z为向量。L代表层数

　　

下图解释diag：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

标签：推导,公式,矩阵,求导,标量,过程,向量
来源： https://www.cnblogs.com/wkshinibb/p/15825945.html