Lecture 3 PLA and Lecture 4 Decision Tree

• 序
• BPNN
• • 神经网络
  • 正向传播
  • BP算法
  • • Wn权重更新推导
• 最后

序

今天看tensorflow的时候，看到一个BPNN的例子，就顺便把BPNN的原理给看了一遍

OpenCV的书也到了，想尽快结束复习开始新的模块学习

哼~

BPNN

即是BP神经网络，是一种入门经典的神经网络模型，分为forward和backward的传播

神经网络

首先我们了解一下神经网络

分为输入层、隐藏层及输出层

下图的神经网络就包括一个输入层、两个隐藏层以及一个输出层

下面举个例子并从左到右解释一下这个神经网络到底在做什么操作

假设输入层开始叫第一层，隐藏层1为第二层，隐藏层二为第三层，输出层为第四层

• 输入层 到 隐藏层1
  输入的是一个二维向量xn=i1=o1，在与中间的权重矩阵进行线性组合后，得到了隐藏层1的输入i2
  而在隐藏层1中对输入的i2用激活函数进行激活得到输出O2
  那么可以知道i2=W1*O1 设f为激活函数则O2=f(i2)
  
• 那么同理从隐藏层1到2的权重即为W2，隐藏层2的输入为i3=W2*o2，输出为O3=f(i3)
• 最后隐藏层2到输出层得到的输出y=W3*O3

那么对于神经网络的分析就到这

正向传播

对于正向传播来说，输入样本xn，从而一步一步通过神经网络得到输出结果y

那么y =f(w3f(w2f(w1*o1))) 即是通过该神经网络得到的结果

但是为了BP算法，我们需要再做一步对y的处理，O4 = loss_function(y)

令输出层也有一个损失函数进行计算，从y得到o4

• 一般我们的loss_function 取 O4 = 1/2(L-y)^2
  其中L为训练集的label

BP算法

BP算法作为BPNN的核心算法，是对权重的一种更新算法

通过BP算法对之前的权重w1 2 3 进行更新优化

那么对于Wn来说，更新权重的方法也是利用梯度下降进行更新

其中已知η（学习率）、O4（loss_function(y)）那么重点来了，如何计算O4对于Wn的偏导

Wn权重更新推导

先对每个位置代表什么进行明确

所以我们重点就是在计算O4对Wn的偏导

n = 3，也就是离输出层最近的时候

W3的权重该如何更新

W3 = W3 - η△W3

同理△W2

那么△W1

至此权重Wn的更新就讲完了

剩下的就是将样本带入不断的进行正向和BP传播即可完成对权值w的更新从而进行预测

BPNN神经网络的原理也算是讲完了

哼

最后

还有一点小问题，我在W1的公式推导中对矩阵的位置进行了调换，但是不知道其真正原理

只是为了将矩阵凑成2*2

如果有小伙伴了解该情况的话

可以评论戳我一下

希望能像你请教一番，谢谢大家的支持～

标签：输出,Wn,回收,神经网络,BP,BPNN,隐藏
来源： https://blog.csdn.net/lifh8/article/details/112489907