其他分享
首页 > 其他分享> > 深度学习吴恩达第一章——神经网络的初步了解和逻辑回归

深度学习吴恩达第一章——神经网络的初步了解和逻辑回归

作者:互联网

一、引言

1.什么是神经网络

Relu——rectified linear unit(修正线性单元)
在这里插入图片描述
在这里插入图片描述

2.各种类型的神经网络

在这里插入图片描述

  1. SNN:标准神经网络,用于房价预测,在线广告是否点击
  2. CNN:卷积神经网络,用于图像识别
  3. RNN:循环神经网络,用于时间序列数据,语音识别
  4. 混合神经网络

在这里插入图片描述

3.结构化数据和非结构化数据

在这里插入图片描述

4.神经网络与传统的监督学习

在这里插入图片描述

二、逻辑回归(二分类)

1.约定的符号

在这里插入图片描述

2.logistic 回归

在这里插入图片描述
在神经网络中, w w w和 b b b分开表示

3.logistic 回归的损失函数

在这里插入图片描述
为什么在逻辑回归中,损失函数不使用 L ( y ^ − y ) = 1 2 ( y ^ − y ) 2 L(\hat{y}-y)=\frac{1}{2}(\hat{y}-y)^2 L(y^​−y)=21​(y^​−y)2呢,因为在逻辑回归中,该损失函数是非凸的,有多个局部最优。

4.梯度下降法

(1)成本函数

在这里插入图片描述

(2)梯度下降法的原理

在这里插入图片描述

(3)单个训练样本的logistic回归的一次梯度更新

a.单个训练样本的损失函数

在这里插入图片描述

b.各参数的梯度

在这里插入图片描述
d a = d L d a = − y a + 1 − y 1 − a da=\frac{dL}{da}=-\frac{y}{a}+\frac{1-y}{1-a} da=dadL​=−ay​+1−a1−y​
d a d z = a ( 1 − a ) \frac{da}{dz}=a(1-a) dzda​=a(1−a)
d z = d L d z = d L d a d a d z = a − y dz=\frac{dL}{dz}=\frac{dL}{da}\frac{da}{dz} =a-y dz=dzdL​=dadL​dzda​=a−y
d z d w 1 = x 1 , d z d w 2 = x 2 , d z d b = 1 \frac{dz}{dw_1}=x_1,\frac{dz}{dw_2}=x_2,\frac{dz}{db}=1 dw1​dz​=x1​,dw2​dz​=x2​,dbdz​=1
d w 1 = d L d w 1 = d L d z d z d w 1 = x 1 ( a − y ) dw_1=\frac{dL}{dw_1}=\frac{dL}{dz}\frac{dz}{dw_1}=x_1(a-y) dw1​=dw1​dL​=dzdL​dw1​dz​=x1​(a−y)
d w 2 = d L d w 2 = d L d z d z d w 2 = x 2 ( a − y ) dw_2=\frac{dL}{dw_2}=\frac{dL}{dz}\frac{dz}{dw_2}=x_2(a-y) dw2​=dw2​dL​=dzdL​dw2​dz​=x2​(a−y)
d b = d L d b = d L d z d z d b = a − y db=\frac{dL}{db}=\frac{dL}{dz}\frac{dz}{db}=a-y db=dbdL​=dzdL​dbdz​=a−y

(4)m个训练样本的logistic回归的一次梯度更新

在这里插入图片描述
在这里插入图片描述

5.矩阵化表示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.逻辑回归的向量化形式在这里插入图片描述

在这里插入图片描述

7.python中的广播机制

在这里插入图片描述
在这里插入图片描述

8.python中如何定义数组

在这里插入图片描述

9.损失函数的解释

在这里插入图片描述
在这里插入图片描述

标签:吴恩达,frac,dL,第一章,神经网络,dz,dw,da
来源: https://blog.csdn.net/m0_45411005/article/details/117385969