首页 > 其他分享> > 深度学习吴恩达第一章——神经网络的初步了解和逻辑回归

深度学习吴恩达第一章——神经网络的初步了解和逻辑回归

2021-07-15 10:00:02 作者：互联网

一、引言

1.什么是神经网络

Relu——rectified linear unit(修正线性单元)
在这里插入图片描述

2.各种类型的神经网络

在这里插入图片描述

SNN：标准神经网络，用于房价预测，在线广告是否点击
CNN：卷积神经网络，用于图像识别
RNN：循环神经网络，用于时间序列数据，语音识别
混合神经网络

在这里插入图片描述

3.结构化数据和非结构化数据

在这里插入图片描述

4.神经网络与传统的监督学习

在这里插入图片描述

二、逻辑回归（二分类）

1.约定的符号

在这里插入图片描述

2.logistic 回归

在这里插入图片描述
在神经网络中， w w w和 b b b分开表示

3.logistic 回归的损失函数

在这里插入图片描述
为什么在逻辑回归中，损失函数不使用 L ( y ^ − y ) = 1 2 ( y ^ − y ) 2 L(\hat{y}-y)=\frac{1}{2}(\hat{y}-y)^2 L(y^−y)=21(y^−y)2呢，因为在逻辑回归中,该损失函数是非凸的，有多个局部最优。

4.梯度下降法

（1）成本函数

在这里插入图片描述

（2）梯度下降法的原理

在这里插入图片描述

（3）单个训练样本的logistic回归的一次梯度更新

a.单个训练样本的损失函数

在这里插入图片描述

b.各参数的梯度

在这里插入图片描述
d a = d L d a = − y a + 1 − y 1 − a da=\frac{dL}{da}=-\frac{y}{a}+\frac{1-y}{1-a} da=dadL=−ay+1−a1−y
d a d z = a ( 1 − a ) \frac{da}{dz}=a(1-a) dzda=a(1−a)
d z = d L d z = d L d a d a d z = a − y dz=\frac{dL}{dz}=\frac{dL}{da}\frac{da}{dz} =a-y dz=dzdL=dadLdzda=a−y
d z d w 1 = x 1 , d z d w 2 = x 2 , d z d b = 1 \frac{dz}{dw_1}=x_1,\frac{dz}{dw_2}=x_2,\frac{dz}{db}=1 dw1dz=x1,dw2dz=x2,dbdz=1
d w 1 = d L d w 1 = d L d z d z d w 1 = x 1 ( a − y ) dw_1=\frac{dL}{dw_1}=\frac{dL}{dz}\frac{dz}{dw_1}=x_1(a-y) dw1=dw1dL=dzdLdw1dz=x1(a−y)
d w 2 = d L d w 2 = d L d z d z d w 2 = x 2 ( a − y ) dw_2=\frac{dL}{dw_2}=\frac{dL}{dz}\frac{dz}{dw_2}=x_2(a-y) dw2=dw2dL=dzdLdw2dz=x2(a−y)
d b = d L d b = d L d z d z d b = a − y db=\frac{dL}{db}=\frac{dL}{dz}\frac{dz}{db}=a-y db=dbdL=dzdLdbdz=a−y