《PyTorch深度学习实践》 课堂笔记 Lesson6 使用PyTorch实现Logistic回归
作者：互联网
文章目录
1.交叉熵
若存在两个分布 P D 1 ( x ) , P D 2 ( x ) P_{D_1}\left( x \right) \,\,, P_{D_2}\left( x \right) PD1(x),PD2(x)交叉熵可以由以下公式表示：
∑ i P D ( x = i ) ⋅ ln ( P T ( x = i ) ) \sum_i^{}{P_D\left( x=i \right) \cdot \ln \left( P_T\left( x=i \right) \right)} i∑PD(x=i)⋅ln(PT(x=i))
交叉熵可以用来衡量两个分布时间的相似性它的值越大，两个分布越相似，这个思想可用到我们的回归思想中，即预测值与实际值的分布越相似，效果越好
又由于要与前面模型的损失函数类似（在画损失函数图的时候loss函数呈现一个下降的方式（越小越好）），我们再在交叉熵的前面加上负号，所以后最终损失函数如下：
− ∑ i = 1 N ( y log y ^ + ( 1 − y ) log ( 1 − y ^ ) ) -\sum_{i=1}^N{\left( y\log \hat{y}+\left( 1-y \right) \log \left( 1-\hat{y} \right) \right)} −i=1∑N(ylogy^+(1−y)log(1−y^))
2.线性回归和Logistic回归的区别
若设回归方程为
y
=
w
x
+
b
y = wx +b
y=wx+b则有
Logistic损失函数称为BCE(Binary Cross Entropy)
| 对比 | 线性回归 | Logistic回归 |
|---|---|---|
| 损失函数（loss func） | l o s s = ( y ^ − y ) 2 = ( x w − y ) 2 loss = (\hat{y}-y)^2=(xw-y)^2 loss=(y^−y)2=(xw−y)2 | l o s s = − ( y l o g y ^ + ( 1 − y ) l o g ( 1 − y ^ ) loss = -(ylog\hat{y}+(1-y)log(1-\hat{y}) loss=−(ylogy^+(1−y)log(1−y^) |
| 函数输出 | 几何数值（直接通过大小衡量） | 通过二进制交叉熵直接比较两个分布的差异性 |
| 正向指标 | 越小越好 | 越小越好（ y 与 y ^ y与\hat{y} y与y^的分布越接近越好） |
3.实现过程
3.1源代码
# -*- coding:utf-8 -8-
"""
Author: FeverTwice
Date: 2021--08--03
"""
# import torch.nn.functional as F
import torch
import numpy as np
import matplotlib.pyplot as plt
#数据集导入
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])
#==========================================================#
# 定义函数模块
class LogsticRegressionModel(torch.nn.Module):
# 构造函数部分
def __init__(self):
super(LogsticRegressionModel, self).__init__()
self.linear = torch.nn.Linear(1, 1)
# 在function包上面调用sig函数
def forward(self, x):
y_pred = torch.sigmoid(self.linear(x))
return y_pred
model = LogsticRegressionModel()
#==========================================================#
#构造logstic回归递归函数，并设置不用求和
criterion = torch.nn.BCELoss(size_average=False)
#选择优化方法
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# 存储迭代数值
lost_vector = []
epoch_vect = np.arange(1, 1001)
#=================下面部分与上一章节的源代码的迭代部分相同========================
# 迭代训练循环
for epoch in range(1000):
y_pred = model(x_data)
loss = criterion(y_pred, y_data)
print(epoch, loss.item())
lost_vector.append(loss.item())
optimizer.zero_grad()
loss.backward()
optimizer.step()
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data.item())
# 画图
plt.plot(epoch_vect,lost_vector)
plt.show()
3.2训练结果
# 写在最后 本文章为[《PyTorch深度学习实践》完结合集](https://www.bilibili.com/video/BV1Y7411d7Ys?p=2&spm_id_from=pageDriver)课程对应的一些课后习题解答，仅为各位同志学习参考之用
各位看官，都看到这里了，麻烦动动手指头给博主来个点赞8，您的支持作者最大的创作动力哟！ ＜（＾－＾）＞
才疏学浅，若有纰漏，恳请斧正
本文章仅用于各位同志作为学习交流之用，不作任何商业用途，若涉及版权问题请速与作者联系，望悉知
标签：loss,right,Lesson6,torch,PyTorch,log,Logistic,hat,left 来源： https://blog.csdn.net/LeungSr/article/details/119358427