pytorch 神经网络的优化函数
作者:互联网
下面展示四种优化器使用代码
。
// optimizer
import torch
import torch.utils.data as Data
import matplotlib.pyplot as plt
#超参数
LR = 0.01
BATCH_SIZE = 32
EPOCH = 12
#生成伪数据
x=torch.unsqueeze(torch.linspace(-1,1,1000),dim= 1) # x data (tensor) ,shape=(100,1)
y = x.pow(2) +0.2*torch.rand(x.size()) # y=x的平方
# plt.scatter (x.data.numpy(),y.data.numpy())
# plt.show()
torch_dataset=Data.TensorDataset(x,y)
loader=Data.DataLoader(
dataset=torch_dataset ,
batch_size=BATCH_SIZE ,
shuffle= True , #随机打乱处理的数据
num_workers=0, #dataloader一次性创建num_worker个工作进程
)
#定义网络结构
class Net(torch.nn.Module):
def __init__(self):
super(Net,self ).__init__()
self.hidden= torch.nn.Linear(1,20)
self.predict=torch.nn.Linear(20,1 )
def forward(self,x):
x=torch.relu(self.hidden(x) )
x=self.predict(x)
return x
# 四个不同的神经网络
net_SGD = Net()
net_Momentum = Net()
net_RMSprop = Net()
net_Adam = Net()
nets = [net_SGD, net_Momentum, net_RMSprop, net_Adam]
#四个不同的优化器
opt_SGD =torch.optim.SGD(net_SGD.parameters(), lr=0.5)
opt_Momentum = torch.optim.SGD(net_Momentum.parameters(), lr=LR, momentum=0.8)
opt_RMSprop =torch.optim.RMSprop(net_RMSprop.parameters(), lr=LR,alpha= 0.9)
opt_Adam =torch.optim.Adam(net_Adam.parameters(), lr=LR,betas=(0.9,0.99) )
optimizers = [opt_SGD, opt_Momentum, opt_RMSprop, opt_Adam]
loss_function = torch.nn.MSELoss()
loss_his=[[],[],[],[]]
for epoch in range(EPOCH): #训练全部数据EPOCH次
for step,(batch_x,batch_y) in enumerate(loader): #enumerate返回(枚举)对象。
for net,opt,l_his in zip(nets,optimizers ,loss_his ):
output=net(batch_x )
loss=loss_function(output ,batch_y )
opt.zero_grad() # 清空上一步的残余更新参数值
loss.backward() # 误差反向传播, 计算参数更新值
opt.step() # 将参数更新值施加到 net 的 parameters 上
l_his.append(loss.data.numpy()) # loss recoder
labels=['SGD','Momentum','RMSprop','Adam']
for i,l_his in enumerate(loss_his ):
plt.plot(l_his, label=labels[i] )
plt.legend(loc='best')
plt.xlabel('steps')
plt.ylabel('loss')
plt.ylim(0,0.2)
plt.show()
结果
标签:opt,loss,plt,函数,torch,神经网络,pytorch,net,SGD 来源: https://blog.csdn.net/qq_43349542/article/details/115583812