pytorch针对模型的不同部分设置不同学习率

torch.optim中的优化器接收的待学习参数和学习率实际上都是字典型的数据。

因此，我们只需要将需要单独训练的模块和对应的学习率以字典形式传入即可。

例如：

此处，我们有模型model，其中包含part_1和part_2两个子模块，我们想要分别对其设置0.01与0.02的学习率，于是我们可以按照以下语法设置优化器

import torch.optim as optim
...
optimizer = optim.Adam([{'params': model.part_1.parameters(), 'lr': 0.01}, {'params': catp.part_2.parameters(), 'lr': 0.02}])
...
optimizer.step()
...

标签：...,optimizer,optim,不同,模型,torch,学习,pytorch,part
来源： https://www.cnblogs.com/s-tyou/p/16558717.html