Pytorch-Lightning训练技巧

梯度累计

• 在Trainer中设置accumulate_grad_batches=k，可以使得模型在进行k个batch_size后再进行反向传播。
• 假设batch_size=N，这样的效果相当于batch_size=k*N。

# 默认没有梯度累计
trainer = Trainer(accumulate_grad_batches=k)

梯度裁剪

标签：batches,技巧,梯度,batch,Lightning,Pytorch,accumulate,size
来源： https://blog.csdn.net/qq_27135095/article/details/122673157