Error:function ‘LogSoftmaxBackward’ returned nan values in its 0th output.

原因分析

产生这个问题的原因可能有几种：
1.数据中出现NAN——数据清洗
2.梯度出现NAN——梯度裁减

解决方案

模型参数出现NAN,其实也是由梯度导致的，因为初始化你不可能就NAN把，那就是更新过程出现的，那肯定是梯度导致的模型参数NAN了，所以那些：让你重新初始化、降低学习率和加正则化约束模型参数、以及往log下加1e-9（其实我感觉这个不科学，logsoftmax分母为0，除非你没有数据～）的方法都没啥用。
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)就可以解决了。

这个问题可能是因为多层网络梯度传播爆炸了，我是训练着训练着模型就bug了,然后我把查过的方法都试过了没啥用，用torch.isnan(param).int().sum() !=0这个判断准则把输入、梯度都检查了一遍，最后得到的解决方案。

标签：function,returned,0th,梯度,模型,torch,NAN,nan,its
来源： https://blog.csdn.net/qq_41694504/article/details/122440116