混合精度训练(FP16 & FP32)

混合精度是指训练时在模型中同时使用单精度 float32和半精度 float16 浮点类型，从而加快运行速度，减少内存使用的一种训练方法

通过让模型的某些部分保持使用 32 位类型以保持数值稳定性，可以缩短模型的单步用时，而在评估指标（如准确率）方面仍可以获得同等的训练效果。

 

作为一名算法工程师，我们经常会遇到训练网络的事情，当前训练网络的整个过程基本上都是在N卡上面执行的，当我们的数据集比较大时，训练网络会耗费大量的时间。由于我们需要使用反向传播来更新具有细微变化的权重，因而我们在训练网络的过程中通常会选用FP32类型的数据和权重。说了这么多，那么混合精度到底是什么呢，有什么用呢？
  简而言之，所谓的混合精度训练，即当你使用N卡训练你的网络时，混合精度会在内存中用FP16做储存和乘法从而加速计算，用FP32做累加避免舍入误差。它的优势就是可以使你的训练时间减少一半左右。它的缺陷是只能在支持FP16操作的一些特定类型的显卡上面使用，而且会存在溢出误差和舍入误差。

 

NVIDIA GPU 使用 float16 执行运算的速度比使用 float32 快

 

 

 

标签：训练,FP32,FP16,混合,使用,精度
来源： https://blog.csdn.net/hxxjxw/article/details/116300956