tf中张量的限幅

1. 根据值限幅：根据具体的数值裁剪掉不符合设定范围内的数据

• tf.clip_by_value(a,x,y) 将a中的值限定在x和y之间。也可通过tf.maximum()和tf.minimum()组合实现
• 可用于产生relu函数等其它特定函数
  2.根据范数限幅（一般指2范数）：将数据整体进行缩放
• tf.clip_by_norm(a,x) 将a缩放x倍（即a/x）
• 这种缩放方式可以避免由缩放引起的梯度变化

2. 梯度缩放：将所有梯度值等比缩放

• tf.clip_by_global_norm(grads,x) 将grads（grads为一组需要梯度或需要更新的参数）整体缩放x倍
• 这种方式可以有效避免梯度爆炸（梯度变化过快）或梯度陷阱（梯度变换过慢）

标签：clip,缩放,梯度,张量,限幅,tf,grads
来源： https://blog.csdn.net/qq_46588746/article/details/120153579