首页 > TAG信息列表 > 前进方向
神经网络优化-动量梯度下降法(牛顿法)
背景 对于标准梯度下降过程，wt的更新是wt=wt-1-△w，而wt=wt-1-△w仅仅是对于当前点wt的△w，没有对于历史数据的考量（通俗点说叫经验教训） 结果就是下降（优化）过程前进方向速度缓慢，同时产生振荡（如图红线） 据此引入冲量v，令vt=vt-1-△w，由迭代思想知冲量v代表着从初始到当前△w的累积（即过程中神经网络优化-动量梯度下降法(牛顿法)
背景 对于标准梯度下降过程，wt的更新是wt=wt-1-△w，而wt=wt-1-△w仅仅是对于当前点wt的△w，没有对于历史数据的考量（通俗点说叫经验教训） 结果就是下降（优化）过程前进方向速度缓慢，同时产生振荡（如图红线） 据此引入冲量v，令vt=vt-1-△w，由迭代思想知冲量v代表着从初始到当前△w的累积（即过程中