【机器学习数学】梯度下降法
作者:互联网
梯度下降法(gradient descent)/ 最速下降法(steepest descent)求解无约束最优化问题:
其中f(x)是R^n上具有一阶连续偏导数的函数,表示目标函数f(x)的极小点。
梯度下降法:
输入:目标函数f(x),梯度函数,计算精度e;
输出:f(x)的极小值点
(1)取初始值,置k = 0
(2)计算
(3)计算梯度,当
时,停止迭代, 令
;否则,令
,求
,使
(4)置,计算
当或
时,停止迭代。令
。
(5)否则,置k = k + 1,转(3)
当目标函数时凸函数时, 梯度下降法的解是全局最优解。一般情况下,其解不保证为全局最优解。梯度下降法收敛速度也未必是最快的。
标签:机器,descent,迭代,梯度,下降,数学,最优,函数 来源: https://www.cnblogs.com/kyfishing/p/15366510.html