其他分享
首页 > 其他分享> > 数值分析--第三章--共轭梯度法

数值分析--第三章--共轭梯度法

作者:互联网

摘要:通过变分原理,将Ax=b构造成一个函数,通过对函数的操作,求解Ax=b的解。

1.通过构造函数(变分法),求解方程的解。对于常系数方程2x=2,很容易看出解为1,但是通过构造如何求解

f(x)=x^2-2x

该方程的导数f‘(x)=2x-2=0时,x的解就是2x=2的解。

对于计算机迭代求解,找到f(x)的极值点,就找到了该解。

2.变分原理(构造一个函数,其导数是Ax=b)

 

 

 分解一下:下面公式是线性代数中的正定二次型(《线性代数》高等教育出版社 第五版)

 

 

 

 

 

 

 

 

 

 偏导数(梯度)就是Ax=b

换言之,当w(x)取得极值的时候,对应导数=0。

3.最速梯度法(梯度下降发):利用迭代求多元二次函数的极值点。极值点的一阶导数=0.

梯度下降法应用比较广泛,当前热点人工智能的底层匀速基础,就是采用的这个算法。理论推导及示例这里就不啰嗦了。

参考BP神经网络反向传播推导:https://www.cnblogs.com/liuhuacai/p/11973036.html

 

 4.共轭梯度下降法:

公式推导就不贴出来了(贴出来也很费解),直接用一个实例,进行说明。

 

   1.先判断这个值是否是极值点,偏导数是否是零(近似数)

 

  2.在初始值的基础上,x向什么方向移动,可以使函数的值变小(不断迭代,寻找最小值)

 

 

 

当步长a=1/3时  w(x)向更小值移动一步。

 

 重复上面的步骤,可得到w(x)的极小值点,也就是Ax=b的解。

【理论推导 ,见《数值分析》】

 

标签:第三章,推导,导数,梯度,2x,Ax,共轭,极值
来源: https://www.cnblogs.com/liuhuacai/p/12902144.html