中科大-凸优化 笔记（lec48）-拟牛顿法
作者：互联网
全部笔记的汇总贴（视频也有传送门）：中科大-凸优化
一、牛顿法（Newton’s method）
牛顿法算法
收敛性分析 ∃ η > 0 \;\;\exist \eta>0 ∃η>0
- 若 ∣ ∣ ∇ f ( x ) ∣ ∣ 2 > η ||\nabla f(x)||_2>\eta ∣∣∇f(x)∣∣2>η：damped Newton phase
- 若 ∣ ∣ ∇ f ( x ) ∣ ∣ 2 < η ||\nabla f(x)||_2<\eta ∣∣∇f(x)∣∣2<η：quadratically convergent phase
f
(
x
k
+
1
)
−
P
∗
f
(
x
k
)
−
P
∗
∼
u
(
<
1
)
线
性
f
(
x
k
+
1
)
−
P
∗
f
(
x
k
)
−
P
∗
∼
u
2
(
<
1
)
二
次
\frac{f(x^{k+1})-P^*}{f(x^k)-P^*}\sim u(<1)\;\;线性\\\;\;\\\frac{f(x^{k+1})-P^*}{f(x^k)-P^*}\sim u^2(<1)\;\;二次
f(xk)−P∗f(xk+1)−P∗∼u(<1)线性f(xk)−P∗f(xk+1)−P∗∼u2(<1)二次
二、拟牛顿法（Quasi-Newton Method）
具体的可以看这篇文章：牛顿法与拟牛顿法
标签：lec48,中科大,Newton,牛顿,笔记,eta,优化 来源： https://blog.csdn.net/qq_41485273/article/details/114488535