数值分析-超松弛迭代法

超松弛迭代法

【简介-源自百度百科】

D. M. Young于20世纪70年代提出逐次超松弛(Successive Over Relaxation)迭代法，简称SOR方法，是一种经典的迭代算法。它是为了解决大规模系统的线性等式提出来的，在GS法基础上为提高收敛速度，采用加权平均而得到的新算法。由于超松弛迭代法公式简单，编制程序容易，很多工程学、计算数学中都会应用超松弛迭代方法。使用超松弛迭代法的关键在于选取合适的松弛因子，如果松弛因子选取合适，则会大大缩短计算时间。

为解决实际问题中大维数线性代数方程组的求解问题，提出了许多迭代法。但大多数迭代法不是对各类线性方程组都有收敛性。在解题时，对原方程组矩阵作一根本的变换，从而可能使条件数变坏，也可能破坏了变换前后方程组的等价性，以及丧失使原方程组的对称性等。通过对GS法进行改进，从而产生了逐次超松弛(SOR)迭代法。

SOR方法的思路为：如果能够简单有效地确定单个样本加入样本集后对训练结果的影响，一方面，出现新的样本时可以利用原来的一训练结果而不必重新开始；另一方面，让训练样本逐个进入样本集可以简化寻优过程，提高算法速度。这实际上是将样本集中的样本数减少到一个。
对于逐次超松弛迭代法，松弛因子的选取对算法的收敛速度有很大影响，通常对于方程组Ax=Y，若A为正定矩阵，则当0< <2时，逐次超松弛迭代恒收敛。

逐次超松弛迭代法与Jacobi迭代法、Seidel迭代法等相比收敛速度较快。由逐次超松弛迭代法求出的方程组的数值解具有较高的精确性。逐次超松弛迭代法可以大大减少计算量和计算机的内存储量，从而提高计算效率。逐次超松弛迭代法可以广泛地应用于实际，如支持向量机算法中求最大分类间隔的二次规划问题、解高阶稀疏线性方程组等

超松弛迭代法的定义

收敛性判别条件

例题

标签：松弛,方程组,样本,数值,算法,逐次,迭代法
来源： https://blog.csdn.net/ITGGU/article/details/122169348