线性可分支持向量机
作者：互联网
SVM是一个二元分类算法。
SVM学习策略：间隔最大化，可形式化为一个求解凸二次规划问题。（间隔最大化使它有别于感知机。）
支持向量机模型包括：线性可分支持向量机、线性支持向量机、非线性支持向量机。
当训练集线性可分，通过硬间隔最大化学习的线性分类器为线性可分支持向量机，又称硬间隔支持向量机；
当训练集近似线性可分，通过软间隔最大化学习的线性分类器为线性支持向量机，又称软间隔支持向量机；
当训练集线性不可分，通过核技巧及软间隔最大化学习的非线性分类器称为非线性支持向量机。
一、线性可分支持向量机
在线性可分的训练集中，通过间隔最大化或等价求解相应的凸二次规划问题得到的分离超平面为：
\(w^*x+b^*\ =\ 0\)
分类决策函数：
\(f(x)\ =\ sign(w^*\bullet\ x\ +\ b^*)\)
称为线性可分支持向量机。
图 7.1 中“○”表示正例，“x”表示负例。图中直线将两类数据正确划分，并间隔最大化。
二、函数间隔、几何间隔
图 7.1 中，A，B，C三点，点 A 距超平面较远，若该点预测为正类，比较确信预测是正确的；点 C 距离超平面较近，预测为正类不那么确信，点 B 确信度在点 A、C 之间。所以一个点距离超平面的远近可以表示预测的确信程度。
\(|wx+b|\) 表示点 x 距离超平面的远近，\(wx+b\) 的符号与 y 是否一致表示分类是否正确。所以 \(y(wx+b)\) 表示分类的正确性和确定度，这就是函数间隔。
1.函数间隔
训练集 \(T\) 和超平面 \((w, b)\)，则样本点 \((x_i, y_i)\) 到超平面 \((w, b)\) 的函数间隔为：
\(\widehat{r_i\ }\ =\ y_i(w \bullet\ x\ +\ b)\)
函数间隔的最小值：
成比例的改变 \(w\) 和 \(b\)，比如 \(2w\) 和 \(2b\)，超平面没改变，函数间隔变为原来 2 倍。
对超平面的法向量 \(w\) 加以约束，如规范化 \(||w|| = 1\)，函数间隔成几何间隔。
2.集合间隔
训练集 \(T\) 和超平面 \((w, b)\)，则样本点 \((x_i, y_i)\) 到超平面 \((w, b)\) 的几何间隔为：
几何间隔最小值：
标签：函数,间隔,支持,超平面,线性,向量 来源： https://www.cnblogs.com/keye/p/15739758.html