其他分享
首页 > 其他分享> > 支持向量机1——线性可分情况

支持向量机1——线性可分情况

作者:互联网

支持向量机

线性可分

线性可分:假设特征空间为二维,存在一条直线,可以将两类样本分开,则为线性可分;则非线性可分即为不存在一条直线,将两类样本分开。在三维中,直线变为平面。超过四维时,则直线平面化为超平面

线性可分的严格定义:一个训练样本集 \(\left\{\left(X_{i}, y_{i}\right), \ldots,\left(X_{N}, y_{N}\right)\right\}\) ,在 \(\mathrm{i}=1 \sim \mathrm{N}\) 线性可分,是指存在\(\left(\omega_{1}, \omega_{2}, b\right)\),使得对\(\mathrm{i}=1 \sim \mathrm{N}\),有

\[(1) 若 y_{i}=+1 , 则 \omega_{1} x_{i 1}+\omega_{2} x_{i 2}+b>0 \]

\[(2) 若 y_{i}=-1 , 则 \omega_{1} x_{i 1}+\omega_{2} x_{i 2}+b<0 \]

最优分类直线

支持向量:两条平行线所插到的样本称为支持向量。

间隔:两条平行线之间的距离称为间隔。

jfo7hq.png

在线性可分的情况下,支持向量机寻找的最优分类直线应该满足:

  1. 该直线分开了两类;
  2. 该直线最大化间隔;
  3. 该直线处于间隔的中间,到所有支持向量的距离相等。

最优分类超平面

SVM的任务就是找到一个超平面,使之能够分开两类样本,同时使得两类样本的支持向量距离超平面最远且相等。超平面方程如下:

\[\omega^{T} x+b=0 \]

在n维空间中,点 \(x=(x_1,x_2,...,x_n)\) 到直线 \(\omega^{T} x+b=0\) 的距离公式为:

\[\frac{\left|\omega^{T} x+b\right|}{\|\omega\|} \]

假设超平面到支持向量的距离为d,于是有如下公式:

\[\left\{\begin{array}{l} \frac{\omega^{T} x+b}{\|\omega\|} \geq d \quad y=1 \\ \frac{\omega^{T} x+b}{\|\omega\|} \leq-d \quad y=-1 \end{array}\right.\]

当 \(x\) 为支持向量时取等号,当 \(x\) 为非支持向量时,距离大于d。

将上述公式稍作变化,方程两边同时乘 \(\|\omega\|\) ,令 \(\|\omega\|d\) 为1(方便推导,且对目标函数优化无影响,且其值为常数,等比例变化常数,超平面不发生变化),并将两个方程合并,得到如下公式:

\[y\left(w^{T} x+b\right) \geq 1 \]

由于前面令 \(\|\omega\|d = 1\) ,则支持向量到超平面的距离为

\[d = \frac{1}{\|\omega\|} \]

由此可见,最大化支持向量到超平面的距离,等价于最小化 \({\|\omega\|}\),为方便后续的求导计算,可将优化问题定义为

\[最小化\frac{1}{2}\|\omega\|^{2} \]

\[限制条件:y\left(w^{T} x_i+b\right) \geq 1 ,(\mathrm{i}=1 \sim \mathrm{N}) \]

其中\(\left(X_{i}, y_{i}\right),\mathrm{i}=1 \sim \mathrm{N}\)是已知的,\(\omega\)和b是未知的

由此可见,此类问题为凸优化问题中的二次规划问题。
二次规划问题定义:

  1. 目标函数是二次项
  2. 限制条件是一次项

此类凸优化问题,要么无解,要么只有唯一的最小值。(凸优化问题可以当做一个已经解决的问题,可直接用梯度下降求解最小值)

标签:right,支持,超平面,线性,mathrm,omega,向量,left
来源: https://www.cnblogs.com/zwj2001/p/16485322.html