其他分享
首页 > 其他分享> > 手撕SVM

手撕SVM

作者:互联网

首先了解一下SVM是干什么的,SVM用来分类样本的。SVM的目标是寻找到一个最佳的超平面使得(超平面可能有很多,最佳超平面和支持向量之间的间隔最可能大)。划分超平面可以通过线性方程来描述:

$$ w^Tx+b = 0 $$

$w=(w_1;w_2;...;w_d)$为法向量,决定了超平面的方向,$b$为位移项,据定了超平面与原点之间的距离,$w,b$是确定超平面的两个唯一的重要因素,记为$(w,b)$,样本空间中任意点$x$到超平面$(w,b)$的距离可写为:

$$ r = \frac{|w^Tx+b|}{||w||} $$

假设超平面$(w,b)$能够训练样本正确分类,即对于$(x_i, y_i) \in D$,若$y_i = +1$,则有$w^Tx_i+b>0$;若$y_i=-1$,则有$w^Tx_i+b<0$,根据切比雪夫不等于,我们一定可以找到一个$\epsilon$ 满足$w^Tx_i+b≤\epsilon<0$,$\epsilon<0$

$$ w^Tx_i+b≤\epsilon<0 $$ $$ 两边同时除以-\epsilon, \frac{-w^Tx_i}{-\epsilon}-\frac{b}{\epsilon}≤-1$$ $$ w^Tx_i+b≤-1, y_i=-1 (1)$$ $$同理,w^Tx_i+b≥+1, y_i=+1(2)$$

距离超平面最近的这几个样本点使得(1)(2)成立,它们被称为“支持向量”(support vector),两个异类支持向量到超平面的距离之和为$\gamma$,$\gamma$也被称为“间隔”(margin)

$$\gamma = \frac{2}{||w||}=\frac{1}{||w||}+\frac{1}{||w||}$$ ![image](https://www.icode9.com/i/l/?n=22&i=blog/1195588/202204/1195588-20220419235341591-1027609089.png)

 

 

![](https://www.icode9.com/i/l/?n=22&i=blog/1195588/202204/1195588-20220420091903333-1827856908.png)

标签:1195588,SVM,frac,Tx,超平面,向量
来源: https://www.cnblogs.com/z-712/p/16101833.html