机器学习——Perceptron(感知机)
作者:互联网
Introduce
感知机模型(Perceptron)是一个最简单的有监督的二分类线性模型。他可以从两个方面进行介绍
方面一 问题分析
问题(一维):儿童免票乘车问题(孩子身高低于1.2m可以免票上车)
这转换成数学表达式就是 $x:$身高,$y:\{-1:$免票 ,$1:$购票$\}$
$$ y=\left\{\begin{matrix}+1,x\ge1.2m \\ -1,x\lt1.2m\end{matrix}\right. $$
如果把$y$用函数$f(x;b)$表达出来就如下所示
$$ y=f(x;b)=\left\{\begin{matrix}+1,z=x+b\ge0 \\ -1,z=x+b \lt0 \end{matrix}\right. $$
用机器学习的话来说变量$x$就是一个特征,$y$就是一个标记,$b$就是一个偏置
问题(二维):西瓜分类(依靠西瓜的颜色和敲击的响声分类)
这里的$x$就从一个一维特征编程了二维的特称向量$\{x_1:$颜色 ,$x_2:$响声$\}$ $y$仍然是一个标记 $y:\{-1:$坏瓜 ,$1:$好瓜$\}$ 数据如图所示:
用一般的数学方法,我们希望将两个变量$x_1,x_2$映射到一个维度上去 就会出现如下三种经典的情况
映射到水平方向
映射到竖直方向
映射到任意方向
二维向量映射到一维空间需要有映射的方向。此时就需要一定的方向向量$\mathbb{w}=(w_1 \ w_2)^T$ 此时,如果把$y$用函数$f(\mathbb{x};\mathbb{w},b)$来表示
$$ y=f(\mathbb{x};\mathbb{w},b)=\left\{\begin{matrix}+1,\mathbb{w}^T\mathbb{x}+b\ge0 \\ -1,\mathbb{w}^T\mathbb{x}+b\lt0 \end{matrix}\right. $$
综上所述,可以类推到n维。只要将$\mathbb{x},\mathbb{w}升维就可以了$
方面二 模型发展
1943年,McCulloch和Pits结合神经元模型Neuron提出来经典的抽象的M-P神经元模型
神经元的生物学结构
M-P神经元模型
而感知机模型是从神经元模型发展过来的。感知机是由两层神经元组成的一个简单模型。只有输出层是M-P 神经元,即只有输出层神经元进行激活函数处理,也称为功能神经元( functional neuron);输入层只是接受外界信号(样本属性)并传递给输出层(输入层的神经元个数等于样本的属性数目),而没有激活函数。示意图如下:
Definition
假设输入空间(特征空间)是$\mathcal{X} \subset \mathbb{R}^n$,输出空间是$\mathcal{Y}=\{-1,+1\}$。输入$x\in \mathcal{X}$表示实例的特征向量,对应于输入空间(特征空间)的点;输出$y\in \mathcal{Y}$表示类别。由输入空间到输出空间的如下函数: $$ f(x)=sign(w \cdot x+b) $$ 成为感知机。其中,$w,b$成为感知机模型的参数,$w \in \mathbb{R}^n$叫做权值(weight)或权值向量(weight vector),$b \in \mathbb{R}$叫做偏置(bias),$w \cdot x$表示两者的内积。$sign$是符号函数,即 $$ sign(a)=\left\{\begin{matrix}+1,a\ge0\\-1,a\lt0\end{matrix}\right. $$ 感知机是一种线性分类器,属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification model)或线性分类器(linear classifier),即函数模型$\{f\,|\,f(x)=w \cdot x +b \}$
Loss Function
感知机学习的策略就是最小化损失函数。对于感知机来说损失函数有两种方式。
1. 统计误分类点: $$ l(w)=\sum_{i=1}^N \ \mathbb{I}(y_i \cdot (w^Tx +b ) < 0) $$ 但是指示函数不连续,在计算过程中不太友好
2. 统计误分类点到分来超平面的距离: $$ \begin{align}l(w) &=|w^Tx +b |\\ &=\sum_{i=1}^N - \,y_i \cdot (w^Tx +b )\end{align} $$
Algorithm
为了找到更好的$w,b$。使用随机梯度下降SGD(Stochastic Gradient Descend), 但是该方法容易受特征缩放、学习率因素影响陷入局部最小值。 $$ w_{n+1} \leftarrow w_n +\eta \frac{\partial l}{\partial w}\\ b_{n+1} \leftarrow b_n +\eta \frac{\partial l}{\partial b} $$
对该算法的超参数:学习率$\eta$,误差上限$\varepsilon$,学习次数$epoch$
收敛性
设训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}$是线性可分的,其中$x_i\in \mathcal{X}=\mathbb{R}^n,\ y_i\in\mathcal{Y}=\{+1,-1\},\ i=1,2,\cdots,N$则:
- 存在满足条件$||\hat{w}_{opt}||=1$的超平面$\hat{w}_{opt} \cdot \hat{x}=w_{opt}\cdot x +b_{opt}=0$将训练数据集完全正确分开;且存在$\gamma>0$,对所有$i=1,2,\cdots,N$: $$ y_i (\hat{w}_{opt} \cdot \hat{x})=y_i(w_{opt}\cdot x +b_{opt})\geq \gamma $$
- 令$R=max_{1 \leq i \leq N} ||\hat{x}_i||$,则感知机算法在训练数据集上的误分类次数$k$满足不等式: $$ k \leq (\frac{R}{\gamma})^2 $$
Disadvantage
1. 存在多解
2. 依赖初值,也依赖选择顺序
3. 当数据集线性不可分就会产生迭代震荡。例如XOR异或问题
针对感知机算法的缺点,提出SVM解决多解问题,Pocket Algorithm使感知机容忍一些错误。
Python代码实现
import numpy as np data1 = [[1,2],[3,3],[2,1],[5,2]] lable1 = [1,1,-1,-1] data2 = [[3,3],[4,3],[1,1]] lable2 = [1,1,-1] class Model: def __init__(self,data): self.w = np.zeros(np.shape(data)[1]) # 权重参数 self.b = 0 # 偏置 self.l_rate = 1 # 学习率 def sign(self, x, w, b): y = np.dot(x, w) + b return y # 随机梯度下降法 def fit(self, data, lable): is_wrong = False while not is_wrong: wrong_count = 0 for d in range(len(data)): X = data[d] y = lable[d] judge = y * self.sign(X, self.w, self.b) if judge <= 0: self.w = self.w + self.l_rate * np.dot(y, X) self.b = self.b + self.l_rate * y if judge == 0: print('未分类=', d + 1, ' ', data[d]) else: print('误分类=', d + 1, ' ', data[d]) print('w = ',self.w,'b= ',self.b) wrong_count += 1 if wrong_count == 0: is_wrong = True perception1 = Model(data1) perception1.fit(data1,lable1)
参考
李航 统计学习方法
周志华 机器学习(西瓜书)
shuhuai008 机器学习白板推导
标签:mathbb,机器,matrix,cdot,self,感知机,Perceptron,神经元 来源: https://www.cnblogs.com/young978/p/15706047.html