思维导图

4.1 线性判据基本概念

生成模型：

给定训练样本{Xn},直接在输入空间内学习其概率密度函数p(x)。

• 优势：
  可以根据p(x)采样新的样本数据。
  可以检测出较低概率的数据，实现离群点检测。

• 劣势：
  如果是高维的x，需要大量训练样本才能准确的估计p(x) ;否则，会出现维度灾难问题。

判别模型：

给定训练样本{Xn},直接在输入空间内估计后验概率p(Ci|x)。
在分类任务中，后验概率分布p(Ci|x)相当于直接从输入样本x映射到类别输出Ci的判别函数f(x),即判别模型。

• 优势：
  快速直接、省去了耗时的高维观测似然概率估计。
  （在分类任务中，观测概率分布所包含的大量复杂内容有时对于后验概率的影响比较有限。）
  最简单的判别模型：线性判据
  如果判别模型f(x)是线性函数，则f(x)为线性判据。
  可以用于两类分类，决策边界是线性的，也可以用于多类分类,相邻两类之间的决策边界也是线性的。

• 优势：
  计算量少:在学习和分类过程中，线性判据方法都比基于学习概率分布的方法计算量少。
  适用于训练样本较少的情况

模型：

判别公式：

决策边界就是令f(x)=0（是d维空间上的超平面）
其中：w垂直与决策边界的任何向量。（决定了决策边界的方向）
Wo决定了决策边界的偏移量，使其能够满足两个类输出值分别为正负。它决定了决策边界相对于坐标原点的位置。

任意样本x到决策边界的垂直距离r为：

r值越大，这个点属于正类或者负类的程度越大。

f(x)是样本x到决策面的代数距离度量。

4.2 线性判据学习概述

线性判据的学习和识别过程：

• 以监督式学习为例：
• 基于训练样本{x1, x2, ... XN }及其标签{t1,t2...,tN},设计目标函数，学习W和Wo。

识别过程(将待识别样本x带入训练好的判据方程)：

由于训练样本个数通常会远远大于参数个数(w的维度+ wo的维度)，所以线性判据满足条件的解不唯一。学习算法就是要找到一个最优解。
针对两类(正负类)分类，方便起见，将负类的输出值取反，则得到

给定N个训练样本，参数向量w的解域位于N个超平面正半部分的交集。

找最优解的方法：

• 设计目标函数：
  目标函数反映了如何实现有效决策的核心思想。
  目标函数的求解就是最小化/最大化目标函数。
  有
  解析求解：求关于训练参数的偏导，并设置偏导为0
  迭代求解:先猜测参数初始值，然后不断的根据当前计算得到的更新值迭代更新参数。

• 加入约束条件
  可以提高泛化能力，使得解域范围收缩。

4.3 并行感知机算法

根据目标函数的不同，可以设计不同的线性判据算法。

• 预处理

• • 目的：根据标记过的训练样本{(xn,tn)},学习模型参数: W, Wo
    首先将两个参数合为一个参数,线性判据改写为:
    
    再将C2类的训练样本全部取反:从而得到：预处理后两个类的输出值都是正数。

• 目标函数
  被错误分类的样本，输出值f(n)是负数。且输出值的绝对值越大，错误的程度越大。

• 目标函数:针对所有被错误分类的训练样本(即输出值小于0的训练样本)其输出值取反求和

• 最小化该目标函数:取目标函数关于α的偏导(即梯度)：

使用梯度下降法更新参数。
每个维度的梯度反方向就是该维度往目标函数最小值收敛的最速下降方向。
更新的大小:每个维度的梯度幅值代表参数在该维度上的更新程度。（通常加入步长来调整更新的幅度）

• 参数更新
  

4.4 串行感知机算法

目标函数:如果当前训练样本被错误分类，最小化其输出值取反:

最小化目标函数，还是取关于α参数向量的偏导。
偏导不含有α，所以还是使用梯度下降法求解。
步长决定收敛的速度、以及是否收敛到局部或者全局最优点。
当样本位于决策边界边缘时，对该样本的决策有很大的不确定性。

加入margin约束条件，将错误分类的标准改为:

这里b的作用是避免出现α=0的解，提高泛化能力。

4.5 Fisher线性判据

线性判据的模型可以看做是把原空间各点x投影到新的一维空间y。
找到一个最合适的投影轴，使两类样本在该轴上投影的重叠部分最少（用两类样本分布的均值之差度量）,同时使得各自类内样本分布的离散程度尽可能小（用每类样本分布的协方差矩阵表示），从而使分类效果达到最佳。

最大化该目标函数：
求解w的最优解，将所有样本的均值投影到坐标原点，得到Wo。

• Fisher线性判据：
  
  决策边界就是令上式x=0。该决策边界就是过u，斜率为的超平面。

4.6 支持向量机基本概念
给定一组训练样本，使得两个类中与决策边界最近的训练样本到决策边界之间的间隔最大。
在支持向量机中，正负类训练样本输出真值分别用+1和-1来表达。
给定标记过的训练样本{(xn, tn)},线性分类器可以表达为:

加入间隔的概念，引入一个正常数▲，分类器进一步表达为:

意味着没有训练样本落在间隔范围内

• 目标函数
  目标：最大化总间隔，等价于最小化||w||

目标函数：

同时满足约束条件:这里假设

标签：判据,函数,决策,分类器,线性,训练样本,第四章
来源： https://www.cnblogs.com/dishao/p/14814499.html