特征选择（从原始特征中挑选）：从n个度量值集合{x1, x2,…, xn}中，按某一准则选取出供分类用的子集，作为降维（m维，m<n）的分类特征。

        特征提取（把原始特征变换为较少的特征）：使(x1, x2,…, xn)通过某种变换，产生m个特征(y1, y2,…, ym) (m<n) ，作为新的分类特征（或称为二次特征）。

一、模式类别可分性的测度

1.距离和散布矩阵

点到点之间的距离：

点到点集的距离： 

类内距离： 

类内散布矩阵： 

类间散布矩阵：

 多类模式集散布矩阵：

 

 二、特征选择

1.两类训练样本的特征选择

 

         三种不同模式分布的情况

        (a) 中特征xk的分布有很好的可分性，通过它足以分离wi和wj两种类别；

        (b) 中的特征分布有很大的重叠，单靠xk达不到较好的分类，需要增加其它特征；

        (c) 中的wi类特征xk的分布有两个最大值，虽然它与wj的分布没有重叠，但计算Gk约等于0，此时再利用Gk作为可分性准则已不合适

 2.一般特征的散布矩阵准则

        类内、类间的散布矩阵Sw和Sb ：类间离散度越大且类内离散度越小，可分性越好。

使J1或J2最大的子集可作为所选择的分类特征。

三、K-L变换/主成分变换（PCA变换）（适用于任意概率密度函数的正交变换）

1.展开式

 

 

 2.正交集的确定

 

3.K-L展开式系数的计算步骤

 4.按K-L展开式选择特征

         从K-L展开式的性质和按最小均方差的准则来选择特征，应使E[aj]=0。在将整体模式进行K-L变换之前，应先将其均值作为新坐标轴的原点，采用协方差矩阵C或自相关矩阵R来计算特征值。

        为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，首先采用前面的m个特征向量，便可使变换误差最小。

        通过K-L变换能获得互不相关的新特征。若采用较大特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，所以K-L变换起到了减小相关性、突出差异性的效果。

        注：采用K-L变换作为模式分类的特征提取时，要特别注意保留不同类别的模式分类鉴别信息，仅单纯考虑尽可能代表原来模式的主成分，有时并不一定有利于分类的鉴别。

标签：特征选择,模式识别,矩阵,变换,模式,散布,特征,第四章
来源： https://blog.csdn.net/weixin_43939890/article/details/121695020