其他分享
首页 > 其他分享> > 机器学习之线性判别分析LDA

机器学习之线性判别分析LDA

作者:互联网

线性判别分析(Linear Discriminant Analysis, 简称LDA)是一种经典的线性学习方法,LDA算法既可以用来监督式的降维,也可以用来分类。
注意:LDA主题模型是指文本建模的文档主题生成模型,LDA是Latent Dirichlet Allocation的简称。

1模型优化

LDA思想:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离。
lda示意图
欲使同类样例的投影点尽可能接近,可以让同类样例投影点的协方差尽可能小,即
w T ∑ 0 w + w T ∑ 1 w w^T\sum\nolimits_{0}w+w^T\sum\nolimits_{1}w wT∑0​w+wT∑1​w
尽可能小;
而欲使异类样例的投影点尽可能远离,可以让类中心之间的距离尽可能大,即
∥ w T μ 0 − w T μ 1 ∥ 2 2 \left \| w^T\mu_{0}-w^T\mu_{1}\right \|_{2}^{2} ∥∥​wTμ0​−wTμ1​∥∥​22​
尽可能大。
也可从贝叶斯决策理论的角度来阐释,并可证明,当两类数据同先验、满足高斯分布且协方差相等时,LDA可达到最优分类。

2Sklearn代码实现

在Sklearn库中逻辑回归模型使用 LinearDiscriminantAnalysis类,其求解器(solver)可使用的优化算法,包括svd(奇异值分解) 、lsqr(最小二乘)和 eigen(特征分解)。

Shrinkage(收缩)是一种在训练样本数量相比特征而言很小的情况下可以提升的协方差矩阵预测(准确性)的工具。

示例:鸢尾花数据集分类任务
将前文【机器学习之逻辑回归(对率回归)】中创建模型的语句更改为如下即可:

...
# 创建模型
model = LinearDiscriminantAnalysis()
...

标签:LDA,solver,矩阵,样例,判别分析,协方差,尽可能,线性
来源: https://blog.csdn.net/weixin_44153121/article/details/113829621