1.SVM与逻辑回归

软间隔SVM与逻辑回归的区别

　　1、逻辑回归通过输出预测概率后根据阈值进行判断类别，SVM则直接输出分割超平面，然后使用0/1函数对距离进行分类，不能直接输出概率值，如果需要SVM输出概率值则需要进行特殊处理，可以根据距离的大小进行归一化概率输出。

　　2、逻辑回归可以使用多阈值然后进行多分类，SVM则需要进行推广。

　　3、SVM在训练过程只需要支持向量的，依赖的训练样本数较小，而逻辑回归则是需要全部的训练样本数据，在训练时开销更大。

SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算量。

两者对异常的敏感度也不一样。同样的线性分类情况下，如果异常点较多的话，无法剔除，首先LR，LR中每个样本都是有贡献的，最大似然后会自动压制异常的贡献，SVM+软间隔对异常还是比较敏感，因为其训练只需要支持向量，有效样本本来就不高，一旦被干扰，预测结果难以预料。

2.朴树贝叶斯， 半朴素贝叶斯

3.最大似然估计（MLE）与贝叶斯估计

总结参数估计：模型已定，参数未知！

最大似然估计的核心思想是：找到参数θθ的一个估计值，使得当前样本出现的可能性最大。

1）写似然函数  2）一般对似然函数取对数，并将对数似然函数整理 

3）对数似然函数求导，令导数为0，求得似然方程 
4）根据似然方程求解，得到的参数即为所求估计值

统计学里有两个大的流派，一个是频率派，一个是贝叶斯派。时至今日，这两派还未就各自的观点达成统一。我们前面提到的最大似然估计就是频率派的典型思路，下面是贝叶斯派的贝叶斯公式式子：

p(yi|x)是后验概率。p(x|yi)p(x|yi)是条件概率，或者说似然概率，这个概率一般都可以通过历史数据统计得出。而p(yi)p(yi)是先验概率，一般也是根据历史数据统计得出或者认为给定的，贝叶斯里的先验概率，就是指p(yi)p(yi)。对于p(x)p(x)，我们前面提到可以用全概率公式计算得出，但是在贝叶斯公式里面我们一般不care这个概率，因为我们往往只需要求出最大后验概率而不需要求出最大后验的具体值。
全概率公式：

两者最大的区别就在这里：贝叶斯估计引入了先验概率，通过先验概率与似然概率来求解后验概率。而最大似然估计是直接通过最大化似然概率来求解得出的。最大似然估计没有考虑模型本身的概率，或者说认为模型出现的概率都相等。而贝叶斯估计将模型出现的概率用先验概率的方式在计算过程中有所体现。

最后来个总结：从本质上来说，最大似然是对点估计，贝叶斯推断是对分布估计。即，假设求解参数θ，最大似然是求出最有可能的θ值，而贝叶斯推断则是求解θ的分布。

MLE简单又客观，但是过分的客观有时会导致过拟合。在样本点很少的情况下，MLE的效果并不好。比如我们前面举的病毒的例子。在这种情况下，我们可以通过加入先验，用贝叶斯估计进行计算。 而贝叶斯估计则有可能引入不合理的先验概率。

4.逻辑回归

 

标签：似然,yi,概率,机器,贝叶斯,学习,面试,SVM,先验概率
来源： https://blog.csdn.net/Victory_tc/article/details/98888876