【统计学习方法】 朴素贝叶斯法

朴素贝叶斯法的学习与分类

朴素贝叶斯基于贝叶斯定理和特征条件独立假设，属于生成模型。

贝叶斯定理：

                                      

 

特征条件独立假设：

                                    

 

 

朴素贝叶斯法通过训练数据集学习联合概率分布P(X, Y)。

具体地，先学习先验概率分布 ：

 

 条件概率分布:

 

 通过贝叶斯定理及条件独立性假设计算后验概率：

                                    

 

 朴素贝叶斯分类器可以表示为：

                               

 

 由于对所有的ck分母都是相同的，所以：

                                 

 

 

后验概率最大化的含义

朴素贝叶斯将实例分到后验概率最大的类中，等价于期望风险最小化：

假设选择0-1损失函数：

                                  

 

 式中f(X)为决策函数。这时期望风险函数为：

                                

 

 为使期望风险最小化，只需对X=x逐个极小化：

                                

 

 于是，根据期望风险最小化准则可得后验概率最大化准则：

                                

 

 

朴素贝叶斯法的参数估计

运用极大似然估计计算先验概率和条件概率：

                             

 

 代入贝叶斯分类器公式，求得实例x的类：

                           

 

贝叶斯估计

防止估计的概率值为0情况，采用贝叶斯估计：

                         

 

常取lambda=1，此时称为拉普拉斯平滑。 

 

标签：概率,后验,贝叶斯,学习,最小化,期望,朴素
来源： https://www.cnblogs.com/kyfishing/p/15359008.html