贝叶斯分类
作者:互联网
贝叶斯定理:\(P\left ( A|B\right ) = \frac{P\left ( B|A\right )P\left ( A\right )}{P\left ( B\right )}\)
\(P\left ( A|B\right )\):B发生的情况下A发生的概率,也叫A的后验概率(在B事件发生后对A时间概率的重新评估)
\(P\left ( A \right )\):A发生的概率,也叫A的先验概率(在B事件发生之前,对A事件概率的一个判断)
贝叶斯分类:在贝叶斯分类中,我们希望确定一个具有某些特征的样本属于某类标签h的概率,通常记为\(P\left ( h|特征\right )\)。套用贝叶斯公式:\(P\left ( h|特征\right ) = \frac{P\left ( 特征|h\right )P\left ( h\right )}{P\left ( 特征\right )}\)
这里,“特征”是我们所能够观察到的,“标签L”是我们的假设,对于不确定事物,假设往往是多个的。
\(P\left ( h_{1}|特征\right ) = \frac{P\left ( 特征|h_{1}\right )P\left ( h_{1}\right )}{P\left ( 特征\right )}\)
\(P\left ( h_{2}|特征\right ) = \frac{P\left ( 特征|h_{2}\right )P\left ( h_{2}\right )}{P\left ( 特征\right )}\)
\(P\left ( h_{3}|特征\right ) = \frac{P\left ( 特征|h_{3}\right )P\left ( h_{3}\right )}{P\left ( 特征\right )}\)
在所有的候选假设的集合\(H = \left \{h_{1},h_{2},...,h_{n}\right \}\)中,学习器在H中寻找给定数据“特征”时可能性最大的假设h,h被称为极大后验假设(Maximum a posteriori:MAP)
确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率:\(h_{MAP} = max_{h\in H}P\left ( h|特征\right ) = max_{h\in H}\frac{P\left ( 特征|h\right )P\left ( h\right )}{P\left ( 特征\right )} = max_{h \in H}P\left ( 特征|h\right )P\left ( h\right )\)
案例:
图中的对象D就是特征,可以看到特征由多个属性(收入,年龄,爱好)组成,是一个多属性的向量,我们将它表示为 \(D = < a_{1}, a_{2},...,a_{n}> \)
朴素贝叶斯分类:
对于上述问题,我们进行公式简化:独立性假设,当假设分类对应的各个属性间是相互独立的时候,就变成了朴素贝叶斯分类
高斯朴素贝叶斯分类:
对于朴素贝叶斯分类中的,特征属性的值是连续数据时该如何求概率?那么我们假设数据都服从高斯分布(正态分布):\(f\left ( x\right ) = \frac{1}{\sigma \sqrt{2*\pi}}e^{-\frac{1}{2}\left (\frac{x-\mu }{\sigma } \right )^{2}}\),其中\(\sigma \)为总体标准差,\(\mu\) 为总体均值,我们使用训练集来获得正态分布的参数(\(\sigma \),\(\mu\)),由多少个类,就会有多少组方差均值,形成对应的正态分布
标签:right,frac,特征,假设,分类,贝叶斯,left 来源: https://www.cnblogs.com/wsy107316/p/16250747.html