【读书笔记】贝叶斯原理
作者：互联网
频率学派和贝叶斯学派
| 频率学派 | 贝叶斯学派 | |
|---|---|---|
| 概率的定义 | 事件重复若干次后频率的极限 | 事件发生的不确定程度 |
| 判别方法 | 没有先验概率；要求事件是可重复的 | 有先验概率 |
| 描述不确定程度 | 置信区间或p值 | 后验概率 |
| 求解方法（测量全世界大学生的平均身高） | 认为这是一个确定值，用极大似然估计求解 | 认为不同值都有一个概率，用贝叶斯定理求解后验概率 |
条件概率的来源
-
除了逻辑学中正误确定的论断，还应考虑有不确定可信度的论断。类似于\(B\rightarrow A\)的逻辑推断，当我们得到新信息时，相关论断的可信度也应发生变化。比如，对于\(B\rightarrow A\)，当\(B\)的可信度提高时，\(A\)也应该提高（条件概率）；当\(A\)的可信度提高时，有时\(B\)也会提高（贝叶斯方法）
-
推导出唯一概率系统的考克斯公理
-
概率论是常识推断的定量表述
类比逻辑论断\(B\rightarrow A\)，先验概率\(P(B)\)为假设\(B\)成立的概率，条件概率\(P(A|B)\)为推断“\(\rightarrow\)”成立的概率，联合概率\(P(\mathbf{A}, \mathbf{B})\)为两个假设同时成立的概率
-
条件概率的计算式来源
- 根据第三条公理可知，联合事件发生的概率是由单一事件概率与条件概率决定的
- 直观上来看，\(P(A|B)\)与\(P(B)\)越大，联合事件发生的概率越大
- 乘法能保证概率值始终在\([0,1]\)区间
- 因此有\(P(\mathbf{A}, \mathbf{B})=P(\mathbf{A} \mid \mathbf{B}) P(\mathbf{B})\)
贝叶斯公式
-
核心：利用变量间的相关性，用新得到的可观测变量的信息来更新对不可观测变量的估计
- 当某一观测变量发生后，另一不可观测量的发生概率如何发生改变
- 更新前的估计就是先验概率
-
举例
| 不可观测量\(A\) | 可观测量\(B\) | 正向概率 \(P(B\mid A)\) | 逆向概率 \(P(A\mid B)\) | |
|---|---|---|---|---|
| 发动机 | 发动机是不是坏了 | 声音不对 | 坏了过后的声音是不是这个声音？ | 听到这个声音，发动机是不是坏了？ |
| 抽球 | 盒子中不同颜色小球的比例 | 摸出小球的颜色 | 摸出小球可能是什么颜色？ | 盒中小球的颜色比例？ |
| 女神 | 女神是否喜欢你 | 女神对你笑 | 女神喜欢你的话，对你笑的概率有大？ | 女神如果对你笑了，喜欢你吗？ |
-
公式：\(P(A \mid B)= \frac{P(B \mid A)P(A)}{P(B)}\)
可以理解为\(P(A,B) = P(A \mid B)P(B)=P(A)P(B \mid A)\)，同一相关关系的不同描述角度
-
求解：
以女神为例，要计算\(P(A \mid B)\)，带入公式计算其余各项即可
- \(P(A)\)：女神之前就喜欢你吗？如果是路人，还是设置为50%的概率吧
- \(P(B|A)\)：喜欢一个人大概率会笑吧，可以设置为60%
- \(P(B)\)：女神平时傻笑吗？高冷的话可以设置为40%
计算后可得，喜欢你的先验概率提升为75%了！感谢贝叶斯！
贝叶斯公式的应用
- 垃圾邮件筛选（垃圾邮件、敏感字词）
- 疾病检测（得病，报告）
- 贝叶斯方法可能是解决小样本学习的关键方法
标签：概率,mathbf,女神,读书笔记,mid,贝叶斯,先验概率,原理 来源： https://www.cnblogs.com/mhlan/p/15908241.html