首页 > 其他分享> > 10分钟帮你理清概率论基本概念

10分钟帮你理清概率论基本概念

2020-02-23 15:08:14 作者：互联网

1.引言

本人的研究方向是机器人无序分拣，在做项目的时候深感自己基础知识薄弱。新冠肺炎闭关在家，自修斯坦福大学机器视觉程CS131a以提高自己的理论基础。但是有些内容自学起来还是比较的吃力的，苦苦寻求解决方法，找到参考书目《模式识别与机器学习》一书，感觉之前的很多问题豁然开朗。遂将书中的一些主要思路记录在此。

2.模式识别与概率论

在模式识别领域一个关键的概念就是不确定性的概念，概率论提供了一个合理的框架，用来对不确定性进行量化和计算。概率论的内容本身而言其实要比高数简单，但是国内教材的晦涩难懂的语言自己理解起来相对的吃力（其实是自己智商不够理解不了语言之中蕴含的严密逻辑），利用书中的例子对概率论基本概念进行一个通俗的讲解。

3.实例

现在假设我们随机选择一个盒子，从这个盒子中我们随机选择一个球，观察一下选择了那种球然后放回盒子中，假设我们有40%的概率选择红盒，60%的概率选择蓝盒，且我们选球的概率是相等的。盒子的颜色是一个随机变量，记作B。这个变量可以取两个值中的一个即r（对应红盒）和b（对应蓝盒）类似地，球的种类也是⼀个随机变量，记作F 。它可以取g（绿色）或者o（橘色）。
开始阶段，我们把⼀个事件的概率定义为事件发⽣的次数与试验总数的⽐值，假设总试验次数趋于⽆穷。因此选择红盒⼦的概率为 $\frac{4}{10}$ 104，选择蓝盒⼦的概率为 $\frac{6}{10}$ 106 。我们把这些概率分布记作p(B = r) = $\frac{6}{10}$ 106 和p(B = b) = $\frac{6}{10}$ 106 。
我们现在可以问这样的问题：选择到绿球的整体概率是多少？或者，假设我们选择了橘色球，我们选择的盒⼦是蓝盒⼦的概率是多少？我们可以回答这种问题，事实上也可以回答与模式识别相关的⽐这些复杂得多的问题。前提是我们掌握了概率论的两个基本规则：加和规则（sumrule）、乘积规则（product rule）。获得了这些规则之后，我们将重新回到我们的小球盒⼦的例⼦中。

4.概率论基本规则

为了推导这两个基本原则并得到更一般的情形，涉及到两个随机变量X和Y （例如可以是上⾯例⼦中“盒⼦”和“小球”的随机变量）。我们假设X可以取任意的xi，其中i = 1;…; M，并且Y 可以取任意的yj，其中j = 1; …; L。考虑N次试验，其中我们对X和Y 都进⾏取样，把X = xi且Y = yj的试验的数量记作nij。并且，把X取值xi（与Y 的取值⽆关）的试验的数量记作ci，类似地，把Y 取值yj的试验的数量记作rj。
X取值xi且Y 取值yj的概率被记作p(X = xi; Y = yj)，被称为X = xi和Y = yj的联合概率（joint probability）。它的计算⽅法为落在单元格i; j的点的数量与点的总数的⽐值，
即：p(X = xi; Y = yi) = $\frac{nij}{N}$ Nnij 。（1）
图2，我们可以这样推导概率的加和规则和乘积规则：考虑两个随机变量， X，取值为{xi}，其中i = 1; ... ; M，和Y ，取值为{yj}，其中j = 1; ... ; L。在这个例⼦中，我们取M = 5和L = 3。如果我们考虑这些变量的总计N个实例，那么我们将X = xi且Y = yj的实例的数量nij，它是对应的单元格中点的数量。列i中的点的数量，对应于X = xi，被记作ci，⾏j中的点的数量，对应于Y = yj，被记作rj
这⾥我们隐式地考虑极限N ! 1。类似地， X取值xi（与Y 取值⽆关）的概率被记作p(X = xi)，计算⽅法为落在列i上的点的数量与点的总数的⽐值，
即：p(X = xi) = $\frac{ci}{N}$ Nci （2）
由于图2中列i上的实例总数就是这列的所有单元格中实例的数量之和，我们有ci= $\sum_{j=1} n_{ij}$ ∑j=1nij我们有，因此根据公式（1）和公式（2），
我们有：p(X = xj) = $\sum_{j=1}^{L} p(X=x_i,Y=y_i)$ ∑j=1Lp(X=xi,Y=yi) (3)
这是概率的加和规则（sum rule）。注意， p(X = xi)有时被称为边缘概率（marginal probability），因为它通过把其他变量（本例中的Y ）边缘化或者加和得到。如果我们只考虑那些X = xi的实例，那么这些实例中Y = yj的实例所占的⽐例被写成p(Y = yj | X = xi)，被称为给定X = xi的Y = yj的条件概率（conditional probability）。它的计算⽅式为：计算落在单元格i，j的点的数量列i的点的数量的⽐值，
即：p(Y = yj | X = xi)= $\frac{nij}{ci}$ cinij（4）
根据公式（1）、（2）、（4），我们可以推导出下面的关系式：
p(X = xi; Y = yj) = $\frac{nij}{N}=\frac{nij}{ci}=\frac{ci}{N}$ Nnij=cinij=Nci=p(Y = yj | X = xi)p(X = xi)(5)
这被称为概率的乘积规则（product rule）。到现在为⽌，我们相当仔细地区分随机变量（例如上述例⼦中的盒⼦B）和随机变量可以取的值（例如盒⼦是红⾊时取值为r）。因此B取值为r的概率被记作p(B = r)。虽然这种记法避免了歧义性，这种记号相当笨拙，并且在很多情况下没有必要。相反，我们简单地⽤p(B)表⽰随机变量B的分布， p®表⽰这个分布对于特定的值r的估计，假定这种表达⽅式在给定上下⽂的情况下不会造成歧义。
使⽤这种简洁的记法，我们可以⽤下⾯的形式表⽰概率论的两条基本规则：
sum rule: p(X) = $\sum_{Y}{p(X,Y)}$ ∑Yp(X,Y)(6)
product rule: p(X，Y ) = p(Y|X)p(X)（7）
这⾥p(X， Y )是联合概率，可以表述为“X且Y 的概率”。类似地， p(Y|X)是条件概率，可以表述为“给定X的条件下Y 的概率”， p(X)是边缘概率，可以简单地表述为“X的概率”。
最后，如果两个变量的联合分布可以分解成两个边缘分布的乘积，即p(X|Y ) = p(X)p(Y )，那么我们说X和Y 相互独立（independent）。根据乘积规则，我们可以得到p(Y|X) = p(Y )，因此对于给定X的条件下的Y 的条件分布实际上独⽴于X的值。例如，在我们的小球盒⼦的例⼦中，如果每个盒⼦包含同样⽐例的绿球和橘球，那么p(F|B) = P (F)，从⽽选择苹果的概率就与选择了哪个盒⼦⽆关。

三维立体视觉点云处理发布了2 篇原创文章 · 获赞 1 · 访问量 81 私信关注

标签：10,xi,frac,记作,yj,概率,理清,概率论,我们
来源： https://blog.csdn.net/weixin_42304632/article/details/104456012