首页 > 其他分享> > NLP学习笔记23-抽样

NLP学习笔记23-抽样

2021-02-18 23:33:25 作者：互联网

一序

本文属于贪心NLP训练营学习笔记系列。之前的Python基础以及numpy相关的内容，视频上是60--90的。还有一个关于Python做爬虫的。先跳过后面再看吧。

这一章不知道哪个老师讲的，PPT不是哪个标准的英文，类似手写体那种看着眼花，而且对于概率统计学这种术语很多的，我连名词都不懂。

二抽样

抽样的目的：

获取统计信息
获取推断
可视化

任何概率都可以使用函数表示。

优点：简单、通用

缺点：很慢，难以获取“合适”的样本。

三蒙特卡洛方法

采样方法是近似推断算法的核心，也被称为蒙特卡洛方法。采样方法的基本目标时求解某个函数 $f(x)$ 在某个特定的概率分布 $P(x)$ 的期望值

$E[f(x)]= \int f(x)P(x) dx$

但是 x 的维度可能非常高，因此期望值往往时非常难求的。所以为了简化从概率分布 $P(x)$ 采集N个点组成样本集合（值得注意的是，这些点的统计属性服从概率分布 $P(x)$ ）。

$\hat{f}=\frac{1}{N} \sum_{1}^{N} f(x_i)$

那么，问题就变成了如果我们能够非常容易的从 $P(x)$ 采样N个点，就能解决上面的期望。id 是表示采样点是独立的。ppt风格就是这种手写体，对于小白有些难。

蒙特卡洛方法优点是无偏的估计（求出的样本均值就是实际的概率分布）。

百科介绍无偏估计

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中。

这个吧，老师不跟李文哲老师那样手推公式，解释推导过程了。直接看不懂了。

关于蒙特卡洛的经典应用是计算 $\pi$ 。老师给了Mandelbrot集合的例子。

补充下分形有关数学背景知识：

Mandelbrot集合是一个复数c的集合，c由 $z_{n+1}=z_{n}^2 + c$ 公式在 $z_0=0$ 开始迭代而得到。

如 c = 0 时，显然数列永远是0，并不发散，因此 c = 0 不属于Mandelbrot集合.

在二维平面上，将所有不属于Mandelbrot集合的点标记为黑色，将所有属于Mandelbrot集合的点按照其发散速度赋予不同的颜色，就是上图的右上角哪个经典图片。

真正的理论推导式很复杂的，看看知乎上专门的数学博士研究这个方向的答复：https://www.zhihu.com/question/265299887?sort=created

上面截图，就是在一个（-2，2）的矩阵上求集合的的概率，套用上面的蒙特卡洛公式，就是黑色区域面积/矩形面积。

四重要性采样 (importance sampling)

直接求期望值，而不是从p(z)中获取样本。直接将z分成很多小网格，然后计算

这个左侧是公平(fair)分布，右侧是有偏的分布1，2出现概率比较大。

截图右下角的数学公式：没有做手推，看的不是很清晰，明白的同学可以留言解释下。

找了知乎上一篇文章：https://zhuanlan.zhihu.com/p/62730810

这样计算是不准确的，精度随着网格精度的增加而增加。同时，求和的数量会随着变量z的维度而指数增加。并且，对于一个概率分布而言，往往只有z的一小部分区域p(z)取较大值，而大部分的z对于整个期望值都是无效的。我们猜测能不能重点关注概率取值大的点，而忽略取值小的点，这就是重要性采样的动机。

其中q(z)是标准分布，非常易于采样，样本点集合 ${z^1,z^2,...z^L }$ ,我们称 $\frac{ p(z^i)}{q(z^i) }$ 为重要性权重。