其他分享
首页 > 其他分享> > 假设检验

假设检验

作者:互联网

假设检验的基本思想

以“女士品茶”为例,对于该女士有没有品茶的能力,有两种假设:该女士没有品茶能力和该女士有品茶能力。在统计上这两个非空不相交参数集合称作统计假设,简称假设。通过样本对一个假设作出对与不对的判断,则称为该假设的一个检验。若检验结果否定该命题,则称拒绝这个假设,否则就**接受(不拒绝)**这个假设。

假设可分为两种:

  1. 参数假设检验,即已经知道数据的分布,针对总体的某个参数进行假设检验;
  2. 非参数假设检验,即数据分布未知,针对该分布进行假设检验。

假设检验的基本步骤

  1. 建立假设
  2. 选择检验统计量,给出拒绝域形式
  3. 选择显著性水平
  4. 给出拒绝域
  5. 做出判断

Step 1:建立假设

主要针对参数假设检验问题

设有来自某分布族 { F ( x , θ ) ∣ θ ∈ Θ } \{F(x,\theta)|\theta\in\Theta\} {F(x,θ)∣θ∈Θ}的样本 x 1 , . . . , x n x_1,...,x_n x1​,...,xn​,其中 Θ \Theta Θ为参数空间,设 Θ 0 ∈ Θ \Theta_0\in\Theta Θ0​∈Θ,且 Θ 0 ≠ ϕ \Theta_0\neq\phi Θ0​​=ϕ,则命题 H 0 : θ ∈ Θ 0 H_0:\theta\in\Theta_0 H0​:θ∈Θ0​称为原假设零假设(null hypothesis),若有另一个 Θ 1 \Theta_1 Θ1​( Θ 1 ∈ Θ , Θ 1 Θ 0 = ϕ \Theta_1\in\Theta,\Theta_1\Theta_0=\phi Θ1​∈Θ,Θ1​Θ0​=ϕ,常见的一种情况是 Θ 1 = Θ − Θ 0 \Theta_1=\Theta-\Theta_0 Θ1​=Θ−Θ0​),则命题 H 1 : θ ∈ Θ 1 H_1:\theta\in\Theta_1 H1​:θ∈Θ1​称为 H 0 H_0 H0​的对立假设备择假设(alternative hypotheis),当 H 0 H_0 H0​为简单假设,即 Θ 0 \Theta_0 Θ0​只含一个点时,备择假设有三种可能: H 1 ′ : θ ≠ θ 0 H_1':\theta\neq\theta_0 H1′​:θ​=θ0​, H 1 ′ ′ : θ < θ 0 H_1'':\theta<\theta_0 H1′′​:θ<θ0​, H 1 ′ ′ ′ : θ > θ 0 H_1''':\theta>\theta_0 H1′′′​:θ>θ0​。

Step 2:选择检验统计量,给出拒绝域形式

根据样本计算统计量 Z Z Z(如样本均值、标准差等,称为检验统计量),并基于某个法则既可以决定接受 H 0 H_0 H0​还是拒绝 H 0 H_0 H0​,具体地,当统计量在拒绝域 W W W中即拒绝 H 0 H_0 H0​,在接受域 W ‾ \overline{W} W中即接受 H 0 H_0 H0​。由此可见,一个拒绝域 W W W唯一确定一个检验法则,反之,一个检验法则也唯一确定一个拒绝域。

注:不能用一个样本(例子)证明一个命题(假设成立),但是可以用一个样本(例子)去推翻一个命题。此外,拒绝域与接受域之间有一个模糊域,即统计量恰好符合法则,通常将模糊域归为接受域,因此接受域是复杂的。

Step 3:选择显著性水平

假设检验基于小概率事件,即小概率事件在一次试验中几乎不会发生,因此选择一个很小的概率值 α \alpha α,令 p ( 拒 绝 H 0 ∣ H 0 为 真 ) ≤ α p(拒绝H_0|H_0为真)\leq\alpha p(拒绝H0​∣H0​为真)≤α,表示 Z ∈ W Z\in W Z∈W是一个小概率事件,在一次试验中不应该发生。如果通过样本得到的统计量 z ∈ W z\in W z∈W,即不该发生的小概率事件竟然发生了,那么应该拒绝 H 0 H_0 H0​。

由于向本是随机的,通常做检验时可能做出错误判断,由此引入了两个错误,分别为第一类错误第二类错误,如下表所示:

观测数据情况总体情况总体情况
H 0 H_0 H0​为真 H 1 H_1 H1​为真
接受 H 0 H_0 H0​第一类错误(拒真)正确
拒绝 H 0 H_0 H0​正确犯第二类错误(取伪)

犯第一类错误概率: α = P ( X ∈ W ∣ H 0 ) \alpha=P(X\in W|H_0) α=P(X∈W∣H0​),即 α = P ( 拒 绝 H 0 ∣ H 0 为 真 ) \alpha=P(拒绝H_0|H_0为真) α=P(拒绝H0​∣H0​为真);

犯第二类错误概率: β = P ( X ∈ W ‾ ∣ H 1 ) \beta=P(X\in \overline{W}|H_1) β=P(X∈W∣H1​),即 β = P ( 接 受 H 0 ∣ H 0 为 假 ) \beta=P(接受H_0|H_0为假) β=P(接受H0​∣H0​为假)。

可以证明的,在一定样本量下,两类错误概率无法共同减小,但是当样本增加时,可以同时减小。

证明该问题需要引入是函数,下面将简单介绍势函数,但不对上述结论证明。
定义:设检验问题 H 0 : θ ∈ Θ 0 v s H 1 : θ ∈ Θ 1 H_0:\theta\in\Theta_0\quad vs\quad H_1:\theta \in \Theta_1 H0​:θ∈Θ0​vsH1​:θ∈Θ1​的拒绝域为 W W W,则样本观测值 X \mathbf{X} X落在拒绝域 W W W内的概率称为该检验的势函数,记为

g ( θ ) = P θ ( X ∈ W ) ,   θ ∈ Θ = Θ 0 ∪ Θ 1 g ( θ ) = { α ( θ ) θ ∈ Θ 0 1 − β ( θ ) θ ∈ Θ 1 g(\theta)=P_\theta(\mathbf{X}\in W),\ \theta\in\Theta=\Theta_0\cup\Theta_1\\ g(\theta)=\left\{\begin{matrix} \alpha(\theta) & \theta\in\Theta_0\\ 1-\beta(\theta) &\theta\in\Theta_1 \end{matrix}\right. g(θ)=Pθ​(X∈W), θ∈Θ=Θ0​∪Θ1​g(θ)={α(θ)1−β(θ)​θ∈Θ0​θ∈Θ1​​

第一类错误概率 α \alpha α即为初始设定的很小的概率,称为置信水平,称该检验时显著性水平为 α \alpha α的显著性检验,简称水平为 α \alpha α的检验。为了尽量减少两类错误,可简单的将其简化为减小第一类错误概率(第二类错误概率难求)。常用的 α = 0.05 \alpha=0.05 α=0.05有时也选择0.1或0.01。

Step 4:给出拒绝域

为了使得第一类错误的概率尽可能小,给定一个较小的 α \alpha α,并选择一个数 k k k,设定若 Z ≥ k Z\geq k Z≥k拒绝 H 0 H_0 H0​,使得 P ( u = ∣ z − μ σ / n ∣ ≥ k ) ≤ α P(u=|\frac{z-\mu}{\sigma/\sqrt{n}}|\geq k)\leq \alpha P(u=∣σ/n ​z−μ​∣≥k)≤α,所以 k = u α / 2 k=u_{\alpha/2} k=uα/2​。

注:算拒绝域时,需基于标准正态分布。

Step 5:做出判断

通过样本计算统计量,若统计量在拒绝域中,则拒绝原假设,否则接受原假设。

检验的 p p p 值

不同置信水平 α \alpha α的取值,可能会存在不同的结果。因此引入新的指标,即利用样本观测值能够作出拒绝原假设的最小显著水平,称为检验的 p p p值。由检验的 p p p值与心目中的显著性水平 α \alpha α进行比较,可以容易做出检验结论:

注:一般以 p < 0.05 p<0.05 p<0.05 为有统计学差异, p < 0.01 p<0.01 p<0.01 为有显著统计学差异, p < 0.001 p<0.001 p<0.001为有极其显著的统计学差异。

标签:theta,假设,H0,假设检验,alpha,Theta,拒绝域
来源: https://blog.csdn.net/zyziszy/article/details/112162606