Normal-Inverse Gamma Mixture简介
作者：互联网
Normal-Inverse Gamma Mixture简介
假设 X ∣ γ ∼ N ( μ , γ ) , γ ∼ I G ( α , β ) X|\gamma \sim N(\mu,\gamma),\gamma \sim IG(\alpha,\beta) X∣γ∼N(μ,γ),γ∼IG(α,β)，称 X X X的分布是Normal-Inverse Gamma Mixture，这个mixture在贝叶斯统计中有非常广泛的应用。
应用一：正态方差的共轭分布
先写出
X
,
γ
X,\gamma
X,γ的联合概率密度
p
(
X
,
γ
)
∝
(
γ
−
1
/
2
e
−
(
X
−
μ
)
2
2
γ
)
(
γ
−
(
α
+
1
)
e
−
β
γ
)
=
γ
−
(
α
+
3
2
)
e
−
1
γ
(
β
+
(
X
−
μ
)
2
2
)
p(X,\gamma) \propto \left( \gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2\gamma}} \right) \left( \gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \right) \\ = \gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})}
p(X,γ)∝(γ−1/2e−2γ(X−μ)2)(γ−(α+1)e−γβ)=γ−(α+23)e−γ1(β+2(X−μ)2)
这是inverse gamma的kernel，于是
γ
∣
X
∼
I
G
(
α
+
1
2
,
β
+
(
X
−
μ
)
2
2
)
\gamma|X \sim IG(\alpha+\frac{1}{2},\beta+\frac{(X-\mu)^2}{2})
γ∣X∼IG(α+21,β+2(X−μ)2)
这说明当总体是正态分布时且均值已知时，逆伽马分布是总体方差的共轭分布。
应用二：构造t分布
我们写出
X
,
γ
X,\gamma
X,γ联合概率密度的完整形式
p
(
X
,
γ
)
=
(
2
π
)
−
1
/
2
γ
−
1
/
2
e
−
(
X
−
μ
)
2
2
γ
β
α
1
Γ
(
α
)
γ
−
(
α
+
1
)
e
−
β
γ
=
β
α
2
π
Γ
(
α
)
γ
−
(
α
+
3
2
)
e
−
1
γ
(
β
+
(
X
−
μ
)
2
2
)
p(X,\gamma)=(2\pi)^{-1/2}\gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2 \gamma}}\beta^{\alpha} \frac{1}{\Gamma(\alpha)}\gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})}
p(X,γ)=(2π)−1/2γ−1/2e−2γ(X−μ)2βαΓ(α)1γ−(α+1)e−γβ=2π
Γ(α)βαγ−(α+23)e−γ1(β+2(X−μ)2)
然后计算
X
X
X的边缘密度
p
(
X
)
=
∫
γ
>
0
p
(
X
,
γ
)
d
γ
=
β
α
2
π
Γ
(
α
)
∫
γ
>
0
γ
−
(
α
+
3
2
)
e
−
1
γ
(
β
+
(
X
−
μ
)
2
2
)
d
γ
=
β
α
2
π
Γ
(
α
)
Γ
(
α
+
1
2
)
[
β
+
(
X
−
μ
)
2
2
]
α
+
1
2
=
Γ
(
α
+
1
2
)
2
β
π
Γ
(
α
)
[
1
+
(
X
−
μ
)
2
2
β
]
−
2
α
+
1
2
p(X)=\int_{\gamma>0}p(X,\gamma)d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \int_{\gamma>0}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})}d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \frac{\Gamma(\alpha+\frac{1}{2})}{[\beta+\frac{(X-\mu)^2}{2}]^{\alpha+\frac{1}{2}}} \\ = \frac{\Gamma(\alpha+\frac{1}{2})}{\sqrt{2 \beta \pi}\Gamma(\alpha)}\left[ 1+\frac{(X-\mu)^2}{2 \beta} \right]^{-\frac{2\alpha+1}{2}}
p(X)=∫γ>0p(X,γ)dγ=2π
Γ(α)βα∫γ>0γ−(α+23)e−γ1(β+2(X−μ)2)dγ=2π
Γ(α)βα[β+2(X−μ)2]α+21Γ(α+21)=2βπ
Γ(α)Γ(α+21)[1+2β(X−μ)2]−22α+1
这是一个具有一般性的式子，但在一些特殊的取值下它就变成了我们熟悉的分布：
- 取 β = α \beta=\alpha β=α，则这个分布是t分布 t 2 α t_{2 \alpha} t2α
- 取 α = β = 1 / 2 \alpha=\beta=1/2 α=β=1/2，这个分布是Cauchy分布 C ( 0 , μ ) C(0,\mu) C(0,μ)
在统计计算中，可以使用这个技巧将t分布或者Cauchy分布的采样替换为Normal-Inverse Gamma mixture的采样。
标签：Inverse,frac,mu,beta,Mixture,Gamma,alpha,gamma 来源： https://blog.csdn.net/weixin_44207974/article/details/115507723