观测概率为多维高斯分布时对两(多)类MAP决策边界的分析
作者：互联网
设观测概率为 \(k\) 维高斯分布 \(\displaystyle p(\boldsymbol x\mid C_i)={1\over (2\pi)^{k\over 2}|\Sigma_i|^{1\over 2}}\exp[-{1\over 2}(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu_i)]\)
则代入 MAP 分类器得到，决策边界为：\(\displaystyle p(\boldsymbol x\mid C_i)p(C_i)\underset{C_j}{\overset{C_i}{\gtrless}} p(\boldsymbol x\mid C_j)p(C_j)\)
两侧取对数整理得到：
\[-\ln|\Sigma_i|+2\ln p(C_i)-(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}-\ln|\Sigma_j|+2\ln p(C_j)-(\boldsymbol x-\boldsymbol \mu_j)^T\Sigma_j^{-1}(\boldsymbol x-\boldsymbol \mu_j) \]进一步整理得到：
\[(\boldsymbol x-\boldsymbol \mu_j)^T\Sigma_j^{-1}(\boldsymbol x-\boldsymbol \mu_j)-(\boldsymbol x-\boldsymbol \mu_i)^T\Sigma_i^{-1}(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}2\ln{P(C_j)\over P(C_i)}-\ln{|\Sigma_j|\over |\Sigma_i|} \]当 \(\Sigma_i=\Sigma_j=\theta^{-1}\) 时，代入公式得到：
\[(\boldsymbol x-\boldsymbol \mu_j)^T\theta(\boldsymbol x-\boldsymbol \mu_j)-(\boldsymbol x-\boldsymbol \mu_i)^T\theta(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}2\ln{P(C_j)\over P(C_i)} \]由于 \(\boldsymbol x^T\theta\boldsymbol \mu_j\) 为标量，且 \(\theta\) 为协方差矩阵的逆矩阵，亦满足 \(\theta^T=\theta\)
故 \(\boldsymbol x^T\theta\boldsymbol \mu_j=(\boldsymbol x^T\theta\boldsymbol \mu_j)^T=\boldsymbol \mu_j^T\theta^T\boldsymbol x=\boldsymbol \mu_j^T\theta\boldsymbol x\)
同理展开可得 \((\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta(\boldsymbol \mu_i+\boldsymbol \mu_j)=\boldsymbol \mu_i^T\theta \boldsymbol \mu_i-\boldsymbol \mu_j^T\theta\boldsymbol \mu_j\)
于是可对原式化简得到：
\[(\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta(\boldsymbol x-{\boldsymbol \mu_i+\boldsymbol \mu_j\over 2})\underset{C_j}{\overset{C_i}{\gtrless}}\ln{P(C_j)\over P(C_i)} \]由于 \((\boldsymbol \mu_i-\boldsymbol \mu_j)^T\theta\) 为一行向量，记为 \(\boldsymbol w^T\)，则上式化为 \(\boldsymbol w^T\boldsymbol x\underset{C_j}{\overset{C_i}{\gtrless}}\ln{P(C_j)\over P(C_i)}+\boldsymbol w^T\cdot {\boldsymbol \mu_i+\boldsymbol \mu_j\over 2}\)
再记 \(\ln{P(C_j)\over P(C_i)}+\boldsymbol w^T\cdot {\boldsymbol \mu_i+\boldsymbol \mu_j\over 2}=b\) 得到 \(\boldsymbol w^T\boldsymbol x\underset{C_j}{\overset{C_i}{\gtrless}}b\)
很显然判别界面是 \(k\) 维空间上一个 \((k-1)\) 维的超平面；在二维时退化为一条直线。
而当 \(P(C_i)=P(C_j)\) 且 \(\boldsymbol \mu_i=\boldsymbol \mu_j\) 时，上式化简得到：
\[(\boldsymbol x-\boldsymbol \mu)^T(\Sigma_i^{-1}-\Sigma_j^{-1})(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}-\ln{|\Sigma_j|\over |\Sigma_i|} \]该式是一个高维空间的一个曲面
当 \(|\Sigma_i|>|\Sigma_j|\) 时，\(\displaystyle \delta=-\ln{|\Sigma_j|\over |\Sigma_i|}>0\)
而相比于 MICD 分类器的决策边界：
\[(\boldsymbol x-\boldsymbol \mu)^T(\Sigma_i^{-1}-\Sigma_j^{-1})(\boldsymbol x-\boldsymbol \mu)\underset{C_j}{\overset{C_i}{\gtrless}}0 \]可以观察到，MAP 分类器相比于 MICD 更倾向于取 \(|\Sigma_i|\) 较小的类，即更紧致的类
标签：MAP,ln,over,boldsymbol,mu,多维,theta,Sigma,高斯分布 来源： https://www.cnblogs.com/JustinRochester/p/16123421.html