机器学习算法（二）: 朴素贝叶斯(Naive Bayes)

这里先给出阿里云机器学习训练营地址：阿里云机器学习训练营，可以将其代码下载进行学习或者参加最后一个任务的比赛。

1. 实验室介绍

1.1 实验环境

1. python3.7
2. numpy >= '1.16.4'
3. sklearn >= '0.23.1'

1.2 朴素贝叶斯的介绍

朴素贝叶斯算法（Naive Bayes, NB) 是应用最为广泛的分类算法之一。它是基于贝叶斯定义和特征条件独立假设的分类器方法。由于朴素贝叶斯法基于贝叶斯公式计算得到，有着坚实的数学基础，以及稳定的分类效率。NB模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。当年的垃圾邮件分类都是基于朴素贝叶斯分类器识别的。

什么是条件概率，我们从一个摸球的例子来理解。我们有两个桶：灰色桶和绿色桶，一共有7个小球，4个蓝色3个紫色，分布如下图：

从这7个球中，随机选择1个球是紫色的概率p是多少？选择过程如下：

1. 先选择桶
2. 再从选择的桶中选择一个球

上述我们选择小球的过程就是条件概率的过程，在选择桶的颜色的情况下是紫色的概率，另一种计算条件概率的方法是贝叶斯准则。

贝叶斯公式是英国数学家提出的一个数据公式:

p(A,B)：表示事件A和事件B同时发生的概率。

p(B)：表示事件B发生的概率，叫做先验概率；p(A)：表示事件A发生的概率。

p(A|B)：表示当事件B发生的条件下，事件A发生的概率叫做后验概率。

p(B|A)：表示当事件A发生的条件下，事件B发生的概率。

我们用一句话理解贝叶斯：世间很多事都存在某种联系，假设事件A和事件B。人们常常使用已经发生的某个事件去推断我们想要知道的之间的概率。 例如，医生在确诊的时候，会根据病人的舌苔、心跳等来判断病人得了什么病。对病人来说，只会关注得了什么病，医生会通道已经发生的事件来 确诊具体的情况。这里就用到了贝叶斯思想，A是已经发生的病人症状，在A发生的条件下是B_i的概率。

1.3 朴素贝叶斯的应用

朴素贝叶斯算法假设所有特征的出现相互独立互不影响，每一特征同等重要，又因为其简单，而且具有很好的可解释性一般。相对于其他精心设计的更复杂的分类算法，朴素贝叶斯分类算法是学习效率和分类效果较好的分类器之一。朴素贝叶斯算法一般应用在文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等。

补充说明：

贝叶斯公式没有要求变量独立。 朴素贝叶斯模型是假设变量是条件独立的，从而模型容易求解。 这个假设很暴力，思想很naive，所以叫朴素贝叶斯。 真实世界，特征之间很少是真的完全相互条件独立的。

朴素贝叶斯为什么需要变量之间独立： 1.现实生活中，往往有非常多的特征，每一个特征的取值也是非常之多，那么通过统计来估计后面概率的值 变得几乎不可做，这也是为什么需要假设特征之间独立的原因 2.假如我们没有假设特征之间相互独立，那么我们统计的时候，就需要在整个特征空间中去找 这样的话，由于数据的稀疏性，很容易统计到0的情况。 这样是不合适的。

优点： 1.算法逻辑简单,易于实现（算法思路很简单，只要使用贝叶斯公式转化一下即可！） 2.分类过程中时空开销小（假设特征相互独立，只会涉及到二维存储） 缺点： 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此， 这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的， 在属性个数比较多或者属性之间相关性较大时，分类效果不好。 而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

2. 实验室手册

2.1 学习目标

1. 掌握贝叶斯公式
2. 结合两个实例了解贝朴素叶斯的参数估计
3. 掌握贝叶斯估计

2.2 代码流程

• Part 1. 莺尾花数据集--贝叶斯分类

  • Step1: 库函数导入
  • Step2: 数据导入&分析
  • Step3: 模型训练
  • Step4: 模型预测
  • Step5: 原理简析

• Part 2. 模拟离散数据集--贝叶斯分类

  • Step1: 库函数导入
  • Step2: 数据导入&分析
  • Step3: 模型训练&可视化
  • Step4: 原理简析

2.3 算法实战

莺尾花数据集--贝叶斯分类

Step1: 库函数导入

import warnings
warnings.filterwarnings('ignore')
#忽略警告
import numpy as np
# 加载莺尾花数据集
from sklearn import datasets
# 导入高斯朴素贝叶斯分类器
from sklearn.naive_bayes import GaussianNB
#导入贝叶斯分类器
from sklearn.model_selection import train_test_split

Step2: 数据导入&分析

X, y = datasets.load_iris(return_X_y=True)
#下载数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
#测试集分20%

Step3: 模型训练

# 使用高斯朴素贝叶斯进行计算
clf = GaussianNB(var_smoothing=1e-8)
#prior:
#可输入任何类数组结构，形状为（n_classes，）,表示类的先验概率。
#如果指定，则不根据数据调整先验，如果不指定，则自行根据数据计算先验概率P(Y)。
#浮点数，可不填（默认值= 1e-9）
#var_smoothing:
#在估计方差时，为了追求估计的稳定性，将所有特征的方差中最⼤大的方差以某个比例添加到估计的方差中。
#这个比例，由var_smoothing参数控制。
clf.fit(X_train, y_train)

Step4: 模型预测

# 评估
y_pred = clf.predict(X_test)
acc = np.sum(y_test == y_pred) / X_test.shape[0]
print("Test Acc : %.3f" % acc)

# 预测
y_proba = clf.predict_proba(X_test[:1])
#X_test[:1]表示的是第一个样本，y_proba输出的是一个概率值。
print(clf.predict(X_test[:1]))
#predict直接输出的预测的分类值
print("预计的概率值:", y_proba)

Step5: 原理简析

模拟离散数据集--贝叶斯分类¶

Step1: 库函数导入 + Step2: 数据导入&分析 + Step3: 模型训练&可视化 + Step4: 原理简析

import random
import numpy as np
# 使用基于类目特征的朴素贝叶斯
from sklearn.naive_bayes import CategoricalNB
#CategoricalNB：用于模拟离散数据集
#GaussianNB：数据呈正太分布
#BernoulliNB：特征是特征是binary的
#MultinomialNB：特征是categorical的
from sklearn.model_selection import train_test_split

Step2: 数据导入&分析

# 模拟数据
rng = np.random.RandomState(1)
#可通过用Numpy工具包生成模拟数据集，使用RandomState获得随机数生成器。
##1为随机种子，只要随机种子seed相同，产生的随机数序列就相同

# 随机生成600个100维的数据，每一维的特征都是[0, 4]之前的整数
X = rng.randint(5, size=(600, 100))
#size为形状。5表示的是数据在5以内。
y = np.array([1, 2, 3, 4, 5, 6] * 100)
#y的形状是(600,)

data = np.c_[X, y]
#data的形状是(600, 101),数据类型是numpy.ndarray

# X和y进行整体打散
random.shuffle(data)

X = data[:,:-1]
y = data[:, -1]
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

所有的数据特征都是离散特征，我们引入基于离散特征的朴素贝叶斯分类器。

Step3: 模型训练&预测

clf = CategoricalNB(alpha=1)
#alpha为一个大于0的常数，常常取为1，即拉普拉斯平滑。
clf.fit(X_train, y_train)
acc = clf.score(X_test, y_test)
print("Test Acc : %.3f" % acc)

# 随机数据测试，分析预测结果，贝叶斯会选择概率最大的预测结果
# 比如这里的预测结果是6，6对应的概率最大，由于我们是随机数据
# 读者运行的时候，可能会出现不一样的结果。
x = rng.randint(5, size=(1, 100))
print(clf.predict_proba(x))
print(clf.predict(x))

2.4 原理简析

2.4.1 结果分析

可以看到测试的数据的结果，贝叶斯会选择概率最大的预测结果，比如这里的预测结果是6，6对应的概率最大，由于我们是随机数据，读者运行的时候，可能会出现不一样的结果。

这里的测试数据的准确率没有任何意义，因为数据是随机生成的，不一定具有贝叶斯先验性，这里只是作为一个列子引导大家如何使用。

alpha=1这个参数表示什么？

2.4.3 朴素贝叶斯的优缺点

优点： 朴素贝叶斯算法主要基于经典的贝叶斯公式进行推倒，具有很好的数学原理。而且在数据量很小的时候表现良好，数据量很大的时候也可以进行增量计算。由于朴素贝叶斯使用先验概率估计后验概率具有很好的模型的可解释性。

缺点： 朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型给定输出类别的情况下，假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进，例如为了计算量不至于太大，我们假定每个属性只依赖另外的一个。解决特征之间的相关性，我们还可以使用数据降维(PCA)的方法，去除特征相关性，再进行朴素贝叶斯计算。

标签：概率,Naive,贝叶斯,train,Bayes,test,数据,朴素
来源： https://blog.csdn.net/handsomeandge/article/details/111574787