评价指标（metrics）
作者：互联网
文章目录
评价指标（metrics）
参考文档
分类指标准确率(Precision)和正确率(Accuracy)的区别
有公式图，简洁、全，auc、aupr
precision(查准率P)、recall（查全率R）、sensitive（灵敏度、敏感性、真阳率）、specificity（特效度、特异性、真阴率）
P = TP / (TP + FP)
R = TP / (TP + FN)
sensitive = TP/P （P = FN + TP）
specificity = TN/N （N = TN + FP）
假阳率（FPRate） = 1 - specificity
分类指标准确率(Precision)和正确率(Accuracy)的区别
-
P: 预测成正例的所有样本中，预测正确的概率（比如预测到有100个癌症病人，计算其中真正患有癌症的病人）。表示所有被预测为正例的样本（TP+FP）中实际正例所占的比例
适合对准确率要求高的应用，例如商品推荐，网页检索等。
-
R： 在所有阳性样本中，预测成功的概率（比如当前有100个癌症病人，计算预测准确的概率）。就是覆盖面的度量，度量有多少个正例被分为正例
查全率可以认为是追求”宁错杀一百，不放过1个”，适合类似于检查走私、逃犯信息等。
-
sensitive：表示的是所有正例中被分对的比例，衡量了分类器对正例的识别能力；也就是recall
-
specificity：表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力；假阳率=1-specificity
可以推广到多分类中，即判断某个类别的各项性能
ROC、AUC
ROC是受试者工作特征曲线 receiver operating characteristic curve ) 的简写，又称为感受性曲线(sensitivity curve)。
(真阳率，假阳率)
AUC是ROC曲线下面积(Area Under roc Curve)的简称，AUC的值就是处于ROC curve下方的那部分面积的大小。
ROC横坐标：真阳率，即所有正样本中，预测为正例的比例，衡量对正例这一类别的识别能力，从预测对的角度表示
ROC纵坐标：假阳率，即所有负样本中，预测为正例的比例，衡量对负例这一类别的识别能力，从预测错的角度表示
训练目的：对于阳性样本都预测为阳性，对于阴性样本都预测为阴性。那么，这就要求真阳率的值越大越好，假阳率的值越小越好
ROC性能好的表现：对于真实类别为1的样本，分类器预测为1的概率（即TPRate），要大于真实类别为0而预测类别为1的概率（即FPRate），即y＞x
画图：（1-specificity，sensitivity）
解析：该数据集有9个数据，其中0、2、3、5、8为正样本，其余为负样本，即5正4负，然后通过预测模型得到的预测概率为0.9、0.8等等，再依据不同阈值计算真阳率和假阴率，得到（1-specificity，sensitivity），图中每个点都是依据一个阈值得到的一个坐标点，阈值越多，ROC就越平滑。
AUC就是用来计算ROC下方的面积而体现分类器的性能好坏。
使用sklearn计算
查准率-查全率曲线（P-R图）、AUPR
横坐标是查全率recall，纵坐标是查准率precision
（查全率，查准率）
pr曲线容易受到样本分布（训练样本中的正负样本比值）影响
衡量对非平衡数据集的预测
PR曲线和ROC曲线理解（看这个）
F1-score
综合衡量P和R
其他评价指标
- 计算速度：分类器训练和预测需要的时间；
- 鲁棒性：处理缺失值和异常值的能力；
- 可扩展性：处理大数据集的能力；
- 可解释性：分类器的预测标准的可理解性，像决策树产生的规则就是很容易理解的，而神经网络的一堆参数就不好理解，我们只好把它看成一个黑盒子。
标签：正例,指标,曲线,预测,ROC,metrics,查全率,specificity,评价 来源： https://blog.csdn.net/qq_37774098/article/details/116614219