模型评估
作者:互联网
查准率、查全率与F1
PR曲线: 若一个学习器的 P-R 曲线被另一个学习器的曲线完全包住,则可断言 后者的性能优于前者,比如A优于C。 平衡点(Break-Event Point ,简称 BEP)处 查全率=查准率,当两个学习器的PR曲线相交时,基于BER,我们可以认为A优于B。但BER太过简化,我们通常用F1来衡量。 为了体现查准率和查全率的重要程度,可以使用如下公式: β=1时退化为F1,β>1时查全率有更大影响,β<1时查准率有更大影响。 注:灵敏度与特异度
灵敏度(true positive rate ,TPR),它是所有实际正例中,正确识别的正例比例,它和召回率的表达式没有区别。严格的数学定义如下: 1-特异度(false positive rate, FPR),它是实际负例中,错误得识别为正例的负例比例。严格的数学定义如下:ROC曲线与AUC
以TPR为y轴,以FPR为x轴,我们就直接得到了RoC曲线。从FPR和TPR的定义可以理解,TPR越高,FPR越小,我们的模型和算法就越高效。也就是画出来的RoC曲线越靠近左上越好。如下图左图所示。从几何的角度讲,RoC曲线下方的面积越大越大,则模型越优。所以有时候我们用RoC曲线下的面积,即AUC(Area Under Curve)值来作为算法和模型好坏的标准。标签:RoC,模型,曲线,查全率,TPR,FPR,评估,查准率 来源: https://www.cnblogs.com/gxxtsz/p/16311582.html