PR曲线、ROC曲线、AUC能干个啥

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 评判二分类分类器性能的指标有那么多,为什么PR曲线、ROC曲线、AUC值这几个用的比较多。本文从概念、代码实现方面着手进行分享。

二分类的性能指标:PR曲线、ROC曲线、AUC的基本相关概念

PR 曲线

PR曲线实则是以precision(精准率)和recall(召回率)这两个变量而做出的曲线,其中recall为横坐标,precision为纵坐标。
一条PR曲线要对应一个阈值。通过选择合适的阈值,比如50%,对样本进行划分,概率大于50%的就认为是正例,小于50%的就是负例,从而计算相应的精准率和召回率。
如果一个学习器的P-R曲线被另一个学习器的P-R曲线完全包住,则可断言后者的性能优于前者。
我们还可以根据曲线下方的面积大小来进行比较,但更常用的是平衡点或者是F1值。平衡点(BEP)是P=R时的取值,如果这个值较大,则说明学习器的性能较好。而F1=2×P×R/(P+R),同样,F1值越大,我们可以认为该学习器的性能较好。

度量

精确率、查准率 P:预测为正例中预测正确的
召回率、查全率 R:真实结果为正例对应的判断结果(判断正例判断对的TP+判断负例判断错的FN)中判断为正例的
真正例率(TPR): TPR=TP/(TP+FN) 与召回率相同
假正例率(FPR): FPR=FP/(TN+FP) 真实结果为负例对应的判断结果中判断为正例的

混淆矩阵

confusion_matrix.png

%matplotlib notebook
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve,roc_auc_score,average_precision_score,auc
def draw_pr(confidence_scores,data_labels):
    plt.figure()
    plt.title('PR Curve')
    plt.xlabel('Recall')
    plt.ylabel('Precision')
    plt.grid()

#     精准率、召回率、阈值
    precision,recall,thresholds = precision_recall_curve(data_labels,confidence_scores)
    AP = average_precision_score(data_labels,confidence_scores)

    plt.plot(recall,precision,label='pr_curve(AP=%0.2f)'%AP)
    plt.legend()
    plt.show()

ROC曲线(Receiver Operating Characteristic) 受试者工作特征曲线

ROC曲线实则是以假正例率 (FPR)和 真正例率(TPR)这两个为变量而做出的曲线,其中 FPR 为横坐标, TPR 为纵坐标。

分类器可以给出每个样本数据为正例的概率,我们设定一个阈值,当概率大于阈值则预测结果为正例,否则为负例。此时,通过计算我们可以得到一个(TPR,FPR)对,即图像上的一个点。通过不断调整阈值,就得到若干个点,从而画出一条曲线。

为什么使用ROC曲线

ROC有一个很好的特性,当测试集中的正负样本分布变化时,ROC曲线能够保持不变。
实际情况中经常出现类不平衡的现象,即负样本比真样本多很多的情况(或者相反)

如何调整这个阈值呢?

一般来说,分类器会对一批数据(20个)的每个样本给出一个是正例的概率。对给出的概率进行排序,然后依次使用概率作为阈值,这样就得到了20组(FPR, TPR)。
也可以使用未经softmax(或其他处理的)的概率值

AUC(Area Under Curve)

ROC下的面积,[0,1],通常在[0.5,1]之间。
ROC曲线能直观体现分类器的性能,但是需要一个数值,直接判定分类器的性能好坏。

def draw_roc(confidence_scores,data_labels):
    plt.figure()
    plt.grid()
    plt.title('ROC Curve')
    plt.xlabel('FPR')
    plt.ylabel('TPR')
    fpr,tpr,thresholds = roc_auc_score(data_labels,confidence_scores)
    auc = auc(fpr,tpr)
    plt.plot(fpr,tpr,label='roc_curve(AUC=%0.2f)'%auc)
    plt.legend()
    plt.show()
# 正样本的置信度,即模型识别成1的概率
confidence_scores = np.array([0.9, 0.78, 0.6, 0.46, 0.4, 0.37, 0.2, 0.16])
# 真实标签
data_labels = np.array([1,1,0,1,0,0 ,1,1])
draw_roc(confidence_scores,data_labels)
draw_pr(confidence_scores,data_labels)
# 整合了两个函数的画图部分,可以用draw_plt函数处理
def draw_plt(title,xlabel,ylabel,x,y,label_name):
    plt.figure()
    plt.grid()
    plt.title(title)
    plt.xlabel(xlabel)
    plt.ylabel(ylabel)
    plt.plot(x,y,label=label_name)
    plt.legend()
    plt.show()

TODO

  • [ ] 后期加上数据和图片
  • [ ] 结合具体二分类案例进一步分析
目录
相关文章
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
R语言用逻辑回归预测BRFSS中风数据、方差分析anova、ROC曲线AUC、可视化探索
R语言用逻辑回归预测BRFSS中风数据、方差分析anova、ROC曲线AUC、可视化探索
|
1月前
|
数据可视化
R语言中绘制ROC曲线和PR曲线
R语言中绘制ROC曲线和PR曲线
|
1月前
|
数据可视化
R语言画ROC曲线总结
R语言画ROC曲线总结
|
1月前
|
机器学习/深度学习
R语言ROC曲线下的面积-评估逻辑回归中的歧视
R语言ROC曲线下的面积-评估逻辑回归中的歧视
|
1月前
|
数据可视化
R语言建模收入不平等:分布函数拟合及洛伦兹曲线(Lorenz curve)
R语言建模收入不平等:分布函数拟合及洛伦兹曲线(Lorenz curve)
|
7月前
|
C++
深度解析roc曲线、AUC与排序损失
深度解析roc曲线、AUC与排序损失
97 0
|
1月前
|
机器学习/深度学习 算法 计算机视觉
详解机器视觉性能指标相关概念——混淆矩阵、IoU、ROC曲线、mAP等
详解机器视觉性能指标相关概念——混淆矩阵、IoU、ROC曲线、mAP等
94 0
|
10月前
|
大数据
二分类及多分类ROC和PR曲线绘制
二分类及多分类ROC和PR曲线绘制
326 0
|
12月前
|
机器学习/深度学习 数据可视化 Serverless
RNAseq|Lasso构建预后模型,绘制风险评分的KM 和 ROC曲线
RNAseq|Lasso构建预后模型,绘制风险评分的KM 和 ROC曲线
616 0
|
12月前
R-ggpmisc|回归曲线添加回归方程,R2,方差表,香不香?
R-ggpmisc|回归曲线添加回归方程,R2,方差表,香不香?