简述机器学习模型性能度量中Precision、Recall、BEP、F1、ROC和AUC等概念的联系和区别

简介: 简述机器学习模型性能度量中Precision、Recall、BEP、F1、ROC和AUC等概念的联系和区别

简述机器学习模型性能度量中Precision、Recall、BEP、F1、ROC和AUC等概念的联系和区别。


答:一个二分类问题的混淆矩阵如下所示:



Precision:译为查准率或精确率,一般缩写为P。它是针对模型的预测结果而言的,表示的是预测为正的样例中有多少是真正的正样例,公式表示为:

image.png


Recall:译为查全率或召回率,一般缩写为R。它是针对我们原来的样本而言的,表示的是样本中的正例有多少被预测正确,公式表示为:

image.png


F1: F1是基于Precision和Recall的调和平均定义的,是个综合考虑Precision值和Recall值的指标,其公式如下:

image.png


在许多时候,我们的模型可以输出分类的“置信度”,通过置信度可以对所有样本进行排序,按此顺序逐个把样本作为正例进行预测。每一个样本作为划分点时,我们都可以计算对应的Precision和Recall。以Precision为Y轴,Recall为X轴作图,可以得到P-R曲线。


同时,以FPR(False Positive Rate,错误地预测为正例的概率,公式如下)为横轴,以TPR(True Positive Rate,正确地预测为正例地概率,公式如下)为纵轴,可以得到ROC(receiver operating characteristic curve)曲线。

TPR=TP/(TP+FN),FPR=FP/(TN+FP)


两条曲线如图1-1所示(注:下列曲线均截图自《机器学习》周志华):



图 1-1 P-R曲线(上) ROC曲线(下)


BEP:在P-R曲线上,令每个分类模型的召回率与精准率相等的取值,即为该模型的 BEP(Break-Event Point, 平衡点)。用于在P-R曲线上比较两个模型的高低。


AUC:即Area Under ROC Curve,是模型ROC曲线下的面积。用于通过ROC曲线比较两个模型的高低。

目录
相关文章
|
机器学习/深度学习 传感器 算法
【机器学习】多元线性回归基本概念
【1月更文挑战第23天】【机器学习】多元线性回归基本概念
|
机器学习/深度学习 算法 数据挖掘
机器学习的基本概念与核心功能
机器学习的基本概念与核心功能
|
机器学习/深度学习 算法 知识图谱
机器学习常用距离度量
机器学习常用距离度量
583 0
|
机器学习/深度学习 数据采集 算法
2021-4月 Python机器学习——名词概念学习,概念解释
2021-4月 Python机器学习——名词概念学习,概念解释
419 0
|
机器学习/深度学习 算法 搜索推荐
机器学习入门(四):距离度量方法 归一化和标准化
机器学习入门(四):距离度量方法 归一化和标准化
|
机器学习/深度学习 算法 数据挖掘
经典机器学习系列(七)【聚类分析前序--相似性度量】
经典机器学习系列(七)【聚类分析前序--相似性度量】
375 0
|
机器学习/深度学习 算法 数据挖掘
【机器学习】聚类算法中的距离度量有哪些及公式表示?
聚类算法中常用的距离度量方法及其数学表达式,包括欧式距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、余弦相似度等多种距离和相似度计算方式。
1498 1
|
机器学习/深度学习 算法 数据挖掘
【机器学习】为什么K-means算法使用欧式距离度量?
【5月更文挑战第11天】【机器学习】为什么K-means算法使用欧式距离度量?
|
机器学习/深度学习 Serverless Python
`sklearn.metrics`是scikit-learn库中用于评估机器学习模型性能的模块。它提供了多种评估指标,如准确率、精确率、召回率、F1分数、混淆矩阵等。这些指标可以帮助我们了解模型的性能,以便进行模型选择和调优。
`sklearn.metrics`是scikit-learn库中用于评估机器学习模型性能的模块。它提供了多种评估指标,如准确率、精确率、召回率、F1分数、混淆矩阵等。这些指标可以帮助我们了解模型的性能,以便进行模型选择和调优。
|
机器学习/深度学习 算法 Python
【Python机器学习专栏】Python中的机器学习评估与度量指标
【4月更文挑战第30天】本文介绍了Python中机器学习模型的评估方法和度量指标。主要包括留出法、交叉验证和自助法等评估方法,以及准确率、精确率、召回率、F1分数、AUC-ROC曲线、MSE、RMSE和R方值等度量指标。选择合适的评估标准对于理解模型性能和适应不同任务至关重要。
640 0

热门文章

最新文章

相关产品

  • 人工智能平台 PAI