【目标检测】评价指标-分类汇总【持续更新】

简介: 【目标检测】评价指标-分类汇总【持续更新】

一、检测-正确-相关评价指标

1、准确率(Accuracy):

分对的样本数除以所有的样本数 ,即:准确(分类)率 = 正确预测的正反例数 / 总数。

准确率一般用来评估模型的全局准确程度,不能包含太多信息,无法全面评价一个模型性能。

2、召回率(recall)和 精确率(Precision):

召回率(recall)又被称为查全率,预测为正例(positive)的样本中正确的数量除以真正的Positive的数量,即:

Recall = 被正确识别出来的正样本的数目 / 被正确识别出来的正样本的数目 + 被错误识别的正样本的数目

           = 被正确识别出来的正样本的数目 / 测试数据集中所有的正样本的数目

精确率(precision)就是在识别出来的所有的被认为是正样本的图片中,包含的真正正样本的比率:

Precision = 被正确识别出来的正样本数目 / 被正确识别出来的正样本数目 + 原为负样本但被识别为正样本的图片数目

                = 被正确识别出来的正样本数目 / 被识别为正样本的图片的总数

P-R曲线画出-当选取不同阈值时对应的精度(precision)和召回率(recall):

一般来说PR曲线的总体趋势:精度越高,召回越低。在正样本非常少的情况下,PR表现的效果会更好。

一般我们希望精确率越高,召回率越高,那么我们的模型和算法就越高效。也就是画出来的PR曲线越靠近右上越好。

673ff01fac3ca2a9df4053f67bf0aad6_20160721111312507.png

3、 平均精度(Average Precision,AP)和Mean Average Precision(MAP)

平均精度即:数据集中所有图片上的某个类,在固定的IOU阈值下,在不同召回率下,检出精度的均值。也是P-R曲线围起来的面积,通常来说一个越好的分类器,AP值越高。

mAP:是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均,得到的就是mAP的值,mAP的大小一定在[0,1]区间,越大越好。该指标是目标检测算法中最重要的一个。

4、F指标(F-Measure,F-score):

实际应用到分类时,需要综合考虑精度,召回。选取一个阈值,F-Measure是选取这个阈值的常用手段:

β是关与召回的权重,大于1说明更看重召回的影响,小于1则更看重精度,等于1相当于两者的调和平均,这里得到一个常用的指标F1-Measure。

F1指标(F1-Measure):

用F1指标时,只需要选取F1指标最大时的阈值即可。

 

二、检测-错误-相关评价指标

1、错误率(Error rate):

错误率则与正确率相反,描述被分类器错分的比例,即:

误分类率=错误预测的正反例数/总数 = 1 - 准确(分类)率

2、混淆矩阵 (Confusion Matrix):

混淆矩阵又被称为错误矩阵, 在每个类别下,模型预测错误的结果数量,以及错误预测的类别

和正确预测的数量,都在一个矩阵下面显示出来,方便直观的评估模型分类的结果。

 

混淆矩阵中的横轴是模型预测的类别数量统计,纵轴是数据真实标签的数量统计。

对角线,表示模型预测和数据标签一致的数目,所以对角线之和除以测试集总数就是准确率。对角线上数字越大越

好,在可视化结果中颜色越深,说明模型在该类的预测准确率越高。

按行来看,每行不在对角线位置的就是错误预测的类别。

总的来说,我们希望对角线的数值越高越好,非对角线数值越低越好,可视化对角线时可以进行归一化[normalize]处理。

 

三、检测-其他-相关评价指标

1、交并比(Intersection Over Union,IOU):

IOU定义了两个bounding box的重叠度,用来确定识别出的bounding box和人工标注的数据的匹配度,如下图所示:

250ee5a3e0613cedd2ae6fa26d882b19_20160314192242318.png

矩形框A、B的一个重合度IOU计算公式为:

IOU=(A∩B)/(A∪B)

就是矩形框A、B的重叠面积占A、B并集的面积比例:

IOU=SI/(SA+SB-SI)

2、FPS(Frames Per Second):

每秒处理图像的帧数

区分:1)FLOPS:每秒浮点运算次数、每秒峰值速度

          2)GOPS:10亿次/每秒是衡量处理器计算能力的指标单位。

         3)TPS(Transaction Per second) :每秒钟系统能够处理事务或交易的数量,它是衡量系统处理能力的

               重要指标。

 

ROC、AR什么的之后在写...

参考文章:

https://zhuanlan.zhihu.com/p/33273532

https://www.cnblogs.com/eilearn/p/9071440.html


AIEarth是一个由众多领域内专家博主共同打造的学术平台,旨在建设一个拥抱智慧未来的学术殿堂!【平台地址:https://devpress.csdn.net/aiearth】 很高兴认识你!加入我们共同进步!

目录
相关文章
|
算法 计算机视觉
计算机视觉目标检测性能指标
目标检测是计算机视觉领域中的一个重要任务,其目标是在图像或视频中识别出物体的位置和类别。为了评估目标检测算法的性能,需要使用一系列指标来量化模型的准确性、召回率、精确率以及对不同类别的处理能力。本文将详细介绍常见的目标检测性能指标,包括精确率、召回率、F1分数、IoU、AP、mAP、P-R曲线等,同时提供相关公式和案例。
1282 0
|
机器学习/深度学习 移动开发 自然语言处理
【YOLOv8改进 - 注意力机制】ContextAggregation : 上下文聚合模块,捕捉局部和全局上下文,增强特征表示
【YOLOv8改进 - 注意力机制】ContextAggregation : 上下文聚合模块,捕捉局部和全局上下文,增强特征表示
|
机器学习/深度学习 编解码 监控
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务(从数据准备到训练测试部署的完整流程)
这篇文章详细介绍了如何使用YOLOv8进行目标检测任务,包括环境搭建、数据准备、模型训练、验证测试以及模型转换等完整流程。
26047 59
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务(从数据准备到训练测试部署的完整流程)
|
机器学习/深度学习 算法 计算机视觉
YOLOv11改进策略【SPPF】| SimSPPF,简化设计,提高计算效率
YOLOv11改进策略【SPPF】| SimSPPF,简化设计,提高计算效率
2891 8
YOLOv11改进策略【SPPF】| SimSPPF,简化设计,提高计算效率
|
XML 机器学习/深度学习 数据格式
YOLOv8训练自己的数据集+常用传参说明
YOLOv8训练自己的数据集+常用传参说明
25610 3
|
人工智能
YOLOv11改进策略【损失函数篇】| 2024 引进Focaler-IoU损失函数 加强边界框回归 (Focaler-DIoU、Focaler-GIoU、Focaler-CIoU)
YOLOv11改进策略【损失函数篇】| 2024 引进Focaler-IoU损失函数 加强边界框回归 (Focaler-DIoU、Focaler-GIoU、Focaler-CIoU)
2496 4
|
机器学习/深度学习 人工智能 文字识别
ultralytics YOLO11 全新发布!(原理介绍+代码详见+结构框图)
本文详细介绍YOLO11,包括其全新特性、代码实现及结构框图,并提供如何使用NEU-DET数据集进行训练的指南。YOLO11在前代基础上引入了新功能和改进,如C3k2、C2PSA模块和更轻量级的分类检测头,显著提升了模型的性能和灵活性。文中还对比了YOLO11与YOLOv8的区别,并展示了训练过程和结果的可视化
24840 0
|
机器学习/深度学习 算法 PyTorch
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
这篇文章详细介绍了多种用于目标检测任务中的边界框回归损失函数,包括IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU和WIOU,并提供了它们的Pytorch实现代码。
4773 1
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
|
XML 数据格式 Python
将xml标签转换为txt(voc格式转换为yolo方便进行训练)
该文章提供了一个Python脚本,用于将VOC格式的XML标签文件转换为YOLO训练所需的TXT格式,包括修改数据集类别、输入图像与标注文件夹地址、转换过程和结果展示。
将xml标签转换为txt(voc格式转换为yolo方便进行训练)