深度学习笔记(十):深度学习评估指标

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 关于深度学习评估指标的全面介绍,涵盖了专业术语解释、一级和二级指标,以及各种深度学习模型的性能评估方法。

专业名词解释

  • HTC (Hybrid Task Cascade) - 混合任务级联
  • bounding box - 边界矩形框
  • RoI(Region of Interest) - 感兴趣区域
  • Rol Pooling - Rol 池化(RoI Pooling = crop feature + resize feature)
  • Rol Align - 解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题,提升检测模型的准确性。
  • FCN-全卷积网络
  • dense local reression - 稠密局部回归
  • binary overlap prediction - 二值交叠预测
  • discriminative RoI pooling - 判别性RoI池化
  • local box offsets - 多个局部框偏移量
  • backbone - 骨干网
  • region proposal network - 区域生成网络
  • anchor - 候选窗口
  • NMS - 非极大值抑制
  • conv
    1.相当于一个特征提取器来提取特征
    2.提供了位置信息
    3.减少了参数个数
  • pooling:1.提取特征 2.减少参数
  • average pooling:对邻域内特征点只求平均,更多的保留图像的背景信息
  • max pooling:对邻域内特征点取最大,更多的保留纹理信息
  • RoI Pooling Layer - ROI Pooling 的作用是根据预选框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图,以便进行后续的分类和包围框回归操作。
  • RoI Align Layer - 将RoI Pooling的最近零插值转换为双线性插值,size归一化,是一种区域特征聚集方式,提升模型的准确性。
  • fc
    一:起到分类器的作用。对前层的特征进行一个加权和
    二:1*1卷积等价于fc,包围框的修正
    三:减少参数,防止过拟合
    四:fc利用的是上一层所有输入来计算,抛弃了卷积层不同位置的权值共享。特征层提取一个物体的各个部分,不同特征,然后通过fc整合到一起
  • Recall - 召回率
  • Precision - 精确率
  • Average_precision(AP) - 平均正确率
  • Intersection-over-Union(IoU) - 交并比(“预测的边框” 和 “真实的边框” 的交集和并集的比值。)
  • State-of-the-art - 最先进的方法
  • mask - 掩膜(两幅图像之间进行的各种位运算操作1 & 1 = 1/1 & 0 = 0),可提取rol区域、结构特征提取、特殊形状图像的制作。
  • SVM - 目标分类识别
  • 拟合(Fitting) - 就是说这个曲线能不能很好的描述某些样本,并且有比较好的泛化能力。
  • 过拟合(Overfitting) - 就是太过贴近于训练数据的特征了,在训练集上表现非常优秀,近乎完美的预测/区分了所有的数据,但是在新的测试集上却表现平平,不具泛化性,拿到新样本后没有办法去准确的判断。我们可以增大数据量,正则化,丢弃Dropout(把其中的一些神经元去掉)
  • 欠拟合(UnderFitting) - 测试样本的特性没有学到,或者是模型过于简单无法拟合或区分样本。(优化模型可解决)

一级指标

  • TP(True Positive) - 真实值是positive,模型认为是positive的数量
  • FN(False Negative) - 真实值是positive,模型认为是negative的数量
  • FP(False Positive) - 真实值是negative,模型认为是positive的数量
  • TN(True Negative) - 真实值是negative,模型认为是negative的数量

二级指标

在这里插入图片描述
通过上面的四个二级指标,可以将混淆矩阵中数量的结果转化为0-1之间的比率。便于进行标准化的衡量。

深度学习评估指标

  • C75: 在IOU=0.75条件下,recall-AP曲线下的面积
  • C50: 在IOU=0.5条件下,recall-AP曲线下的面积
  • Loc: 在IoU=0.1条件下,recall-AP曲线下的面积(由于此时IoU的阈值很小,可以认为忽略了定位误差,但保证了不会重复检测——localization errors ignored, but not duplicate detections)
  • Sim: 去除相似类别的混淆后的recall-AP曲线下的面积
  • Oth: 不同类别之间的混淆后的recall-AP曲线下的面积
  • BG: 去除背景上的假正例后的recall-AP曲线下的面积
  • FN: 所有错误都去掉后的recall-AP曲线下的面积
  • Precision-Recall Curve ------Precision-Recall 的曲线
  • mAP@0.5 - 0.5是指iou的重合度阈值情况下的map的均值
  • map@.5:.95 - 计算iou阈值从0.5–0.95(步长为0.05)的不同情况下的map的均值
  • APsmall - 对于小目标的AP(<32^2)
  • APmedium - 对于中目标的AP(32^2-96**2)
  • APlarge - 对于大目标的AP(>96^2)
  • ARmax=1 - 对每幅图像进行一次检测后的平均召回率
  • ARmax=10 - 对每幅图像进行十次检测后的平均召回率
  • ARmax=100- 对每幅图像进行一百次检测后的平均召回率
  • ARsmall - 对于小目标的AR(<32^2)
  • ARmedium - 对于中目标的AR(32^2-96**2)
  • ARlarge - 对于大目标的AR(>96^2)
  • Top-1 acc:只判断概率最大的结果是否是正确答案,如果是则准确。
  • Top-5 acc:指比如你训练好了一个网络,你要用这个网络去进行图片分类任务,假设要分类的数目有50类,那么当我们进行测试时,输入一张图片,网络会依次输出这50个类别的概率,当所有图片测试完成后,那么:TOP-5正确率就是说在测试图片的50个分类概率中,取前面5个最大的分类概率,看我们输入的这张图片是不是在这五个分类当中,如果在就分类成功,反之则失败。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
2月前
|
机器学习/深度学习 算法 测试技术
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
本文是关于如何搭建深度学习环境,特别是使用mmdetection进行CPU安装和训练的详细指南。包括安装Anaconda、创建虚拟环境、安装PyTorch、mmcv-full和mmdetection,以及测试环境和训练目标检测模型的步骤。还提供了数据集准备、检查和网络训练的详细说明。
134 5
深度学习环境搭建笔记(二):mmdetection-CPU安装和训练
|
2月前
|
机器学习/深度学习 数据可视化 计算机视觉
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
这篇文章详细介绍了如何通过可视化深度学习中每层特征层来理解网络的内部运作,并使用ResNet系列网络作为例子,展示了如何在训练过程中加入代码来绘制和保存特征图。
68 1
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
|
2月前
|
机器学习/深度学习
深度学习笔记(十二):普通卷积、深度可分离卷积、空间可分离卷积代码
本文探讨了深度可分离卷积和空间可分离卷积,通过代码示例展示了它们在降低计算复杂性和提高效率方面的优势。
223 2
深度学习笔记(十二):普通卷积、深度可分离卷积、空间可分离卷积代码
|
2月前
|
机器学习/深度学习 并行计算 PyTorch
深度学习环境搭建笔记(一):detectron2安装过程
这篇博客文章详细介绍了在Windows环境下,使用CUDA 10.2配置深度学习环境,并安装detectron2库的步骤,包括安装Python、pycocotools、Torch和Torchvision、fvcore,以及对Detectron2和PyTorch代码的修改。
381 1
深度学习环境搭建笔记(一):detectron2安装过程
|
2月前
|
机器学习/深度学习 算法 PyTorch
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
这篇文章详细介绍了多种用于目标检测任务中的边界框回归损失函数,包括IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU和WIOU,并提供了它们的Pytorch实现代码。
329 1
深度学习笔记(十三):IOU、GIOU、DIOU、CIOU、EIOU、Focal EIOU、alpha IOU、SIOU、WIOU损失函数分析及Pytorch实现
|
2月前
|
机器学习/深度学习 自然语言处理 并行计算
深度学习笔记(十四):Transormer知识总结
关于深度学习中Transformer模型的知识总结,涵盖了Self-attention机制、QKV、Multi-head attention、位置编码和并行运算等关键概念,以及如何在PyTorch中实现Self-attention。
69 1
|
2月前
|
机器学习/深度学习 Python
深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍
神经网络剪枝是一种通过移除不重要的权重来减小模型大小并提高效率的技术,同时尽量保持模型性能。
73 0
深度学习笔记(九):神经网络剪枝(Neural Network Pruning)详细介绍
|
2月前
|
机器学习/深度学习 编解码 计算机视觉
深度学习笔记(十一):各种特征金字塔合集
这篇文章详细介绍了特征金字塔网络(FPN)及其变体PAN和BiFPN在深度学习目标检测中的应用,包括它们的结构、特点和代码实现。
342 0
|
16天前
|
机器学习/深度学习 传感器 数据采集
深度学习在故障检测中的应用:从理论到实践
深度学习在故障检测中的应用:从理论到实践
72 5
|
8天前
|
机器学习/深度学习 网络架构 计算机视觉
深度学习在图像识别中的应用与挑战
【10月更文挑战第21天】 本文探讨了深度学习技术在图像识别领域的应用,并分析了当前面临的主要挑战。通过研究卷积神经网络(CNN)的结构和原理,本文展示了深度学习如何提高图像识别的准确性和效率。同时,本文也讨论了数据不平衡、过拟合、计算资源限制等问题,并提出了相应的解决策略。
50 19