旋转目标检测【1】如何设计深度学习模型

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: 平常的目标检测是平行的矩形框,“方方正正”的;但对于一些特殊场景(遥感),需要倾斜的框,才能更好贴近物体,旋转目标检测来啦~

 前言

平常的目标检测是平行的矩形框,“方方正正”的;但对于一些特殊场景(遥感),需要倾斜的框,才能更好贴近物体,旋转目标检测来啦~

image.gif


一、如何定义旋转框

常见的水平框参数表达方式为(x,y,w,h),四个参数分别表示水平框中心的横纵坐标、宽度以及高度。常用的YOLOv5也是用这边表示方式的。

旋转框参数表示目前有两种:

    1. 五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),它在原来基础上添加多了一个角度𝜃,表示框的旋转情况。
    2. 八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4),分别表示框的四个顶点。


    1.1 五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃)

    五参数旋转框表示法相比水平框多了旋转角度的信息,边界框参数可由一个5d向量(𝑥,𝑦,ℎ,𝑤,𝜃)确定,其中:

    (𝑥,𝑦) 为待检测目标最小外接矩形的中心

    ℎ 为该外接矩形的高

    𝑤 为该外接矩形的宽

    𝜃 为该外接矩形的高与x轴所呈角度

    常见的五参数表示法根据角度周期的不同可分为

      • Opencv定义法
      • 长边定义法

      image.gif

        • opencv法中,将与x轴成锐角的矩形边视为高,此时𝜃的取值范围为[0,𝜋⁄2),在此种定义法中,当旋转角度跨越𝜋⁄2时,定义的宽和高将进行互换,网络的回归目标也将发生突变,影响网络的收敛。
        • 针对这个问题,长边法将矩形框的长边定义为高,矩形框的短边定义为宽,此时𝜃的取值范围为[0,𝜋)。长边法能够有效的避免宽和高的互换问题。(推荐长边法

        注意:五参数表示法对边界框形状进行了限制,任何形状的边界框均表示成矩形。


        1.2 八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4)

        八参数表示法中并没有直接表示角度值,而是利用有序四边形四个角坐标的方式表达旋转框,也叫有序四边形定义法

        旋转边界框可以由一个8d向量(𝑥1, 𝑦1, 𝑥2, 𝑦2, 𝑥3, 𝑦3, 𝑥4, 𝑦4)唯一确定,其中(𝑥𝑛, 𝑦𝑛)表示边界框四个顶点的坐标

        image.gif

        旋转框基于一个最小的外接矩形,并将左边的点看作起始点,逆时针对外接矩形相交的四个点依次表达:

        image.gif

        优点:这种表示方法的灵活性高,边框形状可以表示为任意四边形。

        缺点:但是其需要回归的参数较多,计算复杂度较高,并且四个顶点之间不存在显著的区分关系,可能需要额外的后处理算法确定顶点的顺序。


        1.3 存在问题与待改进

        各种表示方法待改进地方:

          • 长边表示法中角度在边界值0°和180°会重合,但此时数值上却相差180,由于角度的周期性问题而导致损失值,影响了角度的预测精度。
          • Opencv表示法不仅会在边界值由于角度的周期性问题产生突变,旋转框的宽和高也会在边界处发生交换,由此产生边的交换问题进而导致旋转框角度和形状预测都会受到影响产生突变。
          • 有序四边形定义法虽然可以以设定的起始点进行表示,但是同样在临界处起始点容易发生位移现象,从而产生突变影响最终四边形的预测。

          解析一下,什么是边的交换性(Opencv表示法存在的问题

          下图在预测目标框时,发生了宽高互换现象,Opencv定义法规定的角度值是指目标框与x轴所成的锐角。范围为[-90°, 0°),由于理想的回归方式超出了角度设定范围,需要顺时针旋转至过渡框,再进行边的交换得到最终预测框,这样的回归方式导致损失值较大。

          image.gif

           解析一下,什么是角度周期性问题(长边表示法Opencv表示法存在的问题

          下图中蓝框是标签位置,角度为0°,当蓝框逆时针旋转2°时到达红框位置,此时检测框的角度为2°;当蓝框顺时针旋转2°时到达绿框的位置,此时检测框的角度为178°,这两种旋转方式的实际角度误差值很小,损失值却产生了一个周期的突变,增加了稳定收敛的难度.

          image.gif

          提出了问题,有解决方案吗?有的,后面文章结合具体的模型设计再介绍。



          二、如何设计深度学习模型

          2.1 模型损失函数

          如果采用五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),那么我们重点考虑𝜃角度,如何衡量计算损失函数,有两种思路:

            • 𝜃角度,采用分类思路,把角度划分为180个类别,每间隔一个度,划分为一个类别;所用的损失函数,可以用交叉熵损失
            • 𝜃角度,采用回归思路,把角度值先转为弧度值,然后对弧度值进行映射(sin、cos等函数),制作为标签;然后损失函数,可以用L1(绝对值损失)或L2(均方差损失)

            这样会存在问题吗,当前有一些问啦,后面再解释原理和方案,还结合具体的案例。

            如果采用八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4),那么我们可以直接四个边框顶点坐标进行回归,然后损失函数,可以用L1(绝对值损失)或L2(均方差损失)

            这样会存在问题吗,也是会的,后面再解释原理和方案。


            2.2 模型结构

            目标检测通常分为单阶段(YOLO、FCOS)和两阶段(R-CNN、Faster R-CNN)。

            这里以单阶段YOLO为示例,看看是如何设计模型结构的,来自百度的PP-YOLOE-R

            论文名称:PP-YOLOE-R: An Efficient Anchor-Free Rotated Object Detector

            论文地址:https://arxiv.org/abs/2211.02386

            image.gif


            它是采用五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),在检测头的分支中,添加多一个分支进行角度𝜃预测。

            image.gif


            image.gif


            后面再详细解释,这篇文章先作入门啦~

            后面介绍在YOLOv5、FOCS、R-CNN等基础上实现旋律目标检测。

            相关文章
            |
            5天前
            |
            机器学习/深度学习 监控 TensorFlow
            使用Python实现深度学习模型:智能农业病虫害检测与防治
            使用Python实现深度学习模型:智能农业病虫害检测与防治
            146 65
            |
            3天前
            |
            机器学习/深度学习 监控 TensorFlow
            使用Python实现深度学习模型:智能森林火灾预警系统
            使用Python实现深度学习模型:智能森林火灾预警系统
            25 5
            |
            5天前
            |
            机器学习/深度学习 TensorFlow 算法框架/工具
            深度学习中的正则化技术及其对模型性能的影响
            【8月更文挑战第26天】本文将深入探讨深度学习领域中的正则化技术,并分析其如何塑造模型性能。我们将从理论出发,逐步引导读者理解不同正则化方法背后的原理,并通过实例展示它们在实际问题中的应用效果。文章旨在启发读者思考如何在特定的深度学习任务中选择合适的正则化策略,以优化模型的表现。
            |
            3天前
            |
            机器学习/深度学习 存储 边缘计算
            深度学习之高效模型压缩
            基于深度学习的高效模型压缩技术在确保模型性能的同时,显著减少了模型的存储需求和计算复杂度,从而使得深度学习模型能够更好地适应资源受限的环境(如移动设备、嵌入式系统)并加快推理速度。
            121 64
            |
            6天前
            |
            机器学习/深度学习 算法 机器人
            使用Python实现深度学习模型:智能灾害响应与救援机器人
            使用Python实现深度学习模型:智能灾害响应与救援机器人
            30 16
            |
            2天前
            |
            机器学习/深度学习 边缘计算 PyTorch
            PyTorch 与边缘计算:将深度学习模型部署到嵌入式设备
            【8月更文第29天】随着物联网技术的发展,越来越多的数据处理任务开始在边缘设备上执行,以减少网络延迟、降低带宽成本并提高隐私保护水平。PyTorch 是一个广泛使用的深度学习框架,它不仅支持高效的模型训练,还提供了多种工具帮助开发者将模型部署到边缘设备。本文将探讨如何将PyTorch模型高效地部署到嵌入式设备上,并通过一个具体的示例来展示整个流程。
            10 1
            |
            9天前
            |
            机器学习/深度学习 监控 TensorFlow
            使用Python实现深度学习模型:智能停车管理系统
            【8月更文挑战第22天】 使用Python实现深度学习模型:智能停车管理系统
            26 8
            |
            10天前
            |
            机器学习/深度学习 数据采集 数据可视化
            使用Python实现深度学习模型:智能交通信号优化
            使用Python实现深度学习模型:智能交通信号优化
            24 9
            |
            3天前
            |
            机器学习/深度学习 数据采集 传感器
            使用Python实现深度学习模型:智能水质监测与管理
            使用Python实现深度学习模型:智能水质监测与管理
            15 1
            |
            4天前
            |
            机器学习/深度学习 边缘计算 安全
            深度学习之可持续发展模型
            基于深度学习的可持续发展模型是指利用深度学习技术来分析和优化可持续发展中的各类问题,支持经济、社会、环境之间的平衡发展。随着全球对可持续发展的关注不断加深,深度学习作为一种强大的数据分析和建模工具,在推动可持续发展目标(SDGs)实现中发挥了重要作用。
            16 2
            下一篇
            云函数