旋转目标检测【1】如何设计深度学习模型

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 平常的目标检测是平行的矩形框,“方方正正”的;但对于一些特殊场景(遥感),需要倾斜的框,才能更好贴近物体,旋转目标检测来啦~

 前言

平常的目标检测是平行的矩形框,“方方正正”的;但对于一些特殊场景(遥感),需要倾斜的框,才能更好贴近物体,旋转目标检测来啦~

image.gif


一、如何定义旋转框

常见的水平框参数表达方式为(x,y,w,h),四个参数分别表示水平框中心的横纵坐标、宽度以及高度。常用的YOLOv5也是用这边表示方式的。

旋转框参数表示目前有两种:

    1. 五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),它在原来基础上添加多了一个角度𝜃,表示框的旋转情况。
    2. 八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4),分别表示框的四个顶点。


    1.1 五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃)

    五参数旋转框表示法相比水平框多了旋转角度的信息,边界框参数可由一个5d向量(𝑥,𝑦,ℎ,𝑤,𝜃)确定,其中:

    (𝑥,𝑦) 为待检测目标最小外接矩形的中心

    ℎ 为该外接矩形的高

    𝑤 为该外接矩形的宽

    𝜃 为该外接矩形的高与x轴所呈角度

    常见的五参数表示法根据角度周期的不同可分为

      • Opencv定义法
      • 长边定义法

      image.gif

        • opencv法中,将与x轴成锐角的矩形边视为高,此时𝜃的取值范围为[0,𝜋⁄2),在此种定义法中,当旋转角度跨越𝜋⁄2时,定义的宽和高将进行互换,网络的回归目标也将发生突变,影响网络的收敛。
        • 针对这个问题,长边法将矩形框的长边定义为高,矩形框的短边定义为宽,此时𝜃的取值范围为[0,𝜋)。长边法能够有效的避免宽和高的互换问题。(推荐长边法

        注意:五参数表示法对边界框形状进行了限制,任何形状的边界框均表示成矩形。


        1.2 八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4)

        八参数表示法中并没有直接表示角度值,而是利用有序四边形四个角坐标的方式表达旋转框,也叫有序四边形定义法

        旋转边界框可以由一个8d向量(𝑥1, 𝑦1, 𝑥2, 𝑦2, 𝑥3, 𝑦3, 𝑥4, 𝑦4)唯一确定,其中(𝑥𝑛, 𝑦𝑛)表示边界框四个顶点的坐标

        image.gif

        旋转框基于一个最小的外接矩形,并将左边的点看作起始点,逆时针对外接矩形相交的四个点依次表达:

        image.gif

        优点:这种表示方法的灵活性高,边框形状可以表示为任意四边形。

        缺点:但是其需要回归的参数较多,计算复杂度较高,并且四个顶点之间不存在显著的区分关系,可能需要额外的后处理算法确定顶点的顺序。


        1.3 存在问题与待改进

        各种表示方法待改进地方:

          • 长边表示法中角度在边界值0°和180°会重合,但此时数值上却相差180,由于角度的周期性问题而导致损失值,影响了角度的预测精度。
          • Opencv表示法不仅会在边界值由于角度的周期性问题产生突变,旋转框的宽和高也会在边界处发生交换,由此产生边的交换问题进而导致旋转框角度和形状预测都会受到影响产生突变。
          • 有序四边形定义法虽然可以以设定的起始点进行表示,但是同样在临界处起始点容易发生位移现象,从而产生突变影响最终四边形的预测。

          解析一下,什么是边的交换性(Opencv表示法存在的问题

          下图在预测目标框时,发生了宽高互换现象,Opencv定义法规定的角度值是指目标框与x轴所成的锐角。范围为[-90°, 0°),由于理想的回归方式超出了角度设定范围,需要顺时针旋转至过渡框,再进行边的交换得到最终预测框,这样的回归方式导致损失值较大。

          image.gif

           解析一下,什么是角度周期性问题(长边表示法Opencv表示法存在的问题

          下图中蓝框是标签位置,角度为0°,当蓝框逆时针旋转2°时到达红框位置,此时检测框的角度为2°;当蓝框顺时针旋转2°时到达绿框的位置,此时检测框的角度为178°,这两种旋转方式的实际角度误差值很小,损失值却产生了一个周期的突变,增加了稳定收敛的难度.

          image.gif

          提出了问题,有解决方案吗?有的,后面文章结合具体的模型设计再介绍。



          二、如何设计深度学习模型

          2.1 模型损失函数

          如果采用五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),那么我们重点考虑𝜃角度,如何衡量计算损失函数,有两种思路:

            • 𝜃角度,采用分类思路,把角度划分为180个类别,每间隔一个度,划分为一个类别;所用的损失函数,可以用交叉熵损失
            • 𝜃角度,采用回归思路,把角度值先转为弧度值,然后对弧度值进行映射(sin、cos等函数),制作为标签;然后损失函数,可以用L1(绝对值损失)或L2(均方差损失)

            这样会存在问题吗,当前有一些问啦,后面再解释原理和方案,还结合具体的案例。

            如果采用八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4),那么我们可以直接四个边框顶点坐标进行回归,然后损失函数,可以用L1(绝对值损失)或L2(均方差损失)

            这样会存在问题吗,也是会的,后面再解释原理和方案。


            2.2 模型结构

            目标检测通常分为单阶段(YOLO、FCOS)和两阶段(R-CNN、Faster R-CNN)。

            这里以单阶段YOLO为示例,看看是如何设计模型结构的,来自百度的PP-YOLOE-R

            论文名称:PP-YOLOE-R: An Efficient Anchor-Free Rotated Object Detector

            论文地址:https://arxiv.org/abs/2211.02386

            image.gif


            它是采用五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),在检测头的分支中,添加多一个分支进行角度𝜃预测。

            image.gif


            image.gif


            后面再详细解释,这篇文章先作入门啦~

            后面介绍在YOLOv5、FOCS、R-CNN等基础上实现旋律目标检测。

            相关文章
            |
            1月前
            |
            机器学习/深度学习 数据采集 算法
            构建高效图像分类模型:深度学习在处理大规模视觉数据中的应用
            随着数字化时代的到来,海量的图像数据被不断产生。深度学习技术因其在处理高维度、非线性和大规模数据集上的卓越性能,已成为图像分类任务的核心方法。本文将详细探讨如何构建一个高效的深度学习模型用于图像分类,包括数据预处理、选择合适的网络架构、训练技巧以及模型优化策略。我们将重点分析卷积神经网络(CNN)在图像识别中的运用,并提出一种改进的训练流程,旨在提升模型的泛化能力和计算效率。通过实验验证,我们的模型能够在保持较低计算成本的同时,达到较高的准确率,为大规模图像数据的自动分类和识别提供了一种有效的解决方案。
            |
            1月前
            |
            机器学习/深度学习 数据采集 PyTorch
            使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
            使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
            使用PyTorch解决多分类问题:构建、训练和评估深度学习模型
            |
            2月前
            |
            机器学习/深度学习 算法 数据可视化
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-2
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
            99 0
            |
            2月前
            |
            机器学习/深度学习 Ubuntu Linux
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-1
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
            56 1
            |
            1天前
            |
            机器学习/深度学习 算法 TensorFlow
            TensorFlow 2keras开发深度学习模型实例:多层感知器(MLP),卷积神经网络(CNN)和递归神经网络(RNN)
            TensorFlow 2keras开发深度学习模型实例:多层感知器(MLP),卷积神经网络(CNN)和递归神经网络(RNN)
            |
            3天前
            |
            机器学习/深度学习 监控 数据可视化
            【日常聊聊】解决深度学习模型挑战:解释性与鲁棒性的平衡
            【日常聊聊】解决深度学习模型挑战:解释性与鲁棒性的平衡
            |
            4月前
            |
            机器学习/深度学习 人工智能 PyTorch
            《人工智能专栏》专栏介绍 & 专栏目录 & Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程
            《人工智能专栏》专栏介绍 & 专栏目录 & Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程
            111 1
            |
            13天前
            |
            机器学习/深度学习 API 算法框架/工具
            R语言深度学习:用keras神经网络回归模型预测时间序列数据
            R语言深度学习:用keras神经网络回归模型预测时间序列数据
            18 0
            |
            13天前
            |
            机器学习/深度学习 并行计算 算法
            R语言深度学习不同模型对比分析案例
            R语言深度学习不同模型对比分析案例
            27 0
            |
            14天前
            |
            机器学习/深度学习 人工智能 分布式计算
            R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
            R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
            17 0

            热门文章

            最新文章