旋转目标检测【1】如何设计深度学习模型

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 平常的目标检测是平行的矩形框,“方方正正”的;但对于一些特殊场景(遥感),需要倾斜的框,才能更好贴近物体,旋转目标检测来啦~

 前言

平常的目标检测是平行的矩形框,“方方正正”的;但对于一些特殊场景(遥感),需要倾斜的框,才能更好贴近物体,旋转目标检测来啦~

image.gif


一、如何定义旋转框

常见的水平框参数表达方式为(x,y,w,h),四个参数分别表示水平框中心的横纵坐标、宽度以及高度。常用的YOLOv5也是用这边表示方式的。

旋转框参数表示目前有两种:

    1. 五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),它在原来基础上添加多了一个角度𝜃,表示框的旋转情况。
    2. 八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4),分别表示框的四个顶点。


    1.1 五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃)

    五参数旋转框表示法相比水平框多了旋转角度的信息,边界框参数可由一个5d向量(𝑥,𝑦,ℎ,𝑤,𝜃)确定,其中:

    (𝑥,𝑦) 为待检测目标最小外接矩形的中心

    ℎ 为该外接矩形的高

    𝑤 为该外接矩形的宽

    𝜃 为该外接矩形的高与x轴所呈角度

    常见的五参数表示法根据角度周期的不同可分为

      • Opencv定义法
      • 长边定义法

      image.gif

        • opencv法中,将与x轴成锐角的矩形边视为高,此时𝜃的取值范围为[0,𝜋⁄2),在此种定义法中,当旋转角度跨越𝜋⁄2时,定义的宽和高将进行互换,网络的回归目标也将发生突变,影响网络的收敛。
        • 针对这个问题,长边法将矩形框的长边定义为高,矩形框的短边定义为宽,此时𝜃的取值范围为[0,𝜋)。长边法能够有效的避免宽和高的互换问题。(推荐长边法

        注意:五参数表示法对边界框形状进行了限制,任何形状的边界框均表示成矩形。


        1.2 八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4)

        八参数表示法中并没有直接表示角度值,而是利用有序四边形四个角坐标的方式表达旋转框,也叫有序四边形定义法

        旋转边界框可以由一个8d向量(𝑥1, 𝑦1, 𝑥2, 𝑦2, 𝑥3, 𝑦3, 𝑥4, 𝑦4)唯一确定,其中(𝑥𝑛, 𝑦𝑛)表示边界框四个顶点的坐标

        image.gif

        旋转框基于一个最小的外接矩形,并将左边的点看作起始点,逆时针对外接矩形相交的四个点依次表达:

        image.gif

        优点:这种表示方法的灵活性高,边框形状可以表示为任意四边形。

        缺点:但是其需要回归的参数较多,计算复杂度较高,并且四个顶点之间不存在显著的区分关系,可能需要额外的后处理算法确定顶点的顺序。


        1.3 存在问题与待改进

        各种表示方法待改进地方:

          • 长边表示法中角度在边界值0°和180°会重合,但此时数值上却相差180,由于角度的周期性问题而导致损失值,影响了角度的预测精度。
          • Opencv表示法不仅会在边界值由于角度的周期性问题产生突变,旋转框的宽和高也会在边界处发生交换,由此产生边的交换问题进而导致旋转框角度和形状预测都会受到影响产生突变。
          • 有序四边形定义法虽然可以以设定的起始点进行表示,但是同样在临界处起始点容易发生位移现象,从而产生突变影响最终四边形的预测。

          解析一下,什么是边的交换性(Opencv表示法存在的问题

          下图在预测目标框时,发生了宽高互换现象,Opencv定义法规定的角度值是指目标框与x轴所成的锐角。范围为[-90°, 0°),由于理想的回归方式超出了角度设定范围,需要顺时针旋转至过渡框,再进行边的交换得到最终预测框,这样的回归方式导致损失值较大。

          image.gif

           解析一下,什么是角度周期性问题(长边表示法Opencv表示法存在的问题

          下图中蓝框是标签位置,角度为0°,当蓝框逆时针旋转2°时到达红框位置,此时检测框的角度为2°;当蓝框顺时针旋转2°时到达绿框的位置,此时检测框的角度为178°,这两种旋转方式的实际角度误差值很小,损失值却产生了一个周期的突变,增加了稳定收敛的难度.

          image.gif

          提出了问题,有解决方案吗?有的,后面文章结合具体的模型设计再介绍。



          二、如何设计深度学习模型

          2.1 模型损失函数

          如果采用五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),那么我们重点考虑𝜃角度,如何衡量计算损失函数,有两种思路:

            • 𝜃角度,采用分类思路,把角度划分为180个类别,每间隔一个度,划分为一个类别;所用的损失函数,可以用交叉熵损失
            • 𝜃角度,采用回归思路,把角度值先转为弧度值,然后对弧度值进行映射(sin、cos等函数),制作为标签;然后损失函数,可以用L1(绝对值损失)或L2(均方差损失)

            这样会存在问题吗,当前有一些问啦,后面再解释原理和方案,还结合具体的案例。

            如果采用八参数表示法量(𝑥1,𝑦1,𝑥2,𝑦2,𝑥3,𝑦3,𝑥4,𝑦4),那么我们可以直接四个边框顶点坐标进行回归,然后损失函数,可以用L1(绝对值损失)或L2(均方差损失)

            这样会存在问题吗,也是会的,后面再解释原理和方案。


            2.2 模型结构

            目标检测通常分为单阶段(YOLO、FCOS)和两阶段(R-CNN、Faster R-CNN)。

            这里以单阶段YOLO为示例,看看是如何设计模型结构的,来自百度的PP-YOLOE-R

            论文名称:PP-YOLOE-R: An Efficient Anchor-Free Rotated Object Detector

            论文地址:https://arxiv.org/abs/2211.02386

            image.gif


            它是采用五参数表示法 (𝑥,𝑦,ℎ,𝑤,𝜃),在检测头的分支中,添加多一个分支进行角度𝜃预测。

            image.gif


            image.gif


            后面再详细解释,这篇文章先作入门啦~

            后面介绍在YOLOv5、FOCS、R-CNN等基础上实现旋律目标检测。

            相关文章
            |
            4月前
            |
            机器学习/深度学习
            深度学习模型调参技巧分享 视频讲解代码实战
            深度学习模型调参技巧分享 视频讲解代码实战
            37 0
            |
            5月前
            |
            机器学习/深度学习 自然语言处理 PyTorch
            【深度学习】实验12 使用PyTorch训练模型
            【深度学习】实验12 使用PyTorch训练模型
            70 0
            |
            2天前
            |
            机器学习/深度学习 算法 数据可视化
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-2
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
            27 0
            |
            2天前
            |
            机器学习/深度学习 Ubuntu Linux
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)-1
            计算机视觉+深度学习+机器学习+opencv+目标检测跟踪+一站式学习(代码+视频+PPT)
            24 1
            |
            3月前
            |
            机器学习/深度学习 人工智能 PyTorch
            《人工智能专栏》专栏介绍 & 专栏目录 & Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程
            《人工智能专栏》专栏介绍 & 专栏目录 & Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程
            71 1
            |
            2天前
            |
            机器学习/深度学习 JSON 自然语言处理
            python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
            python自动化标注工具+自定义目标P图替换+深度学习大模型(代码+教程+告别手动标注)
            11 0
            |
            10天前
            |
            机器学习/深度学习 PyTorch TensorFlow
            深度学习模型加速:Pytorch模型转TensorRT模型
            深度学习模型加速:Pytorch模型转TensorRT模型
            50 0
            |
            2月前
            |
            机器学习/深度学习 人工智能 PyTorch
            【Hello AI】安装和使用AIACC-AGSpeed(优化PyTorch深度学习模型)
            AIACC-AGSpeed(简称AGSpeed)专注于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能,相比原始的神龙AI加速引擎AIACC,可以实现无感的计算优化性能。本文为您介绍安装和使用AGSpeed的方法。
            |
            2月前
            |
            机器学习/深度学习 自然语言处理 数据格式
            训练你自己的自然语言处理深度学习模型,Bert预训练模型下游任务训练:情感二分类
            训练你自己的自然语言处理深度学习模型,Bert预训练模型下游任务训练:情感二分类
            29 0
            |
            2月前
            |
            机器学习/深度学习 搜索推荐 TensorFlow
            推荐系统:从经典模型到深度学习,你需要掌握什么?
            推荐系统:从经典模型到深度学习,你需要掌握什么?

            相关产品

          • 大数据开发治理平台 DataWorks
          • 检索分析服务 Elasticsearch版
          • 日志服务