间谍卫星的基础?YOLT——利用卷积神经网络对卫星影像进行多尺度目标检测(Part I)

简介: 利用卷积神经网络(CNN)对卫星影像进行多尺度目标检测,该文是在YOLO模型的基础上改进提出YOLT模型,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。
+关注继续查看

首发地址:https://yq.aliyun.com/articles/64445

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

以下为译文:

 9b10b6d6a2c8e92f9d4dbdea63c5a0ee790a86bb

利用卷积神经网络,对于卫星影像中多尺度目标检测而言,你只需要看两次(Part I

在大片物体中检测小物体一直是卫星图像分析感兴趣的主要点之一。早期的工作是利用本地滑动窗和HOG特征描述确定船的位置,但存在的缺点是高度不均匀背景下分辨不清晰。为了解决这一问题,实现了一种基于你只要看两眼的物体检测流水线,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。

卫星图像目标检测概述

卫星图像库与ImageNet数据库不一样,存在四个问题:卫星图像的对象往往是非常小的并围绕成一个圆、输入图像巨大、训练数据相对缺乏;积极的一面是物体的物理和像素规模是实现已知的,观察角度也是低变化的。

0296b2799d992953741ea2fa5b1d356addb808ae 

1. 《纽约时报》截图显示俄罗斯设计武器实物模型愚弄遥感仪器。

HOG船检测挑战

HOG+滑动窗物体检测方法在前期工作中取得瞩目成果,为了探索该方法的限制,将其应用于场景不太均匀的背景。

99dd33dd6aac12a5fdd58ee12fe514f9c74cc45e 

2.HOG+滑动窗应用于不同传感器的结果。假阴性显示是红色,手工标记显示是黄色,误报显示是蓝色,真阳性显示是绿色

使用深度学习进行物体检测

在卫星图像上采用YOLO框架去完成目标检测,该框架使用了单一的卷积层(CNN)去预测类别和边界。这种快速方法结合获取背景信息的能力使得其应用在卫星图像中是引人注目的。

CNN与滑动窗结合的方法可以取得客观的效果,但是难以计算。另外一个缺点是,滑动窗只可以看到图像的一小部分,从而丢弃有用的背景信息。该YOLO框架解决了背景差异的问题,并扩展成大的数据集。

ddefdcf7f3e9d8898f7dfcf63965a966928bcdf0 

3. 说明YOLO框架的缺省

该框架确实是有些局限性,但在文献中封装了三个问题,具体问题可以参看文献和原文

针对这些问题,提出了YOLT框架,解决了上述的三个问题,分别使用滑动窗上采样以寻找小的物体、在多尺度上运行探测器;增加训练数据;定义新的网络架构使得最后的卷积层有更紧密的网格。

YOLT框架的输出的后处理结合了各种图形芯片,这些修改使得每秒44帧的速度降低为每秒18帧。如果寻找密集物体不是必须的,最大图形尺寸应该会增加2-4倍。

YOLT训练数据

训练数据收集大图像中的小块,每个对象的标签是由边界框和类标识符组成。

主要集中以下四类:

  •  开放水域的船
  •  在港湾的船
  •  飞机
  •  飞机场

b7ad17937438d699d2b99bb7bf75d915384caefa

4. YOLT训练数据

fa416cef697e1dcd85e653ba34753ca96198a39e 

5. 训练图像在色相和饱和度上旋转和缩放

YOLT目标检测结果

对评估测试图像使用相同的评价标准;对于海上区域的评估,关注相同的区域。在硬件上仿真后,与之前方法的结果相比,HOG+滑动窗是用来训练分类船和船的航向,而YOLT是用来训练产生船和飞机的位置信息。具体性能分析请见原文。

d97af6f2776f5011ae89c2e997aca4b9fcf79429 

6. YOLTAOI1的性能

703df51bb612d0f4f8d2303eaa68c1cb46117c41 

7. YOLTAOI2的性能

3066516990394ec10e40c07ba8056b7722c573a1

8. YOLTAOI3的性能 

0d0446626d702de91513ad700721858fe5f7550e

9. YOLTAOI4的性能

  c1dcdf6f767eed85acbcba4d77853cec35b8dcae

10. YOLT在美济礁使用如图2所示的相同卫星测试的结果

a9d600c9c2f9913ae5a7b2090d09153742293956 

11. YOLT应用到苏伊士运河的南入口的卫星图像

 25b00743795196e1fbccb721f5f2c251806176a4

12. YOLT检测应用到DigitalGlobe图像中,上图拍摄于希斯罗机场

结论

这篇文章中,展示了一个经典机器学习技术应用于卫星图像目标检测的局限性;为了解决这个局限性,实现了一个完全卷积神经网络分类(YOLT)去快速获得卫星图像中的船只和飞机的位置,在稀疏场景的分类性能证明比HOG+滑动窗方法更好。

Part II部分,将探讨在完全不同尺度上检测目标,比如在船只、飞机和跑道上的挑战。

文章原标题《You Only Look Twice — Multi-Scale Object Detection in Satellite Imagery With Convolutional Neural Networks (Part I)》,作者:Adam Van Etten

文章为简译,更为详细的内容,请查看原文

翻译者: 海棠 

Wechat:269970760 

Email:duanzhch@tju.edu.cn

微信公众号:AI科技时讯

157f33dddfc596ede3681e0a2a0e7068dc288cc1

目录
相关文章
|
4月前
|
机器学习/深度学习 编解码 缓存
两阶段目标检测指南:R-CNN、FPN、Mask R-CNN
两阶段目标检测指南:R-CNN、FPN、Mask R-CNN
62 0
|
5月前
|
机器学习/深度学习 人工智能 算法
目标检测:RPN — Faster R-CNN 的主干
目标检测:RPN — Faster R-CNN 的主干
40 0
|
5月前
|
机器学习/深度学习 编解码 人工智能
R-CNN、SPP-Net、Fast R-CNN…你都掌握了吗?一文总结目标检测必备经典模型(2)
R-CNN、SPP-Net、Fast R-CNN…你都掌握了吗?一文总结目标检测必备经典模型
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
R-CNN、SPP-Net、Fast R-CNN…你都掌握了吗?一文总结目标检测必备经典模型(1)
R-CNN、SPP-Net、Fast R-CNN…你都掌握了吗?一文总结目标检测必备经典模型
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
首个目标检测扩散模型,比Faster R-CNN、DETR好,从随机框中直接检测
首个目标检测扩散模型,比Faster R-CNN、DETR好,从随机框中直接检测
|
5月前
|
机器学习/深度学习 存储 算法
深度学习经典网络解析目标检测篇(二):Fast R-CNN
R-CNN网络训练、测试繁琐:R-CNN网络训练过程分为ILSVRC 2012样本下有监督预训练、PASCAL VOC 2007该特定样本下的微调、20类即20个SVM分类器训练、20类即20个Bounding-box回归器训练,该训练流程繁琐复杂;同理测试过程也包括提取建议框、提取CNN特征、SVM分类和Bounding-box回归等步骤,过于繁琐;
39 0
|
5月前
|
机器学习/深度学习 存储 算法
深度学习经典网络解析目标检测篇(一):R-CNN
目标检测(Object Detection) 就是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一,通俗点说就是给定一张图片要精确的定位到物体所在位置,并完成对物体类别的识别。其准确性和实时性是整个系统的一项重要能力。
184 0
|
5月前
|
机器学习/深度学习 算法 数据挖掘
深度学习论文阅读目标检测篇(二):Fast R-CNN《Fast R-CNN》
本文提出了一种快速的基于区域的卷积网络方法(fast R-CNN) 用于目标检测。Fast R-CNN 建立在以前使用的深卷积网络有效地分 类目标的成果上。相比于之前的研究工作,Fast R-CNN 采用了多项创 新提高了训练和测试速度,同时也提高了检测准确度。
72 0
|
5月前
|
机器学习/深度学习 人工智能 算法
【Pytorch神经网络理论篇】 33 基于图片内容处理的机器视觉:目标检测+图片分割+非极大值抑制+Mask R-CNN模型
目标检测任务的精度相对较高,主要是以检测框的方式,找出图片中目标物体所在的位置。目标检测任务的模型运算量相对较小,速度相对较快。
93 0
|
8月前
|
计算机视觉
港大同济伯克利推出目标检测新范式:Sparse R-CNN
我们沿用了 Detectron2 的 3x training schedule,因此将 Sparse R-CNN 和 Detectorn2 中的 detectors 做比较(很多方法没有报道 3x 的性能,所以没有列出)。同时,我们也列出了同样不需要 NMS 后处理的 DETR 和 Deformable DETR 的性能。Sparse R-CNN 在检测精度,推理时间和训练收敛速度都展现了相当有竞争力的性能。
港大同济伯克利推出目标检测新范式:Sparse R-CNN
热门文章
最新文章
相关产品
机器翻译
推荐文章
更多