开发者社区> 【方向】> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

间谍卫星的基础?YOLT——利用卷积神经网络对卫星影像进行多尺度目标检测(Part I)

简介: 利用卷积神经网络(CNN)对卫星影像进行多尺度目标检测,该文是在YOLO模型的基础上改进提出YOLT模型,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。
+关注继续查看

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

以下为译文: 9b10b6d6a2c8e92f9d4dbdea63c5a0ee790a86bb

利用卷积神经网络,对于卫星影像中多尺度目标检测而言,你只需要看两次(Part I

在大片物体中检测小物体一直是卫星图像分析感兴趣的主要点之一。早期的工作是利用本地滑动窗和HOG特征描述确定船的位置,但存在的缺点是高度不均匀背景下分辨不清晰。为了解决这一问题,实现了一种基于你只要看两眼的物体检测流水线,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。

卫星图像目标检测概述

卫星图像库与ImageNet数据库不一样,存在四个问题:卫星图像的对象往往是非常小的并围绕成一个圆、输入图像巨大、训练数据相对缺乏;积极的一面是物体的物理和像素规模是实现已知的,观察角度也是低变化的。

0296b2799d992953741ea2fa5b1d356addb808ae 

1. 《纽约时报》截图显示俄罗斯设计武器实物模型愚弄遥感仪器。

HOG船检测挑战

HOG+滑动窗物体检测方法在前期工作中取得瞩目成果,为了探索该方法的限制,将其应用于场景不太均匀的背景。

99dd33dd6aac12a5fdd58ee12fe514f9c74cc45e 

2.HOG+滑动窗应用于不同传感器的结果。假阴性显示是红色,手工标记显示是黄色,误报显示是蓝色,真阳性显示是绿色

使用深度学习进行物体检测

在卫星图像上采用YOLO框架去完成目标检测,该框架使用了单一的卷积层(CNN)去预测类别和边界。这种快速方法结合获取背景信息的能力使得其应用在卫星图像中是引人注目的。

CNN与滑动窗结合的方法可以取得客观的效果,但是难以计算。另外一个缺点是,滑动窗只可以看到图像的一小部分,从而丢弃有用的背景信息。该YOLO框架解决了背景差异的问题,并扩展成大的数据集。

ddefdcf7f3e9d8898f7dfcf63965a966928bcdf0 

3. 说明YOLO框架的缺省

该框架确实是有些局限性,但在文献中封装了三个问题,具体问题可以参看文献和原文

针对这些问题,提出了YOLT框架,解决了上述的三个问题,分别使用滑动窗上采样以寻找小的物体、在多尺度上运行探测器;增加训练数据;定义新的网络架构使得最后的卷积层有更紧密的网格。

YOLT框架的输出的后处理结合了各种图形芯片,这些修改使得每秒44帧的速度降低为每秒18帧。如果寻找密集物体不是必须的,最大图形尺寸应该会增加2-4倍。

YOLT训练数据

训练数据收集大图像中的小块,每个对象的标签是由边界框和类标识符组成。

主要集中以下四类:

  •  开放水域的船
  •  在港湾的船
  •  飞机
  •  飞机场

b7ad17937438d699d2b99bb7bf75d915384caefa

4. YOLT训练数据

fa416cef697e1dcd85e653ba34753ca96198a39e 

5. 训练图像在色相和饱和度上旋转和缩放

YOLT目标检测结果

对评估测试图像使用相同的评价标准;对于海上区域的评估,关注相同的区域。在硬件上仿真后,与之前方法的结果相比,HOG+滑动窗是用来训练分类船和船的航向,而YOLT是用来训练产生船和飞机的位置信息。具体性能分析请见原文。

d97af6f2776f5011ae89c2e997aca4b9fcf79429 

6. YOLTAOI1的性能

703df51bb612d0f4f8d2303eaa68c1cb46117c41 

7. YOLTAOI2的性能

3066516990394ec10e40c07ba8056b7722c573a1

8. YOLTAOI3的性能 

0d0446626d702de91513ad700721858fe5f7550e

9. YOLTAOI4的性能

  c1dcdf6f767eed85acbcba4d77853cec35b8dcae

10. YOLT在美济礁使用如图2所示的相同卫星测试的结果

a9d600c9c2f9913ae5a7b2090d09153742293956 

11. YOLT应用到苏伊士运河的南入口的卫星图像

 25b00743795196e1fbccb721f5f2c251806176a4

12. YOLT检测应用到DigitalGlobe图像中,上图拍摄于希斯罗机场

结论

这篇文章中,展示了一个经典机器学习技术应用于卫星图像目标检测的局限性;为了解决这个局限性,实现了一个完全卷积神经网络分类(YOLT)去快速获得卫星图像中的船只和飞机的位置,在稀疏场景的分类性能证明比HOG+滑动窗方法更好。

Part II部分,将探讨在完全不同尺度上检测目标,比如在船只、飞机和跑道上的挑战。

        数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

文章原标题《You Only Look Twice — Multi-Scale Object Detection in Satellite Imagery With Convolutional Neural Networks (Part I)》,作者:Adam Van Etten

文章为简译,更为详细的内容,请查看原文

                                             翻译:海棠

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Nuscenes和KITTI双SOTA!3D目标检测中的同质多模态特征融合与交互(ECCV2022)
多模态3D物体检测一直是自动驾驶领域中的一个活跃研究课题,然而,探索稀疏3D点和密集2D像素之间的跨模态特征融合并非易事,最近的方法要么将图像特征与投影到2D图像平面上的点云特征融合,要么将稀疏点云与密集图像像素组合。这些融合方法经常遭受严重的信息丢失,从而导致性能次优。为了解决这些问题,本文构建了点云和图像之间的均匀结构,通过将相机特征转换到LiDAR 3D空间中来避免投影信息丢失。论文主要提出了一种用于三维目标检测的同质多模态特征融合与交互方法(HMFI)。具体来说,首先设计了一个图像体素提升模块(IVLM),以将2D图像特征提升到3D空间中并生成均匀图像体素特征。
0 0
登顶KITTI和NuScenes | 2DPASS:2D先验辅助的激光雷达点云语义分割!ECCV2022
语义分割在大规模室外场景理解中起着至关重要的作用,在自动驾驶和机器人技术中有着广泛的应用[1-3]。在过去几年中,研究界投入了大量精力,使用相机图像[4-7]或激光雷达点云[2,8-12]作为输入来理解自然场景。
0 0
90+目标跟踪算法&九大benchmark!基于判别滤波器和孪生网络的视觉目标跟踪:综述与展望(上)
视觉目标跟踪(VOT)是计算机视觉中的一个基本开放问题,任务是估计图像序列中目标的轨迹和状态。VOT具有广泛的应用,包括自动驾驶、机器人、智能视频监控、运动分析和医学成像。给定任意目标对象的初始状态,VOT中的主要挑战是学习在后续帧中搜索目标对象时使用的外观模型。近年来,由于引入了多种跟踪基准,如TrackingNet、VOT2018和GOT-10K,VOT受到了极大的关注。尽管最近取得了进展,VOT仍然是一个开放的研究问题,可能比以往任何时候都更加活跃。
0 0
90+目标跟踪算法&九大benchmark!基于判别滤波器和孪生网络的视觉目标跟踪:综述与展望(下)
视觉目标跟踪(VOT)是计算机视觉中的一个基本开放问题,任务是估计图像序列中目标的轨迹和状态。VOT具有广泛的应用,包括自动驾驶、机器人、智能视频监控、运动分析和医学成像。给定任意目标对象的初始状态,VOT中的主要挑战是学习在后续帧中搜索目标对象时使用的外观模型。近年来,由于引入了多种跟踪基准,如TrackingNet、VOT2018和GOT-10K,VOT受到了极大的关注。尽管最近取得了进展,VOT仍然是一个开放的研究问题,可能比以往任何时候都更加活跃。
0 0
【论文解读】——基于多尺度卷积网络的遥感目标检测研究(姚群力,胡显,雷宏)
【论文解读】——基于多尺度卷积网络的遥感目标检测研究(姚群力,胡显,雷宏)
0 0
【图像重建】基于先验和运动的重建 (PRIMOR)实现口腔CT图像重建附matlab代码和论文
【图像重建】基于先验和运动的重建 (PRIMOR)实现口腔CT图像重建附matlab代码和论文
0 0
CVPR 2022数据集汇总|包含目标检测、多模态等方向
本文收集汇总了目前CVPR 2022已放出的一些数据集资源。
0 0
《中国人工智能学会通讯》——11.50 基于稀疏特征选择的异质人脸图 像合成
本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.50节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
923 0
间谍卫星的基础?YOLT——利用卷积神经网络对卫星影像进行多尺度目标检测(Part I)
利用卷积神经网络(CNN)对卫星影像进行多尺度目标检测,该文是在YOLO模型的基础上改进提出YOLT模型,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。
1787 0
+关注
【方向】
欢迎各位对内容方向及质量提需求,我们尽量满足,将国外优质的内容呈现给大家!
文章
问答
文章排行榜
最热
最新
相关电子书
更多
深度学习论文实现:空间变换网络-第一部分
立即下载
基于视觉推理的视频理解
立即下载
神经网络结构设计
立即下载