雨天美图大法:单图去雨的RESCAN新方式

简介: 其实在过去十年中,图像去除已经有了不少有趣的研究。现有方法可以分为两类,包括基于视频的方法和单图去除方法。基于视频的方法可以利用视频中图片的关系框架,因此相对容易;相对而言,单图像去除更具挑战性。

最近一周的南北方降雨量可能不相上下,不仅雨量大,而且每场雨都在瓢泼。

南方台风中的画风是这样的

image

而北京进入“看海”节奏,根本不需要台风

image

雨滴会严重降低能见度,除了给日常出行造成各种不便,也导致许多当前的计算机视觉算法都无法工作。特别是在大雨中,来自各个方向的雨水积累和使背景场景朦胧,严重影响比如视频监控,物体检测,以及在自动驾驶跟踪等方向的准确性。

因此,除去雨水并从雨水图像中恢复背景,是一项重要的任务。

其实在过去十年中,图像去除已经有了不少有趣的研究。

现有方法可以分为两类,包括基于视频的方法和单图去除方法。基于视频的方法可以利用视频中图片的关系框架,因此相对容易;相对而言,单图像去除更具挑战性。

在今年的雨季,来自北京大学和上海交通大学的几位研究者,针对“单图去雨”任务进行了研究,他们基于深度卷积和循环神经网络,建立了一种新颖的神经网络架构,并获得了不错的结果。

这一成果在ArXiv上发表,并已被ECCV(欧洲计算机视觉国际会议,计算机视觉三大会议之一)采纳。

除了论文成果,里边对之前各种关于单图去雨的历史研究论述总结颇为详细,在今天读来是个很应景的话题,感兴趣的同学可以自行下载

image


大数据文摘微信公众号后台回复“下雨”获得本论文哟~~~

我们对论文的精华编译如下:

对于单图像去除,传统方法,例如判别稀疏编码、低秩表示以及高斯混合模型,都可以应用于这项任务,并且有不错的表现。最近,基于深度学习的消除方法,由于其强大的特征表示能力而受到广泛关注。但是所有这些相关方法仍有很多空间需要改进。

现有方法主要有两个局限。

一方面,根据之前的研究,空间背景信息对于雨点的消除非常有用。然而,许多当前的方法基于图像补丁去除雨条纹,忽略了大区域的背景信息。

另一方面,由于大雨中的雨滴会呈现各种各样的方向和形状,它们会以不同的方式让背景模糊不清。

分解整体,通过不同的阶段去除雨水条纹,是一种常见的方法,这种方法可以将问题分解为多个阶段,以便我们可以迭代地去除雨条纹。然而,现有方法只对每个阶段独立除雨,而不考虑它们的相关性。

我们提出了一种新颖的深度网络架构,基于深度卷积和递归神经网络对单张图像的雨水进行去除。

在大雨中,雨滴有各种各样的方向和形状,由于雨条纹层各自重叠,在一个阶段去除雨水并不容易。所以我们进一步分解雨水为多个阶段。利用循环神经网络以保留前几个阶段的有用信息,有利于后期去雨。我们在合成和真实数据集上进行了大量实验,所有评估指标的表现都优于先前的方法。

image

在解决上述两个局限性后,我们提出了一种新颖的深层网络,从而用于单个图像的除雨。例如上图,体现了逐步消除雨条纹的阶段。

在每个阶段,我们都使用有多个卷积层的集成网络对背景图像的雨水条纹进行消除。由于雨条纹有各种方向和形状,我们让每个网络层对应一种雨条纹,并根据其在每个卷积层中的相互依赖性为其赋值。

受益于指数级增加的卷积层,这一神经网络接受域大且深度低,可以获取更多的背景图信息。我们接下来利用三种不同的循环神经网络(RNN),进一步最大限度的利用之前几个阶段搜集到的背景信息,来指导后期的雨滴去除。

我们将这一方法命名为REcurrent SE Context Aggregation Net(RESCAN)。

本文的主要贡献如下:
1、对于单图除雨提出了一种新颖的集成深度网络。

2、据我们所知,这是首篇考虑不同阶段除雨相关性的论文。通过RNN体系结构的三种不同循环单元,可以结合前几个阶段的来指导后期阶段。这一神经网络适用于复杂的下雨环境。

3、与最先端的方法相比,我们的深度网络在不同数据集上展现了更卓越的性能。

原文发布时间为:2018-07-24
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

目录
打赏
0
0
0
0
73591
分享
相关文章
DMS问题之异常慢如何解决
DMS(Data Management Service)是阿里云提供的一站式数据管理服务,支持数据开发、维护、治理等多种功能;本合集着重于介绍DMS的功能特点、操作流程和最佳实践,帮助用户高效进行数据管理和维护。
193 7
ETCD系列之一:简介
本文介绍etcd使用场景,工作原理。
76923 3
C语言栈的表达式求值讲解
C语言栈的表达式求值讲解
201 0
按字寻址和按字节寻址以及内存编码、地址总线与数据总线的理解
按字寻址和按字节寻址以及内存编码、地址总线与数据总线的理解
375 0
BCH码与RS码详解
BCH码与RS码详解
502 0
印象最深的一个bug——排查修复问题事件BEX引发的谷歌浏览器闪退崩溃异常
本文记录了目前修复的千千万万个项目的BUG中印象最深的一次BUG,由于问题事件BEX引发的谷歌浏览器闪退崩溃的异常问题.这个BUG因为其不可复现性导致特别难以发现和解决,正是由于这一次的BUG解决过程,让我了解到了一位攻城狮在项目开发维护过程中实际经验的重要性,多思考,多实践,多多积累经验,才是一位攻城狮的成长之路.
30955 2
印象最深的一个bug——排查修复问题事件BEX引发的谷歌浏览器闪退崩溃异常
文件存储 HDFS添加挂载点前提条件及步骤
挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址,每个挂载点都对应一个域名,ECS和容器需要通过此域名访问文件存储HDFS中的数据。文件存储HDFS目前只支持专有网络类型挂载点。
858 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问