震撼!英伟达用深度学习做图像修复,毫无ps痕迹

简介: 英伟达的研究人员发布了一种可以编辑图像或重建已损坏图像的深度学习方法,实现了一键P图,而且“毫无ps痕迹”。通过使用“部分卷积”层,该方法优于其他方法。

在计算机视觉研究领域,NVIDIA常常让人眼前一亮。

比如“用Progressive Growing的方式训练 GAN,生成超逼真高清图像”,“用条件 GAN 进行 2048x1024 分辨率的图像合成和处理”的pix2pixHD项目,或者脑洞大开的让晴天下大雨、小猫变狮子、黑夜转白天的“无监督图像翻译网络”(Unsupervised Image-to-Image Translation Networks)。

近日,NVIDIA在arXiv放出一篇今年ICLR的论文,同样很厉害。论文题为“Image Inpainting for Irregular Holes Using Partial Convolutions”,即使用“Partial Convolutions”进行图像修复。

先看视频:

12ab2844fe7709a4dd9e9a8503035bf7dab8e38d

在视频中左侧的操作界面,只需用工具将图像中不需要的内容简单涂抹掉,哪怕形状很不规则,NVIDIA的模型能够将图像“复原”,用非常逼真的画面填补被涂抹的空白。可谓是一键P图,而且“毫无ps痕迹”。

该研究来自Nvidia的Guilin Liu等人的团队,他们发布了一种可以编辑图像或重建已损坏图像的深度学习方法,即使图像穿了个洞或丢失了像素。这是目前state-of-the-art的方法。

0ce482f088ff5dfd9dd33787e719a837c2b1d65b

该方法还可以通过移除图像中的某些内容,并填补移除内容后造成的空白,从而实现编辑图像。

这个过程叫做“image inpainting”,可以在图片编辑软件中实现去除不需要的内容,同时用计算机生成的逼真的替代方式填补空白。

3ab43fc72e24758d14baf7117eb9c3ee8c7871a9

图:被遮盖的图像,及使用基于部分卷积的网络得到的修复结果

“我们的模型可以很好地处理任何形状、大小、位置或距离图像边界任何距离的空白。以前的深度学习方法主要集中在位于图像中心附近的矩形区域,并且通常需要依赖成本很高的后期处理。“英伟达的研究人员在他们的研究报告中写道,“此外,我们的模型能够很好地处理越来越大的空白区域。”

为了训练神经网络,研究团队首先生成了55116个随机色条、形状和大小任意的masks,用于训练。他们还生成了25000个图像用于测试。为了提高重建图像的精度,研究人员根据相对于输入图像的大小,将这些训练图像进一步分为6类。

e0594fcbbc909bc6192e62a4a9edbba53524be1a

图:一些用于测试的masks

使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度学习框架,该团队通过将生成的mask应用在ImageNet数据集Places2和CelebA-HQ两个数据集的图像,训练其神经网络。

f247b4ead5bd300e64ac66540fa346e897a45390

在训练阶段,将空白或缺失的部分引入上述数据集的完整训练图像中,以使网络能够学习重建缺失的像素。

在测试阶段,另一批没有在训练期间使用的空白或缺失部分被引入数据集里的测试图像,以对重建的图像的精度进行无偏验证。

9359c9e21dd3e505b1b088ec1301821b33afa671

图:基于典型卷积层的结果(Conv)和“部分卷积”层的结果(PConv)对比

研究人员表示,现有的基于深度学习的图像修复方法不够好,因为丢失像素的输出必然取决于输入的值,而这些输入必须提供给神经网络,以找出丢失的像素。这就导致图像中出现诸如颜色差异或模糊之类的artifacts。

为了解决这个问题,NVIDIA团队开发了一种方法,确保丢失像素的输出不依赖于为这些像素提供的输入的值。这种方法使用一个“部分卷积”层,根据其对相应的接受域(receptive field)的有效性,对每个输出进行重新归一化(renormalization)。这种重新归一化可以确保输出值与每个接受域中缺失像素的值无关。

该模型是利用这些部分卷积实现的UNet架构构建的。使用一组损失函数,匹配VGG模型的特征损失以及风格损失,进而训练模型以产生逼真的输出。

2edf063ee0b4c812041cb1381221541810d2f3a8

表:各种不同方法的结果对比

研究团队称,该模型优于以前的方法。

“据我们所知,我们是第一个在不规则形状的孔洞上展示深度学习图像修复模型效果的人,”NVIDIA的研究人员说。

研究人员还在论文中提及,相同的框架也可以用来处理图像超分辨率任务。


原文发布时间为:2018-04-25

本文作者:肖琴

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:震撼!英伟达用深度学习做图像修复,毫无ps痕迹

相关文章
|
1月前
|
机器学习/深度学习 算法 计算机视觉
利用深度学习技术实现图像风格迁移
本文将介绍如何利用深度学习技术中的卷积神经网络,结合风格迁移算法,实现图像风格的转换。通过对图像内容和风格的理解,深度学习模型可以生成具有新风格的图像,为图像处理领域带来了新的可能性。
|
2月前
|
机器学习/深度学习 算法 数据可视化
通过深度学习和人脸图像进行年龄段估计matlab仿真
通过深度学习和人脸图像进行年龄段估计matlab仿真
|
1月前
|
机器学习/深度学习 算法 计算机视觉
利用深度学习技术实现自动图像风格转换
本文将介绍如何利用深度学习技术中的神经网络结构,例如卷积神经网络和生成对抗网络,来实现自动图像风格转换。通过对图像特征的提取和风格迁移算法的应用,我们可以实现将一幅图像的风格转换为另一幅图像的艺术效果,为图像处理领域带来全新的可能性。
|
7月前
|
机器学习/深度学习 算法 搜索推荐
使用深度学习进行图像风格转换
在计算机视觉领域,图像风格转换是一项引人注目的技术。它允许将图像的内容与另一个图像的风格相结合,从而创造出独特且令人惊艳的图像效果。近年来,深度学习已经成为实现图像风格转换的主要方法之一。
132 0
|
6天前
|
机器学习/深度学习 数据采集 TensorFlow
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
23 0
|
1月前
|
机器学习/深度学习 人工智能 算法
探索深度学习在图像生成领域的创新应用
【2月更文挑战第30天】 随着人工智能的飞速发展,深度学习技术已成为推动图像处理和生成领域革新的核心动力。本文将深入探讨深度学习模型特别是生成对抗网络(GANs)在图像生成方面的最新进展,包括高分辨率图像合成、风格迁移以及条件性图像编辑等。此外,文章还将分析目前面临的主要挑战,如模式崩溃、训练不稳定性以及计算资源消耗,并展望了未来可能的研究方向。
|
1月前
|
机器学习/深度学习 编解码 并行计算
深度学习的图像超分技术综述-输入单张图像(SISR)和输入多张图像的基于参考的图像(RefSR)
深度学习的图像超分技术综述-输入单张图像(SISR)和输入多张图像的基于参考的图像(RefSR)
19 0
|
1月前
|
机器学习/深度学习 算法 计算机视觉
利用深度学习算法实现图像风格转换技术探究
本文将通过深入分析深度学习算法在图像处理领域的应用,探讨如何利用神经网络实现图像风格转换技术。通过研究不同风格迁移算法的原理和实现方式,揭示其在艺术创作、图像编辑等领域的潜在应用和挑战。
|
3月前
|
机器学习/深度学习 算法框架/工具 Docker
TensorFlow 图像深度学习实用指南:1~3 全
TensorFlow 图像深度学习实用指南:1~3 全
38 1
|
9月前
|
机器学习/深度学习 算法
m基于OFDM+QPSK和DNN深度学习信道估计的无线图像传输matlab仿真,输出误码率曲线,并用实际图片进行测试
m基于OFDM+QPSK和DNN深度学习信道估计的无线图像传输matlab仿真,输出误码率曲线,并用实际图片进行测试
291 0

热门文章

最新文章