基于深度学习的图像抠图算法

简介: 数字图像抠图是当前计算机视觉的热门研究问题之一,其广泛应用于电脑特效制作、电影电视作品创作等领域。图像抠图的本质是图像的软分割,旨在提取图片、视频流中创作者感兴趣的前景物体,并将其同背景剥离和目标背景进行融合,从而获得新的具有视觉冲击力的图片或视频流。电影工业上常用绿幕来辅助抠图,但在自然图像中,如何精确地提取前景物体成为了当前研究的重难点。目标物体边缘的细节信息,包括动物的毛发、半透明的物件、颜色相近的物体、模糊的轮廓都会不同程度地影响图像抠图精度。

    基于深度学习的方法类似于一个黑盒,通过搭建学习网络迭代地求解出最优的 Alpha matte。He 等人使用一个用于分割的 CNN 网络训练生成出三分图,再结合 Closed-form 方法抠出质量更优的前景。Deep Image Matting不同于前面文献基于传统的方法,认为抠图问题仍是个颜色问题,尽管加入了别的特征信息,却依旧是在提取低水平信息(Low-level context)。文章作者提出了全卷积的编码解码网络来提取图像深层次的信息,直接从用户输入的图像和输入的三分图中计算Alpha matte 而不是仅仅依赖于颜色、纹理等浅层信息。

     AlphaGAN使用生成对抗网络来实现抠图,生成器部分生成得到 Alpha 通道流,判别器部分用于判断合成图像是否为真,使用 PatchGAN获取高频特征信息,避免直接生成的 Alpha matte 过于平滑,使训练生成器能够得到更锐利的结果。  

     深度人像抠图提出了一种不需要三分图作为先验输入的人像抠图算法,该方法基于以往的文献创建了私有的人像抠图数据集,并将原始图像作为输入,网络结合人像结构信息自动预测三分图,最终得到 Alpha matte。Zhang 等人分别在解码器部分预测了前景和背景区域,随后融合两个结果以预测更好的 Alpha matte 结果。

     基于学习的采样方法则通过估计前景和背景颜色作为网络的先验,文章认为背景可以作为前景遮挡的不透明物,其具有连续的低层次特征信息。首先基于连续的低层次信息估计背景,再由背景估计前景部分,最终将这两个部分作为先验输入来预测 Alpha 值。

     AdaMatting提出将抠图细分成自适应三分图估计和 Alpha matte 估计两个子任务,将半透明区域和不透明的前景背景分离,即便输入的三分图不够精细,也能预测出良好的抠图结果。HAttMatting通过多层特征提取网络得到的高级语义信息和低级外观信息来改进前景细节,提出了端到端的分层注意力抠图网络。Adobe 最新的 HDMatting则可处理超高分辨率的 6000×6000 图像。算法基于图像块剪裁拼接的形式,解决了不同图像块间的语义一致性和依赖性问题。提出了通过给定的三分图先验来对跨图像块的语义依赖性建立数学模型的全新超高分辨率图像抠图方法。

相关文章
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的优化算法及其应用
【10月更文挑战第8天】 本文将探讨深度学习中常用的优化算法,包括梯度下降法、Adam和RMSProp等,介绍这些算法的基本原理与应用场景。通过实例分析,帮助读者更好地理解和应用这些优化算法,提高深度学习模型的训练效率与性能。
144 63
|
8天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
垃圾识别分类系统。本系统采用Python作为主要编程语言,通过收集了5种常见的垃圾数据集('塑料', '玻璃', '纸张', '纸板', '金属'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对图像数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。然后使用Django搭建Web网页端可视化操作界面,实现用户在网页端上传一张垃圾图片识别其名称。
36 0
基于Python深度学习的【垃圾识别系统】实现~TensorFlow+人工智能+算法网络
|
8天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
29 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
8天前
|
机器学习/深度学习 人工智能 算法
基于深度学习的【蔬菜识别】系统实现~Python+人工智能+TensorFlow+算法模型
蔬菜识别系统,本系统使用Python作为主要编程语言,通过收集了8种常见的蔬菜图像数据集('土豆', '大白菜', '大葱', '莲藕', '菠菜', '西红柿', '韭菜', '黄瓜'),然后基于TensorFlow搭建卷积神经网络算法模型,通过多轮迭代训练最后得到一个识别精度较高的模型文件。在使用Django开发web网页端操作界面,实现用户上传一张蔬菜图片识别其名称。
47 0
基于深度学习的【蔬菜识别】系统实现~Python+人工智能+TensorFlow+算法模型
|
19天前
|
机器学习/深度学习 编解码 算法
什么是超分辨率?浅谈一下基于深度学习的图像超分辨率技术
超分辨率技术旨在提升图像或视频的清晰度,通过增加单位长度内的采样点数量来提高空间分辨率。基于深度学习的方法,如SRCNN、VDSR、SRResNet等,通过卷积神经网络和残差学习等技术,显著提升了图像重建的质量。此外,基于参考图像的超分辨率技术通过利用高分辨率参考图像,进一步提高了重建图像的真实感和细节。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
25天前
|
机器学习/深度学习 人工智能 算法
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
车辆车型识别,使用Python作为主要编程语言,通过收集多种车辆车型图像数据集,然后基于TensorFlow搭建卷积网络算法模型,并对数据集进行训练,最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面,实现用户上传一张车辆图片识别其类型。
72 0
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
|
14天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习的奇迹:如何用神经网络识别图像
【10月更文挑战第33天】在这篇文章中,我们将探索深度学习的奇妙世界,特别是卷积神经网络(CNN)在图像识别中的应用。我们将通过一个简单的代码示例,展示如何使用Python和Keras库构建一个能够识别手写数字的神经网络。这不仅是对深度学习概念的直观介绍,也是对技术实践的一次尝试。让我们一起踏上这段探索之旅,看看数据、模型和代码是如何交织在一起,创造出令人惊叹的结果。
26 0
|
1月前
|
机器学习/深度学习 JSON 搜索推荐
深度学习的协同过滤的推荐算法-毕设神器
深度学习的协同过滤的推荐算法-毕设神器
41 4
|
1月前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
56 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练

热门文章

最新文章

下一篇
无影云桌面