基于深度学习的图像抠图算法

简介: 数字图像抠图是当前计算机视觉的热门研究问题之一,其广泛应用于电脑特效制作、电影电视作品创作等领域。图像抠图的本质是图像的软分割,旨在提取图片、视频流中创作者感兴趣的前景物体,并将其同背景剥离和目标背景进行融合,从而获得新的具有视觉冲击力的图片或视频流。电影工业上常用绿幕来辅助抠图,但在自然图像中,如何精确地提取前景物体成为了当前研究的重难点。目标物体边缘的细节信息,包括动物的毛发、半透明的物件、颜色相近的物体、模糊的轮廓都会不同程度地影响图像抠图精度。

    基于深度学习的方法类似于一个黑盒,通过搭建学习网络迭代地求解出最优的 Alpha matte。He 等人使用一个用于分割的 CNN 网络训练生成出三分图,再结合 Closed-form 方法抠出质量更优的前景。Deep Image Matting不同于前面文献基于传统的方法,认为抠图问题仍是个颜色问题,尽管加入了别的特征信息,却依旧是在提取低水平信息(Low-level context)。文章作者提出了全卷积的编码解码网络来提取图像深层次的信息,直接从用户输入的图像和输入的三分图中计算Alpha matte 而不是仅仅依赖于颜色、纹理等浅层信息。

     AlphaGAN使用生成对抗网络来实现抠图,生成器部分生成得到 Alpha 通道流,判别器部分用于判断合成图像是否为真,使用 PatchGAN获取高频特征信息,避免直接生成的 Alpha matte 过于平滑,使训练生成器能够得到更锐利的结果。  

     深度人像抠图提出了一种不需要三分图作为先验输入的人像抠图算法,该方法基于以往的文献创建了私有的人像抠图数据集,并将原始图像作为输入,网络结合人像结构信息自动预测三分图,最终得到 Alpha matte。Zhang 等人分别在解码器部分预测了前景和背景区域,随后融合两个结果以预测更好的 Alpha matte 结果。

     基于学习的采样方法则通过估计前景和背景颜色作为网络的先验,文章认为背景可以作为前景遮挡的不透明物,其具有连续的低层次特征信息。首先基于连续的低层次信息估计背景,再由背景估计前景部分,最终将这两个部分作为先验输入来预测 Alpha 值。

     AdaMatting提出将抠图细分成自适应三分图估计和 Alpha matte 估计两个子任务,将半透明区域和不透明的前景背景分离,即便输入的三分图不够精细,也能预测出良好的抠图结果。HAttMatting通过多层特征提取网络得到的高级语义信息和低级外观信息来改进前景细节,提出了端到端的分层注意力抠图网络。Adobe 最新的 HDMatting则可处理超高分辨率的 6000×6000 图像。算法基于图像块剪裁拼接的形式,解决了不同图像块间的语义一致性和依赖性问题。提出了通过给定的三分图先验来对跨图像块的语义依赖性建立数学模型的全新超高分辨率图像抠图方法。

相关文章
|
18天前
|
机器学习/深度学习 人工智能 算法
【眼疾病识别】图像识别+深度学习技术+人工智能+卷积神经网络算法+计算机课设+Python+TensorFlow
眼疾识别系统,使用Python作为主要编程语言进行开发,基于深度学习等技术使用TensorFlow搭建ResNet50卷积神经网络算法,通过对眼疾图片4种数据集进行训练('白内障', '糖尿病性视网膜病变', '青光眼', '正常'),最终得到一个识别精确度较高的模型。然后使用Django框架开发Web网页端可视化操作界面,实现用户上传一张眼疾图片识别其名称。
52 9
【眼疾病识别】图像识别+深度学习技术+人工智能+卷积神经网络算法+计算机课设+Python+TensorFlow
|
2天前
|
机器学习/深度学习 人工智能 算法
【深度学习】python之人工智能应用篇——图像生成技术(二)
图像生成是计算机视觉和计算机图形学领域的一个重要研究方向,它指的是通过计算机算法和技术生成或合成图像的过程。随着深度学习、生成模型等技术的发展,图像生成领域取得了显著的进步,并在多个应用场景中发挥着重要作用。
15 9
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
【深度学习】探讨最新的深度学习算法、模型创新以及在图像识别、自然语言处理等领域的应用进展
深度学习作为人工智能领域的重要分支,近年来在算法、模型以及应用领域都取得了显著的进展。以下将探讨最新的深度学习算法与模型创新,以及它们在图像识别、自然语言处理(NLP)等领域的应用进展。
14 6
|
3天前
|
机器学习/深度学习 算法 TensorFlow
【深度学习】深度学习语音识别算法的详细解析
深度学习语音识别算法是一种基于人工神经网络的语音识别技术,其核心在于利用深度神经网络(Deep Neural Network,DNN)自动从语音信号中学习有意义的特征,并生成高效的语音识别模型。以下是对深度学习语音识别算法的详细解析
11 5
|
1天前
|
机器学习/深度学习 自然语言处理 负载均衡
揭秘混合专家(MoE)模型的神秘面纱:算法、系统和应用三大视角全面解析,带你领略深度学习领域的前沿技术!
【8月更文挑战第19天】在深度学习领域,混合专家(Mixture of Experts, MoE)模型通过整合多个小型专家网络的输出以实现高性能。从算法视角,MoE利用门控网络分配输入至专家网络,并通过组合机制集成输出。系统视角下,MoE需考虑并行化、通信开销及负载均衡等优化策略。在应用层面,MoE已成功应用于Google的BERT模型、Facebook的推荐系统及Microsoft的语音识别系统等多个场景。这是一种强有力的工具,能够解决复杂问题并提升效率。
|
3天前
|
机器学习/深度学习 人工智能 算法
【语音识别算法】深度学习语音识别算法与传统语音识别算法的区别、对比及联系
深度学习语音识别算法与传统语音识别算法在理论基础、实现方式、性能表现等方面存在显著区别,同时也有一些联系。下面将从几个方面详细比较这两种方法,并给出应用实例和代码示例
7 4
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习的伦理困境:数据隐私与算法偏见
【8月更文挑战第9天】随着深度学习技术的飞速发展,其对个人隐私和数据安全的威胁日益凸显。本文探讨了深度学习在处理敏感信息时可能导致的数据泄露风险,以及训练数据中固有偏见如何影响算法公正性的问题。文章分析了当前隐私保护措施的局限性,并提出了减少算法偏见的方法。最后,本文讨论了如何在保障技术进步的同时,确保技术应用不侵犯个人权益,呼吁建立更为全面的伦理框架以指导深度学习的发展。
|
7天前
|
算法 前端开发 计算机视觉
基于均值坐标(Mean-Value Coordinates)的图像融合算法的优化实现
基于均值坐标(Mean-Value Coordinates)的图像融合算法的优化实现
15 0
|
7天前
|
自然语言处理 并行计算 算法
基于均值坐标(Mean-Value Coordinates)的图像融合算法的具体实现
基于均值坐标(Mean-Value Coordinates)的图像融合算法的具体实现
15 0
|
1月前
|
机器学习/深度学习 编解码 算法框架/工具
使用Python实现深度学习模型:图像超分辨率与去噪
【7月更文挑战第17天】 使用Python实现深度学习模型:图像超分辨率与去噪
60 4