基于深度学习的图像抠图算法

简介: 数字图像抠图是当前计算机视觉的热门研究问题之一,其广泛应用于电脑特效制作、电影电视作品创作等领域。图像抠图的本质是图像的软分割,旨在提取图片、视频流中创作者感兴趣的前景物体,并将其同背景剥离和目标背景进行融合,从而获得新的具有视觉冲击力的图片或视频流。电影工业上常用绿幕来辅助抠图,但在自然图像中,如何精确地提取前景物体成为了当前研究的重难点。目标物体边缘的细节信息,包括动物的毛发、半透明的物件、颜色相近的物体、模糊的轮廓都会不同程度地影响图像抠图精度。

    基于深度学习的方法类似于一个黑盒,通过搭建学习网络迭代地求解出最优的 Alpha matte。He 等人使用一个用于分割的 CNN 网络训练生成出三分图,再结合 Closed-form 方法抠出质量更优的前景。Deep Image Matting不同于前面文献基于传统的方法,认为抠图问题仍是个颜色问题,尽管加入了别的特征信息,却依旧是在提取低水平信息(Low-level context)。文章作者提出了全卷积的编码解码网络来提取图像深层次的信息,直接从用户输入的图像和输入的三分图中计算Alpha matte 而不是仅仅依赖于颜色、纹理等浅层信息。

     AlphaGAN使用生成对抗网络来实现抠图,生成器部分生成得到 Alpha 通道流,判别器部分用于判断合成图像是否为真,使用 PatchGAN获取高频特征信息,避免直接生成的 Alpha matte 过于平滑,使训练生成器能够得到更锐利的结果。  

     深度人像抠图提出了一种不需要三分图作为先验输入的人像抠图算法,该方法基于以往的文献创建了私有的人像抠图数据集,并将原始图像作为输入,网络结合人像结构信息自动预测三分图,最终得到 Alpha matte。Zhang 等人分别在解码器部分预测了前景和背景区域,随后融合两个结果以预测更好的 Alpha matte 结果。

     基于学习的采样方法则通过估计前景和背景颜色作为网络的先验,文章认为背景可以作为前景遮挡的不透明物,其具有连续的低层次特征信息。首先基于连续的低层次信息估计背景,再由背景估计前景部分,最终将这两个部分作为先验输入来预测 Alpha 值。

     AdaMatting提出将抠图细分成自适应三分图估计和 Alpha matte 估计两个子任务,将半透明区域和不透明的前景背景分离,即便输入的三分图不够精细,也能预测出良好的抠图结果。HAttMatting通过多层特征提取网络得到的高级语义信息和低级外观信息来改进前景细节,提出了端到端的分层注意力抠图网络。Adobe 最新的 HDMatting则可处理超高分辨率的 6000×6000 图像。算法基于图像块剪裁拼接的形式,解决了不同图像块间的语义一致性和依赖性问题。提出了通过给定的三分图先验来对跨图像块的语义依赖性建立数学模型的全新超高分辨率图像抠图方法。

相关文章
|
1月前
|
机器学习/深度学习 算法 计算机视觉
利用深度学习技术实现图像风格迁移
本文将介绍如何利用深度学习技术中的卷积神经网络,结合风格迁移算法,实现图像风格的转换。通过对图像内容和风格的理解,深度学习模型可以生成具有新风格的图像,为图像处理领域带来了新的可能性。
|
1月前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络的视频手部检测算法matlab仿真
基于yolov2深度学习网络的视频手部检测算法matlab仿真
|
1天前
|
机器学习/深度学习 人工智能 算法
揭秘深度学习中的优化算法
【4月更文挑战第24天】 在深度学习的广阔天地中,优化算法扮演着至关重要的角色。本文将深入探讨几种主流的优化算法,包括梯度下降法、随机梯度下降法、Adam等,并分析它们的特点和适用场景。我们将通过理论分析和实例演示,揭示这些优化算法如何帮助模型更高效地学习参数,从而提高模型的性能。
|
8天前
|
机器学习/深度学习 数据采集 TensorFlow
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
29 0
|
9天前
|
文字识别 算法 计算机视觉
图像倾斜校正算法的MATLAB实现:图像倾斜角检测及校正
图像倾斜校正算法的MATLAB实现:图像倾斜角检测及校正
15 0
|
15天前
|
机器学习/深度学习 自然语言处理 算法
|
1月前
|
机器学习/深度学习 算法
m基于深度学习的64QAM调制解调系统相位检测和补偿算法matlab仿真
MATLAB 2022a仿真实现了基于深度学习的64QAM相位检测和补偿算法,有效应对通信中相位失真问题。通过DNN进行相位检测和补偿,降低解调错误。核心程序生成随机信号,模拟AWGN信道,比较了有无相位补偿的误码率,结果显示补偿能显著提升性能。
27 8
|
1月前
|
机器学习/深度学习 人工智能 算法
探索深度学习在图像生成领域的创新应用
【2月更文挑战第30天】 随着人工智能的飞速发展,深度学习技术已成为推动图像处理和生成领域革新的核心动力。本文将深入探讨深度学习模型特别是生成对抗网络(GANs)在图像生成方面的最新进展,包括高分辨率图像合成、风格迁移以及条件性图像编辑等。此外,文章还将分析目前面临的主要挑战,如模式崩溃、训练不稳定性以及计算资源消耗,并展望了未来可能的研究方向。
|
1月前
|
机器学习/深度学习 算法 生物认证
基于深度学习的人员指纹身份识别算法matlab仿真
这是一个关于使用深度学习进行指纹识别的算法概述。在matlab2022a环境下,通过预处理指纹图像(灰度化、二值化等)并利用卷积神经网络(CNN)提取特征。CNN架构包含卷积、池化、归一化和全连接层。特征向量通过余弦相似度计算匹配,训练时采用triplet loss优化。部分核心代码展示了加载预训练模型进行测试集分类预测并计算准确率的过程。
|
1月前
|
机器学习/深度学习 编解码 并行计算
深度学习的图像超分技术综述-输入单张图像(SISR)和输入多张图像的基于参考的图像(RefSR)
深度学习的图像超分技术综述-输入单张图像(SISR)和输入多张图像的基于参考的图像(RefSR)
22 0