基于深度学习的方法类似于一个黑盒,通过搭建学习网络迭代地求解出最优的 Alpha matte。He 等人使用一个用于分割的 CNN 网络训练生成出三分图,再结合 Closed-form 方法抠出质量更优的前景。Deep Image Matting不同于前面文献基于传统的方法,认为抠图问题仍是个颜色问题,尽管加入了别的特征信息,却依旧是在提取低水平信息(Low-level context)。文章作者提出了全卷积的编码解码网络来提取图像深层次的信息,直接从用户输入的图像和输入的三分图中计算Alpha matte 而不是仅仅依赖于颜色、纹理等浅层信息。
AlphaGAN使用生成对抗网络来实现抠图,生成器部分生成得到 Alpha 通道流,判别器部分用于判断合成图像是否为真,使用 PatchGAN获取高频特征信息,避免直接生成的 Alpha matte 过于平滑,使训练生成器能够得到更锐利的结果。
深度人像抠图提出了一种不需要三分图作为先验输入的人像抠图算法,该方法基于以往的文献创建了私有的人像抠图数据集,并将原始图像作为输入,网络结合人像结构信息自动预测三分图,最终得到 Alpha matte。Zhang 等人分别在解码器部分预测了前景和背景区域,随后融合两个结果以预测更好的 Alpha matte 结果。
基于学习的采样方法则通过估计前景和背景颜色作为网络的先验,文章认为背景可以作为前景遮挡的不透明物,其具有连续的低层次特征信息。首先基于连续的低层次信息估计背景,再由背景估计前景部分,最终将这两个部分作为先验输入来预测 Alpha 值。
AdaMatting提出将抠图细分成自适应三分图估计和 Alpha matte 估计两个子任务,将半透明区域和不透明的前景背景分离,即便输入的三分图不够精细,也能预测出良好的抠图结果。HAttMatting通过多层特征提取网络得到的高级语义信息和低级外观信息来改进前景细节,提出了端到端的分层注意力抠图网络。Adobe 最新的 HDMatting则可处理超高分辨率的 6000×6000 图像。算法基于图像块剪裁拼接的形式,解决了不同图像块间的语义一致性和依赖性问题。提出了通过给定的三分图先验来对跨图像块的语义依赖性建立数学模型的全新超高分辨率图像抠图方法。