人像美肤介绍
人像美肤模型对输入含有人像的图像进行处理,无需任何额外输入,实现脸部皮肤区域匀肤(处理痘印、肤色不均等)、去瑕疵(脂肪粒、斑点、痣等)及全身皮肤区域美白。模型仅对皮肤区域进行处理,不影响其他区域。
模型描述
为实现精细化的人像美肤,我们整体采用了先定位,后编辑的二阶段处理方法,且针对美肤任务中的不同瑕疵类型设计了不同的处理网络。
- 匀肤:对于匀肤这类需要处理大面积区域的任务,我们借鉴数字图像处理领域中的混合图层(blend layer)概念,基于unet设计了一个混合图层预测网络以实现目标区域的编辑。
- 去瑕疵:对于脂肪粒、痣这类局部区域的瑕疵,我们首先利用unet对于目标区域进行分割定位,而后使用inpainting网络对目标区域进行修复。
- 美白:我们利用皮肤分割算法结合混合图层的处理方式,实现皮肤区域的美白。
值得说明的是,我们也可以利用单个网络实现端到端的人像美肤(参考下方引用文章),但考虑到输入图像的分辨率、人像占比以及不同瑕疵的分布差异等问题,这里我们采用了多模型的方法以实现更精准、更鲁棒的美肤效果。
期望模型使用方式以及适用范围
使用方式:
- 直接推理,输入图像直接进行推理
使用范围:
- 适合含有人像的图像分割,期望图像中人像占比不要过小
- 在分辨率小于5000×5000图像上可取得期望效果
目标场景:
- 需要进行皮肤美化的场景,如摄影修图、图像直播等。
人像美肤模型体验
测试完成图:
总结
人像美肤模型从这次体验来讲,图像处理还是很完美的,体验不错,人像精修,比如:磨皮、皮肤美白以及瑕疵修复基本都能满足,值得一试~