带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1) https://developer.aliyun.com/article/1243351?groupCode=taobaotech
而为了将人脸风格化这项技术落地到我们的直播、买家秀、卖家秀等不同的泛娱乐业务场景,我们做到了:
1. 低成本生产不同人脸风格化编辑的模型(本文所展示的所有效果均在没有任何设计资源的投入下实现的);
2. 适当进行风格编辑以配合设计、产品、运营进行风格选型;
3. 能够在人脸ID感和风格化程度之间做倾斜与平衡;
4. 保证模型的泛化性,以适用于不同的人脸、角度、场景环境;
5. 在保证清晰度等效果的前提下,降低模型对算力的要求。
整体方案
我们的整体算法方案采用三个阶段:
1. 阶段一:基于StyleGAN的风格化数据生成;
2. 阶段二:非监督图像翻译生成配对图像;
3. 阶段三:使用配对图像进行移动端有监督图像翻译模型的训练。
人脸风格化编辑整体算法方案
当然,也可以用二阶段方案:StyleGAN制作pair图像对,然后直接训练有监督小模型。但增加非监督图像翻译阶段,可以将风格化数据生产和配对图像数据制作两个任务解耦开来,通过对阶段内算法、阶段间数据的优化改进,结合移动端有监督小模型训练,最终解决低成本的风格化模型生产、风格的编辑及选型、ID感及风格化的倾斜、部署模型的轻量化等问题。
基于StyleGAN的数据生成
使用StyleGAN算法进行数据生成的工作上,主要针对3个问题的解决:
1. 提升模型的生成数据丰富度和风格化程度:例如生成CG脸更像CG,且各个角度、表情、发型等形象更丰富;
2. 提升数据生成效率:生成的数据良率高、分布更加可控;
3. 风格编辑及选型:例如修改CG脸的眼睛大小。
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3) https://developer.aliyun.com/article/1243349?groupCode=taobaotech