带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3) https://developer.aliyun.com/article/1243349?groupCode=taobaotech
风格编辑及选型
原始风格不太好看是就没法用了
迁移训练后的模型风格就没法改了
No No No,每一个模型不止可以用来生成数据,也可沉淀为一个基础组件、基础能力。不止是想在原始风格上做微调、优化,甚至是想创造新的风格,都是可以的:
1. 模型融合:通过融合多个模型、设置不同的融合参数/层数、使用不同的融合方式等,可以实现对劣势风格模型做
优化,也可实现风格的调整;
2. 模型套娃:将不同风格的模型串联,使得最终输出的风格携带了中间模型的一些五官、色调等风格特征。
融合过程中实现对漫画风格的微调(瞳孔颜色、嘴唇、肤色色调等)
通过风格创造及微调,可以实现不同风格的模型,从而实现不同风格人脸数据的生产。
通过基于StyleGAN的迁移学习、风格编辑优化、数据生成,我们便可以获得我们的第一桶金:具有较高丰富度的、1024×1024分辨率的、风格选型后的风格化数据集。
基于非监督图像翻译的配对数据制作
非监督图像翻译技术通过学习两个域之间的映射关系,可以将一个域的图像转换到另一个域上,从而提供制作图像对的可能。例如该领域出名的CycleGAN具有如下的结构:
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(5) https://developer.aliyun.com/article/1243347?groupCode=taobaotech