带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2) https://developer.aliyun.com/article/1243350?groupCode=taobaotech
下面我们针对这三方面展开。
丰富度和风格化
基于StyleGAN2-ADA的迁移学习遇到的第一个重要问题就是：模型的丰富度和模型的风格化程度之间的trade-off。使用训练集图片进行迁移学习时，受训练集数据的丰富度影响，迁移后的模型在人脸表情、人脸角度、人脸元素等方面的丰富度也会受损；同时，随着迁移训练的迭代代数增加、模型风格化程度/FID的提升，模型丰富度也会越低。这会使得后续应用模型生成的风格化数据集分布过于单调，不利于U-GAT-IT的训练。
为了提升模型的丰富度，我们进行了如下改进：
1. 调整、优化训练数据集的数据分布；
2. 模型融合：因为源模型在大量数据上进行训练，所以源模型的生成空间具有非常高的丰富度；如果将迁移模型低分辨率层的权重替换为源模型对应层权重得到融合模型，则可使得新模型的生成图像在大的元素/特征上的分布与源模型一致，从而在低分辨率特征上获得与源模型一致的丰富度；
融合方式：Swap layer直接交换不同层的参数，容易造成生成图像的不协调、细节bad cases；而通过平滑的模型插值，可以获得更好的生成效果（下面的图示皆由插值融合方式的融合模型生成的）
3. 对不同层的学习率以及特征进行约束、优化调整；
4. 迭代优化：人工筛选新生产的数据，添加到原风格化数据集中以提升丰富度，然后在迭代训练优化直到得到一个能生成较高丰富度、满意风格化程度的模型。
原图，迁移模型，融合模型
数据生成效率
如果我们拥有一个丰富度高的StyleGAN2模型，那如何生成一个具有丰富分布的风格数据集呢？有两个做法：
1. 随机采样隐变量，生成随机风格数据集；
2. 使用StyleGAN inversion，输入符合一定分布的人脸数据，制作对应的风格数据集。
做法1可以提供更丰富的风格化数据（特别是背景的丰富度），而做法2可以提高生成数据的有效性和提供一定程度的分布控制，提升风格化数据生产效率。
原始图像，StyleGAN Inversion得到的隐向量送入“高级脸风格/动画风格” StyleGAN2生成器得到的图像
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(4) https://developer.aliyun.com/article/1243348?groupCode=taobaotech
