带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(4) https://developer.aliyun.com/article/1243348?groupCode=taobaotech
我在上文讨论“模型丰富度”的时候说过：
这（低丰富度）会使得后续应用模型生成的风格化数据集分布过于单调，不利于U-GAT-IT的训练。
这是为什么么？因为CycleGAN的框架要求两个域的数据要基本符合双射关系，否则域X翻译到域Y后，就很容易发生语义丢失。而StyleGAN2 inversion生成的图像存在一个问题，就是大部分的背景信息会丢失，变成简单的、模糊的背景（当然，有一些最新的论文极大缓解了这个问题，例如腾讯AI Lab的High-Fidelity GAN Inversion）。如果使用数据集Y和真实人脸数据集X直接训练U-GAT-IT，就很容易发生数据集X生成的对应图像Xgen的背景丢失大量语义信息，导致很难形成有效的图像对。
于是针对此提出了改进U-GAT-IT以实现固定背景的两种方式：基于增加背景约束的Region-based U-GAT-IT算法改进，基于增加掩膜分支的Mask U-GAT-IT算法改进。这两种方式存在ID感和风格化程度强弱和均衡的差异，结合超参的调整，为我们的ID感和风格化提供了一个控制余地。同时，我们也进行网络结构改进、模型EMA、边缘提升等手段进一步提升生成效果。
左为原图，中间和右边是非监督图像翻译的生成效果，差异在于对算法进行了ID感和风格化程度的控制
最终，使用训练好的生成模型对真人图像数据集进行推理翻译得到对应的配对风格化数据集。
有监督图像翻译
基于MNN不同算子及模块在移动端上的计算效率的研究，进行 移动端模型结构设计 及 模型计算量分档，并结合对CartoonGAN、AnimeGAN、pix2pix等研究的改进，最终得到了 轻量、高清晰度、高风格化程度的移动端模型：
*清晰度使用 拉普拉斯梯度值求和 作为统计指标
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(6) https://developer.aliyun.com/article/1243345?groupCode=taobaotech
