带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2)

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
简介: 带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2)

带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1) https://developer.aliyun.com/article/1243351?groupCode=taobaotech




而为了将人脸风格化这项技术落地到我们的直播、买家秀、卖家秀等不同的泛娱乐业务场景,我们做到了:


1. 低成本生产不同人脸风格化编辑的模型(本文所展示的所有效果均在没有任何设计资源的投入下实现的);

2. 适当进行风格编辑以配合设计、产品、运营进行风格选型;

3. 能够在人脸ID感和风格化程度之间做倾斜与平衡;

4. 保证模型的泛化性,以适用于不同的人脸、角度、场景环境;

5. 在保证清晰度等效果的前提下,降低模型对算力的要求。


整体方案


我们的整体算法方案采用三个阶段:


1. 阶段一:基于StyleGAN的风格化数据生成;

2. 阶段二:非监督图像翻译生成配对图像;

3. 阶段三:使用配对图像进行移动端有监督图像翻译模型的训练。


image.png

人脸风格化编辑整体算法方案


当然,也可以用二阶段方案:StyleGAN制作pair图像对,然后直接训练有监督小模型。但增加非监督图像翻译阶段,可以将风格化数据生产和配对图像数据制作两个任务解耦开来,通过对阶段内算法、阶段间数据的优化改进,结合移动端有监督小模型训练,最终解决低成本的风格化模型生产、风格的编辑及选型、ID感及风格化的倾斜、部署模型的轻量化等问题。


基于StyleGAN的数据生成


使用StyleGAN算法进行数据生成的工作上,主要针对3个问题的解决

1. 提升模型的生成数据丰富度和风格化程度:例如生成CG脸更像CG,且各个角度、表情、发型等形象更丰富;

2. 提升数据生成效率:生成的数据良率高、分布更加可控;

3. 风格编辑及选型:例如修改CG脸的眼睛大小。




带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3) https://developer.aliyun.com/article/1243349?groupCode=taobaotech


相关文章
|
前端开发
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(4)
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(4)
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(4)
|
机器学习/深度学习 编解码
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(4)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(4)
|
搜索推荐 数据安全/隐私保护
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1)
116 0
|
机器学习/深度学习
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3)
|
机器学习/深度学习 人工智能 算法
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(5)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(5)
|
机器学习/深度学习 数据采集 自然语言处理
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(6)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(6)
|
新零售
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(3)
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(3)
|
新零售 前端开发 API
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(19)
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(19)
|
编解码 算法
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(7)
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(7)
|
编解码
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(8)
带你读《2022技术人的百宝黑皮书》——全景封面视频生成技术在淘宝的应用(8)
112 0

热门文章

最新文章