带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2)

简介: 带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2)

带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1) https://developer.aliyun.com/article/1243351?groupCode=taobaotech




而为了将人脸风格化这项技术落地到我们的直播、买家秀、卖家秀等不同的泛娱乐业务场景,我们做到了:


1. 低成本生产不同人脸风格化编辑的模型(本文所展示的所有效果均在没有任何设计资源的投入下实现的);

2. 适当进行风格编辑以配合设计、产品、运营进行风格选型;

3. 能够在人脸ID感和风格化程度之间做倾斜与平衡;

4. 保证模型的泛化性,以适用于不同的人脸、角度、场景环境;

5. 在保证清晰度等效果的前提下,降低模型对算力的要求。


整体方案


我们的整体算法方案采用三个阶段:


1. 阶段一:基于StyleGAN的风格化数据生成;

2. 阶段二:非监督图像翻译生成配对图像;

3. 阶段三:使用配对图像进行移动端有监督图像翻译模型的训练。


image.png

人脸风格化编辑整体算法方案


当然,也可以用二阶段方案:StyleGAN制作pair图像对,然后直接训练有监督小模型。但增加非监督图像翻译阶段,可以将风格化数据生产和配对图像数据制作两个任务解耦开来,通过对阶段内算法、阶段间数据的优化改进,结合移动端有监督小模型训练,最终解决低成本的风格化模型生产、风格的编辑及选型、ID感及风格化的倾斜、部署模型的轻量化等问题。


基于StyleGAN的数据生成


使用StyleGAN算法进行数据生成的工作上,主要针对3个问题的解决

1. 提升模型的生成数据丰富度和风格化程度:例如生成CG脸更像CG,且各个角度、表情、发型等形象更丰富;

2. 提升数据生成效率:生成的数据良率高、分布更加可控;

3. 风格编辑及选型:例如修改CG脸的眼睛大小。




带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3) https://developer.aliyun.com/article/1243349?groupCode=taobaotech


相关文章
|
机器学习/深度学习 人工智能 算法
【视觉智能产品速递——人物动漫化能力上新】
VIAPI—人物动漫化!新增风格版本发布。 产品功能:人物动漫化——输入一张人物图像,生成其二次元卡通形象,返回卡通化后的结果图像。 🔥🔥🔥 本次更新风格:国风工笔画、港漫风
2008 4
【视觉智能产品速递——人物动漫化能力上新】
|
搜索推荐 数据安全/隐私保护
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1)
376 0
|
机器学习/深度学习
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3)
带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3)
366 0
|
机器学习/深度学习 算法 数据挖掘
带你读《深入理解AutoML和AutoDL:构建自动化机器 学习与深度学习平台》之三:机器学习概述
本书从理论与实践的双重维度,对AutoML和AutoDL的入门知识和进阶知识做了全面介绍。
|
人工智能 编解码 自然语言处理
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
DreamActor-M1是字节跳动研发的AI图像动画框架,通过混合引导机制实现高保真人物动画生成,支持多语言语音驱动和形状自适应功能。
1127 40
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
|
C语言 Python
|
存储 JavaScript 程序员
【字符编码详解】ASCII、GB2312、GBK、UTF-8、UTF-16编码与Unicode字符集
【字符编码详解】ASCII、GB2312、GBK、UTF-8、UTF-16编码与Unicode字符集
2323 0
|
机器学习/深度学习 算法 TensorFlow
【深度学习】基于卷积神经网络(tensorflow)的人脸识别项目(一)
【深度学习】基于卷积神经网络(tensorflow)的人脸识别项目(一)
649 0
【深度学习】基于卷积神经网络(tensorflow)的人脸识别项目(一)
|
消息中间件 存储 SQL
网易云音乐基于 Flink + Kafka 的实时数仓建设实践
本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。
网易云音乐基于 Flink + Kafka 的实时数仓建设实践
|
JavaScript 前端开发
vue项目支付功能
vue项目支付功能
vue项目支付功能

热门文章

最新文章