带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2)

简介: 带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(2)

带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(1) https://developer.aliyun.com/article/1243351?groupCode=taobaotech




而为了将人脸风格化这项技术落地到我们的直播、买家秀、卖家秀等不同的泛娱乐业务场景,我们做到了:


1. 低成本生产不同人脸风格化编辑的模型(本文所展示的所有效果均在没有任何设计资源的投入下实现的);

2. 适当进行风格编辑以配合设计、产品、运营进行风格选型;

3. 能够在人脸ID感和风格化程度之间做倾斜与平衡;

4. 保证模型的泛化性,以适用于不同的人脸、角度、场景环境;

5. 在保证清晰度等效果的前提下,降低模型对算力的要求。


整体方案


我们的整体算法方案采用三个阶段:


1. 阶段一:基于StyleGAN的风格化数据生成;

2. 阶段二:非监督图像翻译生成配对图像;

3. 阶段三:使用配对图像进行移动端有监督图像翻译模型的训练。


image.png

人脸风格化编辑整体算法方案


当然,也可以用二阶段方案:StyleGAN制作pair图像对,然后直接训练有监督小模型。但增加非监督图像翻译阶段,可以将风格化数据生产和配对图像数据制作两个任务解耦开来,通过对阶段内算法、阶段间数据的优化改进,结合移动端有监督小模型训练,最终解决低成本的风格化模型生产、风格的编辑及选型、ID感及风格化的倾斜、部署模型的轻量化等问题。


基于StyleGAN的数据生成


使用StyleGAN算法进行数据生成的工作上,主要针对3个问题的解决

1. 提升模型的生成数据丰富度和风格化程度:例如生成CG脸更像CG,且各个角度、表情、发型等形象更丰富;

2. 提升数据生成效率:生成的数据良率高、分布更加可控;

3. 风格编辑及选型:例如修改CG脸的眼睛大小。




带你读《2022技术人的百宝黑皮书》——移动端人脸风格化技术的应用(3) https://developer.aliyun.com/article/1243349?groupCode=taobaotech


相关文章
|
机器学习/深度学习 人工智能 算法
【视觉智能产品速递——人物动漫化能力上新】
VIAPI—人物动漫化!新增风格版本发布。 产品功能:人物动漫化——输入一张人物图像,生成其二次元卡通形象,返回卡通化后的结果图像。 🔥🔥🔥 本次更新风格:国风工笔画、港漫风
1662 3
【视觉智能产品速递——人物动漫化能力上新】
|
安全 Java Maven
关于代码混淆,看这篇就够了
关于代码混淆,看这篇就够了
2032 4
|
Android开发 开发者 UED
个人开发 App 成功上架手机应用市场的关键步骤
个人开发 App 成功上架手机应用市场的关键步骤
|
机器学习/深度学习 人工智能 编解码
AI人像特效之「一键生成N次元虚拟形象」
为了零成本低门槛地提供极致酷炫的人像玩法,我们提出了一套人像风格化通用框架「AI Maleonn」AI 版神笔马良,用于一键生成风格百变的人物虚拟形象,在风格上涵盖手绘、3D、日漫、艺术特效、铅笔画等多种风格,同时可以支持面向小样本的专属风格定制,利用少量目标风格图即可实现快速迁移拓展;在处理维度上,不仅适用于生成头部效果,更支持全图精细化纹理转换,兼容多人场景;在模型鲁棒性上,有效克服了多角度姿态、面部遮挡等各类复杂场景,整体稳定性大大提升。
|
10月前
|
人工智能 编解码 物联网
设计师集体破防!UNO:字节跳动创新AI图像生成框架,多个参考主体同框生成,位置/材质/光影完美对齐
UNO是字节跳动开发的AI图像生成框架,通过渐进式跨模态对齐和通用旋转位置嵌入技术,解决了多主体场景下的生成一致性问题。该框架支持单主体特征保持与多主体组合生成,在虚拟试穿、产品设计等领域展现强大泛化能力。
655 4
设计师集体破防!UNO:字节跳动创新AI图像生成框架,多个参考主体同框生成,位置/材质/光影完美对齐
|
4月前
|
数据采集 存储 监控
构建定时监控系统,轻松爬取番茄小说最新章节
构建定时监控系统,轻松爬取番茄小说最新章节
|
10月前
|
人工智能 编解码 自然语言处理
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
DreamActor-M1是字节跳动研发的AI图像动画框架,通过混合引导机制实现高保真人物动画生成,支持多语言语音驱动和形状自适应功能。
873 40
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频

热门文章

最新文章