北大图灵班本科生带来动画CG福音,「最懂骨骼的卷积网络」,无需配对样本实现动作迁移 | SIGGRAPH

简介: 云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 我有一个动画形象,我有一套人体动作,可想要把它们组合成真正的动画,可不是 1+1 这么简单。 别看这体型迥异的三位动作整齐划一,支撑动画的骨架却差异甚大。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!


我有一个动画形象,我有一套人体动作,可想要把它们组合成真正的动画,可不是 1+1 这么简单。

1

别看这体型迥异的三位动作整齐划一,支撑动画的骨架却差异甚大。

2

这也就意味着,想给新的动画角色套上已经做好的动作,依然需要对骨骼进行重构,费时费力。

好消息是,来自北大和北京电影学院的最新研究,正在化繁为简。

根据这项研究结果,从左到右,一个动作迁移深度学习框架就能解决,并且,不需要任何配对示例。

3

也就是说,现在,同一个动作可以被更轻松地应用于不同的形象了。

这篇论文中了计算机图形学顶会SIGGRAPH,代码现已开源。

论文一作,分别是北京电影学院研究科学家Kfir Aberman,和北大图灵班大三本科生李沛卓。

对于这一成果,论文通讯作者陈宝权教授诙谐地表示:这是最懂骨骼的卷积网络。

4

而且据说,论文和代码发布之后,就有相关工业界公司来跟研究团队接洽了。

所以这究竟是怎样一个“骨骼惊奇”的神经网络?

最懂骨骼的卷积网络

论文的主要技术贡献,是提出了全新的骨骼卷积和骨骼池化算子。

这些算子都是骨骼感知的,也就是说,它们能显式地考虑骨骼的层次结构和关节的邻近关系。

据作者李沛卓介绍,由于骨骼不具有和图片(image)一样规整的结构,但又拥有相对于一般的图(graph)更特殊的结构,新算子的设计亦是整个研究过程中最棘手的环节。

5

研究人员使用静态骨骼位置+动态关节旋转来表示骨骼上的动作,并把不同骨骼之间的动作迁移视作无配对的域转移任务,将动态静态部分分别处理,构建了用于同胚骨骼之间无需配对示例的动作迁移深度学习框架。

框架结构类似于GAN,包含两对自动编码器构成的生成器,在共同的隐空间中实现不同骨骼之间的动作迁移。还引入了判别器,以提高生成结果的质量。

6

在这其中,研究人员利用骨骼卷积算子来充分利用骨骼的拓扑结构。

具体而言,在对一个关节及其对应的单个骨骼做卷积时,将其所有距离为 d 的邻接骨骼对应的通道提取出来。同时将静态部分和动态部分的通道进行拼接,进行时间轴上的1维卷积。

11

骨骼池化,则是将不同拓扑不同的同胚骨骼合并到一个公共基本骨骼的过程。

7

研究人员介绍,这是不同骨骼的自动编码器能达到统一隐空间的基石。

效果更“服帖”

那么,“骨骼如此惊奇”的神经网络,效果如何?

接下来,我们就一起看下与其它方法比较的结果。

这个运动处理框架,是在Pytorch中实现,实验是在配备了NVIDIA GeForce GTX Titan Xp GPU(12 GB)和Intel Core i7-695X/3.0GHz CPU(16 GB RAM)的PC上进行的。

在做测试时,编码器的输入是源动作,而解码器的输入,是编码器输出的隐变量和目标骨骼信息。

而后,根据目标骨骼的拓扑结构选择相应的解码器,得到迁移后的动作。

8

主要做比较的方法包括:CycleGAN和NKN。

而做比较实验的情况也分为两种:

只使用一个自动编码器,但使用不同的骨骼信息,进行同拓扑骨骼之间的动作迁移。

使用完整的两个自动编码器,实现不同拓扑结构之间的动作迁移。

首先,来看下第一个情况下的比较:同一拓扑结构的源骨骼、目标骨骼。

9


下图从左至右,依次表示输入、CycleGAN、NKN和研究人员的方法。

10

不难看出,根据输入的这段鬼步舞,研究人员方法的“贴合度”更高。

另外,是第二种难度更高的情况:不同拓扑结构的源骨骼、目标骨骼。

11

同样的,从左至右依次为:输入、CycleGAN、NKN和研究人员的方法。

12

在这种情况下,在小人儿“踉跄”和“打斗”动作中,该方法也完胜CycleGAN和NKN。

看完定性比较,再来看下定量比较。

13


不难看出,在两种情况下,都达到了最优。

北大大三本科生一作

这篇SIGGRAPH论文,有两位共同一作。

其中一位,是北大图灵班大三本科生李沛卓。

14

李沛卓毕业于重庆一中,2016年入选重庆信息学竞赛省队,2017年以高考总分687分的成绩,北大信息科学与技术学院录取。

目前,李沛卓师从陈宝权教授,研究方向是深度学习和计算机图形学,正在北京大学视觉计算与学习实验室和北京电影学院未来影像高精尖创新中心(AICFVE)实习。

另一位,是北京电影学院AICFVE的研究科学家Kfir Aberman。

他博士毕业于以色列特拉维夫大学,现在从事深度学习和计算机图形学研究。在今年的SIGGRAPH 2020上,他有两篇一作论文入选。

15

另外,据论文通讯作者陈宝权教授透露,今年的SIGGRAPH上,“亮相”的北大本科生还不止李同学一位:

李沛卓(图灵班17级)、翁伊嘉(图灵班17级)、倪星宇(图灵班16级)、蒋鸿达(博士19级)四位同学与国内外学者合作……相关成果将发表在7月份的 SIGGRAPH 会议。

因为疫情,今年的 SIGGRAPH 会议改为在线,第一次“出道”的四位同学遗憾不能现场享受传统的视觉盛宴。基于 SIGGRAPH 的创意基因,这次虚拟会议更值得期待。

而作为一名本科生,拿到顶会论文是相当不容易的事情,在我们专访李沛卓时,他表示:

作为一个大三学生能收获一篇SIGGRAPH是很幸运的。

一方面有我自己努力的成果,但更重要的是我们团队中教授以及学长的帮助指引和付出。

我对图形学本来就特别感兴趣,能收获这篇论文更加鼓励了我继续这方面的研究。

后生可畏,后生可畏啊。

最后,也祝愿几位同学,在科研的道路上再创佳绩~

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/live

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-05-27
本文作者:鱼羊 金磊
本文来自:“量子位公众号”,了解相关信息可以关注“公众号QbitAI”

相关文章
|
3天前
|
弹性计算 监控 数据库
制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程
本文通过一个制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程,展示了企业级应用上云的实践方法与显著优势,包括弹性计算资源、高可靠性、数据安全及降低维护成本等,为企业数字化转型提供参考。
24 5
|
22天前
|
机器学习/深度学习 计算机视觉 Python
【YOLOv11改进 - 注意力机制】SimAM:轻量级注意力机制,解锁卷积神经网络新潜力
【YOLOv11改进 - 注意力机制】SimAM:轻量级注意力机制,解锁卷积神经网络新潜力本文提出了一种简单且高效的卷积神经网络(ConvNets)注意力模块——SimAM。与现有模块不同,SimAM通过优化能量函数推断特征图的3D注意力权重,无需添加额外参数。SimAM基于空间抑制理论设计,通过简单的解决方案实现高效计算,提升卷积神经网络的表征能力。代码已在Pytorch-SimAM开源。
【YOLOv11改进 - 注意力机制】SimAM:轻量级注意力机制,解锁卷积神经网络新潜力
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络:从理论到实践
【10月更文挑战第35天】在人工智能的浪潮中,深度学习技术以其强大的数据处理能力成为科技界的宠儿。其中,卷积神经网络(CNN)作为深度学习的一个重要分支,在图像识别和视频分析等领域展现出了惊人的潜力。本文将深入浅出地介绍CNN的工作原理,并结合实际代码示例,带领读者从零开始构建一个简单的CNN模型,探索其在图像分类任务中的应用。通过本文,读者不仅能够理解CNN背后的数学原理,还能学会如何利用现代深度学习框架实现自己的CNN模型。
|
14天前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第36天】探索卷积神经网络(CNN)的神秘面纱,揭示其在图像识别领域的威力。本文将带你了解CNN的核心概念,并通过实际代码示例,展示如何构建和训练一个简单的CNN模型。无论你是深度学习的初学者还是希望深化理解,这篇文章都将为你提供有价值的见解。
|
25天前
|
机器学习/深度学习 监控 自动驾驶
卷积神经网络有什么应用场景
【10月更文挑战第23天】卷积神经网络有什么应用场景
41 2
|
25天前
|
机器学习/深度学习 自然语言处理 算法
什么是卷积神经网络
【10月更文挑战第23天】什么是卷积神经网络
35 1
|
28天前
|
机器学习/深度学习 人工智能 算法
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
车辆车型识别,使用Python作为主要编程语言,通过收集多种车辆车型图像数据集,然后基于TensorFlow搭建卷积网络算法模型,并对数据集进行训练,最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面,实现用户上传一张车辆图片识别其类型。
72 0
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
|
29天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)及其应用
【10月更文挑战第21天】本文旨在深入探讨深度学习领域的核心组成部分——卷积神经网络(CNN)。通过分析CNN的基本结构、工作原理以及在图像识别、语音处理等领域的广泛应用,我们不仅能够理解其背后的技术原理,还能把握其在现实世界问题解决中的强大能力。文章将用浅显的语言和生动的例子带领读者一步步走进CNN的世界,揭示这一技术如何改变我们的生活和工作方式。
|
1月前
|
机器学习/深度学习 人工智能 监控
深入理解深度学习中的卷积神经网络(CNN):从原理到实践
【10月更文挑战第14天】深入理解深度学习中的卷积神经网络(CNN):从原理到实践
97 1
|
15天前
|
机器学习/深度学习 人工智能 自动驾驶
深入解析深度学习中的卷积神经网络(CNN)
深入解析深度学习中的卷积神经网络(CNN)
32 0
下一篇
无影云桌面