MoSculp:MIT CSAIL用AI创建3D打印“运动雕塑”

简介:

很多人都听说过雕塑,也看过一两部3D电影,但对3D动画雕塑(3D motion sculptures)可能就没那么熟悉了。这一术语是由麻省理工学院计算机科学与人工智能实验室,谷歌研究所和加州大学伯克利分校的研究人员已共同提出的,他们试图通过人工智能系统来展示人体是如何运动的。

这一系统被称为MoSculp,在论文《MoSculp:形状和时间的交互式可视化》(MoSculp: Interactive Visualization of Shape and Time)中有所描述,该论文将于下个月在德国柏林的UIST会议上发布。Xiuming Zhang是一名博士生,也是论文的第一作者,他认为这可以帮助想要提高技能的运动员进行详细的运动研究。

4cae11e6deef3cac63817ae19a7c00c8d0a77c0f

“想象一下,你有一个关于Roger Federer 在网球比赛中投球的视频,以及一个自己学习网球的视频。”Zhang说,“然后你可以建立两种情景的动作雕塑来比较它们,并更全面地研究你需要改进的地方。”

其在实践中的工作原理如下:将视频加载到系统后,MoSculp将检测到的关键点覆盖在输入帧上,并通过几个随机选择的帧确认它们。 (内置的校正工具可以让用户在必要时进行调整。)在校正“暂时不一致的检测”后,它会生成运动雕塑并将其加载到自定义界面中。

这是一个多步骤的过程。首先,MoSculp会首先自动检测拍摄对象身体上的2D关键点,例如芭蕾舞女演员的髋关节,膝关节和踝关节,同时进行复杂的舞蹈序列。然后,它将这些点的最佳姿势转化为3D“骨架”。

24cf8bb71af03e9f42544fe0e3ccd5910a42ca97

之后,将这些骨架拼接在一起后,系统会生成一个可以3D打印的运动雕塑,显示主体追踪的平滑,连续的运动路径。用户可以在雕塑周围导航并定制他们的图形以聚焦于不同的身体部位,分配不同的材料以区分部件,甚至自定义照明,然后使用3D打印机进行打印。

在试验期间,研究人员发现超过75%的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化。据悉,这一系统最适合较大的动作,比如在舞蹈序列中抛球或进行一次飞跃。它也适用于可能阻碍或复杂运动的情况,像穿着宽松衣服或携带物品的人。

另外,目前,MoSculp仅适用于单一主题发热视频,但团队希望将其扩展到多个人。在未来,他们相信它可以用于研究社会障碍,团队动态以及人际交往等事情。

“舞蹈和高技能运动通常看起来像'移动雕塑',但它们只会形成稍纵即逝的短暂形状,”Adobe传播负责人Courtney Brigham表示。“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑,为运动员提供了一种分析他们的训练动作的方式。”



原文发布时间为:2018-09-20

本文作者:Sandy

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
9月前
|
机器学习/深度学习 人工智能 PyTorch
模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作
UniRig是清华大学与VAST联合研发的自动骨骼绑定框架,基于自回归模型与交叉注意力机制,支持多样化3D模型的骨骼生成与蒙皮权重预测,其创新的骨骼树标记化技术显著提升动画制作效率。
1430 27
模型手动绑骨3天,AI花3分钟搞定!UniRig:清华开源通用骨骼自动绑定框架,助力3D动画制作
|
7月前
|
人工智能 小程序 JavaScript
【一步步开发AI运动APP】十、微调优化内置运动分析器,灵活适配不同的应用场景
本文介绍了如何通过【一步步开发AI运动APP】系列博文,利用`ISportOptimizer`对内置运动分析器进行微调优化。相比小程序,APP框架(如uni-app)因技术差异,无法直接修改运动分析器参数,因此提供了统一的优化机制。开发者可通过`ISportOptimizer`获取和更新检测规则、动作样本等,灵活适应不同场景需求,如全民运动赛事的宽松模式或学生体测的严格模式。文中还提供了示例代码,展示如何对具体运动项目(如仰卧起坐)进行优化。需要注意的是,微调优化适用于标准动作的小范围调整,若动作变化过大(如花式跳绳),可期待后续自定义扩展功能。
|
9月前
|
人工智能 JSON 小程序
【一步步开发AI运动APP】七、自定义姿态动作识别检测——之规则配置检测
本文介绍了如何通过【一步步开发AI运动APP】系列博文,利用自定义姿态识别检测技术开发高性能的AI运动应用。核心内容包括:1) 自定义姿态识别检测,满足人像入镜、动作开始/停止等需求;2) Pose-Calc引擎详解,支持角度匹配、逻辑运算等多种人体分析规则;3) 姿态检测规则编写与执行方法;4) 完整示例展示左右手平举姿态检测。通过这些技术,开发者可轻松实现定制化运动分析功能。
|
3月前
|
人工智能 小程序 搜索推荐
【一步步开发AI运动APP】十二、自定义扩展新运动项目2
本文介绍如何基于uni-app运动识别插件实现“双手并举”自定义扩展运动,涵盖动作拆解、姿态检测规则构建及运动分析器代码实现,助力开发者打造个性化AI运动APP。
|
5月前
|
传感器 人工智能 自然语言处理
当AI学会跑跳抓:来云栖大会,参加一场“具身智能运动会”
一副AI眼镜帮你实时智能识别、一只机器狗陪你跑跨栏、一条机械臂听你指挥、一场与机器人的点球大战——这可不是科幻电影,这是2025云栖大会即将上演的现实。
258 8
|
4月前
|
人工智能 小程序 开发者
【一步步开发AI运动APP】十一、同时检测识别多人运动,分别进行运动计时计数
本文介绍了如何开发支持多人运动检测的AI运动APP,涵盖多人人体检测、定位及运动分析实现方法,助力开发者打造高性能AI运动应用。
|
6月前
|
人工智能 小程序 开发者
AI运动识别插件版本再发布迭代更新,大量新特性更新
上周,我们对全景AI运动解决方案的uni APP版与小程序版插件进行了新一版迭代更新。其中,uni APP版本显著提升了识别检测性能,修复了已知问题,并新增多项实用功能,全面优化用户体验。在v0.7.0版本中,推出了`convertFrameToBase64()`接口,便于开发者在体测、赛事等场景中更高效地处理帧图像,简化开发流程,助力AI运动应用快速实现。
|
8月前
|
人工智能 小程序 API
【一步步开发AI运动APP】九、自定义姿态动作识别检测——之关键点追踪
本文介绍了【一步步开发AI运动APP】系列中的关键点追踪技术。此前分享的系列博文助力开发者打造了多种AI健身场景的小程序,而新系列将聚焦性能更优的AI运动APP开发。文章重点讲解了“关键点位变化追踪”能力,适用于动态运动(如跳跃)分析,弥补了静态姿态检测的不足。通过`pose-calc`插件,开发者可设置关键点(如鼻子)、追踪方向(X或Y轴)及变化幅度。示例代码展示了如何在`uni-app`框架中使用`createPointTracker`实现关键点追踪,并结合人体识别结果完成动态分析。具体实现可参考文档与Demo示例。
|
10月前
|
人工智能 并行计算 PyTorch
TripoSR:开源3D生成闪电战!单图0.5秒建模,Stability AI颠覆设计流程
TripoSR是由Stability AI和VAST联合推出的开源3D生成模型,能在0.5秒内从单张2D图像快速生成高质量3D模型,支持游戏开发、影视制作等多领域应用。
585 13
TripoSR:开源3D生成闪电战!单图0.5秒建模,Stability AI颠覆设计流程
|
9月前
|
人工智能 小程序 API
【一步步开发AI运动APP】四、使用相机组件抽帧
本文介绍了如何使用`ai-camera`组件开发AI运动APP,助力开发者深耕AI运动领域。`ai-camera`是专为AI运动场景设计的相机组件,支持多平台,提供更强的抽帧处理能力和API。文章详细讲解了获取相机上下文、执行抽帧操作以及将帧保存到相册的功能实现,并附有代码示例。无论是AI运动APP还是其他场景,该组件都能满足预览、拍照、抽帧等需求。下篇将聚焦人体识别检测,敬请期待!