MoSculp:MIT CSAIL用AI创建3D打印“运动雕塑”

简介:

很多人都听说过雕塑,也看过一两部3D电影,但对3D动画雕塑(3D motion sculptures)可能就没那么熟悉了。这一术语是由麻省理工学院计算机科学与人工智能实验室,谷歌研究所和加州大学伯克利分校的研究人员已共同提出的,他们试图通过人工智能系统来展示人体是如何运动的。

这一系统被称为MoSculp,在论文《MoSculp:形状和时间的交互式可视化》(MoSculp: Interactive Visualization of Shape and Time)中有所描述,该论文将于下个月在德国柏林的UIST会议上发布。Xiuming Zhang是一名博士生,也是论文的第一作者,他认为这可以帮助想要提高技能的运动员进行详细的运动研究。

4cae11e6deef3cac63817ae19a7c00c8d0a77c0f

“想象一下,你有一个关于Roger Federer 在网球比赛中投球的视频,以及一个自己学习网球的视频。”Zhang说,“然后你可以建立两种情景的动作雕塑来比较它们,并更全面地研究你需要改进的地方。”

其在实践中的工作原理如下:将视频加载到系统后,MoSculp将检测到的关键点覆盖在输入帧上,并通过几个随机选择的帧确认它们。 (内置的校正工具可以让用户在必要时进行调整。)在校正“暂时不一致的检测”后,它会生成运动雕塑并将其加载到自定义界面中。

这是一个多步骤的过程。首先,MoSculp会首先自动检测拍摄对象身体上的2D关键点,例如芭蕾舞女演员的髋关节,膝关节和踝关节,同时进行复杂的舞蹈序列。然后,它将这些点的最佳姿势转化为3D“骨架”。

24cf8bb71af03e9f42544fe0e3ccd5910a42ca97

之后,将这些骨架拼接在一起后,系统会生成一个可以3D打印的运动雕塑,显示主体追踪的平滑,连续的运动路径。用户可以在雕塑周围导航并定制他们的图形以聚焦于不同的身体部位,分配不同的材料以区分部件,甚至自定义照明,然后使用3D打印机进行打印。

在试验期间,研究人员发现超过75%的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化。据悉,这一系统最适合较大的动作,比如在舞蹈序列中抛球或进行一次飞跃。它也适用于可能阻碍或复杂运动的情况,像穿着宽松衣服或携带物品的人。

另外,目前,MoSculp仅适用于单一主题发热视频,但团队希望将其扩展到多个人。在未来,他们相信它可以用于研究社会障碍,团队动态以及人际交往等事情。

“舞蹈和高技能运动通常看起来像'移动雕塑',但它们只会形成稍纵即逝的短暂形状,”Adobe传播负责人Courtney Brigham表示。“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑,为运动员提供了一种分析他们的训练动作的方式。”



原文发布时间为:2018-09-20

本文作者:Sandy

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
9天前
|
人工智能 知识图谱
成熟的AI要学会自己搞研究!MIT推出科研特工
MIT推出科研特工SciAgents,结合生成式AI、本体表示和多代理建模,实现科学发现的自动化。通过大规模知识图谱和多代理系统,SciAgents能探索新领域、识别复杂模式,加速新材料发现,展现跨学科创新潜力。
33 12
|
9天前
|
机器学习/深度学习 人工智能 搜索推荐
AI与体育训练:运动表现分析
【10月更文挑战第31天】本文探讨了AI在体育训练中的应用,特别是在运动表现分析方面。通过数据收集与处理、深度分析与挖掘、实时反馈与调整三个环节,AI为运动员和教练提供了高效、个性化的训练计划和比赛策略,显著提升了训练效率和比赛成绩。未来,AI将在数据隐私、情感理解及跨学科合作等方面继续发展,为体育事业带来更多可能性。
|
1月前
|
人工智能 小程序 搜索推荐
成功案例分享|使用AI运动识别插件+微搭,快速搭建AI美体运动小程序
今天给大家分享一个最近使用我们的“AI运动识别小程序插件”+“微搭”搭建小程序的经典案例。
成功案例分享|使用AI运动识别插件+微搭,快速搭建AI美体运动小程序
|
15天前
|
人工智能 小程序
【一步步开发AI运动小程序】五、帧图像人体识别
随着AI技术的发展,阿里体育等公司推出的AI运动APP,如“乐动力”和“天天跳绳”,使云上运动会、线上健身等概念广受欢迎。本文将引导您从零开始开发一个AI运动小程序,使用“云智AI运动识别小程序插件”。文章分为四部分:初始化人体识别功能、调用人体识别功能、人体识别结果处理以及识别结果旋转矫正。下篇将继续介绍人体骨骼图绘制。
|
16天前
|
人工智能 小程序 vr&ar
AI运动小程序开发常见问题集锦二
截至当前,我们的AI运动识别小程序插件已迭代至第23个版本,广泛应用于健身、体育、体测、AR互动等场景。本文针对近期用户咨询,汇总了常见问题,帮助用户减少开发成本,提高效率。主要涵盖计时与计数模式的区别、综合排行榜生成方法、全屏模式适配及无开发能力用户的解决方案。
|
26天前
|
人工智能 编解码 小程序
【一步步开发AI运动小程序】四、小程序如何抽帧
随着AI技术的发展,阿里体育等公司推出的“乐动力”、“天天跳绳”等APP使云上运动会、线上健身等概念备受关注。本文将引导您从零开始开发一个AI运动小程序,利用“云智AI运动识别小程序插件”。文中详细介绍了微信小程序抽帧的相关API、设置及注意事项,帮助开发者更好地实现AI运动功能。下篇将介绍人体识别技术,敬请期待。
|
1月前
|
机器学习/深度学习 人工智能 JSON
微信小程序原生AI运动(动作)检测识别解决方案
近年来,疫情限制了人们的出行,却推动了“AI运动”概念的兴起。AI运动已在运动锻炼、体育教学、线上主题活动等多个场景中广泛应用,受到互联网用户的欢迎。通过AI技术,用户可以在家中进行有效锻炼,学校也能远程监督学生的体育活动,同时,云上健身活动形式多样,适合单位组织。该方案成本低、易于集成和扩展,已成功应用于微信小程序。
|
1月前
|
机器学习/深度学习 人工智能 小程序
做AI运动小程序有哪些解决方案,如何进行选型?
随着深度学习技术的发展,AI运动应用如“天天跳绳”和“百分运动”变得流行。本文探讨了将AI运动功能引入微信小程序的可行性,并介绍了几种解决方案。实现AI运动计数的关键技术包括视频抽帧、人体检测、姿态识别等。文中详细描述了离线方案(全离线和半离线)和原生方案(自研AI引擎和成熟插件)的不同实现方式,并对各种方案进行了对比,建议优先选择成本低、体验佳的AI运动识别插件方案。
|
1月前
|
人工智能 自然语言处理 机器人
MIT新研究揭秘AI洗脑术!AI聊天诱导人类编造记忆,真假难辨
麻省理工学院的一项新研究《基于大型语言模型的对话式AI在证人访谈中加剧虚假记忆》显示,使用生成式聊天机器人进行犯罪证人访谈会显著增加参与者的虚假记忆,且影响持久。研究设置了对照组、问卷访谈、预设脚本及生成式聊天机器人四种条件,结果显示生成式聊天机器人诱导的虚假记忆数量远超其他方法。尽管AI技术在效率和准确性方面潜力巨大,但在敏感领域需谨慎应用,并需进一步评估风险,制定伦理准则和监管措施。论文详细内容见[这里](https://arxiv.org/abs/2408.04681)。
40 2
|
27天前
|
机器学习/深度学习 人工智能 小程序
【一步步开发AI运动小程序】三、运动识别处理流程
随着人工智能技术的发展,阿里体育等公司推出的“乐动力”、“天天跳绳”等AI运动APP备受关注。本文将引导您从零开始开发一个AI运动小程序,使用“云智AI运动识别小程序插件”。文章介绍了视频帧、帧率FPS、抽帧和人体识别等基本概念,并详细说明了处理流程,包括抽帧、人体识别检测、骨骼图绘制和运动分析等步骤。下篇将介绍如何在小程序中实现抽帧。