MoSculp:MIT CSAIL用AI创建3D打印“运动雕塑”

简介:

很多人都听说过雕塑,也看过一两部3D电影,但对3D动画雕塑(3D motion sculptures)可能就没那么熟悉了。这一术语是由麻省理工学院计算机科学与人工智能实验室,谷歌研究所和加州大学伯克利分校的研究人员已共同提出的,他们试图通过人工智能系统来展示人体是如何运动的。

这一系统被称为MoSculp,在论文《MoSculp:形状和时间的交互式可视化》(MoSculp: Interactive Visualization of Shape and Time)中有所描述,该论文将于下个月在德国柏林的UIST会议上发布。Xiuming Zhang是一名博士生,也是论文的第一作者,他认为这可以帮助想要提高技能的运动员进行详细的运动研究。

4cae11e6deef3cac63817ae19a7c00c8d0a77c0f

“想象一下,你有一个关于Roger Federer 在网球比赛中投球的视频,以及一个自己学习网球的视频。”Zhang说,“然后你可以建立两种情景的动作雕塑来比较它们,并更全面地研究你需要改进的地方。”

其在实践中的工作原理如下:将视频加载到系统后,MoSculp将检测到的关键点覆盖在输入帧上,并通过几个随机选择的帧确认它们。 (内置的校正工具可以让用户在必要时进行调整。)在校正“暂时不一致的检测”后,它会生成运动雕塑并将其加载到自定义界面中。

这是一个多步骤的过程。首先,MoSculp会首先自动检测拍摄对象身体上的2D关键点,例如芭蕾舞女演员的髋关节,膝关节和踝关节,同时进行复杂的舞蹈序列。然后,它将这些点的最佳姿势转化为3D“骨架”。

24cf8bb71af03e9f42544fe0e3ccd5910a42ca97

之后,将这些骨架拼接在一起后,系统会生成一个可以3D打印的运动雕塑,显示主体追踪的平滑,连续的运动路径。用户可以在雕塑周围导航并定制他们的图形以聚焦于不同的身体部位,分配不同的材料以区分部件,甚至自定义照明,然后使用3D打印机进行打印。

在试验期间,研究人员发现超过75%的受试者认为MoSculp提供了比标准摄影技术更详细的运动学习可视化。据悉,这一系统最适合较大的动作,比如在舞蹈序列中抛球或进行一次飞跃。它也适用于可能阻碍或复杂运动的情况,像穿着宽松衣服或携带物品的人。

另外,目前,MoSculp仅适用于单一主题发热视频,但团队希望将其扩展到多个人。在未来,他们相信它可以用于研究社会障碍,团队动态以及人际交往等事情。

“舞蹈和高技能运动通常看起来像'移动雕塑',但它们只会形成稍纵即逝的短暂形状,”Adobe传播负责人Courtney Brigham表示。“这项工作展示了如何采取动作并将其转化为具有客观运动可视化的真实雕塑,为运动员提供了一种分析他们的训练动作的方式。”



原文发布时间为:2018-09-20

本文作者:Sandy

本文来自云栖社区合作伙伴“人工智能观察”,了解相关信息可以关注“人工智能观察”。

相关文章
|
11天前
|
机器学习/深度学习 人工智能 算法
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
PRefLexOR 是 MIT 团队推出的新型自学习 AI 框架,结合偏好优化和强化学习,通过递归推理和多步反思,动态生成知识图谱,支持跨领域推理和自主学习。
88 3
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
|
5天前
|
人工智能
MIT 76页深度报告:AI加速创新马太效应,科学家产出分化加剧!缺乏判断力将被淘汰
近日,麻省理工学院(MIT)发布了一份76页的深度研究报告,探讨AI对科学发现和创新的影响。研究对象为1018名美国科学家,结果显示AI使新材料发现增加44%,专利申请增长39%,产品创新提升17%。然而,AI对高能力科学家的产出提升更显著,加剧了科学家间的分化。AI还改变了科学家的工作内容,减少了创意构思时间,增加了评估任务,导致工作满意度下降,但科学家对AI的信心增强。报告全面分析了AI带来的机遇与挑战。论文地址:https://conference.nber.org/conf_papers/f210475.pdf
33 14
|
17天前
|
机器学习/深度学习 人工智能 编解码
阿里开源AI视频生成大模型 Wan2.1:14B性能超越Sora、Luma等模型,一键生成复杂运动视频
Wan2.1是阿里云开源的一款AI视频生成大模型,支持文生视频和图生视频任务,具备强大的视觉生成能力,性能超越Sora、Luma等国内外模型。
625 2
阿里开源AI视频生成大模型 Wan2.1:14B性能超越Sora、Luma等模型,一键生成复杂运动视频
|
1月前
|
机器学习/深度学习 人工智能 算法
ProtGPS:MIT再造生命科学新基建!蛋白质AI一键预测定位+设计新序列,登Nature子刊
ProtGPS 是麻省理工学院和怀特黑德研究所联合开发的蛋白质语言模型,能够预测蛋白质在细胞内的亚细胞定位,并设计具有特定亚细胞定位的新型蛋白质。
102 17
ProtGPS:MIT再造生命科学新基建!蛋白质AI一键预测定位+设计新序列,登Nature子刊
|
3月前
|
机器学习/深度学习 人工智能 算法
UCLA、MIT数学家推翻39年经典数学猜想!AI证明卡在99.99%,人类最终证伪
近日,加州大学洛杉矶分校和麻省理工学院的数学家团队成功推翻了存在39年的“上下铺猜想”(Bunkbed Conjecture),该猜想由1985年提出,涉及图论中顶点路径问题。尽管AI在研究中发挥了重要作用,但最终未能完成证明。人类数学家通过深入分析与创新思维,找到了推翻猜想的关键证据,展示了人类智慧在数学证明中的不可替代性。成果发表于arXiv,引发了关于AI在数学领域作用的广泛讨论。
179 89
|
1月前
|
人工智能 数据可视化 UED
DragAnything:视频PS来了!开源AI控制器让视频「指哪动哪」:拖拽任意物体轨迹,多对象独立运动一键生成
DragAnything 是快手联合浙江大学和新加坡国立大学推出的基于实体表示的可控视频生成方法,支持多实体独立运动控制、高质量视频生成,并在 FID、FVD 和用户研究等评估指标上达到最佳性能。
74 10
DragAnything:视频PS来了!开源AI控制器让视频「指哪动哪」:拖拽任意物体轨迹,多对象独立运动一键生成
|
1月前
|
存储 人工智能 编解码
Pippo:Meta放出AI大招!单张照片秒转3D人像多视角视频,AI自动补全身体细节
Pippo 是 Meta 推出的图像到视频生成模型,能够从单张照片生成 1K 分辨率的多视角高清人像视频,支持全身、面部或头部的生成。
138 9
|
22天前
|
数据采集 机器学习/深度学习 人工智能
Sitcom-Crafter:动画师失业警告!AI黑科技自动生成3D角色动作,剧情脚本秒变动画
Sitcom-Crafter 是一款基于剧情驱动的 3D 动作生成系统,通过多模块协同工作,支持人类行走、场景交互和多人交互,适用于动画、游戏及虚拟现实等领域。
103 4
|
1月前
|
存储 人工智能
Scaling Law或将终结?哈佛MIT预警:低精度量化已无路可走,重磅研究掀翻AI圈
哈佛大学和麻省理工学院的研究人员最近发布了一项重磅研究,对Scaling Law在低精度量化中的应用提出严重质疑。研究表明,随着训练数据增加,低精度量化带来的性能损失也增大,且与模型大小无关。这挑战了通过增加规模提升性能的传统观点,提醒我们在追求效率时不能忽视性能损失。该研究结果在AI圈内引发广泛讨论,提示未来需探索其他方法来提高模型效率,如混合精度训练、模型压缩及新型硬件架构。论文地址:https://arxiv.org/pdf/2411.04330。
61 11
|
3月前
|
人工智能 小程序 API
【一步步开发AI运动小程序】十七、如何识别用户上传视频中的人体、运动、动作、姿态?
【云智AI运动识别小程序插件】提供人体、运动、姿态检测的AI能力,支持本地原生识别,无需后台服务,具有速度快、体验好、易集成等优点。本文介绍如何使用该插件实现用户上传视频的运动识别,包括视频解码抽帧和人体识别的实现方法。

热门文章

最新文章