Make-It-Animatable:中科大联合腾讯推出的自动生成即时动画准备资产

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频通用资源包5000点
视觉智能开放平台,图像通用资源包5000点
简介: Make-It-Animatable是由中国科学技术大学和腾讯联合推出的数据驱动框架,能够在不到一秒内将任何3D人形模型转换为可用于动画的状态。该框架支持多种3D数据格式,并采用从粗到细的表示策略和结构感知建模,显著提升了动画准备的质量和速度。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 即时动画准备:快速将任何3D人形模型转变为可用于动画的状态。
  2. 自动生成动画资产:自动生成高质量的骨骼、混合权重和姿势变换。
  3. 支持多种3D数据格式:支持包括3D网格和3D高斯斑点在内的多种3D数据表示。

正文

Make-It-Animatable 是什么

公众号: 蚝油菜花 - Make-It-Animatable

Make-It-Animatable是由中国科学技术大学和腾讯PCG共同开发的数据驱动框架。该框架能够在不到一秒的时间内,将任何3D人形模型准备好进行角色动画状态,无论其形状和姿势如何。它基于生成高质量的混合权重、骨骼和姿势变换,支持多种3D表示,包括网格和3D高斯斑点。

Make-It-Animatable采用了从粗到细的表示和结构感知建模策略,确保了模型的准确性和鲁棒性,甚至适用于具有非标准骨架结构的角色。与现有方法相比,Make-It-Animatable在质量和速度上都有显著提升。

Make-It-Animatable 的主要功能

  • 即时动画准备:快速将任何3D人形模型转变为可用于动画的状态,无论其形状和姿势。
  • 自动生成动画资产:自动生成高质量的骨骼、混合权重和姿势变换,为动画制作提供必要的数据。
  • 支持多种3D数据格式:支持包括3D网格和3D高斯斑点在内的多种3D数据表示。
  • 精细到粗糙的多级表示:采用从精细到粗糙的多级表示方法,提高模型关键区域的细节捕捉能力。
  • 结构感知建模:识别并适应非标准骨架结构,提高模型的适应性和准确性。

Make-It-Animatable 的技术原理

  • 基于粒子的形状自编码器:基于粒子的自编码器技术编码和解码3D形状,支持多种3D表示。
  • 从粗到细的表示策略:先进行粗略的形状和关节位置预测,然后细化预测提高精确度。
  • 结构感知的骨骼建模:基于考虑骨骼的拓扑结构,提高骨骼预测的准确性,尤其是在复杂的骨骼结构中。
  • 混合权重和骨骼位置预测:用深度学习技术预测每个顶点的混合权重和骨骼位置,实现精确的蒙皮。
  • 姿势变换的预测:预测模型从当前姿势到标准休息姿势的变换,以便应用各种动画。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
10月前
|
人工智能
AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术
AnchorCrafter是由中科院和腾讯联合推出的一项AI虚拟主播带货视频制作技术。该技术基于扩散模型,能够自动生成高保真度的主播风格产品推广视频,通过整合人-物交互(HOI)技术,实现对物体外观和运动控制的高度还原。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法,为在线广告和消费者参与提供了新的可能性。
1461 31
AnchorCrafter:中科院联合腾讯推出的AI虚拟主播带货视频制作技术
|
8月前
|
存储 人工智能 编解码
Pippo:Meta放出AI大招!单张照片秒转3D人像多视角视频,AI自动补全身体细节
Pippo 是 Meta 推出的图像到视频生成模型,能够从单张照片生成 1K 分辨率的多视角高清人像视频,支持全身、面部或头部的生成。
562 9
Pippo:Meta放出AI大招!单张照片秒转3D人像多视角视频,AI自动补全身体细节
|
11月前
|
人工智能 自然语言处理 并行计算
EchoMimicV2:阿里推出的开源数字人项目,能生成完整数字人半身动画
EchoMimicV2是阿里蚂蚁集团推出的开源数字人项目,能够生成完整的数字人半身动画。该项目基于参考图片、音频剪辑和手部姿势序列,通过音频-姿势动态协调策略生成高质量动画视频,确保音频内容与半身动作的一致性。EchoMimicV2不仅支持中文和英文驱动,还简化了动画生成过程中的复杂条件,适用于虚拟主播、在线教育、娱乐和游戏等多个应用场景。
3470 5
EchoMimicV2:阿里推出的开源数字人项目,能生成完整数字人半身动画
|
10月前
|
机器学习/深度学习 人工智能 达摩院
MVGenMaster:复旦联合阿里等实验室推出的多视图扩散模型
MVGenMaster是由复旦大学、阿里巴巴达摩院和湖潘实验室联合推出的多视图扩散模型,专注于新视角合成(NVS)任务。该模型通过整合3D先验信息,显著提升了NVS的泛化和3D一致性,并能从单一图像生成多达100个新视图。此外,研究团队还推出了包含160万场景的大型多视图图像数据集MvD-1M,以支持模型的训练和优化。
256 27
MVGenMaster:复旦联合阿里等实验室推出的多视图扩散模型
|
10月前
|
人工智能 自然语言处理 开发者
Co-op Translator:微软推出面向开发者的开源多语言翻译工具
微软推出的开源多语言翻译工具Co-op Translator,基于Azure AI服务,能够自动化处理项目文档和图像中的文本翻译,简化技术文档的本地化流程,促进全球开发者协作。
281 25
Co-op Translator:微软推出面向开发者的开源多语言翻译工具
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
360Zhinao2-7B:360推出自研360智脑大模型的升级版
360Zhinao2-7B是360自研的AI大模型360智脑7B参数升级版,涵盖基础模型及多种上下文长度的聊天模型。该模型在语言理解与生成、聊天能力、数学逻辑推理等方面表现出色,支持多语言和多上下文长度,适用于多种商业应用场景。
339 23
360Zhinao2-7B:360推出自研360智脑大模型的升级版
|
10月前
|
人工智能 测试技术 API
FlagEvalMM:智源开源的多模态模型评测框架
FlagEvalMM 是由北京智源人工智能研究院开源的多模态模型评测框架,旨在全面评估处理文本、图像、视频等多种模态的模型。该框架支持多种任务和指标,采用评测与模型推理解耦的设计,提升评测效率,便于快速适配新任务和模型。
357 11
FlagEvalMM:智源开源的多模态模型评测框架
|
10月前
|
Web App开发 机器学习/深度学习 人工智能
Magic Copy:开源的 AI 抠图工具,在浏览器中自动识别图像进行抠图
Magic Copy 是一款开源的 AI 抠图工具,支持 Chrome 浏览器扩展。它基于 Meta 的 Segment Anything Model 技术,能够自动识别图像中的前景对象并提取出来,简化用户从图片中提取特定元素的过程,提高工作效率。
513 7
Magic Copy:开源的 AI 抠图工具,在浏览器中自动识别图像进行抠图
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
GLM-Edge:智谱开源的端侧大语言和多模态系列模型
GLM-Edge是智谱开源的一系列端侧部署优化的大语言对话模型和多模态理解模型,旨在实现模型性能、实机推理效果和落地便利性之间的最佳平衡。该系列模型支持在手机、车机和PC等端侧设备上高效运行,适用于智能助手、聊天机器人、图像标注等多种应用场景。
314 7
GLM-Edge:智谱开源的端侧大语言和多模态系列模型
|
10月前
|
算法 Kotlin
Kotlin教程笔记(24) -尾递归优化
Kotlin教程笔记(24) -尾递归优化
137 7
Kotlin教程笔记(24) -尾递归优化

热门文章

最新文章