玩转文生3D创意赛,赢拓竹3D打印机

简介: 本次大赛旨在让大家通过魔搭文生3D的创空间应用,仅输出文本生成3D模型,我们会评选“最佳创意奖”Top10 以及“最佳传播奖”TOP3。

大赛概况

传统生成3D模型需3D美术建模师利用专业的建模软件手工构建,不仅制作周期长,人力成本也很高。现在魔搭上线了文本生成3D模型的能力,可以基于简单的文本描述中生成具体的 3D 模型,为设计师、游戏开发者和数字艺术家提供强大的工具。文生3D物在模型精细度、贴图完整性及物品多样性上,生成的物品效果行业领先,让人人都可以成为3D资产设计师,用文字来创造世界万物。

本次大赛旨在让大家通过魔搭文生3D的创空间应用,仅输出文本生成3D模型,我们会评选“最佳创意奖”Top10 以及“最佳传播奖”TOP3。

详情见活动专题页:

https://modelscope.cn/brand/view/Richdreamer?branch=0&tree=1 

赛程安排

本赛道分为赛前准备、初赛和决赛三个阶段,具体安排和要求如下:


Step1创建模型

2024.1.12 截止

参赛者通过魔搭平台文生3D物创空间进行3D模型生成。(输入一段 Prompt 文本,等待 2 小时左右即可完成生成)

前往创空间生成趣味 3D 模型

链接:https://modelscope.cn/studios/Damo_XR_Lab/3D_AIGC/summary

Prompt 示意:

  1. A creative LEGO set depicting a crocodile with movable jaws and tail
  2. a group of dogs playing poker
  3. Simba, the lion cub from The Lion King, standing majestically on Pride Rock
  4. 一个香蕉打工人
  5. 一条比蝴蝶还大的迷人小龙,拥有精致的花朵般的翅膀
  6. 阿尔伯特·爱因斯坦穿着灰色西装骑着摩托车


Step2报名参赛并转发模型到社交平台

2024.1.12 截止

模型生成完成后,请挑选出你最满意的模型并前往报名平台报名参赛:

前往报名参赛

链接:https://survey.taobao.com/apps/zhiliao/QF9mC1__V

报名完成后,你也可以下载模型视频并分享到社交平台(浏览量最高的作品可以获得“最佳传播奖”哦)

视频下载位置如下(创空间页面):


Step3提交社交平台浏览量凭证

2024.1.12 截止

分享视频到社交平台后,扫描下方二维码加钉钉群, 并于 2014.1.12日前提交视频浏览量凭证(提交录屏或者社交平台链接作为凭证)。

 Step4 公示并评选结果

2024.1.15-2024.1.20

我们将于 2024.1.15-2024.1.20 在活动页面公示 30 个入围作品,并由专家组评选出最终中奖的作品,包括两个奖项:

  1. “最佳创意奖”10 名:专家组投票决出最有创意作品 10 份,奖品为淘宝二十岁限定款淘公仔盲盒一个。      

  1. “最佳传播奖”3 名:根据提交的视频浏览量凭证评选出浏览量最高的作品 3 份,奖品为价值¥3399 的拓竹 A1 Combo 打印机一台。    

获奖情况将于2024.1.20 在本页面公示,奖品将会邮寄给获奖者。

技术探秘

将2D大模型蒸馏到3D模型是最近3D生成领域备受关注的研究方向之一。先前的方法通常通过从预训练的StableDiffusion模型中提取多视角信息,并利用SDS(Score Distillation Loss)进行优化,以获得NeRF(Neural Radiance  Field)或DMTet(Differentiable Marching Tetrahedron)的三维表示。这些方法的改进包括改善SDS Loss、进行粗到精的优化以及增强3D表征等。现有方法主要分为两种不同的优化策略:一阶段方法和两阶段方法。一阶段方法(如DreamFusion)同时优化几何和纹理,而两阶段方法(如Fantasia3D)先优化几何,然后再优化纹理。相较于一阶段方法,两阶段方法解耦了几何和纹理的优化,使其更适用于几何编辑或纹理编辑,并能方便地与传统渲染管线接合。

然而,直接使用RGB进行几何优化存在歧义。因此,Fantasia3D方法在优化过程中非常不稳定,容易导致模型崩溃的问题。为了解决直接使用RGB SD优化几何带来的问题,我们专门设计了针对几何的大模型,用于约束几何的优化。此外,为了更好地解耦纹理建模中的光照和材质,我们训练了一个基于深度条件的Albedo 纹理大模型,用于约束PBR材质的albedo分量,从而减轻albedo分量中的光影扰动。

在几何大模型的构建方面,我们使用了当前最大的3D资产数据集Objaverse,以获取真实的法向-深度(Normal-Depth)2D数据,用于训练我们的几何大模型。在优化过程中,我们发现直接使用3D资产来训练大模型会导致大模型失去泛化能力,因此我们借助图像数据集LAION-2B来辅助优化我们的Normal-Depth大模型。对于纹理大模型的构建,我们渲染了Objaverse中的深度和纹理,并训练了一个基于深度条件的albedo大模型,来优化材质中的albedo分量。为了解决多视角问题(Janus Problem),我们使用了多视角的SD来同时优化模型的不同视角,从而有效的缓解了多视角问题。

最终,阿里巴巴通义实验室XR团队与港中深合作发布了两个几何大模型和一个纹理大模型,分别是ND-SD(Normal-DepthStable Diffusion)和ND-SD-MV(Multi-View Normal-Depth Stable  Diffusion)的结合大模型,以及Depth-Condition Albedo 的纹理大模型。基于ND-SD和ND-SD-MV的成果,阿里巴巴通义实验室XR团队与港中深共同发布了名为RichDreamer的文本生成3D方案。RichDreamer能够生成具有丰富几何细节的三维模型,并经实验证明其想象力比以往的方法更强大。

下面我们介绍一下RichDreamer算法框架和核心贡献:

算法框架

核心贡献

1、在LAION 2B和Objaverse上面训练得到ND-SD、ND-SD-MV两个大模型,不但能够为Text-to-3D任务提供强几何先验,提升3D生成任务的几何精度,而且比以往的方法有更强的想象能力。

2、在材质生成部分,为了更好地解耦光照和材质,训练depth-condition Albedo大模型。在材质建模的时候我们固定住几何通过depth-condition 的albedo 大模型来约束PBR材质的albedo 分量,从而缓解了albedo 分量中的光影扰动。能够较好的支持relighting等下游任务。

精彩示例

3d人 00_00_00-00_00_30.gif龙 00_00_00-00_00_30.gif

04

赛事活动页面modelscope.cn/brand/view/Richdreamer?branch=0&tree=1

相关文章
|
存储 弹性计算 人工智能
2024阿里云开年采购优惠活动,云服务器99计划可领上云代金券
2024阿里云开年采购优惠活动,云服务器99计划可领上云代金券,2024年阿里云3月优惠「开年采购季」云服务器价格表和优惠券领取,99计划云服务器99元一年起、免费领取上云扶持优惠券,不只是云服务器、云数据库、存储、云电脑、域名等均有活动
|
自然语言处理 算法 开发者
通义XR实验室文生3D模型开源,魔搭社区最佳实践来啦!
通义实验室XR实验室重磅开源文生3D新模型,能够从一句文本描述构建3D模型及对应纹理,目前已经在Github面向外界开源!与该项技术一起开源的,还有通义实验室推出的Text-to-ND(文本生成深度、法向图)、Text-to-ND-MV(文本生成多视角的深度、法向图)两个大模型。我们先来直观感受一下这两个大模型的魔法能力:
|
11月前
|
JavaScript API 开发者
深入理解Node.js中的事件循环和异步编程
【10月更文挑战第41天】本文将通过浅显易懂的语言,带领读者探索Node.js背后的核心机制之一——事件循环。我们将从一个简单的故事开始,逐步揭示事件循环的奥秘,并通过实际代码示例展示如何在Node.js中利用这一特性进行高效的异步编程。无论你是初学者还是有经验的开发者,这篇文章都能让你对Node.js有更深刻的认识。
|
安全 网络安全 网络虚拟化
虚拟网络设备的网络隔离机制:原理、意义与应用场景深度分析
虚拟网络设备在现代网络架构中扮演着重要角色🌐,尤其是在实现网络隔离方面🛡️。网络隔离是网络安全🔒和多租户环境管理的关键组成部分,它能够确保不同网络流量的分离🚦,保护敏感数据💾,减少攻击面。虚拟网络设备通过在软件层面上模拟物理网络设备的行为,提供了一种灵活且成本效益高的方式来实现这些目标。本文将从多个维度深入分析虚拟网络设备是如何隔离网络的,这种隔离有什么实际意义,为什么需要虚拟网络设备来隔离网络,以及在什么场景下比较适合使用虚拟网络设备隔离网络。
|
存储 Unix Linux
操作系统和内核有什么区别?
操作系统和内核有什么区别?
2018 0
操作系统和内核有什么区别?
|
存储 Windows Python
【已解决】右键以某应用打开xx文件时,没有“始终”选项怎么办
【已解决】右键以某应用打开xx文件时,没有“始终”选项怎么办
|
程序员 计算机视觉
程序员的“防御性编程”
最近都在聊程序员要做好“防御性编程”,"防御性编程"的概念从之前的“保护程序”一下子变成了现在的“保护程序员”,一字之差,千差万别。
程序员的“防御性编程”
|
机器学习/深度学习 人工智能 算法
分享135个游戏Python源代码总有一个是你想要的
分享135个游戏Python源代码总有一个是你想要的
694 1
|
Python
Python pip install修改默认下载路径
Python pip install修改默认下载路径
673 0