谷歌发布“怪兽生成器”!你画草图,GAN帮你生成幻想生物

简介: 谷歌发布“怪兽生成器”!你画草图,GAN帮你生成幻想生物

不知道你是否听说过这样一个游戏——《山海GO》,名字是不是有点眼熟?没错,和口袋妖怪GO类似,只不过,在这款游戏中收集的都是《山海经》中的鬼怪~ 就像这样:

近日,谷歌发布了一个小工具,有了这个工具,随手涂个鸦就能变成3D立体小怪兽。这听起来有点意思,或许未来像《山海GO》里面的角色卡片,都可以让玩家自行创造呢~

那我们先来看看谷歌这款工具是怎么把涂鸦变怪兽的:

原来我们只需要用不同的色块画出怪兽不同的部位就可以了,剩下的通过AI来渲染。文摘菌窃喜,我们手残党再也不用害怕画画了,画得不好就交给AI呗~

这个工具叫做Chimera Painter,这是一种机器学习模型,可以根据用户提供的生物轮廓自动填充完整并加以渲染。这种技术在AI圈颇为流行,英伟达就曾利用AI填充过风景画,MIT和IBM也曾用来填充过建筑物的效果图。

谷歌研究人员称,他们想要创造一种“不像工具,更像助手的画笔”。Chimera Painter只是一个原型,但如果这样的软件变得普遍,它可以“减少创造高质量艺术所需的时间”。

研究人员之所以创建这样的工具,是想挑战为一个虚构的幻想纸牌游戏创作角色卡片,在这个游戏中,玩家可以将不同怪物的特征结合起来,并像对付变了形的口袋妖怪一样对付它们。

研究人员生成的虚拟怪物角色卡片

为了创建这些角色卡片,研究人员用到了生成对抗网络(GAN)。GAN可以将两个卷积神经网络相互配对:一个用于生成新图像的生成器网络,一个用于确定这些图像是否来自训练数据集的鉴别器网络。

为了训练GAN,研究人员创建了全彩色图像的数据集,其中包含根据3D生物模型改编的单一物种生物轮廓。该生物轮廓线描绘了每个生物的形状和大小,并提供了可识别各个身体部位的分割图——将怪物分成爪子、鼻子、腿等解剖部分。

经过模型训练后,模型的任务是根据艺术家提供的轮廓生成多物种的嵌合体。然后将性能最好的模型合并到Chimera Painter中。

看到这里,你是否也跃跃欲试呢?快快点击下方链接创建自己的小怪兽吧~

https://storage.googleapis.com/chimera-painter/index.html

相关文章
|
4月前
|
机器学习/深度学习 计算机视觉
ICML 2024:人物交互图像,现在更懂你的提示词了,北大推出基于语义感知的人物交互图像生成框架
【8月更文挑战第30天】在计算机视觉和机器学习领域,人物交互图像生成一直充满挑战。然而,北京大学团队在ICML 2024上提出的SA-HOI(Semantic-Aware Human Object Interaction)框架带来了新突破。该框架通过评估人物姿态质量和检测交互边界区域,结合去噪与细化技术,显著提升了生成图像的合理性与质量。广泛实验表明,SA-HOI在多样化和细粒度的人物交互类别上表现出色,为该领域提供了新的解决方案。尽管存在数据集质量和计算复杂度等局限,未来仍有很大改进空间和应用潜力。
66 3
|
5月前
看张手绘草图就能合成图形程序,加州伯克利让扩散模型掌握新技能
【7月更文挑战第12天】加州伯克利研究团队利用神经扩散模型创新程序合成,通过在语法树上反向消除“噪声”实现迭代编辑,改善了传统LLMs自回归生成的局限性。这种方法能看手绘草图生成图形程序,结合搜索进行调试,适用于逆图形任务,性能优越,但目前仅支持有限的程序结构。[[arxiv:2405.20519](https://arxiv.org/pdf/2405.20519)]
45 2
|
7月前
|
人工智能 计算机视觉
CVPR 2024:跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式
【5月更文挑战第6天】南洋理工大学研究团队在CVPR 2024会议上提出SurMo,一种动态人体渲染新方法,能高度还原视频中的人物动作和细节,如飞扬的裙摆。SurMo通过4D运动建模,结合表面运动编码、物理运动解码和4D外观解码,实现动态图像的精确合成。尽管面临复杂动作捕捉和计算资源需求的挑战,SurMo在动态人体渲染任务上表现出色,展现了表面基运动三角平面的强大表达能力。[论文链接](https://arxiv.org/pdf/2404.01225.pdf)
169 1
|
机器学习/深度学习 算法 机器人
CMU发表新型灵巧机器人算法,准确学习日常家具的操纵方法
CMU发表新型灵巧机器人算法,准确学习日常家具的操纵方法
133 0
|
机器学习/深度学习 人工智能 自然语言处理
超越诺奖?生物界「ChatGPT」首次实现从零合成全新蛋白,登Nature子刊!喂了2.8亿种氨基酸序列
超越诺奖?生物界「ChatGPT」首次实现从零合成全新蛋白,登Nature子刊!喂了2.8亿种氨基酸序列
114 0
|
机器学习/深度学习 图形学 计算机视觉
只需训练一次,即可生成3D新场景!谷歌「光场神经渲染」进化史
只需训练一次,即可生成3D新场景!谷歌「光场神经渲染」进化史
214 0
|
机器学习/深度学习 计算机视觉
英伟达的实习生提出零样本风格迁移:多模态CLIP玩出花,只用文本就能干CV的活!
零样本的风格迁移听说过没有?英伟达一个实习生小哥集文本CLIP和图像生成StyleGAN于一身,只需要输入几个单词就可以完成你想要的风格迁移效果!再也不用为了风格迁移找数据啦!
308 0
英伟达的实习生提出零样本风格迁移:多模态CLIP玩出花,只用文本就能干CV的活!
|
存储 机器学习/深度学习 人工智能
3D重建曼哈顿街景!谷歌开源Kartta Labs,使用深度学习和众包再现历史街景
谷歌今日启动了Kartta Labs,可以创建带有可探索时间轴的地图,从历史地图和照片中重建过去的城市。「2020创新之源大会将于9月22日在中关村软件园召开,详细信息见文末海报,欢迎报名!」
298 0
3D重建曼哈顿街景!谷歌开源Kartta Labs,使用深度学习和众包再现历史街景
|
机器学习/深度学习 算法 图形学
CVPR 2021 Oral | 商汤、港中文提出生成式渲染器+反向渲染,3D人脸重建效果逼真
商汤科技与香港中文大学多媒体实验室突破性地提出生成式渲染器,利用在无监督条件下的 2D 生成网络结合人脸模型的 3D 信息生成渲染图像,在不涉及对场景光照和人脸纹理建模的同时减小与真实图像之间的域偏移,进而提升人脸重建结果的真实度与相似度。
198 0
CVPR 2021 Oral | 商汤、港中文提出生成式渲染器+反向渲染,3D人脸重建效果逼真