Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

简介: 来吧,和Neurons一起,玩点不一样的AI! 还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。


1

来吧,和Neurons一起,玩点不一样的AI!
还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。
想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。

3
从左至右依次是:输入图像、输出反照率图像


4
从左至右依次是:渲染、渲染(局部放大)


5
从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。

6
从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。

7
从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。

8
从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图

看了今天的Neurons小视频,有没有大开眼界呢?通过深度神经网络,AI真正帮我们实现了“脑补”,构建出了人脸虚拟的3D模型,虽然这篇文章里的数据只是应用在人脸的照片上,但是对于其他物体和图像,发展出广阔的应用前景也是指日可待的!
原文发布时间为:2017-10-30
本文作者:Neurons字幕组
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
5天前
|
人工智能 供应链 PyTorch
TimesFM 2.0:用 AI 预测流量、销量和金融市场等走势!谷歌开源超越统计方法的预测模型
TimesFM 2.0 是谷歌研究团队开源的时间序列预测模型,支持长达2048个时间点的单变量预测,具备零样本学习能力,适用于零售、金融、交通等多个领域。
78 23
TimesFM 2.0:用 AI 预测流量、销量和金融市场等走势!谷歌开源超越统计方法的预测模型
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
Agent Laboratory:AI自动撰写论文,AMD开源自动完成科研全流程的多智能体框架
Agent Laboratory 是由 AMD 和约翰·霍普金斯大学联合推出的自主科研框架,基于大型语言模型,能够加速科学发现、降低成本并提高研究质量。
107 23
Agent Laboratory:AI自动撰写论文,AMD开源自动完成科研全流程的多智能体框架
|
9天前
|
机器学习/深度学习 人工智能 安全
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
GLM-Zero 是智谱AI推出的深度推理模型,专注于提升数理逻辑、代码编写和复杂问题解决能力,支持多模态输入与完整推理过程输出。
119 24
GLM-Zero:智谱AI推出与 OpenAI-o1-Preview 旗鼓相当的深度推理模型,开放在线免费使用和API调用
|
11天前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
50 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
6天前
|
人工智能
Scaling Laws终结,量化无用,AI大佬都在审视这篇论文
《Scaling Laws for Precision》论文提出“精度感知”的扩展理论,将精度纳入模型发展的核心考量,弥补了传统AI模型发展理论忽视精度的不足。研究发现低精度训练会降低模型的有效参数计数,影响性能,并预测了低精度训练和后训练量化带来的损失。作者通过大量实验验证了理论的可靠性和有效性,为计算资源有限情况下如何平衡模型规模和精度提供了新思路。然而,该研究也引发了关于精度与性能权衡复杂性的争议。
48 27
|
3天前
|
存储 人工智能 数据可视化
昇腾AI行业案例(五):基于 DANet 和 Deeplabv3 模型的遥感图像分割
欢迎学习《基于 DANet 和 Deeplabv3 模型的遥感图像分割》实验。在本实验中,你将深入了解如何运用计算机视觉(CV)领域的 AI 模型,搭建一个高效精准的遥感地图区域分割系统,并利用开源数据集和昇腾 AI 芯片对模型效果加以验证。
10 0
昇腾AI行业案例(五):基于 DANet 和 Deeplabv3 模型的遥感图像分割
|
4天前
|
存储 Serverless 文件存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
当前,函数计算 FC 已被广泛应用在各种 AI 场景下,函数计算支持通过使用容器镜像部署 AI 推理应用,并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用,并快速解决不同场景下的模型存储选型问题,本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析,以期为您的模型存储决策提供帮助。
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
昇腾AI行业案例(四):基于 Bert 模型实现文本分类
欢迎学习《昇腾行业应用案例》的“基于 Bert 模型实现文本分类”实验。在本实验中,您将学习如何使用利用 NLP (natural language processing) 领域的AI模型来构建一个端到端的文本系统,并使用开源数据集进行效果验证。为此,我们将使用昇腾的AI硬件以及CANN等软件产品。
14 0
|
机器学习/深度学习 Web App开发 人工智能
阿里3D AI挑战赛落幕,2D照片10秒“升级”成3D模型
8月26日,首届阿里巴巴3D AI挑战赛落下帷幕。本届挑战赛共有1258支队伍报名参赛,三个赛道冠亚季军获奖名单出炉(文章底部查阅获奖名单),颁奖典礼将于Alibaba 3D Artificial Intelligence Challenge Workshop (IJCAI-PRICAI2020) 进行。
1600 0
阿里3D AI挑战赛落幕,2D照片10秒“升级”成3D模型
|
5天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。

热门文章

最新文章