Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

简介: 来吧,和Neurons一起,玩点不一样的AI! 还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。


1

来吧,和Neurons一起,玩点不一样的AI!
还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。
想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。

3
从左至右依次是:输入图像、输出反照率图像


4
从左至右依次是:渲染、渲染(局部放大)


5
从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。

6
从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。

7
从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。

8
从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图

看了今天的Neurons小视频,有没有大开眼界呢?通过深度神经网络,AI真正帮我们实现了“脑补”,构建出了人脸虚拟的3D模型,虽然这篇文章里的数据只是应用在人脸的照片上,但是对于其他物体和图像,发展出广阔的应用前景也是指日可待的!
原文发布时间为:2017-10-30
本文作者:Neurons字幕组
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
18小时前
|
人工智能 vr&ar
[译][AI Research] AI 模型中的“it”是数据集
模型效果的好坏,最重要的是数据集,而不是架构,超参数,优化器。
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
大模型和传统ai的区别
在人工智能(AI)领域,大模型一直是一个热议的话题。从之前的谷歌 DeepMind、百度 Big. AI等,再到今天的百度GPT-3,人工智能技术经历了从“有”到“大”的转变。那么,大模型与传统 ai的区别在哪里?这对未来人工智能发展会产生什么影响?
|
2天前
|
人工智能 监控 安全
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
当大火的文图生成模型遇见知识图谱,AI画像趋近于真实世界
本文介绍了阿里云机器学习PAI团队开发的名为ARTIST的中文文图生成模型,该模型融合了知识图谱信息,能够生成更加符合常识的图像。ARTIST基于Transformer架构,将文图生成任务分为图像矢量量化和文本引导的图像序列生成两个阶段。在第一阶段,模型使用VQGAN对图像进行矢量量化;在第二阶段,通过GPT模型并结合知识图谱中的实体知识来生成图像序列。在MUGE中文文图生成评测基准上,ARTIST表现出色,其生成效果优于其他模型。此外,EasyNLP框架提供了简单易用的接口,用户可以基于公开的Checkpoint进行少量领域相关的微调,实现各种艺术创作。
|
3天前
|
存储 机器学习/深度学习 人工智能
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
RAG:AI大模型联合向量数据库和 Llama-index,助力检索增强生成技术
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
对大模型和AI的认识与思考
2023年,笔者也参与了各种学习和实践,从大语言模型、多模态算法,文生图(Stable Diffusion)技术,到prompt工程实践和搭建文生图(Stable Diffusion)webui实操环境。在此对谈谈对大模型和AI的认识与思考,是为总结。5月更文挑战第3天
26 1
|
5天前
|
机器学习/深度学习 人工智能
论文介绍:AI击败最先进全球洪水预警系统,提前7天预测河流洪水
【5月更文挑战第4天】研究人员开发的AI模型(基于LSTM网络)成功击败全球最先进的洪水预警系统,能在未设测站流域提前7天预测洪水,显著提升预警时间,降低灾害影响。该模型使用公开数据集,减少了对长期观测数据的依赖,降低了预警系统的成本,有望帮助资源有限的地区。然而,模型的性能可能受特定流域条件影响,泛化能力和预测解释性仍有待改进。[论文链接](https://www.nature.com/articles/s41586-024-07145-1)
25 11
|
9天前
|
机器学习/深度学习 人工智能
超越Sora极限,120秒超长AI视频模型诞生!
【5月更文挑战第1天】 StreamingT2V技术突破AI视频生成界限,实现120秒超长连贯视频,超越Sora等传统模型。采用自回归方法,结合短期记忆的条件注意模块和长期记忆的外观保持模块,保证内容连贯性和动态性。在实际应用中,展示出优秀的动态性、连贯性和图像质量,但仍有优化空间,如处理复杂场景变化和连续性问题。[链接](https://arxiv.org/abs/2403.14773)
29 3
|
12天前
|
人工智能 前端开发 算法
参加完全球开发者大会之后,我一个小前端尝试使用了一些AI模型
参加完全球开发者大会之后,我一个小前端尝试使用了一些AI模型
|
13天前
|
人工智能 数据安全/隐私保护
Sora超逼真视频引恐慌!Nature刊文警示AI视频模型,或在2024年颠覆科学和社会
【4月更文挑战第27天】OpenAI公司的新型AI工具Sora能根据文字提示生成超逼真视频,引发关注。尽管已有类似产品,如Runway的Gen-2和谷歌的Lumiere,Sora以其高质量生成效果领先。该技术的进步可能导致2024年全球政治格局的颠覆,同时带来虚假信息的挑战。OpenAI已组建“红队”评估风险,但虚假视频识别仍是难题。尽管有水印解决方案,其有效性尚不确定。Sora在教育、医疗和科研等领域有潜力,但也对创意产业构成威胁。
27 2