Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

简介: 来吧,和Neurons一起,玩点不一样的AI! 还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。


1

来吧,和Neurons一起,玩点不一样的AI!
还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。
想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。

3
从左至右依次是:输入图像、输出反照率图像


4
从左至右依次是:渲染、渲染(局部放大)


5
从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。

6
从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。

7
从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。

8
从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图

看了今天的Neurons小视频,有没有大开眼界呢?通过深度神经网络,AI真正帮我们实现了“脑补”,构建出了人脸虚拟的3D模型,虽然这篇文章里的数据只是应用在人脸的照片上,但是对于其他物体和图像,发展出广阔的应用前景也是指日可待的!
原文发布时间为:2017-10-30
本文作者:Neurons字幕组
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
17天前
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
|
30天前
|
人工智能 物联网 调度
边缘大型AI模型:协作部署与物联网应用——论文阅读
论文《边缘大型AI模型:协作部署与物联网应用》系统探讨了将大模型(LAM)部署于边缘网络以赋能物联网的前沿框架。针对传统云端部署高延迟、隐私差的问题,提出“边缘LAM”新范式,通过联邦微调、专家混合与思维链推理等技术,实现低延迟、高隐私的分布式智能。
474 6
边缘大型AI模型:协作部署与物联网应用——论文阅读
|
2月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
951 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
13天前
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
205 120
|
2月前
|
机器学习/深度学习 人工智能 资源调度
智能家居环境中的AI决策解释:实现以人为中心的可解释性——论文阅读
本文探讨智能家居中AI决策的可解释性,提出以人为中心的XAI框架。通过SHAP、DeepLIFT等技术提升模型透明度,结合用户认知与需求,构建三层解释体系,增强信任与交互效能。
156 19
智能家居环境中的AI决策解释:实现以人为中心的可解释性——论文阅读
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
363 13
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
2月前
|
人工智能 负载均衡 API
Vercel 发布 AI Gateway 神器!可一键访问数百个模型,助力零门槛开发 AI 应用
大家好,我是Immerse,独立开发者、AGI实践者。分享编程、AI干货、开源项目与个人思考。关注公众号“沉浸式趣谈”,获取独家内容。Vercel新推出的AI Gateway,统一多模型API,支持自动切换、负载均衡与零加价调用,让AI开发更高效稳定。一行代码切换模型,告别接口烦恼!
245 1
Vercel 发布 AI Gateway 神器!可一键访问数百个模型,助力零门槛开发 AI 应用
|
机器学习/深度学习 人工智能 算法
如果能在1分钟内训练出个AI模型,你想要什么?
随着人工智能的技术不断成熟,AI逐渐在各行业内落地,比如:在常见的安防监控领域,我们可以通过人脸识别去抓捕逃犯;在教育领域,我们可以使用OCR识别做拍题识别;在新零售领域,我们通过物体识别判断货品位置和数量;甚至在养猪场,我们都能用AI技术检测养猪的位置及数量。
1935 0
如果能在1分钟内训练出个AI模型,你想要什么?
|
10天前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。

热门文章

最新文章

下一篇
开通oss服务