Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

简介: 来吧,和Neurons一起,玩点不一样的AI! 还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。


1

来吧,和Neurons一起,玩点不一样的AI!
还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。
想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。

3
从左至右依次是:输入图像、输出反照率图像


4
从左至右依次是:渲染、渲染(局部放大)


5
从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。

6
从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。

7
从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。

8
从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图

看了今天的Neurons小视频,有没有大开眼界呢?通过深度神经网络,AI真正帮我们实现了“脑补”,构建出了人脸虚拟的3D模型,虽然这篇文章里的数据只是应用在人脸的照片上,但是对于其他物体和图像,发展出广阔的应用前景也是指日可待的!
原文发布时间为:2017-10-30
本文作者:Neurons字幕组
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
4天前
|
人工智能
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
AniDoc 是一款基于视频扩散模型的 2D 动画上色 AI 模型,能够自动将草图序列转换为彩色动画。该模型通过对应匹配技术和背景增强策略,实现了色彩和风格的准确传递,适用于动画制作、游戏开发和数字艺术创作等多个领域。
55 16
AniDoc:蚂蚁集团开源 2D 动画上色 AI 模型,基于视频扩散模型自动将草图序列转换成彩色动画,保持动画的连贯性
|
14天前
|
人工智能 安全 测试技术
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
EXAONE 3.5 是 LG AI 研究院推出的开源 AI 模型,擅长长文本处理,能够有效降低模型幻觉问题。该模型提供 24 亿、78 亿和 320 亿参数的三个版本,支持多步推理和检索增强生成技术,适用于多种应用场景。
65 9
EXAONE 3.5:LG 推出的开源 AI 模型,采用 RAG 和多步推理能力降低模型的幻觉问题
|
16天前
|
机器学习/深度学习 人工智能
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
SNOOPI是一个创新的AI文本到图像生成框架,通过增强单步扩散模型的指导,显著提升模型性能和控制力。该框架包括PG-SB和NASA两种技术,分别用于增强训练稳定性和整合负面提示。SNOOPI在多个评估指标上超越基线模型,尤其在HPSv2得分达到31.08,成为单步扩散模型的新标杆。
57 10
SNOOPI:创新 AI 文本到图像生成框架,提升单步扩散模型的效率和性能
|
16天前
|
人工智能 搜索推荐 开发者
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
Aurora是xAI为Grok AI助手推出的新图像生成模型,专注于生成高逼真度的图像,特别是在人物和风景图像方面。该模型支持文本到图像的生成,并能处理包括公共人物和版权形象在内的多种图像生成请求。Aurora的可用性因用户等级而异,免费用户每天能生成三张图像,而Premium用户则可享受无限制访问。
56 11
Aurora:xAI 为 Grok AI 推出新的图像生成模型,xAI Premium 用户可无限制访问
|
17天前
|
存储 人工智能 PyTorch
【AI系统】模型转换流程
本文详细介绍了AI模型在不同框架间的转换方法,包括直接转换和规范式转换两种方式。直接转换涉及从源框架直接生成目标框架的模型文件,而规范式转换则通过一个中间标准格式(如ONNX)作为桥梁,实现模型的跨框架迁移。文中还提供了具体的转换流程和技术细节,以及模型转换工具的概览,帮助用户解决训练环境与部署环境不匹配的问题。
35 5
【AI系统】模型转换流程
|
17天前
|
机器学习/深度学习 存储 人工智能
【AI系统】模型转换基本介绍
模型转换技术旨在解决深度学习模型在不同框架间的兼容性问题,通过格式转换和图优化,将训练框架生成的模型适配到推理框架中,实现高效部署。这一过程涉及模型格式转换、计算图优化、算子统一及输入输出支持等多个环节,确保模型能在特定硬件上快速、准确地运行。推理引擎作为核心组件,通过优化阶段和运行阶段,实现模型的加载、优化和高效执行。面对不同框架的模型文件格式和网络结构,推理引擎需具备高度的灵活性和兼容性,以支持多样化的应用场景。
41 4
【AI系统】模型转换基本介绍
|
17天前
|
机器学习/深度学习 存储 人工智能
【AI系统】模型剪枝
本文概述了模型剪枝的概念、方法及流程,旨在通过移除神经网络中冗余或不重要的参数,实现模型规模的减小和效率的提升。剪枝不仅有助于降低模型的存储和计算需求,还能增强模型的泛化能力。文章详细介绍了剪枝的定义、分类、不同阶段的剪枝流程,以及多种剪枝算法,如基于参数重要性的方法、结构化剪枝、动态剪枝和基于优化算法的全局剪枝策略。通过这些方法,可以在保持模型性能的同时,显著提高模型的计算速度和部署灵活性。
28 2
【AI系统】模型剪枝
AI:百度飞桨EasyDL多门视频课程,手把手教你如何定制高精度AI模型
AI:百度飞桨EasyDL多门视频课程,手把手教你如何定制高精度AI模型
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
64 10
|
2天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营