CVPR 2018:用GAN预测20年后你长什么样

简介: 20年后的你长什么样?北京航空航天大学和密歇根州立大学的研究人员设计了一个AI系统,采用生成对抗网络(GAN),可以根据原始照片生成一个人年龄增长后的样子,甚至连发际线逐渐后移也能逼真地模拟。论文发表在CVPR 2018。

警方要搜寻一个失踪多年的人或逃犯时,有时候线索只有一张旧照片。艺术家或计算机程序可以尝试根据旧照片推测这些人今天的样子,但这两种方法都有缺陷。现在,科学家们已经能够利用AI来渲染照片中的人年老后的样子,其结果比以往的方法更加逼真。

来自北京航空航天大学和密歇根州立大学的研究人员设计了这样一个系统。该系统采用一种由两个部分组成的算法,即生成对抗网络(GAN)。第一部分以一张脸的照片作为输入,并生成目标年龄的同一个人年龄增长后的脸。在训练过程中,第二部分将生成的图像与该年龄的人的真实图像和原始图像进行对比,并提供反馈,以令第一部分改进生成图像的效果。

f26f07549f859dcfd80df9397c039853c7a96ab8

图1:年龄增长(ageing)的模拟结果(第1列是输入的图像)。

其他这类系统也有使用GAN的, 但这个系统的不同之处在于它不仅关注年龄的正确性,还关注保持特定人的身份。与其他系统不同的是,它还能渲染前额和发际线逐渐升高的样子,如上图演示的结果。

29c378c4d816fa77604223baed95830dc10370b2

图2:提出的年龄增长方法的框架。

在这个框架中,一个基于CNN的生成器G学习年龄变化(age transformation)。训练中的critic在图像空间加入平方欧几里得损失,GAN loss鼓励生成的人脸与训练中相应年龄的老年人的脸无法区分,以及 identity preservation loss使高级特征表示的输入输出距离最小化。

这个研究的主要贡献如下:

d47e62d2b349aca45e42305ed6714efbe5ed61d9 提出了一种新的 基于GAN 的年龄发展方法,该方法结合了人脸验证和年龄估计技术,从而解决了衰老效果生成和身份线索保存的问题。
d47e62d2b349aca45e42305ed6714efbe5ed61d9 强调了 前额和头发的重要性 ,这与我们认知的年龄增长现象密切相关,但在其他研究中被忽略了;这确实提高了所生成的衰老照片的精度。

d47e62d2b349aca45e42305ed6714efbe5ed61d9除了现有的实验外,研究者还设置了新的验证实验,包括基于商业化的面部分析工具的评估以及对表情、姿势和化妆变化的不敏感性评估。该方法不仅被证明有效,而且对于年龄增长也具有稳健性。

d667cca886fd2c89e254624b8b95ccebea3e7187

24个不同的受试者在CACD数据库上获得的老化效果(Aging effects)。每个部分的第一个图像是原始的人脸图像,随后的3个图像是该受试者在[31- 40]、[41-50]和50+年龄组的变老图像。

0a4e005e156df72057accd3f1bc7ba6910b63475

:24个不不同的受试者在MORPH数据库获得的老化效果。

研究人员在来自两个数据库的10万张图像上训练了他们的AI,这些数据库中包括不同年龄的警方存档的面部照片和名人照片。然后,研究者用一个独立的计算机程序判断AI在一组新图像上的表现。举例来说,当AI将人的照片老化20年以上时,原本30岁以下的人看起来应该在50岁至60岁之间,计算机程序将他们(平均)视为60岁(面部照片)或52岁(名人照片)。

b238ed38dee5ace8fda31be0ed3cf1dbfd11305b

图:与先前工作的对比

在进一步的统计调查中,研究人员从已发表的论文中收集了54个人的138张配对的照片,并邀请10位人类观察者来评估哪张年龄增长的脸更好。在1380票中,69.78%投给了我们的工作,20.80%投给了以前的工作,9.42%表示两者不分上下。此外,该方法不需要像以前的工作那样进行繁琐的预处理,只需要两个标志点用于瞳孔对齐。总而言之,研究者称他们提出的方法优于以前的方法。


原文发布时间为:2018-06-14

本文作者:肖琴

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:CVPR 2018:用GAN预测20年后你长什么样

相关文章
|
3月前
|
机器学习/深度学习 网络架构 计算机视觉
YOLOv8改进 | 主干篇 | 利用SENetV1改进网络结构 (ILSVRC冠军得主)
YOLOv8改进 | 主干篇 | 利用SENetV1改进网络结构 (ILSVRC冠军得主)
60 0
|
12月前
|
机器学习/深度学习 数据挖掘 PyTorch
ICLR 2023 | 解决VAE表示学习问题,北海道大学提出新型生成模型GWAE
ICLR 2023 | 解决VAE表示学习问题,北海道大学提出新型生成模型GWAE
|
12月前
|
机器学习/深度学习 编解码 数据可视化
分割冠军 | 超越Swin v2、PvT v2等模型,ViT-Adaptiver实现ADE20K冠军60.5mIoU
分割冠军 | 超越Swin v2、PvT v2等模型,ViT-Adaptiver实现ADE20K冠军60.5mIoU
270 0
|
机器学习/深度学习 算法 计算机视觉
NeurIPS 2021 | 华为诺亚Oral论文:基于频域的二值神经网络训练方法
NeurIPS 2021 | 华为诺亚Oral论文:基于频域的二值神经网络训练方法
166 0
|
存储 机器学习/深度学习 编解码
CVPR录用+NTIRE冠军!清华提出首个高光谱图像重建Transformer
CVPR录用+NTIRE冠军!清华提出首个高光谱图像重建Transformer
332 0
|
算法 API 计算机视觉
【OpenVI—论文解读系列】榜首模型人脸检测MogFace CVPR论文深入解读
人脸检测算法是在一幅图片或者视频序列中检测出来人脸的位置,给出人脸的具体坐标,一般是矩形坐标。
288 0
|
机器学习/深度学习 数据可视化 算法
【OpenVI—论文解读系列】快速动作识别TPS ECCV论文深入解读
高效的时空建模(Spatiotemporal modeling)是视频理解和动作识别的核心问题。相较于图像的Transformer网络,视频由于增加了时间维度,如果将Transformer中的自注意力机制(Self-Attention)简单扩展到时空维度,将会导致时空自注意力高昂的计算复杂度和空间复杂度。
237 0
【OpenVI—论文解读系列】快速动作识别TPS ECCV论文深入解读
|
算法 图计算 计算机视觉
ECCV论文解读 | ECO视频动作识别
ECCV论文解读 | ECO视频动作识别
ECCV论文解读 | ECO视频动作识别
|
人工智能 算法 计算机视觉
MMTracking 食用指南 | 视频目标检测(附AAAI2021论文解读)
VID 旨在检测视频中每一帧出现的物体。 与目标检测相比, VID 允许来自一个视频里的多帧作为输入,但输出形式与目标检测一致。 与多目标跟踪相比, VID 不要求对不同帧中的同一目标进行关联,只需检测出目标即可。
651 0
MMTracking 食用指南 | 视频目标检测(附AAAI2021论文解读)
|
机器学习/深度学习 数据挖掘 计算机视觉
Alexnet论文泛读:深度学习CV领域划时代论文具有里程碑意义NeurIPS2012
Alexnet论文泛读:深度学习CV领域划时代论文具有里程碑意义NeurIPS2012
Alexnet论文泛读:深度学习CV领域划时代论文具有里程碑意义NeurIPS2012