《中国人工智能学会通讯》——11.51 基于幻象技术的异质人脸图像合成-阿里云开发者社区

开发者社区> 知与谁同> 正文

《中国人工智能学会通讯》——11.51 基于幻象技术的异质人脸图像合成

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第11章,第11.51节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。
+关注继续查看

11.51 基于幻象技术的异质人脸图像合成

基于稀疏特征选择的方法,以及现有的大部分算法在合成人脸图像时,多是采用线性组合的方式。线性组合,即线性加权平均,可以看作一低通滤波器,会过滤掉一些高频细节信息,如图2所示。此外,由于现有的异质人脸图像合成算法对图像分块多采用相邻块覆盖的方式,故在最后融合生成一整张人脸时需要将重叠区域平均,这也会带来一定的模糊效应,过滤掉部分高频细节信息。image
那么是否能够通过学习输入测试照片到残差图像之间的映射关系来学习丢失的高频细节信息?而人脸幻象 (face hallucination),即人脸超分辨重建,一般是在中低频的初始估计基础上加上学习得到的高频细节信息,这与我们的任务不谋而合。受人脸幻象思想启发,因此提出如何在初始估计基础上学习得到丢失的高频信息以进一步提高合成人脸图像的质量。

受两步人脸幻象[13]框架启发,提出一种两步框架来进一步增强合成图像的高频细节。所提出的框架步骤为(以人脸画像合成为例):第一步,利用第二章中介绍的基于稀疏特征选择的人脸图像合成方法合成一张初始估计,这里也可以用现有的其他基于线性组合的方法;第二步,利用支撑向量回归(Support Vector Regression,SVR) 学习照片和画像高频细节之间的映射关系,并对输入的照片进行高频信息的估计;最后将两步分别得到的初始估计与残差图像进行叠加得到最终输出的合成画像。下面主要介绍基于支撑向量回归的幻象部分,即残差补偿。

这里定义的高频信息为图像块灰度值减去块均值。支撑向量回归模型的输入特征取为图像块的灰度值减去块均值,输出为对应模态图像块中心像素的灰度值减去块均值。为了进一步提高学习的效率和效果,首先将图像块聚类,然后每个类分别学习一个 SVR模型。测试阶段,对于每个图像块,首先根据聚类中心选择距离最近的类对应的支撑向量回归模型,进而进行高频信息的回归,算法框图如图 3 所示。

训练阶段,首先对训练画像 - 照片对分成一些均匀大小的块,块与块之间保持一定的重叠区域;然后用 K-means 聚类方法将这些块聚成 M 类,每一类利用支撑向量回归训练得到一回归模型。我们采用 LIBSVM( 采用默认参数 ) 进行训练。测试阶段,先对输入照片进行与训练阶段同样的分块,提取特征;然后对于每个块根据与各个类中心的欧式距离寻找最近邻的类,随后用对应的 SVR 模型进行回归得到输出高频图像对应块中心的高频值。将所有合成的这些高频信息重新排列即可得高频细节图像。最后将所得高频细节图像加到初始估计上,即可得到最终的合成结果。

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
2841 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7751 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5456 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9424 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
5727 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
3227 0
+关注
10077
文章
2994
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载