论文笔记之:Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach

简介: Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach 2017.11.28  Introduction:  人脸属性的识别在社会交互,提供了非常广泛的信息,包括:the person’s ...

 

Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach 

2017.11.28 

 

Introduction:

  人脸属性的识别在社会交互,提供了非常广泛的信息,包括:the person’s identity, demographic (age, gender, and race), hair style, clothing, etc. 基于人脸属性识别的场景也越来越多,如:(i)video Surveillance;

(ii)face retrieval;(iii)social media。尽管最近在属性识别上取得了很大的进展,但是,大部分 prior works 限制在预测单个属性(如:age),或者 针对每一个属性学习一个 model,进行识别。为了解决上述的局限性,已经有很多工作在尝试 joint 的预测多个属性【见文章引用 19-23】。但是这些方法都有或多或少的不足:

  1. The approaches in [19], [20], [22] used the same features for estimating all the attributes without considering the attribute heterogeneity.

  2. The sumproduct network (SPN) adopted in [21] for modeling attribute correlations may not be feasible because of the exponentially growing number of attribute group combinations.

  3. The cascade network in [23] also required learning a separate Support Vector Machine (SVM) classifier for each face attribute, and is not an end-to-end learning approach. 

 

  

  图一展示了人脸属性的相关性以及多样性。属性之间关系要么是 pos 要么是 neg。与此同时,单个属性可以是多样的(根据 data type 或者 scale,以及 semantic meaning)。这种属性相关性以及多样性应该被编码到 属性预测模型中去(Such attribute correlation and heterogeneity should be considered in designing face attribute estimation models.)。

  

Proposed Algorithm:

  本文提出一种 Deep Multi-Task Learning (DMTL) approach 来 Jointly 的预测单张图像中的多个属性。所提出的方法,是受到现有方法的启发,但是在一个网络中,考虑到 attribute correlation 以及 attribute heterogeneity。所提出的 DMTL 有前期的共享特征提取阶段,以及 特定类型的特征学习来进行多个属性的预测。共享的特征学习自然地探索了多个 task 之间的相关性,可以更加鲁棒以及有效的进行特征的表达。

 

Main Contributions:

  (i) an efficient multi-task learning (MTL) method for joint estimation of a large number of face attributes;

  (ii) modeling both attribute correlation and attribute heterogeneity in a single network;

  (iii) studying the generalization ability of the proposed approach under cross-database testing scenarios;

  (iii) compiling the LFW+ database2 with face images in the wild (LFW), and heterogeneous demographic attributes (age, gender, and race) via crowdsourcing.  

 


Proposed Approach

  1. Deep Multi-task Learning : 

  本文的目标是,用一个联合的预测模型,同时预测多个人脸属性。当大量 face attributes 给特征学习效率上带来挑战的同时,他们也提供了结合属性内部关系的机会(leveraging the attribute inter-correlations to obtain informative and robust feature representation)。例如,CelebA dataset 中的各个属性之间就有很强的 correlation,如下图所示:

  

 

  那么,采用 多任务的框架来学习这个东西,就变的特别直觉了。但是,外观变换的出现 以及 the heterogeneity of individual attributes, 从 face image space 到 attribute space 的映射,通常是 nonlinear。所以, the joint attribute estimation model 应该可以捕获到复杂和综合的非线性变换。CNN model 是一种有效的处理 MTL 以及 nonlinear transformation learning 的方法。所以,我们选择基于 CNN 的 多任务框架来完成该任务:

  一个传统的 DMTL model 进行联合的属性预测可以 formulated by minimizing the regularization error function

  

  上述 model 就是:重构 loss + 正则化项的标准做法。但是这种方法不是最优的,因为属性之间的关系并没有考虑到,而属性的预测应该共享某些 feature。这也是被其他 paper 所支持的【34】。但是,公式 1 当中的表达方式,并没有显示的强调了 a large portion of feature sharing during MTL。我们将上述表达式改为下面的形式:

  

  其中,Wc 控制了人脸属性共享的 feature,Wj 控制了共享 feature 的更新。Specifically, as shown in Fig. 2, a face image is first projected to a high-level representation through a shared deep network (Wc) consisting of a cascade of complex non-linear mappings, and then refined by shallow subnetworks ({Wj}M j=1) towards individual attribute estimation tasks。


 

Heterogeneous Face Attributes Estimation

  尽管上述 DMTL 在特征学习过程中用到了 attribute correlationsthe attribute heterogeneity 仍然需要考虑。单个 face Attribute 的异质性曾经被提出过,但没有受到足够多的关注。原因是如下两个方面:

  1. many of the public-domain face databases are labeled with a single attribute, the requirement of designing corresponding models becomes no longer urgent ; 

  2. many of the published methods choose to learn a separate model for each face attribute; model learning for individual attributes does not face the attribute heterogeneity problem. 

  

  我们分别对待每一个 异质的属性类别(the heterogeneous attribute categories),但是每一个类别的 attributes 都希望能够共享  feature learning 以及 classification model。为了完成这个,我们重写了目标函数:

  

  其中,G 是异质属性类别的个数。

  

  将大量属性进行几个 heterogeneous categories 的划分,依赖于 prior knowledge。此处,我们从 data type and scale (i.e. ordinal vs. nominal)  以及 semantic meaning (i.e. holistic vs. local) 考虑 face attribute heterogeneities,然后解释我们的 特定类别的建模,来进行这些 heterogeneous attribute categories。

  

  Nominal vs. ordinal attributes 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

相关文章
|
存储 数据库 索引
Flutter笔记:滚动之-无限滚动与动态加载的实现(GetX简单状态管理版)
本文介绍Flutter中如何实无线滚动(基于GetX简单状态管理而非有状态组件)
279 0
|
人工智能 关系型数据库 分布式数据库
沉浸式学习PostgreSQL|PolarDB 9: AI大模型+向量数据库, 提升AI通用机器人在专业领域的精准度, 完美诠释柏拉图提出的“知识是回忆而不是知觉”
越来越多的企业和个人希望能够利用LLM和生成式人工智能来构建专注于其特定领域的具备AI能力的产品。目前,大语言模型在处理通用问题方面表现较好,但由于训练语料和大模型的生成限制,对于垂直专业领域,则会存在知识深度和时效性不足的问题。在信息时代,由于企业的知识库更新频率越来越高,并且企业所拥有的垂直领域知识库(例如文档、图像、音视频等)往往是未公开或不可公开的。因此,对于企业而言,如果想在大语言模型的基础上构建属于特定垂直领域的AI产品,就需要不断将自身的知识库输入到大语言模型中进行训练。
1434 0
|
8月前
|
机器学习/深度学习 人工智能 云计算
Intel 平台新特性助力龙蜥 OS 云计算 | 龙蜥大讲堂101期
本次分享的主题是Intel平台新特性助力龙蜥OS云计算。内容涵盖英特尔第四代和第五代至强处理器的新特性,如性能提升、内置加速器等,并详细介绍TDX、SGX、AMX等技术原理及其在虚拟化环境中的支持情况,旨在帮助云用户充分利用英特尔新平台的优势。
219 5
|
6月前
|
机器学习/深度学习 数据采集 编解码
基于DeepSeek的生成对抗网络(GAN)在图像生成中的应用
生成对抗网络(GAN)通过生成器和判别器的对抗训练,生成高质量的合成数据,在图像生成等领域展现巨大潜力。DeepSeek作为高效深度学习框架,提供便捷API支持GAN快速实现和优化。本文详细介绍基于DeepSeek的GAN技术,涵盖基本原理、实现步骤及代码示例,展示其在图像生成中的应用,并探讨优化与改进方法,如WGAN、CGAN等,解决模式崩溃、训练不稳定等问题。最后,总结GAN在艺术创作、数据增强、图像修复等场景的应用前景。
734 16
|
10月前
|
机器学习/深度学习 人工智能 安全
AI与旅游业:旅行规划的智能助手
在数字化浪潮中,人工智能(AI)正重塑旅游业。本文探讨了AI如何通过个性化推荐、智能预测与预警、语音交互与虚拟助手、增强现实体验及可持续发展,提升旅行规划的效率、安全性和趣味性,推动旅游业创新与变革。
|
9月前
|
存储 Oracle 关系型数据库
数据库数据恢复—ORACLE常见故障的数据恢复方案
Oracle数据库常见故障表现: 1、ORACLE数据库无法启动或无法正常工作。 2、ORACLE ASM存储破坏。 3、ORACLE数据文件丢失。 4、ORACLE数据文件部分损坏。 5、ORACLE DUMP文件损坏。
392 11
|
11月前
|
SQL 数据库连接 数据处理
批量提交SQL语句的技巧与方法
在数据库操作中,批量提交SQL语句可以显著提高数据处理的效率,特别是在需要执行大量插入、更新或删除操作时
|
监控 算法 数据挖掘
ERP系统中的生产线排程与调度优化解析
【7月更文挑战第25天】 ERP系统中的生产线排程与调度优化解析
497 6
|
关系型数据库 MySQL Serverless
实时计算 Flink版产品使用问题之原生Session模式下遇到classpath路径未生效,该怎么办
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
安全 网络安全 文件存储
DIY nas 之tailscale组件虚拟局域网
tailscale解决没有公网IP而又需要进行远程办公的问题
744 0