@TOC

论文名称：Examples-Rules Guided Deep Neural Network for Makeup Recommendation
原文地址：Examples-Rules Guided

⚡本系列历史文章⚡

【推荐系统论文精读系列】(一)--Amazon.com Recommendations
【推荐系统论文精读系列】(二)--Factorization Machines
【推荐系统论文精读系列】(三)--Matrix Factorization Techniques For Recommender Systems
【推荐系统论文精读系列】(四)--Practical Lessons from Predicting Clicks on Ads at Facebook
【推荐系统论文精读系列】(五)--Neural Collaborative Filtering
【推荐系统论文精读系列】(六)--Field-aware Factorization Machines for CTR Prediction
【推荐系统论文精读系列】(七)--AutoRec Autoencoders Meet Collaborative Filtering
【推荐系统论文精读系列】(八)--Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
【推荐系统论文精读系列】(九)--Product-based Neural Networks for User Response Prediction
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems
【推荐系统论文精读系列】(十一)--DeepFM A Factorization-Machine based Neural Network for CTR Prediction

一、摘要

在本文中，我们考虑了一个全自动补妆推荐系统，并提出了一种新的例子-规则引导的深度神经网络方法。该框架由三个阶段组成。首先，将与化妆相关的面部特征进行结构化编码。其次，这些面部特征被输入到示例中——规则引导的深度神经推荐模型，该模型将Before-After图像和化妆师知识两两结合使用。最后，为了将推荐的妆型可视化，开发了一个自动妆型合成系统。为此，我们采集了一个新的Before-After面部化妆数据库，并手工标注，通过知识库系统对化妆师的知识进行建模。该框架的性能是通过广泛的实验分析来评估的。实验验证了人脸特征的自动分类、统计推荐和感知推荐的有效性以及化妆合成的准确性，明显优于现有方法。值得注意的是，所提出的框架是一个开创性的全自动化妆推荐系统，据我们所知。

二、介绍

几千年来，人们一直使用面部化妆来改善或改变自己的容貌。面部化妆可以增加他们的吸引力，消除年龄暗示，让他们在不同的场合和活动中拥有不同的外表。几乎每个喜欢化妆的人都要面对的第一个基本问题是:现在最好的化妆风格是什么?事实上，这并不是一个简单的问题，因为化妆风格非常多样化。选择化妆风格后的第二个问题是:我化妆后会是什么样子?因为相同的妆容在不同的脸上会有不同的观感，所以很难提前预测。近年来，在机器学习、多媒体和图像分析等领域，对这两个问题的计算解决受到了越来越多的关注。要向这个方向发展，首先要在网上创建工具来手动对用户的照片进行虚拟化妆，如TAAZ1和DailyMakever2。最近，一些作品试图通过推荐和实施化妆风格来实现闭环。

在本文中，我们旨在通过提出一个全自动的面部化妆推荐和一个高效的合成系统来回答这两个问题。我们使用了一个深度神经网络模型，由化妆前和化妆后的标签图像训练，并利用化妆知识库系统规则。我们提出的系统基于两个主要前提:

1)根据面部属性选择化妆风格元素

2)化妆专家的知识来源于化妆艺术的一定规律和自己在这个领域的经验。

该框架首先分析用户的面部属性，然后将这些面部属性的值作为输入传递给基于深度学习的推荐系统。建议的化妆风格将自动合成在用户的面部图像上，以显示化妆后的脸看起来如何。图1展示了我们提出的示例-规则指导的组合推荐框架的总体概况。简要讨论了化妆和符号神经网络的相关工作。

彩妆推荐:

近年来，很少有研究针对面部彩妆风格的建议和实施问题。在(Scherbaum et al.  2011)中，他们收集了56名女性化妆前后的2D图像和3D模型。根据同一位女性面部外观的差异，他们学会了面部空间和化妆空间之间的映射模型。通过利用特征距离在数据库中找到与测试人脸最接近的人脸，并将其专业化妆转移到测试人脸上，从而完成化妆建议。数据集中的示例数量很少，而且在不同条件下迁移组成的能力使得该推荐系统的通用性值得怀疑。在(Liu  et al.  2013)，美容e-Expert建议系统的化妆和发型。通过学习美貌相关属性(面部特征)与美貌属性(化妆风格)之间的关系，构建生成式推荐模型。数据库中无法获取化妆前的图像，这使得提取重要的面部特征作为化妆暗示非常困难，比如真实的肤色、眼睛形状和眼睛颜色。

与规则相结合的神经网络:

将以逻辑规则表示的知识与可用的数据示例相结合用于神经网络的训练，在几个领域显示了有趣的结果。一些作品解决了从定义规则到建模知识和进行推理的神经网络构建问题，如神经符号系统in  (Garcez, Broda，和Gabbay 2002)， (Garcez, Lamb，和M. 2009)和CLIPS++ in (Frana, G.，和d  'Avila Garcez 2014)。在(Towell, Shavlik, and Noordewier,  1990)中，他们提出使用领域知识学习神经网络参数，在(Lamb, Borges, and d’avila Garcez,  2007)中使用连接主义认知模型来解决规则的时间同步问题。最近，深度学习在不同应用领域的成功(You et al. 2015)，(Krizhevsky,  Sutskever, and Hinton 2012)促使我们重新考虑将深度神经网络与逻辑规则结合在推荐系统中。在(Hu et al.  2016)中，他们提出了一种通用框架，可以从标记的例子和逻辑规则中同时训练深度神经网络结构。神经符号学习和推理的最新进展、挑战和深度学习的潜力(d’avila  Garcez et al.  2015)进行了综述。基于深度学习的高性能、化妆前后标记图像的可用性以及我们将化妆专家知识表示为基于规则的系统的能力，我们提出了这个基于Examples-Rules的网络框架。本文的主要贡献如下:

1)提出了一种新的基于规则的深度神经网络(DNN)补妆推荐方法，其性能优于现有的补妆推荐方法

2)收集并标注了一个新的前后脸谱数据库，是文献中最大、最完整的数据库

3)有效的自动面部化妆合成

三、化妆前后数据集

面部化妆分析与推荐的研究是一个新的方向。之前的少数作品是基于小型收集的数据库，这些数据库不能供公众使用，如在(Scherbaum et al. 2011;Liu  et al.  2016)。在我们的数据库中，有961个不同的女性有两张图片，一张是干净的脸，另一张是经过专业化妆的。女性被划分为以下四个不同的族群:224个白种人，187个亚洲人，300个非洲人和250个西班牙人。所有照片都在良好的质量，正面脸没有遮挡。与化妆相关的面部特征的定义和分类如表1所示。此外，通过了解粉底颜色、眼影风格、口红颜色等每一种化妆元素的价值或类别，就可以准确地描述每一种化妆风格。因此，表2总结了我们系统中考虑的化妆样式元素以及它们在数据库中标记的类。表1和表2的内容是通过采访化妆师精心决定的。该数据集将在发表该作品后供公众使用。

四、DNN化妆推荐模型

深度学习模型在不同推荐系统中的成功(Van den Oord, Dieleman, and Schrauwen, 2013;Lin等人2015年;Florez  2014)和从不同的知识资源学习DNN参数的灵活性(Lake, Salakhutdinov, and Tenenbaum  2015)促使我们提出了这种构成推荐方法。在本工作中，我们采用多层感知器(Multiple Layer  Perceptron)，将接收人脸特征类的输入层作为输入向量，L层隐藏全连接层，每层隐藏单元W，以及多个输出层(每个构成元素一个)，如图1所示。

模型输入:

将表1中列出的6个与化妆相关的面部特征自动分类并编码为特征向量。该特征向量在测试阶段作为输入输入到我们提出的深度神经网络推荐模型。在培训阶段，我们将使用数据库中的可用标签。人脸检测，每个人脸特征感兴趣的区域，特征选择和分类是全自动的，将在实验部分详细介绍。将每个面部特征的类号编码为大小为s的特征向量v，将六个特征向量串联起来，在向量v  = {v1，…, v6}。

模型输出:

Yn:是数据集中对应于xn的化妆样式标签;Sn:从基于规则的系统中为xn生成的化妆样式。该推荐模型的主要创新之处在于:

1)通过实例训练DNN结构，并以规则为指导

2)多重输出，推荐每个化妆元素

3)推荐同质化妆风格。

References

Bishop, C. 2006. Pattern Recognition and Machine Learn-ing (Information Science and Statistics).
Bookstein, F. L. 1989. Principal warps: thin-plate splinesand the decomposition of deformations. IEEE Trans. on Patt. Anal. and Mach. Int (PAMI) 11(6).
Chang, C.-C., and Lin, C.-J. 2011. Libsvm: A library for support vector machines. ACM Trans. Intell. Syst. Technol.
Dalal, N., and Triggs, B. 2005. Histograms of oriented gradients for human detection. In IEEE Conference on Computer Vision and Pattern Recognition.
d’Avila Garcez, A. S.; Besold, T. R.; Raedt, L. D.; Fldiak,P.; Hitzler, P.; Icard, T.; Khnberger, K.-U.; Lamb, L. C.; Mi-ikkulainen, R.; and Silver, D. L. 2015. A connectionist cog-nitive model for temporal synchronisation and learning. In AAAI Spring Symposium on Knowledge Representation and Reasoning: Integrating Symbolic and Neural Approaches.

Technical Report.Florez, O. U. 2014. Deep Learning of Semantic Word Representations to Implement a Content-Based Recommender for the RecSys Challenge’14. 199–204.
Frana, M.; G., Z.; and d’Avila Garcez, A. 2014. Fast relational learning using bottom clause propositionalization with artificial neural networks. Machine Learning 94.
Garcez, A. d.; Broda, K. B.; and Gabbay, D. M. 2002.Neural-Symbolic Integration: The Road Ahead. London:Springer London.
Garcez, A. S. d.; Lamb, L. M.; and M., G. D. 2009.Neural-Symbolic Cognitive Learning: Cognitive Technologies. Springer.
amb, L. M.; and M., G. D. 2009.Neural-Symbolic Cognitive Learning: Cognitive Technologies. Springer.
Guo, D., and Sim, T. 2009. Digital face makeup by example. In IEEE Conference on Computer Vision and Pattern Recognition, 73–79.