@TOC

论文名称：Information Fusion-Based Deep Neural Attentive Matrix Factorization Recommendation
原文地址：IFDNAMF

⚡本系列历史文章⚡

【推荐系统论文精读系列】(一)--Amazon.com Recommendations
【推荐系统论文精读系列】(二)--Factorization Machines
【推荐系统论文精读系列】(三)--Matrix Factorization Techniques For Recommender Systems
【推荐系统论文精读系列】(四)--Practical Lessons from Predicting Clicks on Ads at Facebook
【推荐系统论文精读系列】(五)--Neural Collaborative Filtering
【推荐系统论文精读系列】(六)--Field-aware Factorization Machines for CTR Prediction
【推荐系统论文精读系列】(七)--AutoRec Autoencoders Meet Collaborative Filtering
【推荐系统论文精读系列】(八)--Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
【推荐系统论文精读系列】(九)--Product-based Neural Networks for User Response Prediction
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems
【推荐系统论文精读系列】(十一)--DeepFM A Factorization-Machine based Neural Network for CTR Prediction

一、摘要

推荐系统的出现，有效地缓解了信息过载的问题。而传统的推荐系统，要么忽略用户和物品的丰富属性信息，如用户的人口统计特征、物品的内容特征等，面对稀疏性问题，要么采用全连接网络连接特征信息，忽略不同属性信息之间的交互。本文提出了基于信息融合的深度神经注意矩阵分解(ifdnamf)推荐模型，该模型引入了用户和物品的特征信息，并采用不同信息域之间的交叉积来学习交叉特征。此外，还利用注意机制来区分不同交叉特征对预测结果的重要性。此外，ifdnamf采用深度神经网络来学习用户与项目之间的高阶交互。同时，作者在电影和图书这两个数据集上进行了广泛的实验，并证明了该模型的可行性和有效性。

二、介绍

近年来，互联网用户和应用程序等数据源的数量和类型迅速增加，导致互联网信息呈指数级增长。创建大量数据、收集和处理。这导致了大量的数据供应和用户的个性化需求之间的巨大矛盾。这个庞大的数据集使用户难以快速获得满足其个性化需求的信息，这被称为信息过载。如何平衡海量数据与用户的个性化需求，快速准确地为用户提供海量数据的个性化信息已成为亟待解决的问题。

推荐系统被认为是缓解这一问题的有效解决方案。通过分析用户的偏好，推荐系统可以主动向符合兴趣的用户推荐信息。而传统的推荐系统通常采用单一形式的数据，例如基于矩阵分解的推荐系统往往是基于显式反馈数据的评级矩阵或隐式反馈数据的交互矩阵的分解来完成推荐任务。

采用单一形式的输入数据信息不足，容易受到噪声数据的影响，因此难以准确、全面地对用户和项目进行建模，难以满足用户对项目的新颖性的需求，这限制了推荐系统的性能。事实上，除了评级信息外，还有其他辅助信息，如用户的社会人口统计学特征（年龄、性别、职业等），该项目的内容功能（类别、介绍等）等等。推荐系统采用信息融合技术，可以将辅助信息集成到推荐系统的建模过程中，使推荐系统能够更全面地对用户偏好和项目表示进行建模，提高模型的表达能力，提高推荐的性能，提高推荐结果的新颖性。

本文提出了基于信息融合的深度神经注意矩阵因子分解(ifdnamf)推荐模型。基于深度神经网络可以融合任意连续特征和类别特征的特征，我们将辅助信息引入到模型中。在进行信息融合时，为了完成不同信息域特征之间的交互式融合，并以有针对性的方式获得不同的交叉特征，我们采用了element-product。同时，为了区分不同交叉特征对推荐结果的重要性，我们还引入了注意机制来学习不同交叉特征的权重。

此外，基于矩阵分解的推荐系统还受到了简单线性内积的局限性。另外，在传统矩阵分解的内积过程中，所有维数的结果以相同的权值累积，可以看作是连接权值均为1，从而得到最终的标量结果。这两种方法都使得建模用户和项目之间复杂的非线性关系是无效的。为了解决这些问题，He等人提出了广义矩阵分解(GMF)，该方法利用神经网络通过激活函数赋予MF非线性学习能力，并通过引入权重矩阵将不同维度的值与不同的权值相结合。

GMF有能力模拟用户和项目之间的二阶非线性交互。该模型的表达能力得到了显著的提高。尽管有这些优点，但由于网络结构较浅，GMF无法有效捕获用户与信息更丰富的项目之间的高阶交互，这可能会限制推荐系统的性能。因此，在ifdnamf中由非线性元素乘积得到的二阶交互上引入了隐层，通过深度神经网络，我们可以模拟用户与项目之间复杂的非线性高阶交互。

我们所提出的方法的主要贡献可以总结如下。

1. 首先提出了一种新的推荐模型，即基于信息融合的深度神经注意矩阵分解(ifdnamf)推荐模型，其中引入辅助信息，帮助模型更全面、具体地描述用户特征和项目特征；
2. 然后，我们提出了一种新的信息融合方法，即采用不同信息域之间的内积来学习交叉特征，这样ifdnamf就可以获得包含辅助信息之间的高值信息的“和”关系。同时，为了区分不同交叉特征对推荐结果的重要性，我们还引入了注意机制来学习不同交叉特征的权重；
3. 最后，我们在两个数据集上进行了广泛的实验：电影镜头和图书。实验结果表明，该方法具有优异的应用性能。

三、初步工作

在本节中，我们首先介绍ifdnamf推荐模型的框架，并描述它如何工作。然后，我们阐述了我们提出的ifdnamf如何解决现有方法的局限性，即完成特征在不同辅助信息特征域之间的交叉，更全面地建模用户偏好和项目表示，采用注意机制学习信息融合时不同交叉特征的重要性，并利用深度神经网络对二阶和非线性高阶交互进行建模。

3.1 ifdnamf框架的概述

为了充分利用辅助信息更全面、准确地建立用户偏好和项目表示模型，同时学习用户与项目之间复杂的非线性高阶交互，进一步提高推荐性能，提出了基于信息融合的深度神经注意矩阵分解推荐模型，其中在融合信息时，采用元素级产品操作，有针对性地完成不同信息域特征间的交互。

此外，ifdnamf采用注意机制来区分融合过程中不同交叉特征对最终潜在特征表示的重要性。此外，利用深度神经网络建模用户与项目之间复杂的非线性高阶交互。图1显示了模型框架。该框架主要由输入层、交互层、池化层、GMF层、隐藏层、输出层6个部分组成。

输入层获取用户和项目的连续特征和类别特征，包括用户ID、项目ID等属性特征，通过嵌入技术获取用户和项目的嵌入向量，然后通过这些嵌入向量之间的成对元素乘积运算捕获交叉特征。然后，根据从注意中学习到的不同权重的注意融合机制，将交叉特征进入池化层获取用户和项目的潜在特征的机制，然后ifdnamf通过对这些潜在特征执行元素级操作，对用户和GMF层中的项目之间的二阶交互进行建模。通过隐藏层的深度神经网络对GMF层的结果进行迭代训练，以模拟用户与项目之间的高阶交互。最后，在输出层中生成用户对项目的预测评级，并向用户推荐一个基于预测评级的Top_N推荐列表。

3.2 基于特征交叉的信息融合

为了引入特征间“和”关系中所包含的信息，我们提出了一种在ifdnamf推荐模型中基于特征交叉的信息融合方法。具体的实现如图1中的交互层所示。在融合辅助信息时，采用不同特征之间的元素级乘积，有针对性地完成不同信息域特征之间的交互，得到不同的交叉特征。即，在用户ID与每个用户属性特性之间执行元素级产品，在用户属性特性之间执行成对元素级产品，采用元素级产品建模项目ID与每个项目属性特性之间的交互以及项目属性特性之间的交互。图1中的成对元素级乘积是上述嵌入向量之间的元素级乘积的操作。通过嵌入向量之间的成对元素乘积，我们可以得到用户和项的多个交叉特征，定义为：

同时，我们比较了ifdnamf模型与采用全连通网络的传统推荐模型的性能，并证明了我们提出的ifdnamf的有效性，该模型在4.2节中进行信息融合时不同信息域特征之间的交互作用。

3.3 基于注意机制的交叉特征融合

在这里，我们采用注意机制来学习不同的交叉特征对预测结果的重要性，从而融合不同的交叉特征。具体来说，通过将基于注意机制的池化层注意网应用于不同的交叉特征，分别学习了用户的不同交叉特征和项目aij和a0ij的注意得分，这代表了不同的交叉特征对预测的贡献。计算公式表述如下：

然后，通过和池操作，根据不同的贡献层次，对用户和项目的多个交叉特征进行组合，得到包含用户和项目属性特征的潜在特征向量，即pu和qi。计算过程表述如下：

3.4 基于多隐层的GMF结构

传统的基于矩阵分解的推荐模型由于采用了线性内积，无法捕捉用户与项目之间复杂的非线性交互作用。针对这个问题，人们已经做了许多相关的工作，其中GMF模型尤为明显。通过对用户与项目之间的二阶交互引入单层神经网络，利用激活函数和偏差项赋予模型建模用户与项目之间的非线性交互的能力。但是GMF是一个浅层模型，它可以很好地模拟用户和项目的低阶交互特征，它不能有效地捕获包含更丰富信息的更抽象的特征，即高阶交互信息。

例如，如果我们用单层神经网络将用户和音乐之间的交互信息输入到推荐模型中，我们就可以捕捉到用户更喜欢的古典音乐。然后，如果我们将得到的结果输入下一层神经网络进行学习，我们可以得到用户倾向于在古典音乐中听莫扎特的音乐。因此，我们在ifdnamf模型中引入了基于多个隐藏层的GMF结构，使该模型不仅可以建模用户与项目之间的非线性二阶交互，还可以捕获用户与项目之间的高阶交互。该公式可以定义如下：

四、实验

在本节中，我们通过对性能指标与基线的比较分析，来验证我们提出的ifdnamf推荐模型的可行性和有效性。实验分析主要集中在以下三个方面：

1. ifdnamf模型推荐系统的性能；

2. 潜在向量维数对模型性能的影响；

3. 隐层数对模型性能的影响。

References

1.Meng, T.; Jing, X.; Yan, Z.; Pedrycz, W. A survey on machine learning for data fusion. Inf. Fusion 2020, 57, 115–129.

2.Chen, J.; Wu, Y.; Fan, L.; Lin, X.; Zheng, H.; Yu, S.; Xuan, Q. N2vscdnnr: A local recommender system based on node2vec and rich

information network. IEEE Trans. Comput. Soc. Syst. 2019, 6, 456–466.

3.Guia, M.; Silva, R.R.; Bernardino, J. A hybrid ontology-based recommendation system in e-commerce. Algorithms 2019, 12, 11.

4.Li, Y.; Wu, F.-X.; Ngom, A. A review on machine learning principles for multi-view biological data integration. Briefifings Bioinform.

2018, 19, 325–340.

5.Zitnik, M.; Nguyen, F.; Wang, B.; Leskovec, J.; Goldenberg, A.; Hoffman, M.M. Machine learning for integrating data in biology

and medicine: Principles, practice, and opportunities. Inf. Fusion 2019, 50, 71–91.

6.Ding, W.; Jing, X.; Yan, Z.; Yang, L.T. A survey on data fusion in internet of things: Towards secure and privacy-preserving fusion.

Inf. Fusion 2019, 51, 129–144.

7.He, X.; Liao, L.; Zhang, H.; Nie, L.; Hu, X.; Chua, T.-S. Neural collaborative fifiltering. In Proceedings of the 26th International

Conference on World Wide Web, Perth, Australia, 3–7 April 2017; pp. 173–182.

8.Rosa, R.L.; Rodriguez, D.Z.; Bressan, G. Music recommendation system based on user’s sentiments extracted from social networks.

9.Liu, H.; Kong, X.; Bai, X.; Wang, W.; Bekele, T.M.; Xia, F. Context-based collaborative fifiltering for citation recommendation. IEEE

Access 2017, 3, 1695–1703.

10.Wang, H.; Wang, N.; Yeung, D.-Y. Collaborative deep learning for recommender systems. In Proceedings of the 21th ACM

SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’15, Sydney, Australia, 10–13 August 2015;

Association for Computing Machinery: New York, NY, USA, 2015; pp. 1235–1244.Algorithms 2021, 14, 281

11.Zhang, S.; Yao, L.; Wu, B.; Xu, X.; Zhang, X.; Zhu, L. Unraveling metric vector spaces with factorization for recommendation.

IEEE Trans. Ind. Inform. 2020, 16, 732–742.

12.He, X.; Zhang, H.; Kan, M.-Y.; Chua, T.-S. Fast matrix factorization for online recommendation with implicit feedback. In Pro

ceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval, Pisa, Italy,

11–15 July 2016; pp. 549–558.

13Margaris, D.; Spiliotopoulos, D.; Karagiorgos, G.; Vassilakis, C. An algorithm for density enrichment of sparse collaborative

fifiltering datasets using robust predictions as derived ratings. Algorithms 2020, 13, 7.

14.Chen, C.; Zeng, J.; Zheng, X.; Chen, D. Recommender system based on social trust relationships. In Proceedings of the 2013 IEEE
gorithms 2020, 13*, 7.

14.Chen, C.; Zeng, J.; Zheng, X.; Chen, D. Recommender system based on social trust relationships. In Proceedings of the 2013 IEEE