@TOC

论文名称：AutoRec: Autoencoders Meet Collaborative Filtering
原文地址：AutoRec

⚡本系列历史文章⚡

【推荐系统论文精读系列】(一)--Amazon.com Recommendations
【推荐系统论文精读系列】(二)--Factorization Machines
【推荐系统论文精读系列】(三)--Matrix Factorization Techniques For Recommender Systems
【推荐系统论文精读系列】(四)--Practical Lessons from Predicting Clicks on Ads at Facebook
【推荐系统论文精读系列】(五)--Neural Collaborative Filtering
【推荐系统论文精读系列】(六)--Field-aware Factorization Machines for CTR Prediction
【推荐系统论文精读系列】(七)--AutoRec Autoencoders Meet Collaborative Filtering
【推荐系统论文精读系列】(八)--Deep Crossing：Web-Scale Modeling without Manually Crafted Combinatorial Features
【推荐系统论文精读系列】(九)--Product-based Neural Networks for User Response Prediction
【推荐系统论文精读系列】(十)--Wide&Deep Learning for Recommender Systems
【推荐系统论文精读系列】(十一)--DeepFM A Factorization-Machine based Neural Network for CTR Prediction
【推荐系统论文精读系列】(十二)--Neural Factorization Machines for Sparse Predictive Analytics

一、摘要

本文提出了AutoRec，一个用于协同过滤的新型自动编码器框架。根据经验，AutoRec对于模型的影响和训练效率已经超过了现在基于协同过滤技术的大多数先进模型。

二、介绍

协同过滤（CF）模型的目的是利用用户对物品的偏好信息（如星级评价）来提供个性化推荐。
来提供个性化的推荐。由于Netflix的挑战，各种不同的CF模型已经被提出，流行的选择是矩阵分解和邻域模型。本文提出了AutoRec，一个基于自动编码器范式的新CF模型；我们对这个范式的兴趣源于最近视觉和语音任务的深度神经网络模型的成功。我们认为，与现有的神经网络模型相比，AutoRec具有表征和计算方面的优势。并通过经验证明它，胜过目前最先进的方法。

三、AUTOREC模型

在协同过滤中，我们假设有m个用户，n个物品，并且我们还会有个观测到的用户评分矩阵（共现矩阵），其维度为

。对于每个用户 u 能够被一个向量表达为

网络异常，图片无法展示

|

，同样，每个物品也能够被一组向量所表达

网络异常，图片无法展示

|

。我们在这项工作的目的就是设计一个基于物品的自动编码器，这个编码器可以将每个观测到的向量

网络异常，图片无法展示

|

作为输入，然后将他们投影到一个低纬度的隐层，然后在输出空间重建  

网络异常，图片无法展示

|

，由此来预测缺失的评分，以达到推荐的目的。

优化的目标为：

其中

代表输入的特征向量，

网络异常，图片无法展示

|

代表经过模型最后输出的向量，autoRec的目的就是通过网络拟合一组参数，能够在输出层输出的向量尽可能于输入的向量相似，所以这里采用平方损失误差作为衡量指标。

此网络模型的正向传播函数为：

其中

分别代表每一层的激活函数，W是输出层的权重，维度为 （m，k），V是隐层的权重，维度为（k，m），

网络异常，图片无法展示

|

是模型的输入向量，就是我们共现矩阵的某一列，其维度为（m，1），

网络异常，图片无法展示

|

分别是每一层的偏置，维度分别为（m，1）和（k，1）。

其中W和V权重参数可以通过使用反向传播进行学习。

首先，我们考虑到每个R都被部分观察到的事实，在反向传播过程中只更新与之相关的权重。在反向传播过程中只更新那些与观察到的输入有关的权重。与观察到的输入相关的权重，这在矩阵分解和RBM方法中是很常见的。其次，我们对学习到的参数进行规范化处理，以防止对观察到的评级进行过度拟合。

模型的优化方程为：

基于协同过滤的AutoRec的模型参数为：

，首先在隐层我们会有

网络异常，图片无法展示

|

，所以参数个数为

网络异常，图片无法展示

|

个， 在输出层会有

网络异常，图片无法展示

|

，参数个数为

网络异常，图片无法展示

|

。

四、实验评估

在Movielens 1M、10M和Netflix数据集上。我们对测试用户或没有训练观察的项目使用默认的3级评分，没有训练观察值。我们将数据随机分成90%-10%的训练-测试集，并留出10%的训练集用于超参数调整。我们重复这个拆分过程程序5次，并报告平均RMSE。每个实验中RMSE的95%置信区间为±0.003或更小。对于所有基线，我们调整了正则化强度

和适当的潜在维度

网络异常，图片无法展示

|

。
训练自动编码器的一个挑战是目标的非凸性。我们发现弹性传播的性能与L-BFV相当。弹性传播的性能与L-BFGS相当，而速度却更快。因此，我们在随后的所有实验中使用RProp。

• 基于项目的自动编码和基于用户的自动编码，哪个更好？与RBMs或AutoRec哪个更好？表1a显示了基于项目的RBM和AutoRec的方法通常表现更好。这可能是因为每个项目的平均评级数比每个用户的评级数要多得多，用户评分的高差异导致基于用户的方法的预测不太可靠。

• AutoRec的性能是如何随隐藏单元的数量变化的？隐藏单元的数量有什么不同？
  在图2中，我们评估了AutoRec模型的性能随着隐藏单元数量的变化而变化。我们注意到，性能随着隐藏单元数量的增加而稳步上升，但收益却在不断减少。所有其他AutoRec实验都使用k = 500。
  
• AutoRec对所有基线的表现如何？
  表1c显示，AutoRec的表现除了在Movielens 10M上与LLORMA有可比性的结果外，其他基线的表现都很好。Movielens 10M. 与LLORMA的竞争性表现是的竞争性能是值得关注的，因为后者需要对50个不同的局部矩阵分解模型进行加权。而AutoRec只通过一个神经网络自动编码器使用一个潜在的表示。我们开发了一个I-AutoRec的深度版本，有三个隐藏层（500，250，500）个单元，每个单元都有一个sigmoid激活。我们使用了贪婪的预训练，然后通过梯度下降进行微调。在Movielens 1M上，RMSE从0.831降低到0.827，表明通过深度AutoRec有可能进一步改善。

References

[1] Y. Koren, R. Bell, and C. Volinsky. Matrix factorization techniques for recommender systems. Computer, 42, 2009.

[2] J. Lee, S. Kim, G. Lebanon, and Y. Singer. Local low-rank matrix approximation. In ICML, 2013.

[3] M. Riedmiller and H. Braun. A direct adaptive method for faster backpropagation learning: the rprop algorithm. In IEEE International Conference on Neural Networks, 1993.

[4] R. Salakhutdinov, A. Mnih, and G. Hinton. Restricted Boltzmann machines for collaborative filtering. In ICML, 2007.

[5] B. Sarwar, G. Karypis, J. Konstan, and J. Riedl. Item-based collaborative filtering recommendation algorithms. In WWW, 2001.