上一节展示了如何使用矩阵分解来学习嵌入。但矩阵分解存在一些局限性,包括:
- 使用侧面特征困难(即查询ID /项目ID以外的任何特征)。因此,只能使用训练集中存在的用户或项目来查询模型。
- 建议的相关性。每个人都倾向于推荐受欢迎的项目,特别是在使用点积作为相似性度量时。最好是能够捕获特定的用户兴趣。
深度神经网络(DNN)模型可以解决矩阵分解的这些局限性。DNN可以轻松地合并查询特征和项目特征(由于网络输入层的灵活性),这有助于捕获用户的特定兴趣并提高建议的相关性。
Softmax DNN推荐
一种可能的DNN模型是softmax,它将问题看作多类预测问题,其中:
- 输入是用户查询。
- 输出是一个概率向量,其大小等于语料库中的项目数,表示与每个项目交互的概率; 例如,点击或观看YouTube视频的可能性。
输入
DNN的输入可包括:
- 密集特征(例如,观看自上次观看以来的时间和时间)
- 稀疏特征(例如,观看历史记录和国家/地区)
与矩阵分解方法不同,还可以添加年龄或国家区域等侧面特征。这里用x表示输入向量。
模型架构
模型架构决定了模型的复杂性和表现力。通过添加隐藏层和非线性激活函数(例如,ReLU),模型可以捕获数据中更复杂的关系。然而,增加参数的数量通常也使得模型更难以训练并且计算起来更复杂。最后一个隐藏层的输出用 $\psi (x) \in \mathbb R^d$ 表示。
Softmax输出:预测的概率分布
模型映射最后一层的输出, ψ(X),通过softmax层到概率分布 $\hat p = h(\psi(x) V^T)$,其中:
- $h : \mathbb R^n \to \mathbb R^n$ 是softmax函数,由下式给出 $h(y)_i=\frac{e^{y_i}}{\sum_j e^{y_j}}$
- $V \in \mathbb R^{n \times d}$是softmax层的权重矩阵。
softmax层映射得分矢量$y \in \mathbb R^n$有时称为 (logits)为概率分布。
图3.预测的概率分布,$\hat p = h(\psi(x) V^T)$
你知道吗?
softmax这个名字是一个单词的游戏。“硬”(hard)表示将最大值的概率1分配给得分最高的项目 ÿ。相比之下,softmax为所有的项目分配非零概率,但是具有更高分数的项目其概率也越高。当 α→∞,分数缩放时,softmax $h(\alpha y)$ 收敛到"硬"最大值。
损失函数
最后,定义一个损失函数:
- $\hat p$,softmax层的输出(概率分布);
- $p$,真值,真实标签,可以表示为归一化的多热分布(概率矢量);
例如,可以使用交叉熵损失,因为正在比较两个概率分布。
Softmax嵌入
项目$j$的概率是$\hat p_j = \frac{\exp(\langle \psi(x), V_j\rangle)}{Z}$得到,其中 $Z$ 是一个不依赖$j$的归一化常数。
换一种说法,$\log(\hat p_j) = \langle \psi(x), V_j\rangle - log(Z)$,所以项目$j$的对数概率 是(最多为加性常数)两个d维度向量的点积 ,可以将其解释为查询和项目的嵌入:
- $\psi(x) \in \mathbb R^D$是最后一个隐藏层的输出,称之为查询$x$嵌入;
- $V_j \in \mathbb R^d$是将最后一个隐藏层连接到输出j的权重向量,称之为项目$j$嵌入;
注意: 由于log函数是一个递增函数,项目$j$概率最高的 $\hat p_j$ 会获得最高点积的项目$\langle \psi(x) , V_j\rangle$。因此,点积可以被解释为该嵌入空间中的相似性度量。
图5.项目的嵌入 $V_j \in \mathbb R^d$
DNN和矩阵分解
在softmax模型和矩阵分解模型中,系统都是对每一个项目 $j$学习嵌入向量 $V_j$。在矩阵分解中,将其称之为项目嵌入矩阵 $V \in \mathbb R^{n \times d}$;在DNN中,是通过softmax层的权重矩阵表示。
但是,查询嵌入的表示是不同的。在DNN中,不再是对每一个查询$i$学习一个嵌入$U_i$,而是系统从查询特征中学习映射查询特征X为查询嵌入$\psi(x) \in \mathbb R^d$。因此,可以将DNN模型视为矩阵分解的泛化。
使用物品特征
可以将相同的想法应用到学习项目嵌入上面吗?即,不是为每一个项目学习到一个嵌入,而是模型是否可以学习将项目特征映射到项目嵌入的非线性函数?答案是可以的。实现这一点需要使用双塔神经网络,该网络由两个神经网络组成:
- 一个神经网络映射查询特征$x_{query}$到查询嵌入$\psi(x_{\text{query}}) \in \mathbb R^d$
- 一个神经网络映射项目特征$x_{item}$到项目嵌入$\phi(x_{\text{item}}) \in \mathbb R^d$
模型的输出可以定义为点积 $\langle \psi(x_{\text{query}}), \phi(x_{\text{item}}) \rangle$。注意,这里不再是softmax模型。新模型预测每对$(x_{\text{query}}, x_{\text{item}})$值, 而不是每个查询$x_{query}$的概率向量。