带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(4) https://developer.aliyun.com/article/1247000?groupCode=taobaotech
存在两个问题:
1)用户的兴趣是多峰的,这意味着用户的行为序列有着丰富的类目,如
果盲目的将目标正样本与历史行为序列的所有样本进行聚拢会导致模型的崩塌。
2)由于流行度偏差的存在,热门商品的曝光频率远远大于长尾商品。因此,如果忽略流行因子的存在,将会再次引入流行度偏差,因为很多无效的热门商品对的存在。综上分析,我们引入了由 两部分组成的权重 ,类似于DIN, 用于保存序列中与目标商品相似的商品, 用于抑制热门商品的影响。值得注意的是,权重 的梯度是停止的。该损失函数使得相似商品的向量互相靠近,并拉开与无关负样本的距离。基于域对齐和实例对齐,用于抑制长尾分布差异的正则化被定义为:
联合训练及在线服务
联合训练 在模型获得无偏的商品属性向量,我们可以采取内积的形式 训练无偏的召回模型。但正如我们所说,热门商品总体品质优于长尾商品,值得更多的推荐。为了更好的利用流行度信息,我们利用商品的真实流行度向量表示 来提取有偏的流行度商品向量,可以被定义为:
。基于 和 ,模型用batch sample softmax进行召回任务的优化:
因为 中已经解耦出流行度信息,有偏模型的训练只会去拟合流行度偏差,而不会去放大它。综上, 的损失函数为:
带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(6) https://developer.aliyun.com/article/1246998?groupCode=taobaotech