作者：仙基
出品：大淘宝技术
召回模型中流行度偏差的现象主要有两种：流行度分部差异、长尾分布差异。本工作主要探索如何改善召回阶段中的双塔模型来缓解流行度偏差。目前已有缓解流行度偏差的方法主要有两大类：逆倾向评分（IPS）和因果图推断。但是，我们认为不能盲目抑制流行度偏差，而应探索如何更好将其利用。所以，本次工作从缓解流行度偏差的角度调整为合理利用流行度偏差的角度。此工作已被SIGIR-2022接收。
背景
推荐链路大概率会面临流行度偏差问题，即少量的热门商品占据了大部分的曝光，如图1柱状图所示，在有好货场景中，Top 10%的商品占据了63%的曝光量。在排序阶段去缓解马太效应，破除信息茧房，往往对效率的负面影响较大；而召回阶段作为整条召回链路的基底，在处理流行度偏差上的优势在于：召回阶段一般由多路组成，额外增加一路无偏探索更为平滑，后链路顶多不认该路的召回结果而减少透出，对效率指标的负面影响一定程度能降至最低。因此，该工作主要探索如何改善召回阶段中的双塔模型来缓解流行度偏差。
图1：流行度偏差展示。Item Group通过曝光频率的排名进行分组。直方图表示每个组的曝光量在总曝光量的占比；绿线表示每个组正样本的平均分值（流行度分布差异）；红线表示每个组的Hitrate（长尾分布差异）。
我们将流行度偏差的产生归因于两个：
1.由于日志中包含了大量的热门商品正样本，目前的训练范式，如pointwise和pair-wise损失，鼓励模型推荐更多的热门品以达到更低的损失，将流行度信息注入ID表征中，如item id（例如，在训练模型时，即使商品特征仅用不含流行度特征的ID类信息，马太效应同样存在，证明ID embedding会在训练的时候记住流行度信息），从而往这个方向更新参数。如图1绿线所示，即使都为正样本，高曝品的打分均值也高于长尾品。我们将该现象定义为流行度分布差异，即在商品ID表征中所包含的流行度存在差异。
目前，已有缓解流行度偏差的方法主要有两大类，逆倾向评分（IPS）【1】和因果图推断【2】。但是，我们认为不能盲目的抑制流行度偏差，而应探索如何更好将其利用。原因是：相比于长尾商品，热门商品的质量往往更好或者符合当前趋势，因此值得更多的推荐。而用户发生点击收到两个因素的影响，一种是从众心理，一种是真实兴趣。因此，盲目地去除流行度偏差将忽略交互日志提供的重要信息，抑制优质品的透出，影响从众心理带来的点击。综上，本次工作从缓解流行度偏差的角度调整为合理利用流行度偏差的角度。
2.由于长尾商品日志的稀疏性，使得这类商品的表征学习不够充分，模型（过拟合于热门品）难以准确的预估它们，如图1红线所示，我们将此现象定义为长尾分布差异。
目前，已有缓解流行度偏差的方法主要有两大类，逆倾向评分（IPS）【1】和因果图推断【2】。但是，我们认为不能盲目的抑制流行度偏差，而应探索如何更好将其利用。原因是：相比于长尾商品，热门商品的质量往往更好或者符合当前趋势，因此值得更多的推荐。而用户发生点击收到两个因素的影响，一种是从众心理，一种是真实兴趣。因此，盲目地去除流行度偏差将忽略交互日志提供的重要信息，抑制优质品的透出，影响从众心理带来的点击。综上，本次工作从缓解流行度偏差的角度调整为合理利用流行度偏差的角度。
带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用？ 探索解耦域适应无偏召回模型(2) https://developer.aliyun.com/article/1247003?groupCode=taobaotech
