召回模型中流行度偏差的现象主要有两种：流行度分部差异、长尾分布差异。本工作主要探索如何改善召回阶段中的双塔模型来缓解流行度偏差。目前已有缓解流行度偏差的方法主要有两大类：逆倾向评分（IPS）和因果图推断。但是，我们认为不能盲目抑制流行度偏差，而应探索如何更好将其利用。所以，本次工作从缓解流行度偏差的角度调整为合理利用流行度偏差的角度。此工作已被SIGIR-2022接收。
背景
推荐链路大概率会面临流行度偏差问题，即少量的热门商品占据了大部分的曝光，如图1柱状图所示，在有好货场景中，Top 10%的商品占据了63%的曝光量。在排序阶段去缓解马太效应，破除信息茧房，往往对效率的负面影响较大；而召回阶段作为整条召回链路的基底，在处理流行度偏差上的优势在于：召回阶段一般由多路组成，额外增加一路无偏探索更为平滑，后链路顶多不认该路的召回结果而减少透出，对效率指标的负面影响一定程度能降至最低。因此，该工作主要探索如何改善召回阶段中的双塔模型来缓解流行度偏差。
图1：流行度偏差展示。Item Group通过曝光频率的排名进行分组。直方图表示每个组的曝光量在总曝光量的占比；绿线表示每个组正样本的平均分值（流行度分布差异）；红线表示每个组的Hitrate（长尾分布差异）。
我们将流行度偏差的产生归因于两个：
- 由于日志中包含了大量的热门商品正样本，目前的训练范式，如pointwise和pair-wise损失，鼓励模型推荐更多的热门品以达到更低的损失，将流行度信息注入ID表征中，如item id（例如，在训练模型时，即使商品特征仅用不含流行度特征的ID类信息，马太效应同样存在，证明ID embedding会在训练的时候记住流行度信息），从而往这个方向更新参数。如图1绿线所示，即使都为正样本，高曝品的打分均值也高于长尾品。我们将该现象定义为流行度分布差异，即在商品ID表征中所包含的流行度存在差异。
- 由于长尾商品日志的稀疏性，使得这类商品的表征学习不够充分，模型（过拟合于热门品）难以准确的预估它们，如图1红线所示，我们将此现象定义为长尾分布差异。
目前，已有缓解流行度偏差的方法主要有两大类，逆倾向评分（IPS）【1】和因果图推断【2】。但是，我们认为不能盲目的抑制流行度偏差，而应探索如何更好将其利用。原因是：相比于长尾商品，热门商品的质量往往更好或者符合当前趋势，因此值得更多的推荐。而用户发生点击收到两个因素的影响，一种是从众心理，一种是真实兴趣。因此，盲目地去除流行度偏差将忽略交互日志提供的重要信息，抑制优质品的透出，影响从众心理带来的点击。综上，本次工作从缓解流行度偏差的角度调整为合理利用流行度偏差的角度。
方法
图2：推荐过程的因果图表示，U-用户；I-商品；P-流行度；C-点击概率。
如图2a因果图所示，当前的训练范式会使得流行度信息不仅会影响用户的点击，还会被注入商品id表征中，从而加剧流行度偏差。因此，我们设计模型如图2b红线所示，从商品属性表征中解耦出原始的内容表示和流行度表示。具体来说，我们设计了可以联合训练有偏模型和无偏模型的解耦域适应网络
，其难点在于如何提取无偏且学习充分的商品表示。针对流行度分布差异，我们设计了特征解耦模块（FDM）从商品属性embedding分离出属性表示和流行度表示；针对长尾分布差异，我们额外引入未曝光商品（大多数为长尾商品）来实现热门商品和长尾商品分布粒度上的对齐，进一步的，利用I2I范式，我们基于用户行为序列，设计商品相似度损失函数促使越相似的商品有越相似的商品向量表示，实现实例粒度上的对齐。接下来，我们将具体介绍我们的模型结构。
▐ Embedding Layer
▐ 特征解耦模块（FDM）
▐ 正则化缓解长尾分布差异
▐ 联合训练及在线服务
实验部分
▐ 离线实验
▐ 线上实验
▐ 向量可视化
图4 商品向量的T-sne可视化，红点为热门商品，蓝点为长尾商品，黄点为热门商品解耦出的流行度表示，绿点为长尾商品解耦出的流行度表示。
从图4a可以发现，由于流行度偏差的存在，Base模型所提取的商品向量表示存在着分布差异，这会导致过拟合于热门商品的模型难以精准评估长尾商品的好坏；从图4b可以看出，
提取的无偏属性向量和解耦流行度向量符合预期，即属性向量不存在分布差异，而流行度向量具有区分度，且和属性向量有着明显的分界线。
图5 每种颜色代表一个类目
为了验证
的有效性，我们对
进行了消融研究并进行了向量可视化，可以发现基于实例对齐的
可以促使同一个类目的商品向量聚类的更紧凑。
▐ 流行度偏移权重分析
总结
虽然分发侧总是存在着流行度偏差，但不可否认的是该偏差体现了用户的反馈，一味的去抑制流行度偏差使得整体模型是无偏的并不能带来最好的收益。因此，我们认为模型应该去利用流行度偏差，但不能毫无扩张的去放大它。正如本文所说，用户的反馈是从众性和真实兴趣的体现，但是在此工作中只在商品测进行探索，并没有去建模用户侧每个用户从众性和真实兴趣的个性化倾向，在后期工作中，我们将会去探索如何分开去建模用户的这两种倾向。
致谢
感谢怀风、从之、徐往、斯陌、孑行、晨良等团队成员的帮助，感谢横云、明逸、文通等各位老师的支持。
参考文献
【1】A re-visit of the popularity baseline in recommender systems.
【2】Model-agnostic counterfactual reasoning for eliminating popularity bias in recommender system.
团队介绍
有好货算法团队：有好货做为淘宝中的内容导购场景，旨在帮助消费者发现新颖好货。团队主要负责整体推荐链路的技术探索，目前主要致力于无偏学习，全链路建模、连续迁移范式、不确定性量化、长短期兴趣挖掘等方面的探索，以提高优势商品挖掘能力和频道导购能力。在创造业务的同时，我们同样在进行技术沉淀，在SIGIR等国际会议上发表数篇论文，主要成果有PDN，UMI等。
