带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(1) https://developer.aliyun.com/article/1247004?groupCode=taobaotech
方法
图2:推荐过程的因果图表示,U-用户;I-商品;P-流行度;C-点击概率。
如图2a因果图所示,当前的训练范式会使得流行度信息不仅会影响用户的点击,还会被注入商品id表征中,从而加剧流行度偏差。因此,我们设计模型如图2b红线所示,从商品属性表征中解耦出原始的内容表示和流行度表示。具体来说,我们设计了可以联合训练有偏模型和无偏模型的解耦域适应网络 ,其难点在于如何提取无偏且学习充分的商品表示。针对流行度分布差异,我们设计了特征解耦模块(FDM)从商品属性embedding分离出属性表示和流行度表示;针对长尾分布差异,我们额外引入未曝光商品(大多数为长尾商品)来实现热门商品和长尾商品分布粒度上的对齐,进一步的,利用I2I范式,我们基于用户行为序列,设计商品相似度损失函数促使越相似的商品有越相似的商品向量表示,实现实例粒度上的对齐。接下来,我们将具体介绍我们的模型结构。
图3: 网络结构图。分别表示目标商品,未曝光商品,用户行为序列商品。在训练阶段,FDM用来学习分离商品属性表示和商品流行度表示。此外,我们在商品塔额外引入未曝光样本和用户历史行为序列来缓解长尾分布差异。 可以训练一个模型通过无偏的商品属性表示 ,和一个有偏的模型通过融合了真实流行度表示的 的有偏商品表示 。
Embedding Layer
整体模型为双塔结构:用户塔通过用户信息 和历史行为序列 生成用户向量表示 ;商品塔通过商品信息 和流行度信息 生成商品向量表示 。其中用户信息包含性别、年龄、省份等;商品信息包含商品id,
类目,品牌等;流行度信息包含曝光频率,点击频率,购买频率等。 通过编码层将其转化为编码向量:
本次工作的重点在于如何改造商品塔来提取符合预期的商品向量表示 。
带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用? 探索解耦域适应无偏召回模型(3) https://developer.aliyun.com/article/1247001?groupCode=taobaotech