带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(7) https://developer.aliyun.com/article/1246838?groupCode=taobaotech
在线A/B实验
在线实验对比的baseline为线上已全量的DPP重排打散方案（DPP在当时的AB实验中相比于窗口打散在点击效率和浏览深度等指标上均取得了不错的收益：pctr +1.12%,浏览深度 +2.33%，人均点击+3.51%,ipv_pctr +0.25%）
我们统计了线上7天AB实验的效率指标和多样性指标：
点击效率
多样性
生成式重排在浏览深度不降的情况下能够显著提高点击效率类指标，虽然曝光内容的多样性存在略微的下降情况，但是用户点击内容的多样性有了较大的增长。一方面受益于生成式重排在序列生成阶段能够产生多组具备不同多样性程度的候选列表，提升了优质候选列表的覆盖率，另一方面在序列评估阶段具备上下文感知能力的重排模型能够对整个列表的收益进行更准确的评估从而筛选出整体收益最大的列表展示给用户。这些能力是基于DPP的多样性重排方法所不具备的。
总结
我们利用生成式重排技术对推荐列表的整体收益进行了直接建模，相比于传统的重排方法消除了打分上下文与展示上下文不一致的问题并考虑了内容的上下文影响。生成式重排包含序列生成和序列评估两个阶段，序列生成使用不同的启发式策略并行产生若干组可能的最优列表，序列评估使用上下文感知的深度模型对列表收益进行评估并选出最优。相比于基于DPP的多样性重排方法，生成式重排在显著提升CTR，IPV等效率指标和用户点击内容的多样性。
生成式重排是一种能够平衡相关性与多样性并对整体列表收益进行准确高效精准建模的解法，未来我们将对方案做进一步的迭代优化。在序列生成环节，目前我们以列表的多样性间接优化浏览深度，可以考虑直接对用户的下拉浏览行为进行建模。另外，基于贪心搜索的启发式策略对最优解的覆盖程度有限，引入生成模型并以评估模型来指导学习可以进一步提高生成序列的质量。在序列评估环节,评估模型的训练样本空间是线上真实的曝光点击样本，而推理空间则是在更大的序列生成结果集中，引入一定的探索机制有助于缓解样本选择偏差[15]。除此之外，在评估模型中加入用户的历史曝光和点击序列特征，捕获其在上一刷或最近访问中的行为也有助于提升评估模型的预测精度。
带你读《2022技术人的百宝黑皮书》——生成式重排在内容推荐中的应用实践(9) https://developer.aliyun.com/article/1246836?groupCode=taobaotech
