CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法，它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。因此，加快 CTR 预估模型的训练速度至关重要。一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。
在 2 月 7 日至 2 月 14 日于华盛顿举办的 AAAI 2023 会议上，新加坡国立大学和字节跳动的研究者在获得 AAAI 2023 杰出论文奖（Distinguised Paper）的研究《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》中，通过数学分析证明了在扩大批次时，对于不常见特征的学习率使用传统的学习率放缩，会影响学习的稳定性。
此外，研究者提出 CowClip 的梯度裁剪算法，可以简单有效扩展批大小。通过在 4 个 CTR 预估模型和 2 个数据集上进行测试，团队成功将原始批大小扩大了 128 倍，并没有造成精度损失。尤其是在 DeepFM 上，通过将批大小从 1K 扩大到 128K，CowClip 实现了 AUC 超过 0.1% 的改进。在单块 V100 GPU 上，将训练时长从原本的 12 小时，缩短至只需 10 分钟，训练提速 72 倍。
北京时间 2 月 14 日 19:00-20:00，机器之心最新一期线上分享邀请到论文一作、新加坡国立大学二年级博士生郑奘巍，为大家解读 CowClip 梯度裁剪算法如何改进大批量学习进而提升推荐系统训练效率的。
