淘宝逛逛ODL模型优化总结
作者：李家赫（泊约）
出品：大淘宝技术
传统的离线天级别模型批训练方式滞后，难以满足业务快速发展的需求，而ODL正是解决这一痛点的关键，这一技术可以让我们充分利用实时数据分布，提升算法效率，拿到更好的业务成果。
ODL简介
ODL全称是Online Deep Learning，在线深度学习。简言之，就是让深度模型支持实时更新。内容分发场景下，用户行为和内容变化频繁。相较于电商场景有更多的交易、物流和评价等数据（长周期反馈），内容场景化更多依赖于内容的点击、观看时长、评论等实时性更高的数据，因此内容分发场景下，模型的实时化理论上可以得到更大的收益。传统的离线天级别模型批训练方式滞后，难以满足业务快速发展的需求，而ODL正是解决这一痛点的关键，这一技术可以让我们充分利用实时数据分布，提升算法效率，拿到更好的业务成果。目前内容行业的多个竞品以及集团内多个重点业务场景已升级实时训练，证实了ODL的有效性。ODL最初在冷启动场景取得了非常显著的收益，相较于天级更新的模型具有明显的效率提升。在冷启动场景验证了ODL模型的效果之后，其他重点场景也都纷纷积极响应，开始尝试ODL模型的迭代。
在前期算法模型进行ODL迭代时，我们并未对模型做针对性的优化，随着越来越多的场景接入ODL，以及业务不断发展带来的打分服务QPS的提升，在晚高峰时间，一些重要分发场景逐渐开始出现了服务不稳定的情况。当GPU使用率达到30%左右的时候，一些打分的请求就会出现rt暴涨，进而导致服务可用性降低，模型打分服务异常，使得ODL模型无法将效果最大化。30%的GPU水位并不高，但是服务稳定性却已受到挑战，说明GPU的算力没有得到充分释放，为了保障算法同学稳步迭代ODL模型并拿到最终的业务效果，我们对ODL模型开展了专项优化。
ODL模型专项优化
ConstantFolding优化
这个优化是TensorFlow内置的一项优化，原理是将tf图中常量的计算合并起来。例如：C = A + B，其中A和B都是constant，比如 A = 2，B = 3，则在使用C时，直接使用C = 5，而不是使用C = 2+3。因为如果每使用一次C，都需要计算一次的话，则会浪费了大量宝贵的算力。
在推荐模型中，常用到ConstantFolding优化的是BatchNormalization计算，BatchNormalization节点在训练时是一个fuse过的算子，而在线预测时只是简单的矩阵乘加运算。通过将其解开成普通数学运算，可以支持TensorFlow的优化器对其进行处理，ConstantFolding就可以生效。具体实现可参照TensorFlow源码中的constant_-folding。
带你读《2022技术人的百宝黑皮书》——淘宝逛逛ODL模型优化总结(2) https://developer.aliyun.com/article/1246920?groupCode=taobaotech
