支付宝商业化广告算法问题之在ODL模型优化过程中，采取什么策略来提高模型的泛化能力呢

问题一：在ODL模型优化过程中，可以采取哪些策略来提高模型的泛化能力？

在ODL模型优化过程中，可以采取哪些策略来提高模型的泛化能力？

参考回答：

为了提高ODL模型的泛化能力，可以采取了以下策略：首先，固定emb层参数，使得在线模型只学习MLP层参数，这有助于缓解模型知识遗忘现象；

其次，实施样本回放策略，通过混合历史离线数据与实时流数据，保证训练样本与预测样本分布的一致性；

再者，采用模型热启动方法，通过定时restore离线周期训练模型来解决数据漂移问题；

最后，调整了ODL的学习率，相较于离线训练，减小学习率也有助于缓解模型过拟合。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/658947

问题二：模型热启动是什么？它如何帮助提升模型性能？

模型热启动是什么？它如何帮助提升模型性能？

参考回答：

模型热启动是指在在线学习过程中，定时恢复（restore）离线周期训练模型，以此解决长时间在线学习可能导致的参数漂移问题。除了初始阶段通过加载预训练离线模型来加速在线模型收敛外，我们还加大了热启动的频率，由每周改为每天，这有助于降低pcoc（预测错误率），从而提升模型性能。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/658948

问题三：什么是热词定制化？

什么是热词定制化？

参考回答：

热词定制化是针对低频偏僻词语识别的一种语音模型研究。它允许用户在识别语音时预设一些已知的先验词汇，以帮助模型更准确地识别或修正那些发音相近的词汇，使其符合用户的预期结果。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/658949

问题四：WFST热词定制化方案的优点和缺点是什么？

WFST热词定制化方案的优点和缺点是什么？

参考回答：

WFST热词定制化的优点是从解码过程入手，召回稳定。

然而，它的缺点在于需要在ASR模型推理之外进行基于N-gram的解码，而且对于一些在训练数据中出现较少的词，ASR模型提供的后验概率过低，可能导致候选路径中没有包含待激励的词，此时基于WFST的热词增强可能会失效。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/658950

问题五：SeACo-Paraformer模型是如何解决CLAS模型存在的问题的？

SeACo-Paraformer模型是如何解决CLAS模型存在的问题的？

参考回答：

SeACo-Paraformer模型通过引入用于热词建模的bias decoder，以及与感知热词位置的label计算loss进行显式的热词预测训练，从而解决了CLAS模型生效不稳定的问题。在解码阶段，SeACo-Paraformer将热词后验概率与原始ASR后验概率进行加权融合，实现了更加稳定的热词召回。

关于本问题的更多回答可点击原文查看：

https://developer.aliyun.com/ask/658951