带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(8)

简介: 带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(8)

带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(7) https://developer.aliyun.com/article/1246860?groupCode=taobaotech



流程调度


在实验阶段以7天为周期对ODL模型进行重新加载批模型参数初始化和在线学习。一个完整的ODL任务涉及到了


1. 批模型训练并产出模型版本

2. ODL模型从批模型加载参数初始化并创建新版本

3. ODL模型新版本和参数更新的topic配置推送到rtp,等待RTP进行模型索引构建和切换

4. ODL训练任务启动,定期推送更新的参数至RTP


整个流程涉及到了不同任务的调度和对RTP索引构建和业务切换状态的监控,AOP pipeline对上述业务逻辑进行了抽象并提供了一套api供算法同学串联起全流程并定期调度。


在线参数生效监控


当一切流程正常运行后,可以通过AOP-模型管理中的增量版本菜单查看线上参数是否生效以及生效的时间。


参数更新的状态包括3种:

1. FINISHED:已发送且确认上线完成,该状态下会产出生效时间

2. PUSH_ONLINE:已发送待确认

3. SWITCH_TIMEOUT:超过6个小时没切换完成


image.png


注意如果修改过odl_model_update的emb_size_thd可能导致该功能无法正常产生结果。这是因为模型部署时RTP会按一定规则产生sparse和dense两种索引,修改该参数会导致对一些变量检测时查了另外的索引,从而无法获取的对应变量的更新状态。




带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(9) https://developer.aliyun.com/article/1246855?groupCode=taobaotech

相关文章
|
3月前
|
数据可视化 Linux 网络安全
阿里云轻量服务器使用教程(图解)实例创建、连接登录、网站搭建及应用部署全流程
本文为阿里云轻量应用服务器保姆级图文教程,涵盖实例创建(选规格、镜像、地域)、远程连接(Workbench/VNC)、可视化管理及宝塔面板建站全流程,适合个人开发者、学生和中小企业快速上手网站建设与轻量级应用部署。阿里云轻量应用服务器官网:https://t.aliyun.com/U/dwftch
|
5月前
|
人工智能 持续交付 Python
个人如何用AI搭建轻量业务系统?内容、线索、知识库与交付流程
本文介绍个人如何用AI构建轻量业务系统:以内容入口为起点,串联线索收集、知识库沉淀、AI辅助沟通、模板化交付与数据复盘六大模块,用低代码/AI工具替代传统协作,以极低成本验证需求、积累经验、实现可持续交付。
|
物联网 PyTorch 算法框架/工具
介绍一个大语言模型的微调框架Swift | AIGC
介绍一个大语言模型的微调框架Swift 【7月更文挑战第4天】
3366 3
|
存储 关系型数据库 MySQL
MySQL 表管理
MySQL 表管理
|
Swift
带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(7)
带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(7)
404 0
|
Swift
带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(6)
带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(6)
484 0
|
资源调度 算法
基于压缩感知和KSVD的图像去噪算法matlab仿真
基于压缩感知和KSVD的图像去噪算法matlab仿真
486 0
|
16天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
6710 47

热门文章

最新文章