带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(8)

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(8)

带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(7) https://developer.aliyun.com/article/1246860?groupCode=taobaotech



流程调度


在实验阶段以7天为周期对ODL模型进行重新加载批模型参数初始化和在线学习。一个完整的ODL任务涉及到了


1. 批模型训练并产出模型版本

2. ODL模型从批模型加载参数初始化并创建新版本

3. ODL模型新版本和参数更新的topic配置推送到rtp,等待RTP进行模型索引构建和切换

4. ODL训练任务启动,定期推送更新的参数至RTP


整个流程涉及到了不同任务的调度和对RTP索引构建和业务切换状态的监控,AOP pipeline对上述业务逻辑进行了抽象并提供了一套api供算法同学串联起全流程并定期调度。


在线参数生效监控


当一切流程正常运行后,可以通过AOP-模型管理中的增量版本菜单查看线上参数是否生效以及生效的时间。


参数更新的状态包括3种:

1. FINISHED:已发送且确认上线完成,该状态下会产出生效时间

2. PUSH_ONLINE:已发送待确认

3. SWITCH_TIMEOUT:超过6个小时没切换完成


image.png


注意如果修改过odl_model_update的emb_size_thd可能导致该功能无法正常产生结果。这是因为模型部署时RTP会按一定规则产生sparse和dense两种索引,修改该参数会导致对一些变量检测时查了另外的索引,从而无法获取的对应变量的更新状态。




带你读《2022技术人的百宝黑皮书》——基于特征全埋点的精排ODL实践总结(9) https://developer.aliyun.com/article/1246855?groupCode=taobaotech

相关文章
|
物联网 PyTorch 算法框架/工具
介绍一个大语言模型的微调框架Swift | AIGC
介绍一个大语言模型的微调框架Swift 【7月更文挑战第4天】
3160 3
|
资源调度 算法
基于压缩感知和KSVD的图像去噪算法matlab仿真
基于压缩感知和KSVD的图像去噪算法matlab仿真
419 0
|
2天前
|
人工智能 弹性计算 运维
|
23天前
|
Linux 程序员 数据格式
【2026最新】Notepad++下载、安装和使用一篇搞定(附中文版安装包)
Notepad++ 是一款免费开源、轻量高效的 Windows 文本编辑器,支持 C/Python/HTML 等 80+ 语言语法高亮、代码折叠、正则替换、编码转换及插件扩展,专为程序员与文本处理用户打造,完美替代系统记事本。(239字)
|
9天前
|
人工智能 缓存 安全
Claude Code 封号真实原因曝光,这次彻底不装了,直接针对国内开发者的账号下手?
Claude Code 封号潮背后:逆向扒出客户端隐写区域标记,Anthropic 政策收紧叠加 DeepSeek 7 月涨价,国产替代更紧迫。
|
14天前
|
人工智能 JSON 自然语言处理
让教学更智慧:用阿里云百炼工作流,自动生成中小学教材内容#小有可为#有温度的AI
通过可视化工作流编排,将大模型推理能力转化为标准化的教学内容生成引擎。教师只需输入教材标题和适用学段,即可自动获得结构完整、符合课程标准的章节内容,大幅降低备课门槛,助力教育资源均衡化。
502 127
|
18天前
|
存储 人工智能 监控
QoderWork完全指南:从入门到精通,把“AI实习生”变成你的全能工作搭档
阿里云2026年推出的桌面端AI工作助手QoderWork,不止聊天,更可动手干活:本地运行、安全可控,支持文件整理、数据分析、PPT生成、网页开发等;内置专家套件、多Agent协作与自定义Skills,让AI真正成为你身边的“AI实习生”。
|
7天前
|
人工智能 编解码 物联网
2026 最新Stable Diffusion 本地部署教程 下载安装使用详细图解(含官网安装包)
Stable Diffusion(SD)是2022年发布的开源文生图模型,由Stability AI等联合开发。支持文生图、图生图、局部重绘等,依托VAE降低算力需求,可在消费级显卡运行。本文提供秋葉aaaki制作的Windows整合包(含图形界面与插件),开箱即用,零配置启动。