让模型“练得起”,阿里云首创PVPO技术入选ACL国际顶会

简介: 近日,计算语言学与自然语言处理领域国际排名第一的顶级学术会议ACL 2026揭晓论文评选结果。阿里云自主研发的最新技术成果《PVPO: Pre-Estimated Value-Based Policy Optimization for Agentic Reasoning》凭借其卓越的创新性与实用性成功入选。该研究聚焦于智能体的后训练难题,提出了PVPO(预估计价值策略优化)技术,为客户在自有数据中心高效训练“懂行又能干”的专有智能体提供了全新解决方案。此项技术将在ACL 2026大会上正式亮相。

image.png

ACL领域主席对该成果给予了高度评价

智能体训练是大模型真正落地行业场景的关键环节。现有的GRPO等强化学习方法在面对多跳推理、工具调用等长链条任务时,仍面临奖励稀疏、采样低效、学习信号不稳定等瓶颈;同时企业客户对数据主权与合规有极高要求,迫切需要在自有基础设施上高效完成训练的方法。PVPO通过创新性地引入“预先价值估计”与“高价值样本筛选机制”……仅用7B小模型即超越主流大模型,训练效率提升2倍以上,为低成本、高可靠的专有智能体落地提供了坚实的算法底气。


行业痛点:智能体训练深陷“烧钱炼丹”困境

随着Agentic AI爆发,客户亟需“懂行”的专家智能体,但传统训练模式面临三大挑战:


1.数据低效,算力浪费

传统方法难以利用强SOP化业务数据,模型在简单样本上空转,在难题上无效探索,导致训练周期长、成本高。

2.奖励稀疏,信号不稳

Agent多轮交互导致最终奖励滞后,动态基准波动大,学习信号不稳定,模型易偏离最优方向。

3.私有部署,底气不足

客户希望数据留在本地机房,但担心自有算力无法支撑大模型训练,陷入“小模型不够用、大模型用不起且不安全”的两难。


PVPO从“静态价值锚点”与“高价值样本筛选”双维度协同优化,让智能体精准选材、稳定学习,实现学得更快、练得更准。


技术突破:PVPO革新智能体后训练范式

阿里云研发团队提出的PVPO(Pre-estimated Value-based Policy Optimization)是一种无Critic网络(critic-free)的全新策略梯度方法,首创两大创新机制:


1.静态价值锚点:稳信号

PVPO在正式训练开始前,使用参考模型对训练集做一轮完整rollout,将其平均奖励作为全局静态价值基准,替代GRPO中每步动态计算的组内均值。这条“稳定不动的靶线”让优势函数不再随策略迭代漂移,从根源上抑制了梯度方差,训练信号更加稳定可靠。

2.智能样本筛选:提效率

PVPO 利用同一轮预 rollout 的奖励信号对训练数据做先验难度评估,剔除已被参考模型轻松解决的简单样本,避免在已掌握知识点上浪费算力。


对参考模型无法解决的高难样本,调用更强的大模型(如Qwen2.5-72B)生成高质量真实推理轨迹。这就像给AI配了一位“私人家教”,先摸底再教学,让小模型一上来就站在巨人的肩膀上学习高难度题目。


📊实验验证:7B小模型超越GPT-4.1

多项实验结果表明,PVPO技术让7B小模型展现了惊人的性能与效率:

  • 精度超越:在多步检索基准(Musique, 2WikiMultiHopQA, HotpotQA, Bamboogle)上,仅7B参数的Qwen2.5-7B-Instruct经PVPO训练后,平均准确率达62.5%,全面超越GPT-4.1(46.2%)、Gemini-2.5-pro(60.2%)等国际一流闭源大模型。
  • 效率倍增:仅用40%的成本即达到GRPO 97%的性能,训练数据平均减少50%,训练速度提升1.7–2.5倍。
  • 快速收敛:500步训练即可达到GRPO 1000步的准确率水平。


应用落地:万亿参数验证,打造客户专属“智脑”

算法的效率突破,让 “AI跑在客户自己的机房里” 从愿景变为现实。PVPO已深度集成于 OpenTrek AI Studio,并在某大型算力中心参数模型训练测评中得到充分验证:基于千卡集群,成功支撑万亿参数规模Transformer架构模型Qwen3-Max(1.16T MoE)完成全链路训练,后训练阶段实现80余小时稳定运行与2万step高效迭代,大幅提升后训练效率。


这意味着,专有AI不仅在算法上具备小模型超越大模型的能力,在基础设施上也具备了支撑万亿参数模型稳定训练的硬实力。未来,PVPO技术将进一步融入OpenTrek、AI Stack一体机与AI Studio套件,为客户提供一键拉起的训练能力,让专有AI在客户自己的机房里越用越聪明,成为驱动政企创新的核心引擎。

相关文章
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1595 1
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
2648 0
|
18天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8293 58
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2986 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5757 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1899 1