ACL领域主席对该成果给予了高度评价
智能体训练是大模型真正落地行业场景的关键环节。现有的GRPO等强化学习方法在面对多跳推理、工具调用等长链条任务时,仍面临奖励稀疏、采样低效、学习信号不稳定等瓶颈;同时企业客户对数据主权与合规有极高要求,迫切需要在自有基础设施上高效完成训练的方法。PVPO通过创新性地引入“预先价值估计”与“高价值样本筛选机制”……仅用7B小模型即超越主流大模型,训练效率提升2倍以上,为低成本、高可靠的专有智能体落地提供了坚实的算法底气。
行业痛点:智能体训练深陷“烧钱炼丹”困境
随着Agentic AI爆发,客户亟需“懂行”的专家智能体,但传统训练模式面临三大挑战:
1.数据低效,算力浪费
传统方法难以利用强SOP化业务数据,模型在简单样本上空转,在难题上无效探索,导致训练周期长、成本高。
2.奖励稀疏,信号不稳
Agent多轮交互导致最终奖励滞后,动态基准波动大,学习信号不稳定,模型易偏离最优方向。
3.私有部署,底气不足
客户希望数据留在本地机房,但担心自有算力无法支撑大模型训练,陷入“小模型不够用、大模型用不起且不安全”的两难。
PVPO从“静态价值锚点”与“高价值样本筛选”双维度协同优化,让智能体精准选材、稳定学习,实现学得更快、练得更准。
技术突破:PVPO革新智能体后训练范式
阿里云研发团队提出的PVPO(Pre-estimated Value-based Policy Optimization)是一种无Critic网络(critic-free)的全新策略梯度方法,首创两大创新机制:
1.静态价值锚点:稳信号
PVPO在正式训练开始前,使用参考模型对训练集做一轮完整rollout,将其平均奖励作为全局静态价值基准,替代GRPO中每步动态计算的组内均值。这条“稳定不动的靶线”让优势函数不再随策略迭代漂移,从根源上抑制了梯度方差,训练信号更加稳定可靠。
2.智能样本筛选:提效率
PVPO 利用同一轮预 rollout 的奖励信号对训练数据做先验难度评估,剔除已被参考模型轻松解决的简单样本,避免在已掌握知识点上浪费算力。
对参考模型无法解决的高难样本,调用更强的大模型(如Qwen2.5-72B)生成高质量真实推理轨迹。这就像给AI配了一位“私人家教”,先摸底再教学,让小模型一上来就站在巨人的肩膀上学习高难度题目。
📊实验验证:7B小模型超越GPT-4.1
多项实验结果表明,PVPO技术让7B小模型展现了惊人的性能与效率:
- 精度超越:在多步检索基准(Musique, 2WikiMultiHopQA, HotpotQA, Bamboogle)上,仅7B参数的Qwen2.5-7B-Instruct经PVPO训练后,平均准确率达62.5%,全面超越GPT-4.1(46.2%)、Gemini-2.5-pro(60.2%)等国际一流闭源大模型。
- 效率倍增:仅用40%的成本即达到GRPO 97%的性能,训练数据平均减少50%,训练速度提升1.7–2.5倍。
- 快速收敛:500步训练即可达到GRPO 1000步的准确率水平。
应用落地:万亿参数验证,打造客户专属“智脑”
算法的效率突破,让 “AI跑在客户自己的机房里” 从愿景变为现实。PVPO已深度集成于 OpenTrek AI Studio,并在某大型算力中心参数模型训练测评中得到充分验证:基于千卡集群,成功支撑万亿参数规模Transformer架构模型Qwen3-Max(1.16T MoE)完成全链路训练,后训练阶段实现80余小时稳定运行与2万step高效迭代,大幅提升后训练效率。
这意味着,专有AI不仅在算法上具备小模型超越大模型的能力,在基础设施上也具备了支撑万亿参数模型稳定训练的硬实力。未来,PVPO技术将进一步融入OpenTrek、AI Stack一体机与AI Studio套件,为客户提供一键拉起的训练能力,让专有AI在客户自己的机房里越用越聪明,成为驱动政企创新的核心引擎。