Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward

简介: 本研究提出Plan-RewardBench轨迹级奖励建模基准,填补了工具型智能体长时序轨迹奖励模型评估的空白,通过严谨的数据集构建与统一测评,证实现有奖励模型在轨迹级判别上存在显著缺陷,长时序规划、动态约束跟踪、安全拒绝等能力亟待提升,为智能体对齐研究提供了关键测评与数据支撑。

作者信息

南京大学新型软件技术国家重点实验室、南京大学智能科学技术学院、阿里巴巴高德地图

研究背景

  1. 大语言模型正从被动对话系统演进为可自主调用工具、完成复杂推理的智能体系统,模型行为从单轮回复转变为包含用户输入、推理、工具执行与环境反馈的轨迹序列。
  2. 传统基于人类反馈的强化学习(RLHF)中,奖励模型(RM)是模型对齐的核心信号源,但现有奖励模型评估基准存在明显缺陷:
    • 主流基准仅聚焦短上下文场景下的单轮回复偏好评估,缺乏对复杂推理过程与多轮交互的覆盖;
    • 长上下文奖励模型研究多依赖人工扩展上下文,无法刻画智能体工作流的自然复杂度与动态依赖关系;
    • 专用工具使用基准仅验证单轮原子动作正确性,忽略连贯的长时序规划行为评估;
    • 现有方案无法在工具集成环境中,对奖励模型区分优质与劣质智能体轨迹的能力进行严谨测评。
  3. 智能体奖励建模需同时评估最终结果与中间步骤的合理性、一致性与安全性,现有评估体系无法满足该需求。

研究目的

  1. 填补工具集成环境下轨迹级奖励模型专用评估基准的空白,解决现有基准无法测评长时序、多步骤智能体轨迹奖励建模能力的问题。
  2. 构建覆盖复杂工具使用场景的轨迹级偏好基准,精准测评奖励模型在智能体规划逻辑、工具使用保真度、安全拒绝、错误恢复等维度的判别能力。
  3. 提供可复用的智能体偏好数据构建方案,为判别式奖励模型(DRM)、生成式奖励模型(GRM)与智能体强化学习提供高质量训练信号。
  4. 诊断现有奖励模型在轨迹级评估中的失效模式,为下一代规划中心型智能体的对齐研究提供方向。

本文核心贡献

image

  1. 提出首个面向复杂工具智能体的轨迹级偏好基准Plan-RewardBench,覆盖安全拒绝、工具无关/不可用、复杂规划、鲁棒错误恢复四大任务家族,可高分辨率测评奖励模型的轨迹判别能力。
  2. 设计可复用的多源智能体偏好数据构建流程,融合多模型自然推演、规则扰动、最小编辑扰动三种方式,为轨迹级奖励模型训练提供标准化数据方案。
  3. 构建包含高质量标注与高难度负样本的数据集,通过多LLM评审团+元评审过滤+人工审核保证标签可靠性,严格控制长度、格式偏差以隔离语义失效问题。
  4. 完成主流奖励模型(判别式、生成式、LLM评判器)的统一测评,揭示不同模型在长时序轨迹下的性能退化规律与典型失效模式,验证专用轨迹级奖励建模训练的必要性。

研究方法

1. 任务设定

将基准定义为轨迹成对偏好任务,每个样本包含工具环境、多轮用户交互、两条候选轨迹,依据规划质量、工具接地性、恢复行为、拒绝质量等标准给出金标准偏好标签,支持成对比较与单点打分两种评估模式。

2. 数据来源与构建

  1. 种子数据:基于Toucan项目的真实MCP工具注册信息与工具执行结果;
  2. 候选轨迹生成:使用Qwen-Agent、OpenAIAgent运行多模型、多采样参数推演,获取自然成功与失败轨迹(占比70%);
  3. 高难度负样本构建:
    • 规则扰动:注入约束丢失、参数错误、盲目重试等可控失效;
    • 最小编辑扰动:对高分轨迹小幅修改,保留风格同时引入特定缺陷;
  4. 轨迹过滤:剔除格式错误、执行失败等异常样本,统计长度、轮数等特征用于分层分析。

3. 场景家族与标注

  1. 四大场景:安全拒绝、工具无关/不可用、复杂规划、鲁棒错误恢复,各场景设计专属评判规则与负样本类型;
  2. 标注流程:多LLM评审团1-5分打分→元评审处理分歧→人工分层审核→成对组装(控制难度与偏差)→独立成对校验确认标签。

4. 评估方案

  1. 测评模型:判别式奖励模型(DRM)、生成式奖励模型(GRM)、通用LLM评判器;
  2. 输入表示:统一提供工具环境、对话历史、完整轨迹,固定环境与用户意图,仅对比智能体轨迹差异;
  3. 指标与偏差控制:核心指标为成对准确率,采用A/B交换缓解位置偏差,按轨迹长度、轮数、场景难度分层分析。

研究结果

  1. 整体性能:Plan-RewardBench是严苛测评基准,无模型在所有维度占优,最优模型Qwen-Plus整体准确率69.96%,长时序复杂规划任务上模型普遍难以突破70%。
  2. 模型类型差异:
    • 通用LLM评判器整体表现最优,但长上下文退化最明显;
    • 大参数量判别式奖励模型(Inf-ORM-Llama3.1-70B)竞争力强,准确率69.21%,在错误恢复场景表现突出;
    • 开源判别式奖励模型在安全拒绝场景接近随机水平。
  3. 场景表现:
    • 安全拒绝场景极化最严重,模型准确率跨度40.69%–84.80%;
    • 工具无关场景易受“努力偏差”影响,偏好冗余工具调用;
    • 复杂规划场景随轨迹长度增加,模型难以跟踪动态约束更新;
    • 错误恢复场景模型难区分盲目重试与智能修复。
  4. 长度敏感性:轨迹长度小于4k tokens时性能稳定,超过32k tokens后准确率急剧下降,部分模型低于随机水平;成对LLM评判器退化比单点判别式模型更剧烈。
  5. 下游验证:在BFCL v4工具调用任务的best-of-N重排序中,Plan-RewardBench上表现更好的评判器,下游任务提升更显著。

总结与展望

本研究提出Plan-RewardBench轨迹级奖励建模基准,填补了工具型智能体长时序轨迹奖励模型评估的空白,通过严谨的数据集构建与统一测评,证实现有奖励模型在轨迹级判别上存在显著缺陷,长时序规划、动态约束跟踪、安全拒绝等能力亟待提升,为智能体对齐研究提供了关键测评与数据支撑。

局限性

  1. 复杂规划的金标准标签存在一定主观性;
  2. 工具注册库未覆盖所有专有API;
  3. 场景分布非均匀,安全拒绝样本量较小;
  4. 当前仅支持英文、纯文本工具轨迹。

未来展望

  1. 拓展至多模态、多智能体场景的轨迹级奖励建模;
  2. 基于本基准训练专用轨迹级奖励模型,提升长时序智能体对齐效果;
  3. 完善更多工具环境与任务家族,扩展基准覆盖范围;
  4. 结合本基准的难度分级,设计课程学习式奖励模型训练方案。
相关文章
|
7月前
|
数据采集 机器学习/深度学习 监控
GAViD: A Large-Scale Multimodal Dataset for Context-Aware Group Affect Recognition from Videos
本研究构建了当前规模最大、标注最完备的**多模态上下文感知群体情感视频数据集GAViD**,并提出CAGNet模型实现视觉、音频、上下文信息的有效融合,在效价分类与离散情感识别任务上取得领先性能,填补了领域内数据与模型的双重缺口,为自然场景下群体情感计算研究提供了关键支撑。
284 2
|
运维 大数据 Apache
|
12月前
|
人工智能 前端开发 搜索推荐
为什么 LLM 搞不定复杂任务?ReAct 与 Reflexion 技术综述
ReAct与Reflexion是提升大语言模型处理复杂任务的关键框架。ReAct通过“推理+行动”循环,结合外部工具解决事实幻觉、信息滞后等问题;Reflexion在此基础上引入自我反思与评估机制,实现从错误中学习的闭环优化。二者结合显著增强了模型的规划、决策与自适应能力,推动AI在问答、编程、智能助手等领域的深度应用。
为什么 LLM 搞不定复杂任务?ReAct 与 Reflexion 技术综述
|
2月前
|
人工智能 自然语言处理 语音技术
阿里云大模型介绍:全模态生态全能力拆解,千问+第三方生态选型落地指南
本文全面盘点阿里云百炼平台191款大模型,系统梳理通义千问全系列及DeepSeek、智谱GLM等第三方生态的全模态能力、官方收费标准与适用场景,同步汇总2026年最新Token Plan套餐、7000万新用户免费额度、夜间错峰低至1折等省钱攻略,为开发者与企业用户提供从POC验证到规模化落地的全链路选型与成本优化参考。
|
8月前
|
消息中间件 架构师 Java
技术选型不内卷:架构师如何用底层逻辑避开 90% 的过度设计陷阱
本文直击技术选型内卷痛点,剖析90%过度设计的根源:脱离业务、盲目套用大厂架构、混淆前瞻性与过度设计。提出“最小可行架构”方法论,强调成本收益量化、演进式设计、康威定律匹配与反内卷评审清单,助架构师回归本质——用最简方案解决核心业务问题。
519 2
|
2月前
|
缓存 API 调度
Qwen3.7三大版本深度横评:Max/Plus/Flash能力、速度、成本与选型实战(附调用代码)
随着大模型应用向Agent智能体方向演进,单纯追求参数规模已经不再是选型唯一标准,模态支持、推理精度、响应延迟、调用成本成为业务落地必须综合考量的指标。Qwen3.7系列包含Max、Plus、Flash三款核心模型,三款模型均具备百万级超长上下文窗口,也都支持长时间自治Agent执行,但在模态能力、推理架构、最大输出长度、响应速度、计费单价上存在明显鸿沟。很多开发者在项目开发中盲目直接选用最高版本,带来不必要的高额开销;或者选用轻量模型处理复杂任务,输出质量不达标。本文从核心定位、基础参数、多维度能力实测、计费性价比、业务场景适配,结合可直接运行的API调用代码、生产分层调度示例,完整解析三款
665 0
|
9月前
|
搜索推荐 数据挖掘 测试技术
LLM推理时计算技术详解:四种提升大模型推理能力的方法
2025年LLM发展新趋势:不卷训练,专攻推理!本文详解四大推理时计算技术——Chain-of-Thought(深度)、Self-Consistency(宽度)、Tree-of-Thoughts(搜索)、Reflexion/Self-Refine(迭代),配可运行代码与实战对比,助你在不重训模型前提下显著提升性能。
903 0
LLM推理时计算技术详解:四种提升大模型推理能力的方法
|
存储 人工智能 边缘计算
当 AI 进入「算力密集时代」:你的服务器能跑通大模型吗?
本文深入探讨AI服务器在技术落地中的核心瓶颈问题,结合实战经验解析从模型训练到端侧部署的算力优化策略。内容涵盖三大典型场景的算力需求差异、GPU服务器选型的五大反直觉真相、实战优化方法(如混合精度训练与硬件资源监控),以及边缘AI部署挑战和解决方案。同时提供算力弹性扩展策略、模型生命周期管理及合规性建议,帮助读者构建可持续发展的算力体系。文末附有获取更多资源的指引。
1462 17
|
10月前
|
人工智能 自然语言处理 网络协议
从 1800ms 到 320ms:企业级场景下 Gemini API 跨境延迟的工程解法
本文剖析Gemini API在国内落地时的跨境高延迟问题(首包1.5–2秒、流式不稳),指出其本质是TCP握手开销、队头阻塞与链路抖动等工程瓶颈。提出HTTP/3升级、稳定中间入口、流式传输优化三类方案,实测将首包延迟从1800ms降至320ms,并强调系统可控性比极限速度更重要。
|
10月前
|
数据采集 数据可视化 安全
LoRA 参数调得好,模型效果差不了——微调核心超参数完整指南
本文深入解析LoRA/QLoRA核心参数(r、alpha、target_modules、dropout等)的作用机制与调优策略,涵盖低秩原理、缩放设计、模块选择、量化适配及实战经验,助力开发者高效微调大模型,显著降低显存需求并提升效果。(239字)