EvolveRouter: Co-Evolving Routing and Prompt for Multi-Agent Question Answering

简介: 本文提出了 EvolveRouter,一个通过闭环协同进化联合优化路由与智能体配置的创新框架,有效解决了多智能体问答中智能体质量静态化和协作规模僵化的两大核心问题。实验结果充分验证了其相对于现有 SOTA 方法的优越性。

作者信息

  • Jiatan Huang(* Equal Contribution)— 美国康涅狄格大学(University of Connecticut)
  • Zheyuan Zhang(* Equal Contribution)— 美国圣母大学(University of Notre Dame)
  • Kaiwen Shi — 美国圣母大学

研究背景

近年来,大语言模型(Large Language Models,LLMs)在推理、语言理解和文本生成等任务上取得了显著进展,由此催生了基于 LLM 的智能体(LLM-based agents)这一强大范式,使模型能够自主规划、调用工具并在少有人工干预的情况下执行多步骤任务。然而,这一生态系统也带来了一个根本性的系统挑战:在给定下游任务时,从业者必须在大规模模型骨干网络、提示策略和交互协议的设计空间中做出选择,而最有效的配置往往事先并不清晰。

现有研究已经观察到,不同智能体通常表现出互补的、任务特异性的优势。在实际部署中,中等规模的模型或较简单的智能体配置有时反而能匹配甚至超越更复杂的替代方案。与此同时,简单地将所有可用智能体组合在一起也是低效的——统一集成往往浪费算力在无关参与者上,而选择不当的多智能体协作甚至可能降低最终性能。

在此背景下,LLM 路由(routing)和模型选择成为研究热点。早期方法依赖多数投票和基于一致性的选择等启发式聚合策略;后期方法引入自适应路由,通过偏好学习和对比学习等技术学习针对特定查询的智能体分配策略;近年来研究进一步利用查询和上下文的语义和结构信息,向协作式多智能体投票方向发展。然而,两个重要局限仍未解决:①大多数路由方法将智能体行为视为固定的,仅优化"调用哪个智能体"而非"如何让每个智能体配置得更好";②现有协作范式依赖僵硬的参与机制,无法根据查询自适应调整参与智能体的数量。


研究目的

本文旨在解决现有路由方法的两大核心局限:

  1. 具体问题一:现有路由方法仅优化智能体的选择策略,而不改进智能体本身的配置质量,导致路由无法充分释放协作收益。
  2. 具体问题二:现有协作方案依赖固定参与数量的聚合机制,无法自适应地为每个查询动态确定最合适的协作规模,造成要么遗漏互补专业能力、要么引入无关或弱势智能体的问题。

本文目标在于提出一个可训练的联合优化框架,在路由质量与智能体能力两个维度上实现闭环协同进化,从而实现更强大、更高效的多智能体推理。


本文核心贡献

贡献一:路由与智能体专业化的闭环协同进化

针对静态智能体行为的局限性,本文提出将查询感知路由与定向智能体指令精炼(targeted instruction refinement)相结合的闭环协同进化框架。框架基于 RouterGNN 构建知识图谱路由器(KG-based router),在训练过程中收集每个智能体优势和失败模式的细粒度诊断信号,识别持续表现不佳的角色,生成候选指令修订方案,并仅保留能够带来可靠改进的方案。精炼后的智能体反过来产生更高质量的输出,为后续路由器训练提供更清晰的监督信号。通过这一迭代过程,路由质量和智能体能力实现联合提升。

贡献二:基于动态智能体选择的自适应协作机制

针对僵硬协作方案的问题,本文引入自适应推理机制,通过路由加权答案一致性(router-weighted answer agreement)动态确定每个查询的有效协作规模 K。方法不依赖单一智能体路由或固定池聚合,而是按路由器预测的排名顺序依次调用智能体,通过监控加权答案一致性来动态估计所需的参与智能体数量,实现智能体选择与协作规模的联合学习。

贡献三:全面的实验验证与分析

在五个问答基准测试上的广泛实验表明,EvolveRouter 在 F1 和精确匹配(Exact Match)两个指标上一致性地超越所有 SOTA 路由基线,验证了协同进化框架的泛化有效性。进一步的消融分析验证了闭环指令精炼和自适应协作机制各自的有效性,并揭示了路由质量与智能体能力如何相互增强的机制。


研究方法

image

问题设定与路由目标

智能体池设定:考虑一个智能体池 A = {a₁, …, aₙ},其中每个智能体将骨干 LLM 与提示角色(如 Chain-of-Thought、Debate、ReAct-Reflect 等)相结合。在本文设定中 n = 24,对应 4 种骨干模型 × 6 种角色。给定查询 q 和上下文 C,智能体 a 通过其提示 πₐ 调用骨干 LLM 生成答案 yₐ(q)。

知识图谱建模:将每个问答实例表示为带类型的知识图谱 G = (V, E),其中节点集 V = V_Q ∪ V_A ∪ VE 分别包含查询节点、智能体节点和实体节点。边编码四类关系:查询-实体边和实体-实体边将查询锚定在证据上下文中;智能体-实体边反映每个智能体对上下文的视角;查询-智能体边为可训练连接,承载模型学习预测的路由信号。路由因此转化为学习图上的评分函数:s(q,a) = fθ(q,a; G),并通过 softmax 得到概率分布 p_θ(a|q,G)。

训练信号:对每个训练查询,评估所有智能体的 token 级 F1 分数,通过温度缩放的 softmax 转化为软目标分布 p*(a|q),然后通过 KL 散度最小化训练路由器。测试时通过加权多数投票组装最终预测。

联合优化目标

将提示集 Π = {πₐ}_{a∈A} 作为可联合优化的变量,并在推理时使智能体预算 K(q) 查询自适应化。由于软目标 p* 通过智能体性能依赖于提示,改进提示会重塑路由器学习的内容,反之亦然。理想目标是对路由器参数 θ 和提示 Π 进行联合优化,最小化期望 KL 散度。

迭代协同进化算法:①训练基于知识图谱的路由器;②收集诊断信号识别弱角色;③生成候选指令修订;④保留有效修订精炼智能体;⑤精炼后的智能体为路由训练提供更清晰监督;⑥返回①迭代执行。

自适应协作推理

在推理阶段,替代固定 K 值或单智能体选择,方法按路由器排名顺序依次调用智能体,监控累积的路由加权答案一致性,当一致性低于阈值时停止,动态确定该查询的有效协作规模 K(q)。

数据集

实验在三个多跳问答基准测试上进行:HotpotQA(平均 142.1 实体/385.1 实体间边)、NewsQA(60.3 实体/109.4 边)和 NGQA(25.0 实体/26.75 边)。智能体池包含 4 种骨干模型(GPT-4、Claude 等)× 6 种角色,共 24 个智能体配置。


研究结果

  1. 整体性能提升:在五个 QA 基准测试上,EvolveRouter 在 F1 和精确匹配(Exact Match)两个指标上一致性地超越所有 SOTA 路由基线,验证了协同进化框架的泛化有效性。

  2. 闭环协同进化的效果:消融实验表明,闭环指令精炼机制能够显著改进底层智能体的质量,进而提升路由决策的准确性。路由器诊断信号与智能体改进之间形成了正向增强循环。

  3. 自适应协作的效果:自适应 K(q) 推理策略避免了固定池聚合的冗余计算和不相关智能体的干扰,在不同复杂度查询上实现了效率和质量的动态平衡,路由加权答案一致性机制有效识别了有效协作边界。

  4. 跨维度洞察:实验揭示了智能体质量的高度上下文依赖性——同一 LLM 在相同提示下不同任务表现差异显著,提示选择对各智能体 F1 的影响因角色而异,表明多维度的联合优化至关重要。


总结与展望

本文提出了 EvolveRouter,一个通过闭环协同进化联合优化路由与智能体配置的创新框架,有效解决了多智能体问答中智能体质量静态化和协作规模僵化的两大核心问题。实验结果充分验证了其相对于现有 SOTA 方法的优越性。

局限性:本文主要在问答任务上验证,框架在开放式生成、复杂推理等其他任务类型上的泛化能力有待进一步探索。此外,协同进化过程增加了训练复杂度,在超大规模智能体池上的可扩展性也需要评估。

未来拓展方向:①将框架拓展至更多任务类型(如代码生成、科学推理);②探索更细粒度的智能体诊断信号和指令修订策略;③研究协同进化过程的收敛保证和效率优化;④结合模型剪枝或蒸馏技术降低计算开销。

相关文章
|
7月前
|
自然语言处理 安全
Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents(论文解读)
本文提出的JailAgent框架,通过不修改用户提示词的隐式攻击方式,实现了对LLM智能体推理轨迹与记忆检索的高效劫持,兼具高攻击成功率、强泛化性、高隐蔽性与低计算开销,为LLM智能体的红队测试与安全评估提供了全新范式。
359 2
|
10月前
|
人工智能 JSON 调度
架构设计实践:如何构建基于 LLM 的 AI Agent "指挥官" (Commander) 模式
本文提出一种基于“指挥官(Commander)”的中心化调度架构,解决多Agent协作中的循环沟通、目标漂移等问题。通过Prompt工程与状态机设计,实现任务拆解、分发与验收,并结合阿里云百炼平台与通义千问模型,提供可落地的代码级实现方案,构建稳定可控的AI多智能体系统。(238字)
978 3
|
8月前
|
前端开发 API 语音技术
从零搭建一个免费的文本转语音在线工具(基于 Python3 + Edge TTS)
最近有个需求,需要把一段文字转换成语音,找了几个在线工具,要么收费,要么有水印,要么音质惨不忍睹。后来发现微软 Edge 浏览器的 TTS(Text-to-Speech)服务音质非常好,而且免费开放使用。于是动手写了一个在线工具,分享给大家。
1732 1
|
7月前
|
存储 人工智能 BI
Coze开发自能体的费用
Coze(扣子)2026年全面升级计费体系,分国内版(coze.cn,订阅+资源包)与国际版(coze.com,点数制)。国内版含免费/进阶/高阶/企业四档;国际版按模型消耗Credits,GPT-4o等高价、GPT-3.5等低价。另含API调用、商业流量、知识库存储等潜在费用。个人测试选免费版,商用推荐进阶版。(239字)
|
7月前
|
安全 数据挖掘 网络安全
网络安全中,如何通过IP地址分析攻击来源
本文介绍应急响应中IP分析的四步法:先验真client_ip,再调用iP查询工具的API获取ASN、网络类型与风险评分,继而按基础设施聚类,最后依风险等级分级处置(拦截/限速/验证码)。实测误封率降低60%以上。
敏捷开发 小程序 API
3136 0
|
并行计算 PyTorch Linux
大概率(5重方法)解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
大概率(5重方法)解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
15153 0
|
数据安全/隐私保护
小红书自动评论软件,小红书评论回复脚本,autojs框架分享
该脚本主要实现以下功能模块: 关键词触发机制
|
消息中间件 存储 监控
消息队列通信的优缺点
【10月更文挑战第29天】消息队列通信具有诸多优点,如解耦性强、异步通信、缓冲削峰等,能够有效地提高系统的灵活性、可扩展性和稳定性。但同时也存在一些缺点,如系统复杂性增加、性能开销、数据一致性挑战和实时性受限等。在实际应用中,需要根据具体的业务需求和场景,权衡其优缺点,合理地选择和使用消息队列通信机制,以实现系统的高效运行和优化。
|
搜索推荐 算法 数据可视化
深入解析冒泡排序算法
深入解析冒泡排序算法
452 5