Modelscope结合α-UMi:基于Modelscope的多模型协作Agent

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。

基于单个开源小模型的工具调用Agent,由于模型容量和预训练能力获取的限制,无法在推理和规划、工具调用、回复生成等任务上同时获得比肩大模型等性能。


为了解决这个问题,中山大学、阿里通义实验室联合提出了一种基于开源小模型的多模型协作Agent框架:α-UMi,通过微调多个开源小模型,实现协同作战,在工具调用等数据集效果比肩GPT-4


相比于基于单个模型的agent系统,α-UMi的优势在于:

  • 基于α-UMi多模型协同框架,通过三个小模型:planner、caller和summarizer分别负责路径规划、工具调用和总结回复,对小模型进行工作负荷的卸载。
  • 相比单模型agent支持更灵活的prompt设计。其在ToolBench,ToolAlpaca corpus等多个benchmark上超过单模型agent框架,获得比肩GPT-4的性能。同时也能泛化地支持更多的用户定制api。
  • 提出了一种“全局-局部”的多阶段微调范式(GLPFT),该范式成功在开源小模型上训练了多模型协作框架,实验结果表明这种两阶段范式为目前探索出的最佳训练多模型协作agent范式,可以被广泛应用。


如今,α-UMi正式集成到了Modelscope-Agent中,为开发者和用户提供了基于ModelScope的即插即用体验代码。


论文地址:

https://arxiv.org/abs/2401.07324


Modelscope-Agent体验地址:

https://github.com/modelscope/modelscope-agent/tree/alpha_umi


原始项目代码:

https://github.com/X-PLUG/Multi-LLM-Agent


多模型协作框架α-UMi


α-UMi 包含三个小模型planner、caller和summarizer,其中planner模型为系统的核心大脑,负责在某一agent执行步骤内激活caller或summarizer,并给予对应的推理(rationale)指导,而caller和summarizer则分别负责接收planner的指导完成该步后续工作,caller负责生成于工具交互的指令,summarizer负责总结最终的回复反馈给用户。而这三个模型都是基于开源小模型进行不同类型数据微调实现的



能力展示


下面让我们来看几个系统执行的记录,首先是一个简单的case,用户在指令中指定了可用的一些工具,让工具调用流程变得更简单,α-UMi框架也在planner,caller和summarizer的协作中在两步之内完成了工作。


当然,现实中更复杂的情况是:用户没有指定工具,需要系统自己选择工具,并且由于工具状态变化,经常会出现工具被下架或工具所需参数定义变化等情况。


在下面这个case中,α-UMi在第0步试图使用video_for_simple_youtube_search来获取视频详细信息,但发现这个api已经被破坏,无法调用,因此planner转换思路,告诉caller需要尝试另外一个api,并最终通过尝试新的api发现了详细信息,最终解决了用户的任务



基于ModelScope-Agent的α-UMi实践


目前,α-UMi已经正式集成到了Modelscope中,用户可以快速依靠已经训练好的模型进行定制化工具的agent部署和运行。


下载demo notebook:

https://github.com/modelscope/modelscope-agent/blob/alpha_umi/demo/demo_alpha_umi.ipynb


1、首先拉取ModelScope-Agent代码并安装相关依赖


2、在本地设备基于vllm部署planner、caller和summarizer模型服务


3、填写相应的工具API KEY


4、构建Agent,基于先前部署的planner、caller和summarizer模型,并提供相应的工具list


5、开始运行agent


6、Agent会执行指令,自动利用给的工具进行推理,并最终回复给用户答案。


未来展望


模型协作是未来AI智能体发展的重要趋势,而如何训练提升开源小模型的多模型体协作能力,是实际落地很关键的一环。α-UMi框架为AI领域带来了新的思考和启示,多模型协作框架将在未来发挥更加重要的作用,推动AI技术的持续发展和进步。


未来,α-UMi将会增强planner的泛化性,使其适用于更广泛的agent任务场景,进行caller模型的本地私有化,使其专注于本地工具调用任务,以及云端大模型结合本地小模型的“大-小”模型协同框架。同时,modelscope-agent框架也会有更好的升级来支持multi-agent多模型协同的研究以及有趣的应用。



https://github.com/modelscope/modelscope-agent/tree/alpha_umi

相关文章
|
28天前
|
API 语音技术
ModelScope-FunASR**有支持热词又支持时间戳的模型**。
【2月更文挑战第30天】ModelScope-FunASR**有支持热词又支持时间戳的模型**。
22 2
|
2月前
|
文字识别 并行计算 语音技术
ModelScope问题之下载模型文件报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
176 3
|
2月前
|
数据采集 自然语言处理 搜索推荐
ModelScope问题之模型encoder配置报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
68 0
|
1月前
|
人工智能 达摩院 自然语言处理
超好用的开源模型平台,ModelScope阿里达摩院
超好用的开源模型平台,ModelScope阿里达摩院
|
2月前
|
人工智能 自然语言处理 搜索推荐
魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
【2月更文挑战第9天】魔搭ModelScope社区作为一个AI模型开源平台,提供了丰富的模型资源和便捷的服务
129 3
|
2月前
|
API
使用ModelScope平台进行模型验证时
【2月更文挑战第9天】使用ModelScope平台进行模型验证时
57 4
|
27天前
|
人工智能 JSON 运维
AI大模型运维开发探索第三篇:深入浅出运维智能体
大模型出现伊始,我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例,非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。
|
1月前
modelscope-funasr怎么拿验证集评估微调后的模型效果呢
【2月更文挑战第19天】modelscope-funasr怎么拿验证集评估微调后的模型效果呢
22 1
|
2月前
|
并行计算 计算机视觉 异构计算
ModelScope问题之官方模型demo运行时候报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
69 3
|
2月前
|
缓存 自然语言处理 大数据
ModelScope问题之运行模型报错如何解决
ModelScope模型报错是指在使用ModelScope平台进行模型训练或部署时遇到的错误和问题;本合集将收集ModelScope模型报错的常见情况和排查方法,帮助用户快速定位问题并采取有效措施。
65 0

热门文章

最新文章