为什么多智能体能够解决LLM无法解决的复杂问题

简介: 为什么多智能体能够解决LLM无法解决的复杂问题

来源:企业网D1net


随着ChatGPT等大型语言模型的广泛应用,其作为知识宝库和涌现能力的优势显著,但通往AGI的道路仍面临诸多挑战。LLM存在知识有限、推理能力不足和缺乏动态性等局限性。为克服这些挑战,智能体技术应运而生,成为应对LLM局限的“瑞士军刀”。智能体通过工具、记忆、推理和行动组件,能够访问外部信息、进行推理、自主完成任务,并在处理复杂任务时表现出色。多智能体系统通过协作,进一步提升了问题解决能力,尤其在工作流管理中展现了巨大潜力,然而,将多智能体解决方案投入生产仍面临规模、延迟和性能等挑战。尽管如此,智能体与LLM的结合仍是推动AI发展、填补LLM与AGI之间空白的关键。


ChatGPT的引入使得大型语言模型(LLM)在技术行业和非技术行业都得到了广泛应用,这种普及主要归因于两个因素:


1. LLM作为知识宝库:LLM基于海量的互联网数据进行训练,并定期更新(即GPT-3、GPT-3.5、GPT-4、GPT-4o等)。


2. 涌现能力:随着LLM的发展,它们展现出小型模型中不具备的能力。


这是否意味着我们已经达到了人类水平的智能,即我们所说的AGI?Gartner将AGI定义为一种能够在广泛的任务和领域中理解、学习和应用知识的AI形式。通往AGI的道路还很漫长,其中一个关键障碍是LLM训练的自回归性质,这种性质基于过去的序列来预测单词。作为AI研究的先驱之一,Yann LeCun指出,由于自回归性质,LLM可能会偏离准确答案,因此,LLM存在几个局限性:


• 知识有限:尽管训练数据庞大,但LLM缺乏最新的世界知识。


• 推理能力有限:LLM的推理能力有限,如Subbarao Kambhampati所指,LLM是优秀的知识检索者,但不是优秀的推理者。


• 缺乏动态性:LLM是静态的,无法访问实时信息。


为了克服LLM的挑战,需要一种更先进的方法,这就是智能体变得至关重要的地方。


智能体来救场


AI中智能体的概念已经发展了二十多年,其实施方式也随时间而变化。如今,人们在LLM的语境下讨论智能体。简而言之,智能体就像是应对LLM挑战的瑞士军刀:它可以帮助我们进行推理,提供从互联网获取最新信息的手段(解决LLM的动态性问题),并且可以自主地完成任务。以LLM为支柱,智能体正式包含工具、记忆、推理(或规划)和行动组件。


智能体的组件


• 工具使智能体能够访问外部信息,无论是来自互联网、数据库还是API,从而收集必要的数据。


• 记忆可以是短期的或长期的。智能体使用暂存记忆来暂时保存来自各种来源的结果,而聊天历史则是长期记忆的一个例子。


• 推理器使智能体能够有条不紊地思考,将复杂任务分解为可管理的子任务,以便有效处理。


• 行动:智能体根据其环境和推理结果采取行动,通过反馈迭代地适应和解决问题。ReAct是迭代执行推理和行动的常用方法之一。


智能体擅长什么?


智能体在处理复杂任务时表现出色,尤其是在角色扮演模式下,能够利用LLM增强的性能。例如,在撰写博客时,一个智能体可能专注于研究,而另一个则负责写作——每个智能体都处理一个特定的子目标,这种多智能体方法适用于许多现实问题。


角色扮演有助于智能体专注于特定任务以实现更大的目标,通过明确定义提示的各个部分(如角色、指令和上下文)来减少幻觉。由于LLM的性能取决于结构良好的提示,因此各种框架都将这一过程形式化。接下来我们将讨论这样一个框架——CrewAI,它提供了一种结构化的方法来定义角色扮演。


多智能体与单智能体


以使用单智能体的检索增强生成(RAG)为例,这是一种有效的方法,通过利用索引文档中的信息来增强LLM处理特定领域查询的能力,然而,单智能体RAG也有其自身的局限性,如检索性能或文档排名。多智能体RAG通过为文档理解、检索和排名部署专用智能体来克服这些局限性。


在多智能体场景中,智能体以不同的方式协作,类似于分布式计算模式:顺序、集中、分散或共享消息池。CrewAI、Autogen和langGraph+langChain等框架支持通过多智能体方法解决复杂问题。在本文中,我使用CrewAI作为参考框架来探索自主工作流管理。


工作流管理:多智能体系统的一个用例


大多数工业流程都涉及工作流管理,无论是贷款处理、营销活动管理还是DevOps。实现特定目标需要顺序或循环的步骤。在传统方法中,每个步骤(例如贷款申请验证)都需要人工来执行繁琐且单调的任务,即手动处理每个申请并进行验证,然后再进入下一步。


每个步骤都需要该领域专家的输入。在使用CrewAI的多智能体设置中,每个步骤都由一个由多个智能体组成的团队来处理。例如,在贷款申请验证中,一个智能体可能通过背景检查(如驾驶证等文件)来验证用户的身份,而另一个智能体则验证用户的财务信息。


这就引出了一个问题:一个团队(包含多个顺序或层级结构的智能体)能否处理所有贷款处理步骤?虽然理论上可行,但这会使团队变得复杂,需要大量的临时记忆,并增加目标偏离和幻觉的风险。一种更有效的方法是将每个贷款处理步骤视为一个独立的团队,将整个工作流视为一个团队节点图(使用langGraph等工具)顺序或循环运行。


由于LLM仍处于智能发展的早期阶段,因此无法完全自主地管理整个工作流。在关键阶段需要人工参与进行最终用户验证。例如,在团队完成贷款申请验证步骤后,需要人工监督来验证结果。随着时间的推移,随着对AI的信任增加,某些步骤可能会变得完全自主。目前,基于AI的工作流管理起着辅助作用,简化了繁琐的任务并减少了整体处理时间。


生产挑战


将多智能体解决方案投入生产可能会面临几个挑战。


• 规模:随着智能体数量的增加,协作和管理变得具有挑战性。各种框架提供了可扩展的解决方案——例如,Llamaindex采用事件驱动的工作流来大规模管理多智能体。


• 延迟:由于任务迭代执行,需要多次调用LLM,因此智能体性能往往会产生延迟。受管理的LLM(如GPT-4o)由于隐式护栏和网络延迟而速度较慢。自托管的LLM(具有GPU控制)在解决延迟问题方面非常有用。


• 性能和幻觉问题:由于LLM的概率性质,智能体的性能可能会因每次执行而异。像输出模板化(例如JSON格式)和在提示中提供充足示例等技术有助于减少响应的可变性。通过训练智能体可以进一步减少幻觉问题。


最后的思考


正如Andrew Ng所指出的,智能体是AI的未来,并将与LLM一起不断发展。多智能体系统将在处理多模态数据(文本、图像、视频、音频)和应对日益复杂的任务方面取得进展。虽然AGI和完全自主的系统仍在未来,但多智能体将填补LLM和AGI之间的当前空白。


版权声明:本文为企业网D1net编译,转载需在文章开头注明出处为:企业网D1net,如果不注明出处,企业网D1net将保留追究其法律责任的权利。

相关文章
|
14天前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日,2024云栖大会在杭州云栖小镇举行,阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家,共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力,及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点,专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练,并通过多个客户案例展示了云上大模型训练的显著优势。
|
18天前
|
存储 人工智能 调度
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
9天前
|
并行计算 前端开发 物联网
全网首发!真·从0到1!万字长文带你入门Qwen2.5-Coder——介绍、体验、本地部署及简单微调
2024年11月12日,阿里云通义大模型团队正式开源通义千问代码模型全系列,包括6款Qwen2.5-Coder模型,每个规模包含Base和Instruct两个版本。其中32B尺寸的旗舰代码模型在多项基准评测中取得开源最佳成绩,成为全球最强开源代码模型,多项关键能力超越GPT-4o。Qwen2.5-Coder具备强大、多样和实用等优点,通过持续训练,结合源代码、文本代码混合数据及合成数据,显著提升了代码生成、推理和修复等核心任务的性能。此外,该模型还支持多种编程语言,并在人类偏好对齐方面表现出色。本文为周周的奇妙编程原创,阿里云社区首发,未经同意不得转载。
|
15天前
|
人工智能 运维 双11
2024阿里云双十一云资源购买指南(纯客观,无广)
2024年双十一,阿里云推出多项重磅优惠,特别针对新迁入云的企业和初创公司提供丰厚补贴。其中,36元一年的轻量应用服务器、1.95元/小时的16核60GB A10卡以及1元购域名等产品尤为值得关注。这些产品不仅价格亲民,还提供了丰富的功能和服务,非常适合个人开发者、学生及中小企业快速上手和部署应用。
|
22天前
|
缓存 监控 Linux
Python 实时获取Linux服务器信息
Python 实时获取Linux服务器信息
|
4天前
|
云安全 存储 弹性计算
|
6天前
|
云安全 人工智能 自然语言处理
|
10天前
|
人工智能 自然语言处理 前端开发
用通义灵码,从 0 开始打造一个完整APP,无需编程经验就可以完成
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。本教程完全免费,而且为大家准备了 100 个降噪蓝牙耳机,送给前 100 个完成的粉丝。获奖的方式非常简单,只要你跟着教程完成第一课的内容就能获得。
|
25天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3986 5
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
4天前
|
人工智能 C++ iOS开发
ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码
本文介绍在Apple M4 MacOS环境下搭建Ollama和qwen2.5-coder模型的过程。首先通过官网或Brew安装Ollama,然后下载qwen2.5-coder模型,可通过终端命令`ollama run qwen2.5-coder`启动模型进行测试。最后,在VS Code中安装Continue插件,并配置qwen2.5-coder模型用于代码开发辅助。
317 4