【AIGC】LangChain Agent(代理)技术分析与实践

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 【5月更文挑战第12天】LangChain代理是利用大语言模型和推理引擎执行一系列操作以完成任务的工具,适用于从简单响应到复杂交互的各种场景。它能整合多种服务,如Google搜索、Wikipedia和LLM。代理通过选择合适的工具按顺序执行任务,不同于链的固定路径。代理的优势在于可以根据上下文动态选择工具和执行策略。适用场景包括网络搜索、嵌入式搜索和API集成。代理由工具组成,每个工具负责单一任务,如Web搜索或数据库查询。工具包则包含预定义的工具集合。创建代理需要定义工具、初始化执行器和设置提示词。LangChain提供了一个从简单到复杂的AI解决方案框架。

[toc]


一、什么是Agent(代理)

LangChain 代理背后的思想是利用大语言模型以及要执行的一系列操作,代理使用推理引擎来确定要执行哪些操作来获取结果,代理对于处理从简单的自动响应到复杂的上下文感知交互等任务至关重要。例如,您可能有一个与 Google 搜索、Wikipedia 和 OpenAI LLM 集成的代理。使用给定的代理工具,他们可以在 Google 中搜索结果,然后使用维基百科工具中检索到的上下文来查找详细信息并扩展上下文。您必须放置明确定义的指令,以确保代理将以正确的顺序调用工具。

下图展示了代理及其组件的示例:

image-20240505200423893

二、Agent(代理)示例

1.网页搜索工具

您可以轻松地将不同类型的 Web 搜索作为可用操作添加到您的代理中,可以是 Google 搜索、Baidu搜索、sohu 等。

2.在矢量数据库中嵌入搜索

您可以从检索器创建一个工具并根据需要对其进行描述,代理将使用此工具来获取某种数据,例如相似性检查和嵌入模型。

3.特殊场景处理

例如可以在 Internet 上搜索某种信息,执行推理步骤,然后调用操作来创建 Jira 事务。

4.API集成工具

LangChain框架已经做了很多API集成,你需要做的就是获取API密钥,安装包并将工具附加到代理上。

5.自定义工具

您可以编写自定义工具,可以集成您的内部 API、文档系统和许多其他应用程序的集成!

三、Agent(代理) vs. Chain(链)

除了拥有代理之外,LangChain还支持链的功能。链是要执行的操作的子序列,始终以硬编码的方式进行。这是代理和链之间的关键区别。虽然在代理中,推理模型可以选择其他操作(从给定的工具)来获取特定数据,但链将始终采用我们选择的相同路径。

与链相比,代理的优势:

  • 根据工具的描述,代理决定应使用哪种工具来获取相关信息。
  • 代理采取行动并获取给定结果的上下文,例如在其他资源(例如Google搜索和维基百科)中搜索其他信息。
  • 代理检查结果并重复该过程以获取所需的数据。

四、Agent(代理)使用场景

当您构建自己的 AI LangChain 解决方案时,您需要了解是使用代理还是使用链?如果您的用例始终基于相同的流程和策略,例如:

  • 网络搜索。
  • 向量数据库文本嵌入。
  • 推理。

那么您可以考虑使用链而不是代理,因为agent的使用成本是不可预测的,因为有些问题可能会在调用一个工具后直接回答,而另一些问题可能会使用一套全面的工具进行适当的推理。如果您的用例基于确定的来自不同来源的事物,那么代理似乎是一个很好的解决方案。另一方面,使用单个工具将复杂的查询划分为更简单的查询,这也是决定是使用链查询还是代理的另一个标准。

image-20240505201239665

五、工具

工具是执行单个任务的代理的主要组件。它可以是 Web 搜索、矢量数据库搜索或任何其他操作。您可以从社区完成的许多完整工具中进行选择,也可以编写自己的工具。

从 Chroma 数据库创建检索器:

retriever = Chroma.from_documents(documents_list, embedding_function).as_retriever()

LangChain还具有从检索器创建工具的非常有用的功能:

tool = create_retriever_tool(
   retriever,
   name="companies_database",
   description="Useful when you need to find information about company."
)

对检索工具进行良好的描述是非常重要的,因为代理步骤决策机制就是基于此。如果您的描述缺失或不完整,可能会导致跳过代理执行的操作。

六、工具包

工具包是工具与预定义操作的组合,可以在我们的代理中使用:

  • CSV代理工具包,用于对“CSV”文件进行操作(读取、写入),

  • Github 代理工具包,在 Github 上实现了不同的操作,例如创建新问题、创建新拉取请求等。

七、示例:创建Agent(代理)

先决条件:

  • Tavily API token
  • OpenAI API token
  • Python v3.11 版
  • Pip 包:langchain(至少 v0.1.0)、openai、wikipedia、langchain-community、tavily-python、langchainhub、langchain-openai、python-dotenv

1.定义Tools(工具)

代码示例如下:

from dotenv import load_dotenv
from langchain import hub
from langchain.agents import AgentExecutor, create_openai_functions_agent, load_tools
from langchain.tools.tavily_search import TavilySearchResults
from langchain.utilities.tavily_search import TavilySearchAPIWrapper
from langchain_openai import ChatOpenAI

load_dotenv()

def get_function_tools():
  search = TavilySearchAPIWrapper()
  tavily_tool = TavilySearchResults(api_wrapper=search)

  tools = [
      tavily_tool
  ]

  tools.extend(load_tools(['wikipedia']))

  return tools


def init_action():
  llm = ChatOpenAI(model="gpt-4", temperature=0.1)
  prompt = hub.pull("hwchase17/openai-functions-agent")
  tools = get_function_tools()
  agent = create_openai_functions_agent(llm, tools, prompt)
  agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
  agent_executor.invoke({"input": "Who is the owner of Tesla company? Let me know details about owner."})


init_action()

Dotenv 文件配置环境信息:

TAVILY_API_KEY=
OPENAI_API_KEY=

2.定义Agent executor(执行器)

从LangChain v0.1.0版本开始,创建新代理的方式是使用AgentExecutor,您可以通过传递代理和工具轻松定义您的执行器。旧的initialize_agent使用方式被标记为从 v0.1.0 版本开始弃用。

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

3.定义prompt(提示词)

LangChain v0.1.0 版本提供了一种新的初始化代理的方法,我们必须对每种类型的使用方法进行明确定义,而不是使用initialize_agent。还有 prompt 的附加参数,我们可以使用默认提示词。OpenAI 函数代理的默认提示示例:

prompt = hub.pull("hwchase17/openai-functions-agent")

小结

本节我们学习的是LangChain Agent(代理),文中详细的介绍了Agent(代理)的示例,与Chain(链)进行了比较,Agent(代理)使用场景,同时对工具和工具包进行了简单介绍,最后学习了Agent(代理)代码示例。通过本节的学习,我们基本理清了LangChain Agent的使用场景和使用方法,希望对想学习Agent(代理)的同学有所帮助。

小编是一名热爱人工智能的专栏作者,致力于分享人工智能领域的最新知识、技术和趋势。这里,你将能够了解到人工智能的最新应用和创新,探讨人工智能对未来社会的影响,以及探索人工智能背后的科学原理和技术实现。欢迎大家点赞,评论,收藏,让我们一起探索人工智能的奥秘,共同见证科技的进步!

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
4天前
|
人工智能 自然语言处理 API
深入浅出 LangChain 与智能 Agent:构建下一代 AI 助手
深入浅出 LangChain 与智能 Agent:构建下一代 AI 助手
|
5天前
|
决策智能 开发者
Multi-Agent实践第8期:轻松拖拽搭建多智能体应用
AgentScope Workstation令多智能体应用的搭建变得轻而易举,只需简单拖拽操作,每位用户都能快速打造出丰富多彩的应用。
|
21天前
|
人工智能 安全 API
【LangChain系列】第十篇:数据保护简介及实践
【5月更文挑战第24天】本文探讨了在使用大型语言模型时保护个人数据的重要性,特别是涉及敏感信息如PII(个人可识别信息)的情况。为了降低数据泄露风险,文章介绍了数据匿名化的概念,通过在数据进入LLM前替换敏感信息。重点讲解了Microsoft的Presidio库,它提供了一个可定制的文本匿名化工具。此外,文章还展示了如何结合LangChain库创建一个安全的匿名化流水线,包括初始化匿名器、添加自定义识别器和操作符,以及在问答系统中集成匿名化流程。通过这种方式,可以在利用LLMs的同时保护数据隐私。
55 0
|
23天前
|
机器学习/深度学习 人工智能
【LangChain系列】第九篇:LLM 应用评估简介及实践
【5月更文挑战第23天】本文探讨了如何评估复杂且精密的语言模型(LLMs)应用。通过创建QA应用程序,如使用GPT-3.5-Turbo模型,然后构建测试数据,包括手动创建和使用LLM生成示例。接着,通过手动评估、调试及LLM辅助评估来衡量性能。手动评估借助langchain.debug工具提供执行细节,而QAEvalChain则利用LLM的语义理解能力进行评分。这些方法有助于优化和提升LLM应用程序的准确性和效率。
86 8
|
25天前
|
存储 机器学习/深度学习 人工智能
【LangChain系列】第八篇:文档问答简介及实践
【5月更文挑战第22天】本文探讨了如何使用大型语言模型(LLM)进行文档问答,通过结合LLM与外部数据源提高灵活性。 LangChain库被介绍为简化这一过程的工具,它涵盖了嵌入、向量存储和不同类型的检索问答链,如Stuff、Map-reduce、Refine和Map-rerank。文章通过示例展示了如何使用LLM从CSV文件中提取信息并以Markdown格式展示
89 2
|
25天前
|
机器学习/深度学习 自然语言处理 数据挖掘
【LangChain系列】第七篇:工作流(链)简介及实践
【5月更文挑战第21天】LangChain是一个框架,利用“链”的概念将复杂的任务分解为可管理的部分,便于构建智能应用。数据科学家可以通过组合不同组件来处理和分析非结构化数据。示例中展示了如何使用LLMChain结合OpenAI的GPT-3.5-turbo模型,创建提示模板以生成公司名称和描述。顺序链(SimpleSequentialChain和SequentialChain)则允许按顺序执行多个步骤,处理多个输入和输出
157 1
|
26天前
|
存储 人工智能 搜索推荐
【LangChain系列】第六篇:内存管理简介及实践
【5月更文挑战第20天】【LangChain系列】第六篇:内存管理简介及实践
70 0
【LangChain系列】第六篇:内存管理简介及实践
|
27天前
|
机器学习/深度学习 人工智能 自然语言处理
【LangChain系列】第五篇:大语言模型中的提示词,模型及输出简介及实践
【5月更文挑战第19天】LangChain是一个Python库,简化了与大型语言模型(LLM)如GPT-3.5-turbo的交互。通过ChatOpenAI类,开发者可以创建确定性输出的应用。提示词是指导LLM执行任务的关键,ChatPromptTemplate允许创建可重用的提示模板。输出解析器如StructuredOutputParser将模型的响应转化为结构化数据,便于应用处理。LangChain提供可重用性、一致性、可扩展性,并有一系列预建功能。它使得利用LLM构建复杂、直观的应用变得更加容易。
95 0
|
28天前
|
存储 人工智能 数据库
【LangChain系列】第四篇:向量数据库与嵌入简介及实践
【5月更文挑战第18天】 本文介绍了构建聊天机器人和语义搜索的关键组件——向量存储和嵌入。首先,文章描述了工作流程,包括文档拆分、生成嵌入和存储在向量数据库中。接着,通过Python代码展示了如何设置环境并处理文档,以及如何创建和比较文本嵌入。向量存储部分,文章使用Chroma存储嵌入,并进行了相似性检索的演示。最后,讨论了故障模式,如重复文档和未捕获结构化信息的问题。整个博文中,作者强调了在实际应用中解决这些问题的重要性。
145 0
|
29天前
|
人工智能 自然语言处理 API
【LangChain系列】第三篇:Agent代理简介及实践
【5月更文挑战第17天】LangChain代理利用大型语言模型(LLM)作为推理引擎,结合各种工具和数据库,处理复杂任务和决策。这些代理能理解和生成人类语言,访问外部信息,并结合LLM进行推理。文章介绍了如何通过LangChain构建代理,包括集成DuckDuckGo搜索和维基百科,以及创建Python REPL工具执行编程任务。此外,还展示了如何构建自定义工具,如获取当前日期的示例,强调了LangChain的灵活性和可扩展性,为LLM的应用开辟了新途径。
103 0