- 大家好,我是同学小张,日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 👏,持续学习,持续干货输出。
- 一起交流💬,一起进步💪。
- 微信公众号也可搜【同学小张】 🙏
本站文章一览:
目前为止,我们实现的RAG练习中,答案都是全部来源于检索到的文本内容。而检索过程可能在某些情况下是不需要的。
如何优化这个过程,让我们的RAG程序在必要时才去检索,不必要时,直接使用大模型原有数据来回答呢?本文我们一起来学习下。
本文我们将使用 LangChain 的 Agents 模块来将 Retriever 当作工具,让大模型在有必要时才去使用它。
0. 实现 Retriever
首先我们得现有一个Retrivever,才能在有需要时能够进行查询。搭建Retriever的过程就不展开了,前面我们已经做了非常多的练习,具体可以参考这篇文章:【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源。
import bs4 from langchain import hub from langchain_community.document_loaders import WebBaseLoader from langchain_community.vectorstores import Chroma from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables import RunnablePassthrough from langchain_openai import ChatOpenAI, OpenAIEmbeddings from langchain_text_splitters import RecursiveCharacterTextSplitter # Load, chunk and index the contents of the blog. loader = WebBaseLoader( web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",), bs_kwargs=dict( parse_only=bs4.SoupStrainer( class_=("post-content", "post-title", "post-header") ) ), ) docs = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) splits = text_splitter.split_documents(docs) vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings()) # Retrieve and generate using the relevant snippets of the blog. retriever = vectorstore.as_retriever()
1. 实现 Retriever Tool
通过 LangChain 自带的 create_retriever_tool
来将 Retriever 封装成一个可供 Agents 模块调用的 Tool。
create_retriever_tool
在使用过程中,最重要的是第三个参数,这是你这个工具的描述,这个描述相当于一个Prompt,将决定大模型是否会调用这个工具。
from langchain.tools.retriever import create_retriever_tool tool = create_retriever_tool( retriever, "search_agents_answer", "Searches and returns context from LLM Powered Autonomous Agents. Answering questions about the agents.", ) tools = [tool]
关于LangChain中 Agents 模块如何定义Tool,详细教程可参考:
2. Prompt模板和模型加载
from langchain import hub prompt = hub.pull("hwchase17/openai-tools-agent") from langchain_openai import ChatOpenAI llm = ChatOpenAI(temperature=0)
这块没有特别注意的,就是将需要的元素都创建好,供后面创建 Agent 使用。
看一眼加载的Prompt模板内容:
- 小Tips:打印Prompt模板内容,可以使用
prompt.pretty_print()
函数,将打印成上图中比较美观的样子。
3. 创建 Agent 和 Agent 执行器
准备好 llm、tools、prompt之后,创建Agent 和 AgentExecutor
from langchain.agents import AgentExecutor, create_openai_tools_agent agent = create_openai_tools_agent(llm, tools, prompt) agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
其中 create_openai_tools_agent,是 LangChain 对于使用 OpenAI 工具的Agent的封装:
def create_openai_tools_agent( llm: BaseLanguageModel, tools: Sequence[BaseTool], prompt: ChatPromptTemplate ) -> Runnable: """Create an agent that uses OpenAI tools. Args: llm: LLM to use as the agent. tools: Tools this agent has access to. prompt: The prompt to use. See Prompt section below for more on the expected input variables.
其实现原理,就是将 tools 首先转换成OpenAI格式的工具描述,然后与 OpenAI 大模型进行绑定(源码中的这一句:llm_with_tools = llm.bind(tools=[convert_to_openai_tool(tool) for tool in tools])
)。这是 Function Calling 部分的知识,不了解的可以补一下:【AI大模型应用开发】2.1 Function Calling连接外部世界 - 入门与实战(1)
4. 完整代码及运行结果
4.1 运行代码
调用 invoke
接口即可运行。
result = agent_executor.invoke({"input": "hi, 我是【同学小张】"}) print(result["output"]) result = agent_executor.invoke( { "input": "What is Task Decomposition?" } ) print("output2: ", result["output"])
4.2 完整代码
import bs4 from langchain import hub from langchain_community.document_loaders import WebBaseLoader from langchain_community.vectorstores import Chroma from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables import RunnablePassthrough from langchain_openai import ChatOpenAI, OpenAIEmbeddings from langchain_text_splitters import RecursiveCharacterTextSplitter # Load, chunk and index the contents of the blog. loader = WebBaseLoader( web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",), bs_kwargs=dict( parse_only=bs4.SoupStrainer( class_=("post-content", "post-title", "post-header") ) ), ) docs = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) splits = text_splitter.split_documents(docs) vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings()) # Retrieve and generate using the relevant snippets of the blog. retriever = vectorstore.as_retriever() from langchain.tools.retriever import create_retriever_tool tool = create_retriever_tool( retriever, "search_agents_answer", "Searches and returns context from LLM Powered Autonomous Agents. Answering questions about the agents.", ) tools = [tool] from langchain import hub prompt = hub.pull("hwchase17/openai-tools-agent") prompt.pretty_print() from langchain_openai import ChatOpenAI llm = ChatOpenAI(temperature=0) from langchain.agents import AgentExecutor, create_openai_tools_agent agent = create_openai_tools_agent(llm, tools, prompt) agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True) result = agent_executor.invoke({"input": "hi, 我是【同学小张】"}) print(result["output"]) result = agent_executor.invoke( { "input": "What is Task Decomposition?" } ) print("output2: ", result["output"])
4.2 运行结果与解释
第一个问题,简单打个招呼,这时候不需要也不能去查文本,应该直接使用大模型自身的能力来回复。
第二个问题,涉及 Agents 相关知识,需要调用 Retriever 去查询相关资料,利用资料去回复。
本文参考教程:https://python.langchain.com/docs/use_cases/question_answering/conversational_retrieval_agents
如果觉得本文对你有帮助,麻烦点个赞和关注呗 ~~~
- 大家好,我是 同学小张,日常分享AI知识和实战案例
- 欢迎 点赞 + 关注 👏,持续学习,持续干货输出。
- 一起交流💬,一起进步💪。
- 微信公众号也可搜【同学小张】 🙏
本站文章一览: