LangChain应用案例
假设我们需要构建一个基于LLM的问答系统，该系统需要从指定的数据源中提取信息以回答用户的问题。我们可以使用LangChain中的数据增强生成功能与外部数据源进行交互，获取所需的数据。然后，将数据输入到LLM中，生成回答。记忆功能可以帮助我们在多次调用之间保持相关状态，从而提高问答系统的性能。此外，我们还可以使用智能代理功能实现系统的自动优化。最后，通过LangChain提供的评估提示和链实现，我们可以对问答系统的性能进行评估和优化。
▐ LangChain生成图片
实现了一个基于语言模型的文本生成图片工具，调用不同的工具函数来最终生成图片。主要提供了以下几个工具：
- random_poem：随机返回中文的诗词。
- prompt_generate：根据中文提示词生成对应的英文提示词。
- generate_image：根据英文提示词生成对应的图片。
import base64 import json import os from io import BytesIO import requests from PIL import Image from pydantic import BaseModel, Field from langchain.agents import AgentType, initialize_agent, load_tools from langchain.chat_models import ChatOpenAI from langchain.llms import OpenAI from langchain.tools import BaseTool, StructuredTool, Tool, tool from langchain import LLMMathChain, SerpAPIWrapper def generate_image(prompt: str) -> str: """ 根据提示词生成对应的图片 Args: prompt (str): 英文提示词 Returns: str: 图片的路径 """ url = "http://127.0.0.1:7860/sdapi/v1/txt2img" headers = { "accept": "application/json", "Content-Type": "application/json" } data = { "prompt": prompt, "negative_prompt": "(worst quality:2), (low quality:2),disfigured, ugly, old, wrong finger", "steps": 20, "sampler_index": "Euler a", "sd_model_checkpoint": "cheeseDaddys_35.safetensors [98084dd1db]", # "sd_model_checkpoint": "anything-v3-fp16-pruned.safetensors [d1facd9a2b]", "batch_size": 1, "restore_faces": True } response = requests.post(url, headers=headers, data=json.dumps(data)) if response.status_code == 200: response_data = response.json() images = response_data['images'] for index, image_data in enumerate(images): img_data = base64.b64decode(image_data) img = Image.open(BytesIO(img_data)) file_name = f"image_{index}.png" file_path = os.path.join(os.getcwd(), file_name) img.save(file_path) print(f"Generated image saved at {file_path}") return file_path else: print(f"Request failed with status code {response.status_code}") def random_poem(arg: str) -> str: """ 随机返回中文的诗词 Returns: str: 随机的中文诗词 """ llm = OpenAI(temperature=0.9) text = """ 能否帮我从中国的诗词数据库中随机挑选一首诗给我，希望是有风景，有画面的诗： 比如：山重水复疑无路，柳暗花明又一村。 """ return llm(text) def prompt_generate(idea: str) -> str: """ 生成图片需要对应的英文提示词 Args: idea (str): 中文提示词 Returns: str: 英文提示词 """ llm = OpenAI(temperature=0, max_tokens=2048) res = llm(f""" Stable Diffusion is an AI art generation model similar to DALLE-2. Below is a list of prompts that can be used to generate images with Stable Diffusion: - portait of a homer simpson archer shooting arrow at forest monster, front game card, drark, marvel comics, dark, intricate, highly detailed, smooth, artstation, digital illustration by ruan jia and mandy jurgens and artgerm and wayne barlowe and greg rutkowski and zdislav beksinski - pirate, concept art, deep focus, fantasy, intricate, highly detailed, digital painting, artstation, matte, sharp focus, illustration, art by magali villeneuve, chippy, ryan yee, rk post, clint cearley, daniel ljunggren, zoltan boros, gabor szikszai, howard lyon, steve argyle, winona nelson - ghost inside a hunted room, art by lois van baarle and loish and ross tran and rossdraws and sam yang and samdoesarts and artgerm, digital art, highly detailed, intricate, sharp focus, Trending on Artstation HQ, deviantart, unreal engine 5, 4K UHD image - red dead redemption 2, cinematic view, epic sky, detailed, concept art, low angle, high detail, warm lighting, volumetric, godrays, vivid, beautiful, trending on artstation, by jordan grimmer, huge scene, grass, art greg rutkowski - a fantasy style portrait painting of rachel lane / alison brie hybrid in the style of francois boucher oil painting unreal 5 daz. rpg portrait, extremely detailed artgerm greg rutkowski alphonse mucha greg hildebrandt tim hildebrandt - athena, greek goddess, claudia black, art by artgerm and greg rutkowski and magali villeneuve, bronze greek armor, owl crown, d & d, fantasy, intricate, portrait, highly detailed, headshot, digital painting, trending on artstation, concept art, sharp focus, illustration - closeup portrait shot of a large strong female biomechanic woman in a scenic scifi environment, intricate, elegant, highly detailed, centered, digital painting, artstation, concept art, smooth, sharp focus, warframe, illustration, thomas kinkade, tomasz alen kopera, peter mohrbacher, donato giancola, leyendecker, boris vallejo - ultra realistic illustration of steve urkle as the hulk, intricate, elegant, highly detailed, digital painting, artstation, concept art, smooth, sharp focus, illustration, art by artgerm and greg rutkowski and alphonse mucha I want you to write me a list of detailed prompts exactly about the idea written after IDEA. Follow the structure of the example prompts. This means a very short description of the scene, followed by modifiers divided by commas to alter the mood, style, lighting, and more. IDEA: {idea}""") return res class PromptGenerateInput(BaseModel): """ 生成英文提示词所需的输入模型类 """ idea: str = Field() class GenerateImageInput(BaseModel): """ 生成图片所需的输入模型类 """ prompt: str = Field(description="英文提示词") tools = [ Tool.from_function( func=random_poem, name="诗歌获取", description="随机返回中文的诗词" ), Tool.from_function( func=prompt_generate, name="提示词生成", description="生成图片需要对应的英文提示词，当前工具可以将输入转换为英文提示词，以便方便生成", args_schema=PromptGenerateInput ), Tool.from_function( func=generate_image, name="图片生成", description="根据提示词生成对应的图片，提示词需要是英文的，返回是图片的路径", args_schema=GenerateImageInput ), ] def main(): """ 主函数，初始化代理并执行对话 """ llm = OpenAI(temperature=0) agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True) agent.run("帮我生成一张诗词的图片?") if __name__ == '__main__': main()
▐ LangChain做答疑
参考上面的索引部分：
import os from langchain.chains import RetrievalQA from langchain.document_loaders import TextLoader from langchain.embeddings import OpenAIEmbeddings from langchain.indexes import VectorstoreIndexCreator from langchain.text_splitter import CharacterTextSplitter from langchain.vectorstores import Chroma from langchain.llms import OpenAI # 设置代理 os.environ['HTTP_PROXY'] = 'socks5h://127.0.0.1:13659' os.environ['HTTPS_PROXY'] = 'socks5h://127.0.0.1:13659' # 创建文本加载器 loader = TextLoader('/Users/aihe/Downloads/demo.txt', encoding='utf8') # 加载文档 documents = loader.load() # 文本分块 text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0) texts = text_splitter.split_documents(documents) # 计算嵌入向量 embeddings = OpenAIEmbeddings() # 创建向量库 db = Chroma.from_documents(texts, embeddings) # 将向量库转换为检索器 retriever = db.as_retriever() # 创建检索问答系统 qa = RetrievalQA.from_chain_type(llm=OpenAI(), chain_type="stuff", retriever=retriever) # 运行问题答案检索 query = "如何申请租户?" print(qa.run(query)) print(qa.run("能否说明下你可以提供的功能？"))
▐ Langchain输出结构化JSON数据
参考上述概念，提示词工具中提供了OutputParser可以把我们的对象转换为提示词，告诉LLM要返回什么结构的内容。
import requests from langchain.agents import AgentType, initialize_agent from langchain.chat_models import ChatOpenAI from langchain.tools import StructuredTool from pydantic import BaseModel, Field def post_message(type: str, param: dict) -> str: """ 当需要生成人群、分析画像、咨询问题时，使用如下的指示：url 固定为：http://localhost:3001/ 如果请求是生成人群，请求的type为crowd; 如果请求是分析画像，请求的type为analyze; 如果是其他或者答疑，请求的type为question; 请求body的param把用户指定的条件传进来即可 """ result = requests.post("http://localhost:3001/", json={"type": type, "param": param}) return f"Status: {result.status_code} - {result.text}" class PostInput(BaseModel): # body: dict = Field(description="""格式:{"type":"","param":{}}""") type: str = Field(description="请求的类型，人群为crowd,画像为analyze") param: dict = Field(description="请求的具体描述") llm = ChatOpenAI(temperature=0) tools = [ StructuredTool.from_function(post_message) ] agent = initialize_agent(tools, llm, agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION, verbose=True) agent.run("我想生成一个性别为男并且在180天访问过淘特的人群?")
▐ LangChain做一款自己的聊天机器人
原本做聊天机器人，需要一些前端代码，但是已经有相应的开源工具，帮我们把LangChian的各种组件做了可视化，直接拖拽即可，我们直接使用LangFlow；
pip install langflow
然后运行命令：
langfow
如果和本地的LangChain有冲突，可以使用Docker运行langfow：
FROM python:3.10-slim RUN apt-get update && apt-get install gcc g++ git make -yRUN useradd -m -u 1000 userUSER userENV HOME=/home/user \ PATH=/home/user/.local/bin:$PATH WORKDIR $HOME/app COPY --chown=user . $HOME/app RUN pip install langflow>==0.0.71 -U --userCMD ["langflow", "--host", "0.0.0.0", "--port", "7860"]
在界面上配置LangChain的三个组件：在最右下角是对应的聊天窗口，输入下openai的key
开始聊天验证下我们的配置：
全程基本上不用怎么写代码，只需要了解LangChain的组件是做什么的，基本上就可以搭出一款简单的聊天机器人。
其它的LangChain组件代理，内存，数据索引也是都可以使用的。
LangChain的未来展望
LangChain为构建基于大型语言模型的应用提供了一个强大的框架，将逐步的运用到各个领域中，如，智能客服、文本生成、知识图谱构建等。随着更多的工具和资源与LangChain进行集成，大语言模型对人的生产力将会有更大的提升。
应用场景构思：
- 智能客服：结合聊天模型、自主智能代理和问答功能，开发智能客服系统，帮助用户解决问题，提高客户满意度。
- 个性化推荐：利用智能代理与文本嵌入模型，分析用户的兴趣和行为，为用户提供个性化的内容推荐。
- 知识图谱构建：通过结合问答、文本摘要和实体抽取等功能，自动从文档中提取知识，构建知识图谱。
- 自动文摘和关键信息提取：利用LangChain的文本摘要和抽取功能，从大量文本中提取关键信息，生成简洁易懂的摘要。
- 代码审查助手：通过代码理解和智能代理功能，分析代码质量，为开发者提供自动化代码审查建议。
- 搜索引擎优化：结合文本嵌入模型和智能代理，分析网页内容与用户查询的相关性，提高搜索引擎排名。
- 数据分析与可视化：通过与API交互和查询表格数据功能，自动分析数据，生成可视化报告，帮助用户了解数据中的洞察信息。
- 智能编程助手：结合代码理解和智能代理功能，根据用户输入的需求自动生成代码片段，提高开发者的工作效率。
- 在线教育平台：利用问答和聊天模型功能，为学生提供实时的学术支持，帮助他们解决学习中遇到的问题。
- 自动化测试：结合智能代理和代理模拟功能，开发自动化测试场景，提高软件测试的效率和覆盖率。
现在有个平台已经实现了大部分：https://zapier.com/l/natural-language-actions。底层为OpenAI模型，使用 zapier 来实现将万种工具连接起来。可以在这个平台上配置各种工具，模型会根据你的目标选择相应的动作。工作内容自动化在不远处很快就会实现
总结
本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。
展望未来，LangChain有望在各个领域发挥巨大作用，促进我们工作效率的变革。我们正处于AI爆发的前夜，积极拥抱新技术将会带来完全不同的感觉。
参考资料：
- Langchain中文入门：https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide
- LangChain官方文档：https://python.langchain.com/en/latest/modules/indexes/getting_started.html
- LangFlow，LangChain的可视化编排工具：https://github.com/logspace-ai/langflow
团队介绍
大淘宝技术用户运营平台技术团队是一支最懂用户，技术驱动的年轻队伍，以用户为中心，通过技术创新提升用户全生命周期体验，持续为用户创造价值。
团队以创新为核心价值观之一，鼓励团队成员在工作中不断探索、实验和创新，以推动业界技术的进步和用户体验的提升。我们不仅关注当前业界领先的技术，更注重未来技术的预研和应用。团队成员会积极参与学术研究和技术社区，不断探索新的技术方向和解决方案。
团队立足体系化打造业界领先的用户增长基础设施，以媒体外投平台、ABTest平台、用户运营平台为代表的基础设施赋能阿里集团用户增长，日均处理数据量千亿规模、调用QPS千万级。在用户增长技术团队，我们提供“增长黑客”极客氛围和丰富的岗位选择，欢迎业界贤才加入。
