【AI大模型应用开发】【LangChain系列】1. 全面学习LangChain输入输出I/O模块:理论介绍+实战示例+细节注释

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
简介: 【AI大模型应用开发】【LangChain系列】1. 全面学习LangChain输入输出I/O模块:理论介绍+实战示例+细节注释

上文我们介绍过LangChain的基本框架和其中包含的主要模块。从今天开始,我们开始学习各个模块,深入了解,同时进行相应实战练习。

本文学习 LangChain 中的 模型 I/O 封装模块。

0. 模块介绍

任何AI大模型应用程序的核心元素都是大模型。LangChain提供了与各种大模型接口进行交互的封装。

这张图生动地展现了LangChain对于I/O(输入输出)的封装。

  • 首先是 Format 部分,这部分的作用是组装用户输入和Prompt模板,作为大模型的输入。
  • 然后是 Predict 部分,这部分就是调用大模型接口获得结果
  • 最后是 Parse 部分,这部分的作用是对大模型的结果进行解析,将大模型的输出转换到要求的格式(如json)上,或者对输出进行校验等等

1. Format部分:Prompt模板封装

1.1 PromptTemplate:创建一个字符串类型的Prompt

PromptTemplate 可以在模板中自定义变量

import os
# 加载 .env 到环境变量
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())
from langchain_openai import ChatOpenAI
 
llm = ChatOpenAI() # 默认是gpt-3.5-turbo
prompt_template = """
我的名字叫【{name}】,我的个人介绍是【{description}】。
请根据我的名字和介绍,帮我想一段有吸引力的自我介绍的句子,以此来吸引读者关注和点赞我的账号。
"""
from langchain.prompts import PromptTemplate
template = PromptTemplate.from_template(prompt_template)
print(template.input_variables)
prompt = template.format(name='同学小张', description='热爱AI,持续学习,持续干货输出')
print(prompt)
response = llm.invoke(prompt)
print(response.content)

1.2 ChatPromptTemplate:创建一个Prompt的Message数组

...... 省略llm的引入代码,可参考前文 ......
from langchain.prompts import ChatPromptTemplate
from langchain.prompts.chat import SystemMessagePromptTemplate, HumanMessagePromptTemplate
template = ChatPromptTemplate.from_messages(
    [
        SystemMessagePromptTemplate.from_template("你是【{name}】的个人助手,你需要根据用户输入,来替用户生成一段有吸引力的自我介绍的句子,以此来吸引读者关注和点赞用户的账号。"),
        HumanMessagePromptTemplate.from_template("{description}"),
    ]
)
prompt = template.format(name="同学小张", description="热爱AI,持续学习,持续干货输出")
print(prompt)
response = llm.invoke(prompt)
print(response.content)

运行后输出结果如下,可以看到Prompt中带入了 System、Human这样的角色名,区分Prompt的来源。

1.3 FewShotPromptTemplate:给例子的Prompt模板

在之前文章Prompt优化中,我们提到Prompt中给几个例子可以让大模型更好地生成正确的结果。这个模板就是给例子的。

from langchain.prompts import PromptTemplate
from langchain.prompts.few_shot import FewShotPromptTemplate
#例子(few-shot)
examples = [
    {
        "input": "北京天气怎么样",
        "output" : "北京市"
    },
    {
        "input": "南京下雨吗",
        "output" : "南京市"
    },
    {
        "input": "江城热吗",
        "output" : "武汉市"
    }
]
#例子拼装的格式
example_prompt = PromptTemplate(input_variables=["input", "output"],  template="Input: {input}\nOutput: {output}") 
#Prompt模板
prompt = FewShotPromptTemplate(
    examples=examples, 
    example_prompt=example_prompt, 
    suffix="Input: {input}\nOutput:", 
    input_variables=["input"]
)
prompt = prompt.format(input="羊城多少度")
print("===Prompt===")
print(prompt)
response = llm.invoke(prompt)
print("===Response===")
print(response)

以上代码为FewShotPromptTemplate的使用示例,总结为以下关键点:

  • 例子(few-shot)用数组表示:examples
  • 用PromptTemplate表示examples中的格式:Input后跟着output,注意:input_variables中的变量与examples中每个元素的key保持一致。
  • 通过 FewShotPromptTemplate 将以上元素组合起来
  • 同时传入 suffix 参数,该参数是接收用户的输入,组装提问的prompt模板。
  • 然后input_variables表示用户输入的参数变量名

运行结果如下:红框内是通过FewShotPromptTemplate 将examples、example_prompt、suffix组合起来后最终的给大模型的Prompt。

1.4 从文件加载Prompt模板

我们还可以将Prompt模板单独存放在一个文件中,在程序运行时通过加载文件来导入Prompt模板。

这种方式很好地实现了 Prompt 和程序的分离,使得两者可以分别单独修改。甚至你可以将Prompt单独放在一个线上服务或数据库中,单独维护。

下面来看怎么实现。

1.4.1 Prompt模板文件格式

Prompt模板文件支持两种格式:yaml格式和json格式

  • yaml格式:
_type: prompt
input_variables:
    ["name", "description"]
template: 
    我的名字叫【{name}】,我的个人介绍是【{description}】。\n 请根据我的名字和介绍,帮我想一段有吸引力的自我介绍,以此来吸引读者关注和点赞我的账号。
  • json格式
{
    "_type": "prompt",
    "input_variables": ["name", "description"],
    "template": "我的名字叫【{name}】,我的个人介绍是【{description}】。\n 请根据我的名字和介绍,帮我想一段有吸引力的自我介绍,以此来吸引读者关注和点赞我的账号。"
}
1.4.2 加载文件

使用 LangChain的load_prompt进行加载。

from langchain.prompts import load_prompt
prompt = load_prompt("D:\GitHub\LEARN_LLM\langchain\langchain_prompt_file_test.json")
prompt_str = prompt.format(name="同学小张", description="热爱AI,持续学习,持续干货输出")
print(prompt_str)
response = llm.invoke(prompt_str)
print(f"\n{response}")

1.4.3 更进一步:文件套文件

LangChain也允许你在Prompt文件中再套Prompt文件:将文件中的template字段单独放一个txt文件使用。拆分后文件如下:

  • prompt_template_test.txt
我的名字叫【{name}】,我的个人介绍是【{description}】。\n 请根据我的名字和介绍,帮我想一段有吸引力的自我介绍,以此来吸引读者关注和点赞我的账号。
  • langchain_prompt_file_test.json
{
    "_type": "prompt",
    "input_variables": ["name", "description"],
    "template_path": "D:\\GitHub\\LEARN_LLM\\langchain\\prompt_template_test.txt"
}

注意:json里面的template字段换成了template_path字段

1.5 其它Prompt模板

还有一些其它的Prompt模板,就不详细介绍了,都差不多。

  • FewShotChatMessagePromptTemplate
  • ChatMessagePromptTemplate:可以自定义Prompt的角色名,如之前的“System”、“AI”、“Human”都是角色。

该部分参考:https://python.langchain.com/docs/modules/model_io/prompts/

总结:把Prompt模板看作带有参数的函数

2. Predict部分:大模型接口封装

这部分主要看下LangChain对大模型的两种封装:llm 和 chat_model。

from langchain_openai import ChatOpenAI
from langchain_openai import OpenAI
llm = OpenAI()
chat_model = ChatOpenAI()
from langchain.schema import HumanMessage
text = "What would be a good company name for a company that makes colorful socks?"
messages = [HumanMessage(content=text)]
llm.invoke(text)
# >> Feetful of Fun
chat_model.invoke(messages)
# >> AIMessage(content="Socks O'Color")

可以看到 llm 和 chat_model 的区别,一个输出字符串,一个输出message。

3. Parse部分:输出结果校验的封装

LangChain封装了一些对于大模型输出结果的约定和校验能力。下面以PydanticOutputParser为例演示一下Parse部分的使用方法和作用。

3.1 使用步骤

(1)首先定义一个你期望返回的数据结构

下面代码中,我们定义了一个Joke数据结构,它里面包含的信息有:

  • 两个变量名:setup 和 punchline,大模型的返回需要以这两个名称作为key来组织答案
  • 一个自定义的校验函数:question_ends_with_question_mark,校验信息是否符合你的要求,如果不符合,则报错。

@validator("setup") 表示校验结果中的setup字段。也就是说,首先大模型回复的答案中,首先必须是个json结构,才能解析出setup的内容。其次,json数据结构中必须有setup的字段。最后,setup的内容必须符合函数中定义的规则。这样才算通过,否则报错。

from langchain_core.pydantic_v1 import BaseModel, Field, validator
# 定义你期望的数据结构
class Joke(BaseModel):
    setup: str = Field(description="question to set up a joke")
    punchline: str = Field(description="answer to resolve the joke")
    # 使用Pydantic添加自定义的校验逻辑,如下为检测内容最后一个字符是否为问号,不为问号则提示错误.
    @validator("setup")
    def question_ends_with_question_mark(cls, field):
        if field[-1] != "?":
            raise ValueError("Badly formed question!")
        return field

(2)生成一个解析器的实例

parser = PydanticOutputParser(pydantic_object=Joke)

(3)生成 Prompt 模板

在这个Prompt模板中:

  • 通过template指定Prompt的框架
  • input_variables指定用户输入的信息放到这个变量名中
  • partial_variables是提前填充部分Prompt变量,这里通过parser.get_format_instructions()获取PydanticOutputParser中封住好的Prompt部分。
prompt = PromptTemplate(
    template="Answer the user query.\n{format_instructions}\n{query}\n",
    input_variables=["query"],
    partial_variables={"format_instructions": parser.get_format_instructions()},
)

看下parser.get_format_instructions()的内容:

The output should be formatted as a JSON instance that conforms to the JSON schema below.

As an example, for the schema {“properties”: {“foo”: {“title”: “Foo”,

“description”: “a list of strings”, “type”: “array”, “items”: {“type”:

“string”}}}, “required”: [“foo”]} the object {“foo”: [“bar”, “baz”]}

is a well-formatted instance of the schema. The object {“properties”:

{“foo”: [“bar”, “baz”]}} is not well-formatted.

Here is the output schema: ```{“properties”: {“setup”: {“title”:
“Setup”, “description”: “question to set up a joke”, “type”:
“string”}, “punchline”: {“title”: “Punchline”, “description”: “answer
to resolve the joke”, “type”: “string”}}, “required”: [“setup”,
“punchline”]} ```

可以看到,LangChain内部将咱们上面定义的Joke数据结构填到了里面,并要求大模型输出json结构。

(4)加上用户的提问,调用大模型获取回复

prompt_str = prompt.format(query="Tell me a joke.")
response = llm.invoke(prompt_str)

完整Prompt如下:

运行结果如下:

(5)校验输出结果是否符合要求

parser_result = parser.invoke(response) ## 调用parser的invoke,校验结果是否符合要求

上面的结果明显符合要求,最终输出如下:

#>> setup="Why don't scientists trust atoms?" punchline='Because they make up everything!'

3.2 不符合要求的情况

为了看一下不符合要求时会发生什么,我在大模型返回后手动改了下结果,让它不符合要求(要求是问句结尾必须是问号,下面我将问号删掉了)。

运行结果:报错了

如果大模型返回的结果不是json结构,也会报错:

3.3 不符合要求怎么办?Auto-Fixing Parser帮你自动修复错误

基本用法如下:

## 1. 引入OutputFixingParser
from langchain.output_parsers import OutputFixingParser
## 2. 使用之前的parser和llm,构建一个OutputFixingParser实例
new_parser = OutputFixingParser.from_llm(parser=parser, llm=llm)
## 3. 用OutputFixingParser自动修复并解析
parser_result = new_parser.parse(response.content)
print("===重新解析结果===")
print(parser_result)

为了展示它的效果,我还是手动将结果改错了。

输出结果如下:可以看到重新解析后结果正确了。

重新解析为什么就正确了?其实是OutputFixingParser内部又重新调用了一遍大模型

3.4 完整代码

import os
# 加载 .env 到环境变量
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())
from langchain_openai import ChatOpenAI
 
llm = ChatOpenAI() # 默认是gpt-3.5-turbo
def output_parse_test():
    from langchain.output_parsers import PydanticOutputParser
    from langchain_core.pydantic_v1 import BaseModel, Field, validator
    from langchain.prompts import PromptTemplate
    
    # 定义你期望的数据结构
    class Joke(BaseModel):
        setup: str = Field(description="question to set up a joke")
        punchline: str = Field(description="answer to resolve the joke")
        # 使用Pydantic添加自定义的校验逻辑,如下为检测内容最后一个字符是否为问号,不为问号则提示错误.
        @validator("setup")
        def question_ends_with_question_mark(cls, field):
            if field[-1] != "?":
                raise ValueError("Badly formed question!")
            return field
        
    # 生成一个解析器的实例
    parser = PydanticOutputParser(pydantic_object=Joke)
    
    # 生成 Prompt 模板
    prompt = PromptTemplate(
        template="Answer the user query.\n{format_instructions}\n{query}\n",
        input_variables=["query"],
        partial_variables={"format_instructions": parser.get_format_instructions()},
    )
    print(f"\n{parser.get_format_instructions()}")
    prompt_str = prompt.format(query="Tell me a joke.")
    print(prompt_str)
    response = llm.invoke(prompt_str)
    print(f"\n{response.content}")
    # response.content = response.content.replace("?", "") ## 认为改错结果,测试后面的OutputFixingParser
    try:
        parser_result = parser.invoke(response)
        print(f"\n{parser_result}")
    except Exception as e:
        print("===出现异常===")
        print(e)
        ## 1. 引入OutputFixingParser
        from langchain.output_parsers import OutputFixingParser
        ## 2. 使用之前的parser和llm,构建一个OutputFixingParser实例
        new_parser = OutputFixingParser.from_llm(parser=parser, llm=llm)
        ## 3. 用OutputFixingParser自动修复并解析
        parser_result = new_parser.parse(response.content)
        print("===重新解析结果===")
        print(parser_result)
output_parse_test()

关于更多 OutputParser 的说明,可以看官方文档:https://python.langchain.com/docs/modules/model_io/output_parsers/

4. 总结

本文我们全面学习了LangChain的模型 I/O 封装模块。

  • LangChain 提供了各种 PromptTemplate 类,可以自定义带变量的模板
  • LangChain 统一封装了各种模型的调用接口,包括llm型和chat_model型两种,区别见上文。
  • LangChain 提供了一系列输出解析器,用于将大模型的输出解析成结构化对象;额外带有自动修复功能。

如果觉得本文对你有帮助,麻烦点个赞和关注呗 ~~~


  • 大家好,我是同学小张
  • 欢迎 点赞 + 关注 👏,促使我持续学习持续干货输出
  • +v: jasper_8017 一起交流💬,一起进步💪。
  • 微信公众号也可搜【同学小张】 🙏
  • 踩坑不易,感谢关注和围观

本站文章一览:

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
8天前
|
人工智能 测试技术 API
AI计算机视觉笔记二十 九:yolov10竹签模型,自动数竹签
本文介绍了如何在AutoDL平台上搭建YOLOv10环境并进行竹签检测与计数。首先从官网下载YOLOv10源码并创建虚拟环境,安装依赖库。接着通过官方模型测试环境是否正常工作。然后下载自定义数据集并配置`mycoco128.yaml`文件,使用`yolo detect train`命令或Python代码进行训练。最后,通过命令行或API调用测试训练结果,并展示竹签计数功能。如需转载,请注明原文出处。
|
24天前
|
存储 人工智能
|
7天前
|
机器学习/深度学习 存储 人工智能
AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出
【9月更文挑战第1天】AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出
AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出
|
3天前
|
人工智能 自动驾驶 云计算
【通义】AI视界|谷歌大模型被盯上!欧盟最高隐私监管机构对PaLM2模型展开调查~
本文汇总了近24小时内科技领域的五大要闻:欧盟对谷歌PaLM2模型启动隐私合规调查;甲骨文推出Zettascale云计算集群,集成大量NVIDIA GPU强化计算力;红杉资本偏好AI应用投资而非模型构建;夸克新推智能助手CueMe,支持长达2万字内容生成;沃尔沃与NVIDIA合作,未来车型将采用后者先进芯片提升自动驾驶功能。以上内容由通义自动生成。
|
1天前
|
机器学习/深度学习 人工智能 UED
OpenAI o1模型:AI通用复杂推理的新篇章
OpenAI发布了其最新的AI模型——o1,这款模型以其独特的复杂推理能力和全新的训练方式,引起了业界的广泛关注。今天,我们就来深入剖析o1模型的特点、背后的原理,以及一些有趣的八卦信息。
115 73
|
5天前
|
机器学习/深度学习 人工智能 供应链
【通义】AI视界|OpenAI的“草莓”模型预计两周内上线!像人类一样思考!
本文介绍了近期科技领域的五大亮点:OpenAI即将推出的新一代AI模型“草莓”,具备高级推理能力;亚马逊测试AI技术加速有声读物生产,通过语音克隆提高效率;Kimi API新增联网搜索功能,拓宽信息来源;顺丰发布物流行业专用大语言模型“丰语”,提升工作效率;钉钉推出“AI班级群”功能,改善家校沟通体验。更多详情,请访问[通义官网]。
|
9天前
|
人工智能 自然语言处理 数据挖掘
【通义】AI视界|性能超越GPT-4o?最强大的开源AI模型来了……
本文介绍了五项最新AI技术动态,包括性能超越GPT-4o的开源AI模型Reflection70B、智谱清言App限时免费的视频通话功能、哈佛医学院研发的癌症诊断AI模型CHIEF、Replit推出的AI编程助手,以及英特尔与日本AIST合作设立的芯片制造研发中心。这些进展展示了AI领域的快速创新与广泛应用。更多详情,请访问通义官网体验。
|
8天前
|
人工智能 测试技术 PyTorch
AI计算机视觉笔记二十四:YOLOP 训练+测试+模型评估
本文介绍了通过正点原子的ATK-3568了解并实现YOLOP(You Only Look Once for Panoptic Driving Perception)的过程,包括训练、测试、转换为ONNX格式及在ONNX Runtime上的部署。YOLOP由华中科技大学团队于2021年发布,可在Jetson TX2上达到23FPS,实现了目标检测、可行驶区域分割和车道线检测的多任务学习。文章详细记录了环境搭建、训练数据准备、模型转换和测试等步骤,并解决了ONNX转换过程中的问题。
|
15天前
|
机器学习/深度学习 人工智能
AI模型提早5年预警乳腺癌,MIT研究登Science获LeCun转发
【9月更文挑战第1天】麻省理工学院(MIT)研究人员开发的深度学习AI模型,在乳腺癌早期预警方面取得突破性进展,相比传统方法提前5年预警癌症,准确率超过90%。此成果不仅在医学界引起轰动,还获得了人工智能领域知名学者Yann LeCun的高度评价。尽管面临准确性和可解释性的挑战,但该研究展示了AI在医疗领域的巨大潜力,有望革新乳腺癌的早期筛查和诊断方式。论文详情见[链接]。
22 3
|
18天前
|
机器学习/深度学习 人工智能 Android开发
揭秘AI编程:从零开始构建你的第一个机器学习模型移动应用开发之旅:从新手到专家
【8月更文挑战第29天】本文将带你走进人工智能的奇妙世界,一起探索如何从零开始构建一个机器学习模型。我们将一步步解析整个过程,包括数据收集、预处理、模型选择、训练和测试等步骤,让你对AI编程有一个全面而深入的理解。无论你是AI初学者,还是有一定基础的开发者,都能在这篇文章中找到你需要的信息和启示。让我们一起开启这段激动人心的AI编程之旅吧! 【8月更文挑战第29天】在这篇文章中,我们将探索移动应用开发的奇妙世界。无论你是刚刚踏入这个领域的新手,还是已经有一定经验的开发者,这篇文章都将为你提供有价值的信息和指导。我们将从基础开始,逐步深入到更复杂的主题,包括移动操作系统的选择、开发工具的使用、