Model I/O

在LangChain中，Model I/O被称为：模型的输入与输出，其有输入提示(Format)、调用模型(Predict)、输出解析(Parse)等三部分组成。

1.提示模板: LangChain的模板允许动态选择输入，根据实际需求调整输入内容，适用于各种特定任务和应用。

2.语言模型: LangChain 提供通用接口调用不同类型的语言模型，提升了灵活性和使用便利性。

3.输出解析: 利用 LangChain 的输出解析功能，精准提取模型输出中所需信息，避免处理冗余数据，同时将非结构化文本转换为可处理的结构化数据，提高信息处理效率。

提示模板

在LangChain的Model I/O中，提示模板是其组成之一，这里也主要申明记录提示模板(Format)的使用。

概述

语言模型的提示是用户提供的一组指令或输入，用于指导模型的响应，帮助模型理解上下文并生成相关且连贯的基于语言的输出，例如回答问题、完成句子或参与某项活动、对话。

“提示”指的是模型的输入，这个输入很少是硬编码的，而是通常从多个组件构建而成的，恰哈提示模板就是负责构建这个输入的。

LangChain提示模板特点：

1.清晰易懂的提示: 提高提示文本的可读性，使其更易于理解，尤其是在处理复杂或涉及多个变量的情况下。

2.增强可重用性: 使用模板，可以在多个地方重复使用，简化代码，无需重复构建提示字符串。

3.简化维护: 使用模板后，如果需要更改提示内容，只需修改模板，无需逐个查找所有用到该提示的地方。

4.智能处理变量: 模板可以自动处理变量的插入，无需手动拼接字符串。

5.参数化生成: 模板可以根据不同的参数生成不同的提示，有助于个性化文本生成。

类型

在LangChain中，可以看到以下类型的提示模板：

1.LLM提示模板 PromptTemplate：常用的String提示模板

2.聊天提示模板 ChatPromptTemplate： 常用的Chat提示模板，用于组合各种角色的消息模板，传入聊天模型。
 消息模板包括：ChatMessagePromptTemplate、HumanMessagePromptTemplate、AIlMessagePromptTemplate SystemMessagePromptTemplate等

3.样本提示模板 FewShotPromptTemplate：通过示例来教模型如何回答

4.部分格式化提示模板：提示模板传入所需值的子集，以创建仅期望剩余值子集的新提示模板。

5.管道提示模板 PipelinePrompt： 用于把几个提示组合在一起使用。

6.自定义模板：允许基于其他模板类来定制自己的提示模板。

模板导入方式如下：

from langchain.prompts.prompt import PromptTemplate
from langchain.prompts import FewShotPromptTemplate
from langchain.prompts.pipeline import PipelinePromptTemplate
from langchain.prompts import ChatPromptTemplate
from langchain.prompts import (
    ChatMessagePromptTemplate,
    SystemMessagePromptTemplate,
    AIMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

设置环境变量

import os
os.environ["OPENAI_BASE_URL"] = "https://xxx.com/v1"
os.environ["OPENAI_API_KEY"] = "sk-fDqouTlU62yjkBhF46284543Dc8f42438a9529Df74B4Ce65"

PromptTemplate提示模板

创建提示模板

创建一个PromptTemplate提示模板，有2种方式来创建。

1.通过from_template方法从字符串模板中创建提示模板

# 导入LangChain中的提示模板
from langchain.prompts import PromptTemplate
# 创建原始模板
template = "您是一位专业的文案写手。\n对于信息 {text} 进行简短描述"
# 根据原始模板创建LangChain提示模板
prompt = PromptTemplate.from_template(template)
# 打印LangChain提示模板的内容
print(prompt)
print(prompt.format(text="猪八戒吃人参果"))

提示模板的具体内容如下：

input_variables=['text'] template='您是一位专业的文案写手。\n对于信息 {text} 进行简短描述'
您是一位专业的文案写手。
对于信息 猪八戒吃人参果 进行简短描述

2.直接生成提示模板

通过提示模板类的构造函数，在创建模板时手工指定input_variables

from langchain.prompts import PromptTemplate

prompt = PromptTemplate(
    input_variables=["text"],
    template="您是一位专业的文案写手。\n对于信息 {text} 进行简短描述"
)
print(prompt.format(text="猪八戒吃人参果"))

使用提示模板

调用语言模型，让模型帮写文案，并返回文案结果。

将模板实例化，将 {text}替换为 "猪八戒吃人参果"，形成具体的提示：“您是一位专业的文案写手。对于信息 猪八戒吃人参果 进行简短描述”

# 导入LangChain中的OpenAI模型接口
from langchain_openai import OpenAI
# 创建模型实例
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
# 输入提示
input = prompt.format(text="猪八戒吃人参果")
# 得到模型的输出
output = model(input)
# 打印输出内容
print(output)

猪八戒是一位贪吃的神仙，他最爱的美食就是人参果。每当他闻到人参果的香味，就会忍不住大快朵颐，吃得津津有味。然而，人参果却是一种珍稀的仙果，吃多了会让猪八戒变得更加贪婪和暴躁，甚至会影响他的神仙身份。因此，猪八戒每次都要克制自己的食欲，才能保持神仙的本性。尽管如此，每当有人提起人参果，他仍然会忍不住流口水，渴望再次品尝这种美味的禁果。

复用提示模板

复用提示模板，可以同时生成多个结果。

# 导入LangChain中的OpenAI模型接口
from langchain_openai import OpenAI

# 创建模型实例
model = OpenAI(model_name='gpt-3.5-turbo-instruct')
# 多种花的列表
objList = ["猪八戒吃人参果", "孙悟空吃人参果"]

# 生成多种花的文案
for obj in zip(objList):
    # 使用提示模板生成输入
    input_prompt = prompt.format(text=obj)
    # 得到模型的输出
    output = model(input_prompt)
    # 打印输出内容
    print(output)

模型输出如下：

猪八戒是一位贪吃的妖怪，但他最爱吃的不是普通的食物，而是人参果。这种奇特的水果具有神奇的功效，能够增强生命力，让人变得更加健康强壮。但如果被猪八戒吃掉，可能会让他变得更加凶猛可怕。


孙悟空是一位身怀绝技的神仙，他喜欢吃人参果来增强自己的力量。

ChatPromptTemplate聊天提示模板

LangChain提供了几个相关的提示模板，以便轻松构建和处理提示。在使用聊天模型时，建议使用这些与聊天相关的提示模板，而不是PromptTemplate，以充分发挥基础聊天模型的潜力。

PromptTemplate创建字符串提示的模板。默认情况下，使用Python的str.format语法进行模板化。而ChatPromptTemplate是创建聊天消息列表的提示模板。

创建一个ChatPromptTemplate提示模板，模板的不同之处是它们有对应的角色。

基本使用

通过from_messages方法，传入简单的聊天列表数据，以此创建提示模板

from langchain.prompts.chat import ChatPromptTemplate

template = "你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言."
human_template = "{text}"

chat_prompt = ChatPromptTemplate.from_messages([
    ("system", template),
    ("human", human_template),
])
print(chat_prompt)

# 导入LangChain中的ChatOpenAI模型接口
from langchain_openai import ChatOpenAI

# 创建模型实例
model = ChatOpenAI(model_name='gpt-3.5-turbo')
# 输入提示
messages = chat_prompt.format_messages(input_language="英文", output_language="中文", text="I love programming.")
# 得到模型的输出
output = model.invoke(messages)
# 打印输出内容
print(output)

content='我喜欢编程。' response_metadata={
   
   'token_usage': {
   
   'completion_tokens': 8, 'prompt_tokens': 48, 'total_tokens': 56}, 'model_name': 'gpt-3.5-turbo', 'system_fingerprint': 'fp_b28b39ffa8', 'finish_reason': 'stop', 'logprobs': None} id='run-365c447e-f3d7-4d07-b5f2-7953752d4ba6-0'

进阶使用

LangChain提供不同类型的MessagePromptTemplate.最常用的是AIMessagePromptTemplate、 SystemMessagePromptTemplate和HumanMessagePromptTemplate，分别创建人工智能消息、系统消息和人工消息。

要创建与角色相关联的消息模板，可以使用MessagePromptTemplate。

# 导入聊天消息类模板
from langchain.prompts import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
)

# 模板的构建
system_template = "你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言."
system_message_prompt = SystemMessagePromptTemplate.from_template(system_template)

human_template = "{text}"
human_message_prompt = HumanMessagePromptTemplate.from_template(human_template)

prompt_template = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])

# 格式化提示消息生成提示
prompt = prompt_template.format_prompt(input_language="英文", output_language="中文",
                                       text="I love programming.").to_messages()

from langchain_openai import ChatOpenAI

# 创建模型实例
model = ChatOpenAI(model_name='gpt-3.5-turbo')
# 得到模型的输出
result = model.invoke(prompt)
# 打印输出内容
print(result)

更直接地构建MessagePromptTemplate，可以在外部创建一个PromptTemplate，然后将其传递进去

prompt=PromptTemplate(
    template="你是一个翻译专家,擅长将 {input_language} 语言翻译成 {output_language}语言.",
    input_variables=["input_language", "output_language"],
)
system_message_prompt = SystemMessagePromptTemplate(prompt=prompt)

少量样本示例的提示模板

基于LLM模型与聊天模型，可分别使用FewShotPromptTemplate或FewShotChatMessagePromptTemplate，两者使用基本一致。

这里主要使用FewShotPromptTemplate，它是一个复杂的提示模板，它包含多个示例和一个提示。这种模板可以使用多个示例来指导模型生成对应的输出。

使用FewShotPromptTemplate类来创建使用少量样本示例的提示模板，此类要么接受一组示例，要么接受一个ExampleSelector对象。

创建示例集

创建一些提示样本，每个示例都是一个字典，其中键是输入变量，值是输入变量的值。

examples = [
    {
   
   "input": "2+2", "output": "4", "description": "加法运算"},
    {
   
   "input": "5-2", "output": "3", "description": "减法运算"},
]

创建提示模板

配置一个格式化程序，将Few-shot示例格式化为字符串。这个格式化程序应该是一个PromptTemplate对象。

from langchain.prompts import PromptTemplate
# 创建提示模板，配置一个提示模板，将一个示例格式化为字符串
prompt_template = "你是一个数学专家,算式： {input} 值： {output} 使用： {description} "
# 这是一个提示模板，用于设置每个示例的格式
prompt_sample = PromptTemplate(input_variables=["input", "output", "description"], template=prompt_template)
print(prompt_sample.format(**examples[0]))  # 你是一个数学专家,算式： 2+2 值： 4 使用： 加法运算

创建FewShotPromptTemplate对象

创建一个FewShotPromptTemplate对象。这个对象接受Few-shot示例和Few-shot示例格式化程序

# 创建一个FewShotPromptTemplate对象
from langchain.prompts.few_shot import FewShotPromptTemplate

prompt = FewShotPromptTemplate(
    examples=examples,
    example_prompt=prompt_sample,
    suffix="你是一个数学专家,算式: {input}  值: {output}",
    input_variables=["input", "output"]
)
print(prompt.format(input="2*5", output="10"))  # 你是一个数学专家,算式: 2*5  值: 10

使用

初始化大模型，然后调用

from langchain_openai import OpenAI

model = OpenAI(model_name='gpt-3.5-turbo-instruct')
result = model.invoke(prompt.format(input="2*5", output="10"))
print(result)  # 使用: 乘法运算

示例选择器

概述

LangChain提供示例选择器来提高效率，避免一次性发送所有示例给模型，同时减少使用的Token数量。

如果有大量示例，可能需要选择要包含在提示中的示例，示例选择器是负责执行此操作的类。

LangChain有几种不同类型的示例选择器。

这里使用SemanticSimilarityExampleSelector示例选择器，基于少量样本示例的提示模板结合示例选择器进行使用，具体使用参考如下

安装Chroma向量数据库

示例选择器使用向量相似度比较，需要安装向量数据库。这里使用了开源的Chroma。

安装Chroma

pip install chromadb

定义示例集

# 定义包含的示例
examples = [
    {
   
   "input": "2+2", "output": "4", "description": "加法运算"},
    {
   
   "input": "5-2", "output": "3", "description": "减法运算"},
]

创建提示模板

from langchain.prompts import PromptTemplate

# 创建创建提示模板
prompt_template = "你是一个数学专家,算式： {input} 值： {output} 使用： {description} "
# 这是一个提示模板，用于设置每个示例的格式。
prompt_sample = PromptTemplate(input_variables=["input", "output", "description"], template=prompt_template)
print(prompt_sample.format(**examples[0]))  # 你是一个数学专家,算式： 2+2 值： 4 使用： 加法运算

示例选择器

不直接将示例馈送到FewShotPromptTemplate对象中，而是将其馈送到ExampleSelector对象中

# 导入FewShotPromptTemplate对象
from langchain.prompts.few_shot import FewShotPromptTemplate
# 导入选择器
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
# 导入向量数据库Chroma
from langchain_community.vectorstores import Chroma
# 导入嵌入模型
from langchain_openai import OpenAIEmbeddings

# 初始化示例选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),
    Chroma,
    k=1
)

创建FewShotPromptTemplate对象

创建一个FewShotPromptTemplate对象。该对象接受示例选择器和few shot示例的格式化程序。

# 创建一个使用示例选择器的FewShotPromptTemplate对象
prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=prompt_sample,
    suffix="你是一个数学专家,算式: {input}  值: {output}",
    input_variables=["input", "output"]
)

使用

# 调用大模型
from langchain_openai import OpenAI

model = OpenAI(model_name='gpt-3.5-turbo-instruct')
print(model.invoke(prompt.format(input="2*5", output="10")))  # 使用: 乘法运算

PipelinePromptTemplate提示模板

概述

LangChain 包含一个抽象 PipelinePromptTemplate，当想要重用部分提示时，它会很有用。

PipelinePrompt 由两个主要部分组成：

最终提示：返回的最终提示

管道提示：元组列表，由字符串名称和提示模板组成。每个提示模板将被格式化，然后作为具有相同名称的变量传递到未来的提示模板。

最终提示

创建要给最终提示模板，它由多个提示模板构成最终模板。

from langchain_core.prompts.prompt import PromptTemplate


# 创建一个完整的模板 最终提示
full_template = """{introduction}

{example}

{start}"""
full_prompt = PromptTemplate.from_template(full_template)

多个提示

创建多个提示模板，由这些模板构成最终完整的提示模板，这些单个提示模板可以实现复用的效果。

# 创建一个介绍模板
introduction_template = """你在冒充 {person}."""
introduction_prompt = PromptTemplate.from_template(introduction_template)

# 创建一个示例模板
example_template = """下面是一个交互示例:

Q: {example_q}
A: {example_a}"""
example_prompt = PromptTemplate.from_template(example_template)

# 创建一个开始模板
start_template = """现在，认真做这件事

Q: {input}
A:"""
start_prompt = PromptTemplate.from_template(start_template)

管道提示

组合单个可复用提示模板成一个管道提示模板

from langchain_core.prompts.pipeline import PipelinePromptTemplate

# 元组列表，由字符串名称和提示模板组成
input_prompts = [
    ("introduction", introduction_prompt),
    ("example", example_prompt),
    ("start", start_prompt),
]

# 创建一个管道模板
pipeline_prompt = PipelinePromptTemplate(
    final_prompt=full_prompt, pipeline_prompts=input_prompts
)

使用

# 提示模板所需的变量名称列表
print(pipeline_prompt.input_variables)

# 输出结果
print(
    pipeline_prompt.format(
        person="Elon Musk",
        example_q="你最喜爱的车辆?",
        example_a="特斯拉",
        input="你最喜欢的社交媒体网站是什么?",
    )
)

执行日志如下

['example_q', 'person', 'input', 'example_a']

你在冒充 Elon Musk.

下面是一个交互示例:

Q: 你最喜爱的车辆?
A: 特斯拉

现在，认真做这件事

Q: 你最喜欢的社交媒体网站是什么?
A:

部分提示模板

概述

“部分”提示模板是有意义的，例传递所需值的子集，以创建仅需要剩余值子集的新提示模板。

LangChain通过两种方式支持这一点：

1.使用字符串值进行部分格式化

2.使用返回字符串值的函数进行部分格式化

基本使用

先使用字符串值部分化提示模板，然后传递部分化的提示模板

from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate.from_template("{foo}{bar}")
partial_prompt = prompt.partial(foo="foo")
print(partial_prompt.format(bar="baz"))

在初始化提示模板时，使用字符串值部分化变量

prompt = PromptTemplate(
    template="{foo}{bar}", input_variables=["bar"], partial_variables={
   
   "foo": "foo"}
)
print(prompt.format(bar="baz"))

使用返回字符串值的函数进行部分处理，适用于总是想以一种常见的方式获取一个变量时

from datetime import datetime


def _get_datetime():
    now = datetime.now()
    return now.strftime("%m/%d/%Y, %H:%M:%S")

prompt = PromptTemplate(
    template="Tell me a {adjective} joke about the day {date}",
    input_variables=["adjective", "date"],
)
partial_prompt = prompt.partial(date=_get_datetime)
print(partial_prompt.format(adjective="funny"))