简介
风蒲猎猎小池塘,过雨荷花满院香,沉李浮瓜冰雪凉。小伙伴们好,我是微信公众号《小窗幽记机器学习》的小编:卖铁观音的小男孩。紧接前面几篇ChatGPT Prompt工程系列文章:
- 04: ChatGPT Prompt编写指南
- 05: 如何优化ChatGPT Prompt?
- 06: ChatGPT Prompt实践:文本摘要&推断&转换
- 07:吴恩达ChatGPT Prompt课程实践:以智能客服邮件为例。
更多、更新文章欢迎关注 微信公众号:小窗幽记机器学习。后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题,敬请关注。
今天这篇小作文是吴恩达与OpenAI合作课程《ChatGPT Prompt Engineering for Developers》的第5篇笔记,主要介绍如何用ChatGPT构建一个定制化的闲聊机器人和订餐机器人。
从中我们可以感受到使用大型语言模型LLM构建一个定制的聊天机器人,真的只需要很少的工作量。
准备工作
设置api key
import os
import openai
openai.api_key = "sk-xxx"
# 如果需要设置代理的话
import os
os.environ['HTTP_PROXY'] = "http://XXX"
os.environ['HTTPS_PROXY'] = "http://XXX"
定义辅助函数
像 ChatGPT 这样的聊天模型实际上是组装成以一系列消息作为输入,并返回一个模型生成的消息作为输出。虽然聊天格式的设计旨在使这种多轮对话变得容易,但我们通过之前的学习可以知道,它对于没有任何对话的单轮任务也同样有用。
接下来,我们将定义两个辅助函数。第一个是单轮的,我们将prompt放入看起来像是某种用户消息的东西中。另一个则传入一个消息列表。这些消息可以来自不同的角色,我们会描述一下这些角色。
第一条消息是一个系统消息,它提供了一个总体的指示,然后在这个消息之后,我们有用户和助手之间的交替。如果你曾经使用过 ChatGPT 网页界面,那么你的消息是用户消息,而 ChatGPT 的消息是助手消息。系统消息则有助于设置助手的行为和角色,并作为对话的高级指示。你可以想象它在助手的耳边低语,引导它的回应,而用户不会注意到系统消息。
因此,作为用户,如果你曾经使用过 ChatGPT,你可能不知道 ChatGPT 的系统消息是什么,这是有意为之的。系统消息的好处是为开发者提供了一种方法,在不让请求本身成为对话的一部分的情况下,引导助手并指导其回应。
def get_completion(prompt, model="gpt-3.5-turbo"):
messages = [{"role": "user", "content": prompt}]
response = openai.ChatCompletion.create(
model=model,
messages=messages,
temperature=0, # 控制模型输出的随机程度
)
return response.choices[0].message["content"]
def get_completion_from_messages(messages, model="gpt-3.5-turbo", temperature=0):
response = openai.ChatCompletion.create(
model=model,
messages=messages,
temperature=temperature, # 控制模型输出的随机程度
)
# print(str(response.choices[0].message))
return response.choices[0].message["content"]
聊天
现在尝试在对话中使用这些消息。我们将使用上面的函数来获取从这些消息中得到的回答,同时,使用更高的 temperature(越高生成的结果越多样)。
系统的content
设置成,你是一个说话像莎士比亚的助手。这时我们向助手描述它应该如何表现的方式。然后,第一个用户消息是,给我讲个笑话。接下来的消息是,为什么鸡会过马路?然后最后一个用户消息是,我不知道。
英文版:
messages = [
{'role':'system', 'content':'You are an assistant that speaks like Shakespeare.'},
{'role':'user', 'content':'tell me a joke'},
{'role':'assistant', 'content':'Why did the chicken cross the road'},
{'role':'user', 'content':'I don\'t know'} ]
response = get_completion_from_messages(messages, temperature=1)
print(response)
输出如下:
To reach the other side, my dear lord.
中文版:
因为它想到对面的鸡店吃炸鸡!哈哈哈! :)
中文版换成“鲁迅”风格助手:
# 中文
messages = [
{'role':'system', 'content':'你是一个像鲁迅一样说话的助手。'},
{'role':'user', 'content':'给我讲个笑话'},
{'role':'assistant', 'content':'鸡为什么过马路'},
{'role':'user', 'content':'我不知道'} ]
输出结果如下:
因为它要到对面去“鸡”客店呀!哈哈哈
再举一个例子。给助手设置的消息是,“你是一个友好的聊天机器人”,第一个用户消息是,“嗨,我叫张三”。我们想要得到第一个用户消息。
# 中文
messages = [
{'role':'system', 'content':'你是个友好的聊天机器人。'},
{'role':'user', 'content':'Hi, 我是张三。'} ]
response = get_completion_from_messages(messages, temperature=1)
print(response)
输出结果如下:
你好张三!我很高兴能和你聊天。有什么我可以帮助你的吗?
再试一个例子。给系统设置的消息是,“你是一个友好的聊天机器人”,第一个用户消息是,“是的,你能提醒我我的名字是什么吗?”
# 中文
messages = [
{'role':'system', 'content':'你是个友好的聊天机器人。'},
{'role':'user', 'content':'好,你能提醒我,我的名字是什么吗?'} ]
response = get_completion_from_messages(messages, temperature=1)
print(response)
输出结果如下:
您没有告诉我您的名字,因此我不知道您的名字是什么。您可以告诉我您的名字,以便我们以后更方便地交流。
如上所见,模型实际上并不知道我的名字。
因此,每次与语言模型的交互都是一个独立的交互,这意味着我们必须提供所有相关的消息,以便模型在当前对话中进行引用。如果想让模型引用或 “记住”对话的早期部分,则必须在模型的输入中提供早期的交流。我们将其称为上下文,让我们试试。
# 中文
messages = [
{'role':'system', 'content':'你是个友好的聊天机器人。'},
{'role':'user', 'content':'Hi, 我是张三'},
{'role':'assistant', 'content': "Hi Isa! 很高兴认识你。今天有什么可以帮到你的吗?"},
{'role':'user', 'content':'是的,你可以提醒我, 我的名字是什么?'} ]
response = get_completion_from_messages(messages, temperature=1)
print(response)
输出结果如下:
当然,您告诉我您的名字是张三。记得了吗?
现在我们已经给模型提供了上下文,也就是之前的对话中提到的我的名字,然后我们会问同样的问题,也就是我的名字是什么。因为模型有了需要的全部上下文,所以它能够做出回应,就像我们在输入的消息列表中看到的一样。
订餐机器人
现在,我们构建一个 “订餐机器人”, 我们需要它自动收集用户信息,接受比萨饼店的订单。
下面这个函数将收集我们的用户消息,以便我们可以避免手动输入,就像我们在刚刚上面做的那样。这个函数将从我们下面构建的用户界面中收集提示,然后将其附加到一个名为上下文的列表中,并在每次调用模型时使用该上下文。模型的响应也会被添加到上下文中,所以模型消息和用户消息都被添加到上下文中,因此上下文逐渐变长。这样,模型就有了需要的信息来确定下一步要做什么。
def collect_messages(_):
prompt = inp.value_input
inp.value = ''
context.append({'role':'user', 'content':f"{prompt}"})
response = get_completion_from_messages(context)
context.append({'role':'assistant', 'content':f"{response}"})
panels.append(
pn.Row('User:', pn.pane.Markdown(prompt, width=600)))
panels.append(
pn.Row('Assistant:', pn.pane.Markdown(response, width=600, style={'background-color': '#F6F6F6'})))
return pn.Column(*panels)
现在,我们将设置并运行这个 UI 来显示订单机器人。初始的上下文包含了包含菜单的系统消息。请注意,上下文会随着时间的推移而不断增长。
pip3 install panel
现在我们可以要求模型创建一个 JSON 摘要发送给订单系统。
所以我们现在追加另一个系统消息,它是另一条prompt,我们说创建一个刚刚订单的 JSON 摘要,列出每个项目的价格,字段应包括1)披萨,包括尺寸,2)配料列表,3)饮料列表,4)辅菜列表,包括尺寸,最后是总价格。这里也可以在这里使用用户消息,不一定是系统消息。
请注意,这里我们使用了一个较低的temperature,因为对于这些类型的任务,我们希望输出相对可预测。
# 中文
import panel as pn # GUI
pn.extension()
panels = [] # collect display
context = [{'role':'system', 'content':"""
你是订餐机器人,为披萨餐厅自动收集订单信息。
你要首先问候顾客。然后等待用户回复收集订单信息。收集完信息需确认顾客是否还需要添加其他内容。
最后需要询问是否自取或外送,如果是外送,你要询问地址。
最后告诉顾客订单总金额,并送上祝福。
请确保明确所有选项、附加项和尺寸,以便从菜单中识别出该项唯一的内容。
你的回应应该以简短、非常随意和友好的风格呈现。
菜单包括:
菜品:
意式辣香肠披萨(大、中、小) 12.95、10.00、7.00
芝士披萨(大、中、小) 10.95、9.25、6.50
茄子披萨(大、中、小) 11.95、9.75、6.75
薯条(大、小) 4.50、3.50
希腊沙拉 7.25
配料:
奶酪 2.00
蘑菇 1.50
香肠 3.00
加拿大熏肉 3.50
AI酱 1.50
辣椒 1.00
饮料:
可乐(大、中、小) 3.00、2.00、1.00
雪碧(大、中、小) 3.00、2.00、1.00
瓶装水 5.00
"""} ] # accumulate messages
inp = pn.widgets.TextInput(value="Hi", placeholder='Enter text here…')
button_conversation = pn.widgets.Button(name="Chat!")
interactive_conversation = pn.bind(collect_messages, button_conversation)
dashboard = pn.Column(
inp,
pn.Row(button_conversation),
pn.panel(interactive_conversation, loading_indicator=True, height=300),
)
聊天结果如下:
对上面聊天结果进行一次摘要化:
messages = context.copy()
messages.append(
{'role':'system', 'content':'创建上一个食品订单的 json 摘要。\
逐项列出每件商品的价格,字段应该是 1) 披萨,包括大小 2) 配料列表 3) 饮料列表,包括大小 4) 配菜列表包括大小 5) 总价'},
)
response = get_completion_from_messages(messages, temperature=0)
print(response)
输出结果如下:
以下是上一个食品订单的 JSON 摘要:
{
"披萨": {
"意式辣香肠披萨": {
"大小": "大",
"价格": 12.95
}
},
"配料列表": {
"AI酱": 1.5,
"香肠": 3.0,
"总价": 4.5
},
"饮料列表": {
"瓶装水": {
"大小": "标准",
"价格": 5.0
}
},
"配菜列表": {},
"总价": 22.45
}
注意,配菜列表为空,因为在上一个订单中没有点配菜。
可以看出,上面的订餐机器人虽然能够在对话上很顺畅,但是在数学计算上,仍然存在显著的缺陷。下面我们再次进行优化。
优化订餐机器人
修改Prompt如下:
import panel as pn # GUI
pn.extension()
panels = [] # collect display
context = [{'role':'system', 'content':"""
你是订餐机器人,为可达鸭餐厅自动收集订单信息。
你要首先问候顾客。然后等待用户回复收集订单信息,包括餐品和数量。如果用户没有说数量,你要问下。
收集完信息需确认顾客是否还需要添加其他内容。
最后需要询问是否自取或外送,如果是外送,你要询问地址并告诉用户配送费是8块。
最后告诉顾客订单总金额,并送上祝福。
请确保明确所有选项、附加项和尺寸,以便从菜单中识别出该项唯一的内容。
你的回应应该以简短、非常随意和友好的风格呈现。
菜单包括:
主食:
鸡排堡(大、中、小) 12.95、10.00、7.00
鸡腿堡(大、中、小) 10.95、9.25、6.50
嫩牛堡(大、中、小) 19.95、15.75、10.75
鸡肉卷(大、中、小) 11.95、9.75、6.75
小食:
薯条(大、小) 4.50、3.50
希腊沙拉 7.25
香肠 3.00
加拿大熏肉 3.50
配料:
奶酪 2.00
蘑菇 1.50
AI酱 1.50
辣椒 1.00
饮料:
可乐(大、中、小) 3.00、2.00、1.00
雪碧(大、中、小) 3.00、2.00、1.00
农夫山贼矿泉水 5.00
"""} ] # accumulate messages
inp = pn.widgets.TextInput(value="Hi", placeholder='Enter text here…')
button_conversation = pn.widgets.Button(name="Chat!")
interactive_conversation = pn.bind(collect_messages, button_conversation)
dashboard = pn.Column(
inp,
pn.Row(button_conversation),
pn.panel(interactive_conversation, loading_indicator=True, height=300),
)
执行dashboard
,结果如下:
对上述聊天内容进行摘要化:
messages = context.copy()
messages.append(
{'role':'system', 'content':'创建上一个食品订单的 json 摘要。\
逐项列出用户订餐的每件商品的详情,包括大小、数量和消费金额。字段应该是 1) 主食 2) 小食 3) 配料 4) 饮料 5) 总价'},
)
response = get_completion_from_messages(messages, temperature=0)
print(response)
输出结果如下:
{
"主食": {
"嫩牛堡": {
"大小": "大份",
"数量": 1,
"消费金额": 19.95
}
},
"小食": {
"香肠": {
"数量": 2,
"消费金额": 6.00
}
},
"配料": {
"AI酱": {
"数量": 1,
"消费金额": 1.50
}
},
"饮料": {
"农夫山贼矿泉水": {
"数量": 2,
"消费金额": 10.00
}
},
"总价": 45.45
}
到此,得到正确的订单内容和金额。
总结
以下对这门课程进行小结。总的来说,在这门课程中,主要学习了关于prompt的两个关键原则:
- 编写清晰具体的指令
- 适当给模型一些思考时间
此外,
1) 还学习了迭代开发prompt的方法。了解如何找到适合你应用程序prompt的过程是非常关键的。
2) 还介绍了许多大型语言模型LLM的功能,包括摘要、推断、转换和文本扩展。
3) 最后,课程还以实例传授如何构建自定义聊天机器人。
大型语言模型LLM非常强大,希望大家保持初心、负责任地使用它们,请仅构建对他人有积极影响、符合社会主义核心价值观的东西。