使用 ChatGPT 基于领域文档构建聊天机器人指南

与 ChatGPT 聊天既有趣又有益

过去一段时间我一直在用它闲聊并探索一些新的想法来学习。但这些都是更随意的用例，新奇感很快就会消失，尤其是当你意识到它会产生幻觉时。

我们如何以更高效的方式使用它？

随着 OpenAI 最近发布的 GPT 3.5 系列 API，我们可以做的不仅仅是聊天。QA（问答）是企业和个人使用的一个非常有效的场景用例——使用自然语言向机器人询问自己（企业）私有的文档/数据，它可以通过从文档中检索信息并生成响应来快速回答我们[1]. 我们可以将其用于客户支持、综合用户研究、个人知识管理等等！

在本文中，将探讨如何根据自己的数据构建自己的问答聊天机器人，包括为什么某些方法不起作用，以及使用 llama-index 和 GPT API 高效构建文档问答聊天机器人指南。

（如果你只想知道如何搭建问答聊天机器人，可以直接跳到“一步步搭建文档问答聊天机器人”部分）

探索不同的方法

我的日常工作是产品经理——阅读客户反馈和内部文件占据了我生活的很大一部分。当 ChatGPT 出来时，我立刻想到了用它作为助手来帮助我综合客户反馈或查找有关我正在开发的功能的相关旧产品文档的想法。

我首先想到的是用自己的数据微调 GPT 模型来达到目的。但是微调需要花费相当多的钱，并且需要一个带有示例的大数据集。也不可能每次文档发生变化时都进行微调。更关键的一点是，微调根本不能让模型“知道”文档中的所有信息，而是教会模型一种新技能。因此，对于（多）文档 QA，微调不是可行的方法。

我想到的第二种方法是通过在提示中提供上下文来进行提示工程。例如，我可以在实际问题之前附加原始文档内容，而不是直接提出问题。但是 GPT 模型的注意力跨度有限——它只能在提示中接受几千个单词（大约 4000 个标记或 3000 个单词）。如果我们有数千封客户反馈电子邮件和数百份产品文档，就不可能在提示中给出所有上下文。如果将长上下文传递给 API，成本也会很高，因为定价是基于使用的 token 数量。

我会根据以下上下文问您问题：
— 上下文开始 —
您的文档内容
— 上下文结束 —
我的问题是：“用户希望在应用程序中看到哪些功能？”

（如果想了解更多关于GPT的微调和提示工程，可以阅读文章：https ://medium.com/design-bootcamp/3-ways-to-tailor-foundation-language-models-like -gpt-for-your-business-e68530a763bd )

由于提示对输入标记的数量有限制，我想到了首先使用算法搜索文档并挑选出相关摘录，然后仅将这些相关上下文与我的问题一起传递给 GPT 模型。当我研究这个想法时，我遇到了一个名为 gpt-index（现在更名为 LlamaIndex）的库，它正是我想做的，而且使用起来很简单 [2]。

来自：https://www.flaticon.com/

在下一节中，我将提供有关使用 LlamaIndex 和 GPT 在私有数据上构建问答聊天机器人的分步教程。

逐步构建文档问答聊天机器人

在本节中，我们将基于现有文档使用 LlamaIndex 和 GPT (text-davinci-003) 构建一个问答聊天机器人，以便可以提出有关文档的问题并从聊天机器人那里获得答案，所有这些都使用自然语言。

先决条件

在我们开始教程之前，我们需要准备一些东西：

• OpenAI API 密钥，可在https://platform.openai.com/account/api-keys找到。
• 文件的数据库。LlamaIndex 支持许多不同的数据源，如 Notion、Google Docs、Asana 等。对于本教程，我们将只使用一个简单的文本文件进行演示。
• 本地 Python 环境或在线 Google Colab 笔记本。

工作流程

工作流程很简单，只需几个步骤：

1. 使用 LlamaIndex 为我们的文档数据建立索引
2. 用自然语言查询索引
3. LlamaIndex 将检索相关部分并将它们传递给 GPT 提示符
4. 使用相关上下文询问 GPT 并构建响应

LlamaIndex 所做的是将原始文档数据转换为向量索引，查询效率非常高。它将使用该索引根据查询和数据的相似性找到最相关的部分。然后，它将检索到的内容插入将发送给 GPT 的提示中，以便 GPT 具有回答我们问题的上下文。

配置

我们需要先安装库。只需在我们的终端或 Google Colab 笔记本上运行以下命令。这些命令将同时安装 LlamaIndex 和 OpenAI。

pip install llama-index 
pip install openai

接下来，我们将在 python 中导入库并在新的 .py 文件中设置我们的 OpenAI API 密钥。

# Import necessary packages
from llama_index import GPTSimpleVectorIndex, Document, SimpleDirectoryReader
import os
os.environ['OPENAI_API_KEY'] = 'sk-YOUR-API-KEY'

构建索引并保存

安装并导入所需的库后，我们需要为文档构建索引。

要加载文档，我们可以使用 LllamaIndex 提供的 SimpleDirectoryReader 方法，也可以从字符串加载它。

# Loading from a directory
documents = SimpleDirectoryReader('your_directory').load_data()
# Loading from strings, assuming you saved your data to strings text1, text2, ...
text_list = [text1, text2, ...]
documents = [Document(t) for t in text_list]

LlamaIndex 还提供了多种数据连接器，包括 Notion、Asana、Google Drive、Obsidian 等。我们可以在 https://llamahub.ai/ 找到可用的数据连接器。

加载文档后，我们可以简单地构建索引

# Construct a simple vector index
index = GPTSimpleVectorIndex(documents)

如果你想保存索引并加载它以供将来使用，你可以使用以下方法

# Save your index to a index.json file
index.save_to_disk('index.json')
# Load the index from your saved index.json file
index = GPTSimpleVectorIndex.load_from_disk('index.json')

查询索引并获得响应

查询索引很简单

# Querying the index
response = index.query("What features do users want to see in the app?")
print(response)

瞧！将打印出我们的答案。在背后，LlamaIndex 将接受我们的提示，在索引中搜索相关块，并将我们的提示和相关块传递给 GPT。

高级用法的一些注意事项

上面的步骤仅显示了使用 LlamaIndex 和 GPT 进行问答的非常简单的入门用法。但我们可以做的远不止于此。事实上，我们可以将 LlamaIndex 配置为使用不同的大型语言模型 (LLM)，为不同的任务使用不同类型的索引，使用新索引更新现有索引等。如果有兴趣，可以阅读他们的文档https://gpt-index.readthedocs.io/en/latest/index.html。

结语

在本文中，我们了解了如何结合使用 GPT 和 LlamaIndex 来构建文档问答聊天机器人。虽然 GPT（和其他 LLM）本身很强大，但如果我们将它与其他工具、数据或流程相结合，它的力量会大大增强。

你会使用文档问答聊天机器人做什么？欢迎留言交流，谢谢～