快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话

背景信息

阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供 Elasticsearch、Kibana、Logstash、Beats 等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。

PAI-EAS 是阿里云的模型在线服务平台，支持用户将模型一键部署为在线推理服务或 AI-Web 应用，可以一键部署 LLM 推理、AIGC 等热门服务应用。PAI-EAS 适用于实时推理、近实时异步推理等多种 AI 推理场景，具备 Serverless 自动扩缩容和完整运维监控体系能力。

LangChain 是一个开源的框架，可以让 AI 开发人员将像通义千问这样的大语言模型（LLM）和外部数据结合起来，从而在尽可能少消耗计算资源的情况下，获得更好的性能和效果。通过 LangChain 将输入的用户知识文件进行自然语言处理存储在向量数据库中。每次推理用户的输入会首先在知识库中查找与输入问题相近的答案，并将知识库答案与用户输入一起输入 EAS 的大模型服务中生成基于知识库的定制答案。

第一步：开通检索分析服务 Elasticsearch 版

在开始使用时，需要购买一台 检索分析服务 Elasticsearch 版实例。

1. 进入阿里云官网，找到 产品 -> 大数据计算 -> 检索分析服务 Elasticsearch 版 -> 管理控制台

2. 左侧导航栏 “Elasticsearch 实例” ，点击创建实例。
   

3. 基础配置：选择 阿里云Elasticsearch - 通用商业版8.x版本 - 通用场景，点击下一步。
   

4. 集群配置：按需选择可用区数量和实例规格 ，点击下一步。
   

5. 网络及系统配置：按需选择专有网络及交换机（所配置的专用网络需与 PAI-EAS 服务保持一致），配置实例名称和登录密码 - 下一步
   

然后点击确认订单：购买之后，返回“管理控制台”等待实例启动。

6. 待状态变为“正常”，点击实例进入查看调用信息，记录私网地址和端口。
   

第二步：利用 EAS 部署 LLM 大模型推理服务

利用 PAI-EAS 部署大模型推理服务，具体操作步骤如下。

1. 进入PAI EAS 模型在线服务页面。

1. 登录 PAI控制台。
   
2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。
   
3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS），进入 PAI EAS 模型在线服务页面。
   

2. 在 PAI EAS 模型在线服务页面，单击部署服务。
   
3. 在部署服务页面，配置以下关键参数。
   

4. 单击部署，等待一段时间即可完成模型部署。
   
5. 进入服务详情页中，点击查看调用信息，查看服务调用中 VPC 地址调用的的 API 和 token。
   

第三步：利用 Langchain 将业务串联并启动可视化 WEBUI

开源代码与公开镜像

GIthub 开源代码地址：https://github.com/aigc-apps/LLM_Solution/tree/master

我们提供了最方便快捷的部署方式，直接在 PAI-EAS 中选择平台镜像即可。

使用流程

1. PAI-EAS 部署 chatbot-langchain 的 webui 服务

2. 待状态变为“运行中”后，查看Web应用，进入WebUI

3. Settings：用户配置相关参数

• Embeding Model：支持四种可选的 embedding model 及其对应维度。推荐使用 SGPT-125M-weightedmean-nli-bitfit (dim=768)。
  
• EAS：配置 EAS-LLM 相关参数。参考第二步配置后的内容：利用 EAS 部署 LLM 大模型推理服务。
  
• VectorStore：配置 Elasticsearch 相关的连接参数。参考第一步配置后的内容：开通 Elasticsearch。
  
• 支持方式：1）上传配置文件并解析；2）手动输入。
  
• 配置文件格式可参考：
  

{
  "embedding": {
    "model_dir": "embedding_model/",
    "embedding_model": "SGPT-125M-weightedmean-nli-bitfit",
    "embedding_dimension": 768
  },
  "EASCfg": {
    "url": "http://xx.pai-eas.aliyuncs.com/api/predict/chatllm_demo_glm2",
    "token": "xxxxxxx=="
  },
  "vector_store": "Elasticsearch",
  "ElasticSearchCfg": {
    "ES_URL": "http://es-cn-xxx.elasticsearch.aliyuncs.com:9200",
    "ES_USER": "elastic",
    "ES_PASSWORD": "password",
    "ES_INDEX": "test_index"
  },
}

{
"embedding": {
"model_dir": "embedding_model/",
"embedding_model": "SGPT-125M-weightedmean-nli-bitfit",
"embedding_dimension": 768  },
"EASCfg": {
"url": "http://xx.pai-eas.aliyuncs.com/api/predict/chatllm_demo_glm2",
"token": "xxxxxxx=="  },
"vector_store": "Elasticsearch",
"ElasticSearchCfg": {
"ES_URL": "http://es-cn-xxx.elasticsearch.aliyuncs.com:9200",
"ES_USER": "elastic",
"ES_PASSWORD": "password",
"ES_INDEX": "test_index"  },
}

4. Upload：用户上传知识库文档

• 支持多文件上传；支持文件夹上传；支持多种格式：TXT, DOCS, PDF等；
  
• chunk-size：指定每个分块的大小，默认200；
  
• chunk-overlap：相邻分块之间的重叠量，默认0；
  

5. Chat：知识问答

• 支持三种问答方式：VectorStore、LLM、Langchain (VectorStore+LLM)

• VectorStore：直接从检索分析服务 Elasticsearch 版中检索返回 topK 条相似结果；

• LLM：直接与 EAS-LLM 对话，返回大模型的回答；

• Langchain：将 Elasticsearch 检索返回后的结果与用户问题组装成可自定义 prompt，送入 EAS-LLM 服务，得到问答结果。

• Retrieval top K answers：设置 Elasticsearch 返回的相似结果条数，默认为3；

• Prompt Design：可用户自定义的 prompt，默认参考："基于以下已知信息，简洁和专业地回答用户的问题。如果无法从中得到答案，请说 \"根据已知信息无法回答该问题\" 或 \"没有提供足够的相关信息\"，不允许在答案中添加编造成分，答案请使用中文。\n=====\n已知信息:\n{context}\n=====\n用户问题:\n{question}"；另外，英文场景下的"prompt_template"内容可以改为："Answer user questions concisely and professionally based on the following known information. If the answer cannot be obtained from it, please say 'Unable to answer the question based on the known information' or 'Insufficient relevant information provided'. Fabricated scores are not allowed to be added in the answer. The answer should be in English. \n=====\nKnown information:\n{context}\n=====\nUser question:\n{question}"

6. API 调用

查看调用信息，记录 URL 和 Token

• /config: 上传config_es.json建立服务连接
  

• Curl Command
  

curl-X'POST''http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com/config'-H'Authorization: xxxx=='-H'accept: application/json'-H'Content-Type: multipart/form-data'-F'file=@config_es.json'{"response": "success"}

• Python Script
  

importrequestsEAS_URL='http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com'deftest_post_api_config():
url=EAS_URL+'/config'headers= {
'Authorization': 'xxxxx==',
    }
files= {'file': (open('config_es.json', 'rb'))}
response=requests.post(url, headers=headers, files=files)
ifresponse.status_code!=200:
raiseValueError(f'Error post to {url}, code: {response.status_code}')
ans=response.json()
returnans['response']

• /uploadfile: 上传本地知识库文件
  

• Curl Command
  

curl-X'POST''http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com/uploadfile'-H'Authorization: xxxx=='-H'accept: application/json'-H'Content-Type: multipart/form-data'-F'file=@docs/PAI.txt;type=text/plain'{"response": "success"}

• Python Script
  

importrequestsEAS_URL='http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com'deftest_post_api_uploafile():
url=EAS_URL+'/uploadfile'headers= {
'Authorization': 'xxxxx==',
    }
files= {'file': (open('docs/PAI.txt', 'rb'))}
response=requests.post(url, headers=headers, files=files)
ifresponse.status_code!=200:
raiseValueError(f'Error post to {url}, code: {response.status_code}')
ans=response.json()
returnans['response']
# success

• 知识问答：提供三种问答方式：(1)chat/vectorstore；(2)chat/llm；(3)/chat/langchain
  

• Curl Command
  

curl-X'POST''http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com/chat/vectorstore'-H'Authorization: xxxx=='-H'accept: application/json'-H'Content-Type: application/json'-d'{"question": "什么是机器学习PAI?"}'curl-X'POST''http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com/chat/llm'-H'Authorization: xxxx=='-H'accept: application/json'-H'Content-Type: application/json'-d'{"question": "什么是机器学习PAI?"}'curl-X'POST''http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com/chat/langchain'-H'Authorization: xxxx=='-H'accept: application/json'-H'Content-Type: application/json'-d'{"question": "什么是机器学习PAI?"}'

• Python Script
  

importrequestsEAS_URL='http://chatbot-langchain.xx.cn-beijing.pai-eas.aliyuncs.com'deftest_post_api_chat():    
url=EAS_URL+'/chat/vectorstore'# url = EAS_URL + '/chat/llm'# url = EAS_URL + '/chat/langchain'headers= {
'accept': 'application/json',
'Content-Type': 'application/json',
'Authorization': 'xxxxx==',
    }
data= {
'question': '什么是机器学习PAI?'    }
response=requests.post(url, headers=headers, json=data)
ifresponse.status_code!=200:
raiseValueError(f'Error post to {url}, code: {response.status_code}')
ans=response.json()
returnans['response']

7. 效果演示

• 上传配置文件并解析；解析后相关参数自动填入；单击"Connect Elasticsearch"显示连接状态。(一般10s可连接成功)
  

• 上传知识库文件，等到几秒后显示上传成功状态。
  

• 聊天问答
  

• Vectore Store
  

• LLM
  

• Langchain (Vectore Store + LLM)