AIGC：在云上从0开始搭建langchain-ChatGLM，构建私域知识问答机器人DEMO

2023-05-25 4058

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： AIGC短板：知识茧房（缺少行业领域的私域数据，专有问题解答效果差；数据时效性缺陷，对实时要求高的问题效果差）。解法之一：私域数据Embedding +向量数据库（语义检索---向量相似度匹配）。将问题向量化，结合私域知识库中匹配到的“精确”内容，生成高质量prompt，再结合LLM的既有知识，以及概括、推理、扩展等能力，大大提升回答的准确性。本文介绍了在阿里云上从0开始搭建langchain-ChatGLM，构建私域知识问答机器人DEMO。可用于日常学习和研究，减少环境搭建时踩坑。

+关注继续查看

简介

AIGC短板：知识茧房（缺少行业领域的私域数据，专有问题解答效果差；数据时效性缺陷，对实时要求高的问题效果差）。

解法之一：私域数据Embedding +向量数据库（语义检索---向量相似度匹配）。将问题向量化，结合私域知识库中匹配到的“精确”内容，生成高质量prompt，再结合LLM的既有知识，以及概括、推理、扩展等能力，大大提升回答的准确性。这也是langchain-ChatGLM的基本原理：

本文介绍了在阿里云上从0开始搭建langchain-ChatGLM，构建私域知识问答机器人DEMO。可用于日常学习和研究，减少环境搭建时踩坑。

安装步骤

以在Ubuntu 18.04 64位系统搭建LLM环境，安装《langchain-ChatGLM》为例：

1、创建GPU实例（显存8GB以上，磁盘至少50G），本文选择了带P100 GPU的 ecs.gn5-c4g1.xlarge实例，在实例创建时选择安装cuda 11.4。设置用户名及登录密码。

2、设置安全组配置，配置出方向端口22，并在源IP中加入本机IP。

3、 Ssh到云ECS。如果是root登录，系统会提示正在安装CUDA，待安装完毕，查看GPU详情（若命令无法正常运行，则说明CUDA没安装好）：nvidia-smi

4、在ECS上安装相关软件包：

A、sudo apt-get update

B、安装gcc编译器(可选，系统中通常已有)：sudo apt install build-essential

C、安装Python，以3.8为例：sudo apt install python3.8

D、安装miniconda：

（1）下载安装包：注意miniconda包需选择对应python版本的包

wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.3.1-0-Linux-x86_64.sh

（2）运行安装脚本，并初始化：bash Miniconda3-py38_23.3.1-0-Linux-x86_64.sh

（3）（可在2中完成）初始化终端 Shell，以便运⾏conda。~/miniconda3/bin/conda init

（4）初始化完成后，运行bash命令，即可进入conda环境：bash

（5）创建⼀个新的环境（可选）：conda create --name aigc python=3.8 -y

（6）激活aigc环境（可选）：conda activate aigc

5、安装git：sudo apt install git

6、git clone langchain-ChatGLM，并安装软件依赖：

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

cd langchain-ChatGLM && pip install -r requirements.txt

pip install fastapi uvicorn

conda install nltk # langchain依赖的语言工具包

7、将chatglm-6b模型及Embedding 模型，下载到本地（可从本地加载模型）：目前支持chatglm-6b-int4-qe、chatglm-6b-int4、chatglm-6b-int8、chatglm-6b、chatyuan、moss。本文以chatglm-6b为例。注：模型需要占用数十G空间，可将ECS实例的本地盘格式化后挂载，将模型存放在本地盘上。

安装git-lfs：apt install git-lfs

git-lfs clone https://huggingface.co/THUDM/chatglm-6b

# 下载 Embedding 模型，目前支持ernie-tiny、ernie-base、text2vec-base、text2vec，本文以text2vec为例。

$ git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese /your_path/

# 模型需要更新时，可打开模型所在文件夹后拉取最新模型文件/代码

$ git lfs pull

8、更新config/model_config.py中的模型路径为本地路径。

llm_model_dict变量中"chatglm-6b"："pretrained_model_name": "/home/fsnode/chatglm-6b"

embedding_model_dict变量中"text2vec"："text2vec": "/home/fsnode/text2vec-large-chinese"

9、导入自有的文档到ecs，目前主要支持md、txt、pdf、jpg格式。

10、运行CLI或web DEMO：

cli_demo：python cli_demo.py