ChatGLM2-6B发布了详情查看:
https://github.com/THUDM/ChatGLM2-6B
一个在各个方面和chatGPT4媲美的中国语言对话模型,主要是可以本地化部署,对于配置要求不是太高,不需要GPU的情况下速度还行,可以在各个平台上运行,本文是在centos7上安装运行,支持网页Demo、命令行Demo、API部署。
1.安装环境并下载模型
注意:python版本需要3.7以上
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
mkdir THUDM
yum install git-lfs
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
python3 -m pip install gradio==3.28.3
cd ../
python3 -m pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
2.修改web_demo.py文件,设置cpu模式和网络。
#修改为下面内容
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).float()
demo.queue().launch(share=True, inbrowser=True,server_name='0.0.0.0',server_port=7800)
配置cpu模式
配置网络
3.运行web_demo.py
python web_demo.py
4.访问即可,远程访问查看自己的ip是多少,ip:端口即可,然后就可以得到一个无限制的对话AI