本地化搭建媲美ChatGPT的中国对话模型ChatGLM2-6B

简介: 本地化搭建媲美ChatGPT的中国对话模型ChatGLM2-6B

ChatGLM2-6B发布了详情查看:
https://github.com/THUDM/ChatGLM2-6B
一个在各个方面和chatGPT4媲美的中国语言对话模型,主要是可以本地化部署,对于配置要求不是太高,不需要GPU的情况下速度还行,可以在各个平台上运行,本文是在centos7上安装运行,支持网页Demo、命令行Demo、API部署。image.png
1.安装环境并下载模型

注意:python版本需要3.7以上
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
mkdir THUDM
yum install git-lfs
cd THUDM
git clone https://huggingface.co/THUDM/chatglm2-6b
python3 -m pip install gradio==3.28.3
cd ../
python3 -m pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

2.修改web_demo.py文件,设置cpu模式和网络。

#修改为下面内容
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).float()
demo.queue().launch(share=True, inbrowser=True,server_name='0.0.0.0',server_port=7800)

配置cpu模式
image.png

配置网络

image.png

3.运行web_demo.py

python web_demo.py

4.访问即可,远程访问查看自己的ip是多少,ip:端口即可,然后就可以得到一个无限制的对话AI

image.png

相关文章
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
2023年度AI盘点 AIGC|AGI|ChatGPT|人工智能大模型
2023年度AI盘点 AIGC|AGI|ChatGPT|人工智能大模型
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【AI大模型】ChatGPT模型原理介绍(下)
【AI大模型】ChatGPT模型原理介绍(下)
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【AI大模型】ChatGPT模型原理介绍(上)
【AI大模型】ChatGPT模型原理介绍(上)
|
3月前
|
人工智能 开发者 芯片
【51单片机】单片机开发者的福音: 让AI看电路图帮你编写程序(使用ChatGPT 中训练好的单片机工程师模型)
使用AI大语言模型编写 单片机程序. 使用的是 OpenAI公司发布的 ChatGPT .在ChatGPT上有别人训练好的 单片机工程师 with Keil uVision 5 - C Code Explainer模型, 可以上传电路图改模型可以通过这个用户所给的电路图进行编程.
244 0
【51单片机】单片机开发者的福音: 让AI看电路图帮你编写程序(使用ChatGPT 中训练好的单片机工程师模型)
|
2月前
|
存储 Linux API
物理地址模型 【ChatGPT】
物理地址模型 【ChatGPT】
|
2月前
|
Linux API 调度
设备的能量模型【ChatGPT】
设备的能量模型【ChatGPT】
|
2月前
|
Linux 程序员 编译器
将驱动程序移植到新的驱动模型 【ChatGPT】
将驱动程序移植到新的驱动模型 【ChatGPT】
|
2月前
|
设计模式 Linux
驱动模型 【ChatGPT】
驱动模型 【ChatGPT】
|
5月前
|
机器学习/深度学习 缓存 自然语言处理
采用ChatGPT大模型高效精准文档翻译
这款文档翻译工具支持PDF、Word、PPT、Excel和TXT等多种格式,利用ChatGPT大模型进行高效精准的翻译,覆盖30多种语言。它通过文档解析、预处理、翻译和结果合成步骤工作,并采用缓存、并行处理和负载均衡技术优化性能。该工具满足全球化背景下企业和个人的多语言需求,助力信息交流。
300 0
采用ChatGPT大模型高效精准文档翻译
|
5月前
|
人工智能 机器人 API
OpenAI发布新AI模型GPT-4o和桌面版ChatGPT
OpenAI发布新AI模型GPT-4o和桌面版ChatGPT