一、捣腾开始
- clone项目
git clone https://github.com/THUDM/ChatGLM2-6B cd ChatGLM2-6B
- 配置python环境
pipenv install # 安装客户端依赖 pip install streamlit streamlit-chat
如果最后启动时，报cuda的错，请看文末的拓展并看情况执行下面的命令：
# 移除原始的pytorch 依赖 pip3 uninstall torch torchvision torchaudio # 下载最新的pytorch 依赖 pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121
- 下载离线模型
git clone https://huggingface.co/THUDM/chatglm2-6b
修改代码
将以上代码中的 THUDM/chatglm2-6b 替换为本地的 chatglm2-6b 文件夹的路径，即可从本地加载模型。
# 修改前 model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True,revision="v1.0").quantize(8).cuda() # 修改后 model = AutoModel.from_pretrained("F:\\workspace_ai\\models\\chatglm2-6b", trust_remote_code=True,revision="v1.0").quantize(8).cuda()
执行 streamlit run web_demo2.py 启动清华大模型
报错如下：
无需理会，这里是因为代码想在线加载模型，但咱们已经把模型下载到本地了，所以不用管它。可以看到界面已经能访问了：
打个招呼吧（可以看到网络是断开的，但终端显示正在加载模型，目前一切正常）：
AI给了回复：
- 可以看到，模型加载没有问题，AI也给了回复。
咱们离线运行 ChatGLM2-6B 的目标已经完成！
拓展
- 执行（nvidia-smi）查看自己电脑的cuda版本
查看最新的pytorch安装方法
进入链接：PyTorch
