背景信息
ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术，经过约1 T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，能生成符合人类偏好的回答。
本文基于阿里云GPU云服务器和ChatGLM-6B语言模型，指导您如何快速搭建一个AI对话机器人。
重要
- 阿里云不对第三方模型“ChatGLM-6B”的合法性、安全性、准确性进行任何保证，阿里云不对由此引发的任何损害承担责任。
- 您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。
操作步骤
创建ECS实例
1.前往实例创建页。
2.按照界面提示完成参数配置，创建一台ECS实例。需要注意的参数如下，其他参数的配置，请参见自定义购买实例。
- 实例：选择实例规格为ecs.gn7i-c16g1.4xlarge。
- 镜像：本文使用已部署好推理所需环境的云市场镜像，名称为ai-inference-solution。
- 公网IP：选中分配公网IPv4地址，带宽计费模式选择按使用流量，带宽峰值设置为100 Mbps，以加快模型下载速度。
3.添加安全组规则。
在ECS实例安全组的入方向添加安全组规则并放行50001端口。具体操作，请参见添加安全组规则。
4.创建完成后，在ECS实例页面，获取公网IP地址。
说明 :公网IP地址用于生成图片测试时访问WebUI服务。
下载模型
1.使用root用户远程连接ECS实例。
该市场镜像中，运行环境及模型都安装在/root目录下，连接实例时需使用root用户。具体操作，请参见通过密码或密钥认证登录Linux实例。
2.执行如下命令，下载ChatGLM-6B模型。
cd /root/chatglm git-lfs clone https://huggingface.co/THUDM/chatglm-6b
模型下载大约需要35分钟，当显示如下图所示的回显信息时，说明已下载完成。
进行AI对话
1.执行如下命令，开启WebUI服务。
cd /root/chatglm/ChatGLM-6B streamlit run web_demo2.py --server.port 50001 &
当出现如下回显的时候，表示启动成功。
2.在浏览器地址栏输入http://:50001，进入Web页面。
3.在用户命令输入对话框中，输入对话内容（例如中国有几个直辖市?），单击发送，即可开始AI对话。
了解更多AIGC实践和GPU优惠
反馈与建议
如果您在使用教程或实践过程中有任何问题或建议，可以加入客户钉钉群（钉钉群号：23210030587）与我们的工程师线上交流，将有专人跟进您的问题和建议。
