部署Chat Wexin(假设为Qwen系列模型)所需的服务器配置主要包括以下几个方面:
实例规格:
ecs.c8i.24xlarge
。 ecs.g8a.4xlarge
(64 GiB内存)。 ecs.g8a.4xlarge
(64 GiB内存)。 操作系统:
Alibaba Cloud Linux 3.2104 LTS 64位
镜像。 公网IP:
存储:
安全组规则:
其他配置与注意事项:
bigdl-llm-serving-cpu
镜像;下载预训练模型时,建议在tmux session中进行,以防止因ECS断开连接导致下载中断。 OMP_NUM_THREADS
和GOMP_CPU_AFFINITY
以优化ZenDNN运行库性能;通过运行web_demo.py
启动WebUI服务。 libtcmalloc.so.4
库;通过运行web_demo_mm.py
启动WebUI服务,支持图片问答、图片检测框标注等功能。 综上所述,部署Chat Wexin(Qwen系列模型)的服务器配置应考虑高内存实例(如ecs.c8i.24xlarge
或ecs.g8a.4xlarge
)、选用Alibaba Cloud Linux 3.2104 LTS 64位
镜像、分配公网IPv4地址(带宽100 Mbps)、适当大小的数据/系统盘(如300 GiB或100 GiB)、开放必要端口(22、443、7860),并根据具体模型(如Qwen-7B-Chat、Qwen-VL-Chat)执行相应的环境配置、模型下载、WebUI服务启动等步骤。版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。