开发者社区> 问答> 正文

部署chat wexin需要的服务器配置怎么做?

部署chat wexin需要的服务器配置怎么做?

展开
收起
爱喝咖啡嘿 2024-07-29 11:13:48 6 0
1 条回答
写回答
取消 提交回答
  • 部署Chat Wexin(假设为Qwen系列模型)所需的服务器配置主要包括以下几个方面:

    实例规格

    • Qwen-72B-Chat:建议选择192 GiB内存或以上的实例规格,如ecs.c8i.24xlarge
    • Qwen-7B-Chat:实例规格至少需要选择ecs.g8a.4xlarge(64 GiB内存)。
    • Qwen-VL-Chat:实例规格至少需要选择ecs.g8a.4xlarge(64 GiB内存)。

    操作系统

    • 对于所有Qwen系列模型,推荐使用Alibaba Cloud Linux 3.2104 LTS 64位镜像。

    公网IP

    • 需要分配公网IPv4地址,带宽计费模式选择“按使用流量”,带宽峰值设置为100 Mbps,以加快模型下载速度。

    存储

    • Qwen-72B-Chat:数据盘建议设置为300 GiB,以满足模型文件存储需求。
    • Qwen-7B-Chat:未明确提及数据盘要求,但需确保有足够的存储空间容纳模型文件。
    • Qwen-VL-Chat:系统盘建议设置为100 GiB,以保证模型顺利运行。

    安全组规则

    • 需要在ECS实例安全组的入方向添加安全组规则,放行22、443、7860端口,以便访问WebUI服务。

    其他配置与注意事项

    • Qwen-72B-Chat:使用Docker部署,需安装bigdl-llm-serving-cpu镜像;下载预训练模型时,建议在tmux session中进行,以防止因ECS断开连接导致下载中断。
    • Qwen-7B-Chat:设置环境变量OMP_NUM_THREADSGOMP_CPU_AFFINITY以优化ZenDNN运行库性能;通过运行web_demo.py启动WebUI服务。
    • Qwen-VL-Chat:运行时需预加载libtcmalloc.so.4库;通过运行web_demo_mm.py启动WebUI服务,支持图片问答、图片检测框标注等功能。 综上所述,部署Chat Wexin(Qwen系列模型)的服务器配置应考虑高内存实例(如ecs.c8i.24xlargeecs.g8a.4xlarge)、选用Alibaba Cloud Linux 3.2104 LTS 64位镜像、分配公网IPv4地址(带宽100 Mbps)、适当大小的数据/系统盘(如300 GiB或100 GiB)、开放必要端口(22、443、7860),并根据具体模型(如Qwen-7B-Chat、Qwen-VL-Chat)执行相应的环境配置、模型下载、WebUI服务启动等步骤。
    2024-07-29 11:18:47
    赞同 2 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
如何运维千台以上游戏云服务器 立即下载
网站/服务器取证 实践与挑战 立即下载
ECS块储存产品全面解析 立即下载