开发者社区 > ModelScope模型即服务 > 计算机视觉 > 正文

ModelScope中qwen模型能在cpu服务器部署么?

ModelScope中qwen模型能在cpu服务器部署么?

展开
收起
真的很搞笑 2024-01-02 20:25:15 415 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Qwen模型可以在CPU服务器上部署。您可以使用阿里云提供的自动部署脚本,一键部署运行Qwen-VL-Chat模型。例如,通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模模型,它已经在阿里云AMD CPU云服务器(g8a)上进行了部署演示。

    另外,您还可以在本地环境中手动部署Qwen模型。首先,需要安装ModelScope库,然后在工程的third_party目录中,查看第三方库是否安装成功。如果都是空的,需要手动下载第三方库,存放在third_party目录中。接着创建一个python文件,命名为download.py,输入相关代码即可自动下载模型文件。

    阿里也提供了qwen-max相关接口的免费试用,这个接口据说是基于qwen-72b大模型的。这些都是可以参考的部署方式。

    2024-01-03 13:27:31
    赞同 展开评论 打赏
  • Qwen模型可以在CPU服务器上部署。首先,需要将模型文件下载到工程的third_party目录,可以通过创建一个Python脚本来完成这个步骤。然后,您需要在服务器上安装ModelScope库,以便能够通过HTTP接口调用Qwen模型。

    注意,虽然Qwen模型可以在CPU服务器上部署,但推理过程可能会耗费大量的计算资源并占用大量内存。因此,如果您的服务器规格较低,可能需要考虑升级硬件或者采用云计算等其他解决方案。

    2024-01-03 09:12:37
    赞同 展开评论 打赏
  • qwen模型卡片上有github链接,您看一下qwen cpp ,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-01-02 22:56:11
    赞同 展开评论 打赏

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

相关电子书

更多
如何运维千台以上游戏云服务器 立即下载
网站/服务器取证 实践与挑战 立即下载
ECS快储存加密技术 立即下载