开发者社区 > 通义大模型 > 正文

苹果M1 系统支持cuda吗?(新人求解)

运行 Qwen-1_8B-Chat-Int4 模型时,环境配置中需要配置cuda,但是在pytorch官网中Mac Os 系统不支持cuda,请问苹果系统还可以部署Qwen模型吗?

展开
收起
游客3mzvj5xoufypo 2024-02-22 15:00:46 709 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    苹果系统仍然可以部署Qwen模型,即使没有cuda支持

    Mac OS 系统虽然不支持 CUDA,但您依然有几种方法可以在苹果系统上运行 Qwen 模型:

    1. 使用 CPU 运行模型:即便没有 GPU,您也可以使用 CPU 来运行 AI 模型。虽然 CPU 运行速度可能比 GPU 慢,但对于某些小尺寸的模型,如 Qwen 的 0.5B 版本,这通常是可行的。事实上,对于较小的模型,CPU 计算能力往往足够。
    2. 模型量化:通过模型量化技术,您可以将模型压缩到较低的精度(例如 INT4),这样做可以显著减少模型对显存的需求,从而在没有 GPU 或者在 GPU 支持有限的环境下也能运行模型。
    3. 利用外部硬件:如果您希望提高运算速度,也可以考虑使用外接 GPU 解决方案(例如通过雷电接口连接的 eGPU),这样可以为 Mac 提供额外的 GPU 计算能力。
    4. 云服务:另一个选择是通过云计算服务在远程服务器上运行模型,这些云服务平台通常提供了配备 GPU 的虚拟机,您可以根据需求选择合适的配置进行运算。
    2024-02-23 14:06:25
    赞同 14 展开评论 打赏

通义千问大模型家族全面升级更大参数规模模型首次面世,全新通义千问2.0版本欢迎体验。https://tongyi.aliyun.com/

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载