苹果M1 系统支持cuda吗?(新人求解)

运行 Qwen-1_8B-Chat-Int4 模型时,环境配置中需要配置cuda,但是在pytorch官网中Mac Os 系统不支持cuda,请问苹果系统还可以部署Qwen模型吗?

展开
收起
游客3mzvj5xoufypo 2024-02-22 15:00:46 1025 分享 版权
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    苹果系统仍然可以部署Qwen模型,即使没有cuda支持

    Mac OS 系统虽然不支持 CUDA,但您依然有几种方法可以在苹果系统上运行 Qwen 模型:

    1. 使用 CPU 运行模型:即便没有 GPU,您也可以使用 CPU 来运行 AI 模型。虽然 CPU 运行速度可能比 GPU 慢,但对于某些小尺寸的模型,如 Qwen 的 0.5B 版本,这通常是可行的。事实上,对于较小的模型,CPU 计算能力往往足够。
    2. 模型量化:通过模型量化技术,您可以将模型压缩到较低的精度(例如 INT4),这样做可以显著减少模型对显存的需求,从而在没有 GPU 或者在 GPU 支持有限的环境下也能运行模型。
    3. 利用外部硬件:如果您希望提高运算速度,也可以考虑使用外接 GPU 解决方案(例如通过雷电接口连接的 eGPU),这样可以为 Mac 提供额外的 GPU 计算能力。
    4. 云服务:另一个选择是通过云计算服务在远程服务器上运行模型,这些云服务平台通常提供了配备 GPU 的虚拟机,您可以根据需求选择合适的配置进行运算。
    2024-02-23 14:06:25
    赞同 14 展开评论

阿里云自主研发的通义大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi

还有其他疑问?
咨询AI助理