在ModelScope中，cuda11.4可以安装auto-gptq吗？

在ModelScope中，要安装auto-gptq并使用CUDA 11.4，你需要确保你的系统满足以下要求：

1. 操作系统：

   • 支持CUDA 11.4的操作系统，例如Windows、Linux或macOS。

2. GPU硬件支持：

   • NVIDIA GPU，需要支持CUDA 11.4。你可以查看NVIDIA的官方文档来确认你的显卡是否兼容。

3. 驱动程序：

   • 安装与CUDA 11.4兼容的NVIDIA驱动程序。你可以在NVIDIA官网上找到相应的驱动版本。

4. CUDA Toolkit：

   • 安装CUDA 11.4 Toolkit，这包含了编译和运行CUDA代码所需的库和工具。

5. cuDNN：

   • 如果auto-gptq依赖于cuDNN，你也需要安装与CUDA 11.4兼容的cuDNN版本。

6. Python环境：

   • 安装支持auto-gptq的Python版本，并设置好相关的环境变量。

7. 其他依赖项：

   • 根据auto-gptq的要求，可能还需要安装其他的Python库和依赖项。

8. 安装auto-gptq：

   • 使用适当的命令行工具（如pip）按照auto-gptq提供的安装指南进行安装。

参考一下这个页面上的依赖项安装，https://modelscope.cn/models/qwen/Qwen-14B-Chat-Int4/summary 感觉torch2.0及以上要方便一些。升级一下驱动版本。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①