如何在ModelScope a100上部署cuda10.0的项目？

目前modelscope cuda11.8用的比较多。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

要在ModelScope A100上部署CUDA 10.0的项目，您可以按照以下步骤进行：

1. 确认兼容性：确保您的NVIDIA A100显卡可以兼容CUDA 10.0。虽然A100显卡在CUDA 11上运行正常，但使用CUDA 10.0可能需要一些额外的配置或等待时间。
2. 环境配置：在进行部署之前，您需要配置好相应的环境，包括安装CUDA 10.0工具包和相应的深度学习框架（如TensorFlow或PyTorch）。
3. 模型准备：如果您的项目涉及到微调模型，例如LoRA微调，您需要先将LoRA weights合并到原始模型中。这通常通过运行特定的脚本来完成，例如tools/merge_lora_weights_to_model.py，并指定模型的路径和版本。
4. 部署设置：在ModelScope平台上，您可以新建一个快速部署（SwingDeploy），并对模型部署信息进行配置，包括模型版本、部署地域、卡型、显存等。配置完成后，点击【一键部署】按钮开始部署过程。
5. 使用预置镜像：EAS提供了预置镜像用于快速部署社区模型，并针对模型分发和镜像拉起做了加速机制。您可以利用这些预置镜像来简化部署流程。
6. 监控部署状态：部署过程一般持续1-5分钟，期间您可以监控部署状态，确保一切顺利。
7. 测试验证：部署完成后，进行必要的测试以验证模型是否运行正常，确保项目能够在新环境中正确执行。

要在ModelScope a100上部署CUDA 10.0的项目，您需要按照以下步骤进行操作：

1. 登录到ModelScope a100实例。

2. 下载CUDA 10.0的安装程序。您可以从NVIDIA官方网站上下载适合您的操作系统的CUDA 10.0版本。

3. 在ModelScope a100实例上安装CUDA 10.0。运行安装程序，并按照提示进行操作。

4. 配置环境变量。在终端窗口中运行以下命令，将CUDA 10.0的路径添加到环境变量中：

   export PATH=$PATH:/usr/local/cuda-10.0/bin
   export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.0/lib64
   

5. 重新启动终端窗口，以使环境变量生效。

6. 在ModelScope a100实例上编译和运行您的CUDA 10.0项目。根据您的项目需求，使用相应的编译器和命令进行编译和运行。

请注意，以上步骤仅适用于在已经安装了CUDA 10.0的ModelScope a100实例上部署CUDA 10.0项目。如果您的实例上没有安装CUDA 10.0，请先按照上述步骤进行安装。