请问ModelScope中，没有GPU这两个参数应该如何配置？

在ModelScope中，如果部署模型时没有GPU资源可用，您需要根据具体的模型需求和部署环境调整资源配置参数。以下是详细的配置建议和操作步骤：

1. 普通Pipeline模型的资源配置

对于普通Pipeline模型（如机器翻译、文本分类等），如果没有GPU资源，可以选择使用CPU实例进行部署。以下是关键参数的配置说明：

• 实例规格：

  • 内存要求：确保选择的实例规格内存不小于8 GB。
  • CPU资源：根据模型复杂度选择合适的CPU核数，通常建议至少2核或更高。

• 镜像配置：

  • 在官方镜像列表中选择modelscope-inference，并选择最高版本的镜像。

• 环境变量：

  • 配置以下环境变量以指定模型信息：
  • MODEL_ID：例如iic/nlp_csanmt_translation_en2zh。
  • TASK：例如translation。
  • REVISION：例如v1.0.1。

• 运行命令：

  • 系统会自动配置运行命令，无需手动修改。

2. 大语言对话模型的资源配置

对于大语言对话模型（如ChatGLM系列、通义千问等），由于这些模型对计算资源的需求较高，通常需要GPU支持。如果没有GPU资源，您可以尝试以下替代方案：

（1）降低模型规模

• 如果目标模型过大（如7B或更大），可以考虑使用量化版本（如Int8或Int4）的模型，这些版本对资源的需求较低。
  • 示例模型ID：
  • Qwen-7B-Chat-Int8
  • Qwen-7B-Chat-Int4

（2）使用CPU实例

• 如果必须使用CPU实例，请注意以下限制：

  • 内存要求：确保实例内存足够大，建议至少32 GB或更高。
  • 性能影响：使用CPU实例会导致推理速度显著下降，可能不适合实时应用场景。

• 资源配置示例：

  • 实例规格：选择高内存的CPU实例，例如ecs.g6e.large（8核32 GB）。
  • 镜像配置：选择modelscope-inference镜像。
  • 环境变量：
  • MODEL_ID：例如ZhipuAI/chatglm2-6b。
  • TASK：例如chat。
  • REVISION：例如v1.0.11。

3. 注意事项

• 模型下载与存储：

  • 模型文件通常较大，建议预留足够的磁盘空间（至少30 GB）用于存储模型文件。

• 性能优化：

  • 如果使用CPU实例，可以通过调整线程数或批处理大小来优化推理性能。
  • 对于函数计算平台，建议启用闲置模式以降低成本。

• 服务调用方式：

  • 使用场景化方式部署的服务仅支持API接口调用。
  • 自定义部署的服务可以通过WebUI或API接口调用。

4. 总结

在没有GPU资源的情况下，您可以根据模型类型选择合适的替代方案。对于普通Pipeline模型，直接使用CPU实例即可满足需求；对于大语言对话模型，建议优先选择量化版本或高内存CPU实例，并注意性能可能受到限制。

如果您有进一步的具体需求或问题，请提供更多上下文信息以便我们为您提供更精准的指导。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。