ModelScope模型部署的问题，模型在notebook能跑起来了，怎么部署成支持api的型式？

要将已经在Notebook中成功运行的ModelScope模型部署为支持API调用的形式，您可以按照以下步骤操作。此过程主要通过阿里云的人工智能平台PAI（EAS）完成。

一、准备工作

在开始部署之前，请确保以下条件已满足： 1. 您已经登录到阿里云控制台，并具备访问PAI-EAS服务的权限。 2. 您已在ModelScope社区中选择并确认了需要部署的模型（例如普通Pipeline模型或大语言对话模型）。 3. 如果是私有模型，您需要提前获取访问令牌（ACCESS_TOKEN），以便在部署时配置环境变量。

二、部署ModelScope模型服务

方式一：场景化模型部署

1. 进入EAS控制台

   • 登录PAI控制台，选择目标地域和工作空间，然后单击进入EAS。

2. 选择ModelScope模型部署

   • 在模型在线服务（EAS）页面，单击部署服务，找到场景化模型部署区域，点击ModelScope模型部署。

3. 配置关键参数

   • 在弹出的配置页面中，填写以下关键参数：
     • 服务名称：自定义一个服务名称。
     • 镜像配置：选择官方镜像modelscope-inference，并使用最新版本。
     • 环境变量：根据模型类型配置以下参数：
     • 普通Pipeline模型（如机器翻译模型）：

       MODEL_ID: iic/nlp_csanmt_translation_en2zh
       TASK: translation
       REVISION: v1.0.1
       

     • 大语言对话模型（如ChatGLM系列模型）：

       MODEL_ID: ZhipuAI/chatglm2-6b
       TASK: chat
       REVISION: v1.0.11
       

     • 如果是私有模型，还需添加：

       ACCESS_TOKEN: <您的SDK访问令牌>
       

     • 运行命令：系统会自动配置运行命令，无需手动修改。
     • 部署资源：
     • 普通Pipeline模型：实例规格内存建议不低于8 GB。
     • 大语言对话模型：建议选择GPU资源（如ml.gu7i.c16m60.1-gu30）。

4. 启动部署

   • 确认所有参数无误后，单击部署按钮。等待服务状态变为运行中，即表示部署成功。

方式二：自定义模型部署

如果您需要更灵活的配置，可以选择自定义模型部署方式：

1. 进入自定义部署页面

   • 在EAS控制台中，单击部署服务，选择自定义模型部署。

2. 配置参数

   • 配置与场景化部署类似的参数，但需额外开启Web应用选项（如果需要支持WebUI调用）。

3. 启动部署

   • 单击部署按钮，等待服务状态变为运行中。

三、调用API服务

1. 调用普通Pipeline模型

• 使用场景化方式部署的服务仅支持API接口调用。以下是调用示例（以机器翻译模型为例）：

  import requests
  
  url = "https://<您的服务地址>/api/predict"
  headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer <您的API密钥>"
  }
  data = {
    "input": "Hello, world!",
    "task": "translation"
  }
  
  response = requests.post(url, headers=headers, json=data)
  print(response.json())
  

2. 调用大语言对话模型

• 对于大语言对话模型，调用方式类似，但需指定任务类型为chat：

  import requests
  
  url = "https://<您的服务地址>/api/predict"
  headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer <您的API密钥>"
  }
  data = {
    "input": "你是谁？",
    "task": "chat"
  }
  
  response = requests.post(url, headers=headers, json=data)
  print(response.json())
  

四、注意事项

• 资源选择：大语言模型对GPU资源要求较高，建议根据模型大小选择合适的GPU实例（如GU30系列机型）。对于7B及以上的模型，可能需要双卡或多卡配置。
• 私有模型访问：如果部署的是非公开模型，请务必正确配置ACCESS_TOKEN，否则可能导致服务无法正常加载。
• 服务状态监控：部署完成后，请定期检查服务状态，确保其处于运行中状态。

通过以上步骤，您可以将ModelScope中的模型成功部署为支持API调用的服务形式。如果有进一步问题，可以参考相关文档或联系技术支持团队。