ModelScope怎么能直接调用？

ModelScope模型可以通过以下两种主要方式直接调用：通过WebUI调用和通过API接口调用。以下是详细的步骤和配置说明：

1. 通过WebUI调用ModelScope模型

在服务部署成功后，用户可以直接通过WebUI界面与模型进行交互。

操作步骤：

1. 进入Web应用页面：

   • 在**模型在线服务（EAS）**页面，找到目标服务。
   • 单击服务方式列下的查看Web应用按钮，打开WebUI页面。

2. 输入测试数据：

   • 在WebUI页面左侧的测试内容文本框中输入请求数据。
   • 单击执行测试按钮，系统会在右侧的测试结果文本框中返回模型的预测结果。

3. 参考Schema构造请求：

   • WebUI页面右侧会显示输入数据的Schema结构。
   • 用户可以根据Schema和JSON内容，构造符合要求的请求数据，用于后续调用。

2. 通过API接口调用ModelScope模型

如果需要通过代码或自动化工具调用ModelScope模型，可以使用API接口。以下是具体操作步骤：

2.1 获取服务访问地址和Token

1. 在**模型在线服务（EAS）**页面，单击目标服务名称，进入服务详情页面。
2. 在服务详情页面，单击基本信息区域的查看调用信息。
3. 获取服务的公网访问地址和Token。

2.2 构造请求并发送

根据模型类型（普通Pipeline模型或大语言对话模型），构造不同的请求数据格式。

(1) 调用普通Pipeline模型

• 请求示例：

  import requests
  import json
  
  service_url = 'YOUR_SERVICE_URL'
  token = 'YOUR_SERVICE_TOKEN'
  
  resp = requests.post(service_url,
                     headers={"Authorization": token},
                     data=json.dumps({"input": {"text": "Deploying ModelScope models on PAI-EAS is simple and easy to use"}}))
  
  print(resp.text)  # 输出为模型的输出结果
  

• 关键参数说明：

  • service_url：替换为获取的服务访问地址。
  • token：替换为获取的服务Token。
  • 请求体中的input字段需根据模型需求填写，例如文本、图像或语音数据。

(2) 调用大语言对话模型

• 请求示例：

  import requests
  import json
  
  service_url = 'YOUR_SERVICE_URL'
  token = 'YOUR_SERVICE_TOKEN'
  
  request = {"prompt": "浙江的省会是哪里？", "history": []}
  resp = requests.post(service_url, headers={"Authorization": token}, data=json.dumps(request))
  result = json.loads(resp.text)
  response = result['response']
  print(response)  # 输出为模型的回答结果
  

• 关键参数说明：

  • prompt：当前对话的输入语句。
  • history：对话历史记录，格式为二维列表，每个元素包含一轮对话的问题和回答。
  • 返回结果中，response为模型的回答，history可直接带入下一轮对话。

2.3 使用在线调试功能

如果不清楚模型的具体数据格式，可以通过在线调试功能快速获取请求模板： 1. 在模型在线服务（EAS）页面，单击目标服务操作列下的在线调试。 2. 在调试页面的Body处填写示例请求数据，单击发送请求，查看返回结果。

3. 部署ModelScope模型至阿里云EAS

为了调用ModelScope模型，首先需要将其部署到阿里云EAS平台。以下是部署步骤：

3.1 场景化模型部署

1. 登录PAI控制台，选择目标地域和工作空间，进入EAS。
2. 在模型在线服务页面，点击部署服务，选择场景化模型部署区域的ModelScope模型部署。
3. 配置基本信息和资源配置，推荐选择适合大语言模型的实例规格（如ml.gu7i.c16m60.1-gu30）。
4. 点击部署，等待服务状态变为运行中。

3.2 自定义模型部署

1. 选择模型：
   • 获取普通模型的MODEL_ID、TASK、REVISION，并保存到本地。
   • 对于大语言对话模型，从支持的模型列表中选择合适的模型。
2. 部署模型：
   • 登录PAI控制台，选择目标地域和工作空间，进入EAS。
   • 点击部署服务，选择自定义模型部署区域的自定义部署。
   • 配置服务名称、部署方式、镜像配置、环境变量和部署资源。
   • 单击部署，等待服务状态变为运行中。

重要提醒

• GPU资源要求：对于大语言模型，建议使用显存≥16GB的GPU节点，并预留至少30GB磁盘空间以存储模型文件。
• Token权限：确保获取的Token具有足够的权限，否则可能导致调用失败。
• 地域选择：如果部署异常（如镜像拉取失败），请尝试切换到其他地域重试。

通过以上步骤，您可以快速部署并调用ModelScope社区中的模型，满足不同业务需求。