ModelScope中,notebook可以进行云端部署并api调用吗?

在ModelScope中，Notebook可以用于云端部署并实现API调用。以下是详细的步骤和说明：

1. 云端部署模型

通过阿里云的人工智能平台PAI，您可以将ModelScope中的模型部署到云端，并生成可供调用的服务。具体操作如下： - 服务部署：将ModelScope中的模型部署至阿里云EAS（弹性推理服务）。部署完成后，您可以通过WebUI或API接口调用模型服务。 - 获取服务信息：在模型在线服务（EAS）页面，单击目标服务的名称，进入服务详情页面，查看服务的访问地址和Token。

2. 通过Notebook进行云端调试与开发

Notebook提供了一个云端集成的开发环境，支持模型的开发、调试和部署。以下是相关功能的说明： - 开发与调试：数据科学家可以使用Jupyter或VSCode类型的Notebook进行机器学习算法的开发和调试。 - 提交训练任务：通过Notebook，您可以将算法代码提交到ACK集群中进行分布式训练。 - 存储与持久化：训练数据通常存储在OSS或NAS等存储卷上，处理后的数据可以直接提交至持久化存储。

3. API调用模型服务

部署完成后，您可以通过API接口调用模型服务。以下为调用的具体步骤： 1. 构造请求数据： - 使用Python代码发送POST请求，示例如下： ```python import requests import json

 service_url = 'YOUR_SERVICE_URL'
 token = 'YOUR_SERVICE_TOKEN'

 request = {"prompt": "浙江的省会是哪里？", "history": []}
 resp = requests.post(service_url, headers={"Authorization": token}, data=json.dumps(request))
 result = json.loads(resp.text)
 response = result['response']
 print(response)  # 输出：浙江的省会是杭州。
 ```

• 重要参数说明：

  • service_url：配置为已获取的服务访问地址。
  • token：配置为已获取的服务Token。
  • request：对话模型的输入，格式为JSON，包含prompt（输入语句）和history（对话历史）。

• 连续对话支持：

• 您可以通过维护history字段实现多轮对话。例如：

  request = {"prompt": "江苏呢？", "history": result['history']}
  resp = requests.post(service_url, headers={"Authorization": token}, data=json.dumps(request))
  result = json.loads(resp.text)
  response = result['response']
  print(response)  # 输出：江苏的省会是南京。
  

4. Notebook Gallery中的最佳实践

如果您需要参考具体的案例，可以通过Notebook Gallery获取最佳实践内容： - 在智码实验室页面，您可以搜索与AIGC、ModelScope相关的案例，并直接在DSW（Data Science Workshop）中运行这些案例。 - 如果没有符合需求的DSW实例，您可以单击新建DSW实例进行创建。

5. 注意事项

• 权限管理：确保您的RAM用户已分配相应的权限，并关联了配额组。
• 存储配置：模型训练数据一般存放在OSS或NAS等存储卷上，请提前完成存储卷的配置。
• 服务调用限制：调用API时需正确配置service_url和token，否则可能导致调用失败。

通过以上步骤，您可以在ModelScope中利用Notebook完成云端部署，并通过API接口调用模型服务。