使用modelscope-inference在倚天上部署大模型，这个现在支持吗 ?

目前，通过PAI-EAS使用modelscope-inference镜像在倚天（Yitian）芯片上部署大模型是支持的，但需要满足一定的条件和配置要求。以下是详细说明：

1. 支持的硬件与资源

• 倚天（Yitian）芯片属于阿里云提供的异构计算资源之一，适用于高性能推理任务。
• 在EAS中，您可以选择基于倚天芯片的实例规格（如GU系列机型），这些实例专为AI推理任务优化，能够提供更高的性价比和性能表现。

2. ModelScope模型部署支持

• EAS提供了预置的modelscope-inference镜像，用于快速部署ModelScope社区中的模型。
• 您可以通过以下步骤完成部署：
  1. 登录PAI控制台，选择目标地域和工作空间，进入EAS页面。
  2. 单击部署服务，在自定义模型部署区域选择自定义部署。
  3. 配置以下关键参数：
     • 部署方式：选择镜像部署，并开启Web应用。
     • 镜像配置：在官方镜像列表中选择modelscope-inference，并根据需求选择对应的镜像版本。
     • 环境变量：添加以下参数：
     • MODEL_ID：指定要部署的ModelScope模型ID（例如iic/nlp_csanmt_translation_en2zh）。
     • TASK：指定模型的任务类型（例如translation）。
     • REVISION：指定模型的版本号（例如v1.0.1）。
  4. 完成资源配置后，单击部署。

3. 倚天芯片的适配性

• EAS的容器调度层支持异构硬件（包括CPU、GPU以及倚天芯片等），并能够根据业务需求自动调整资源分配。
• 如果您希望在倚天芯片上部署模型，请确保：
  • 所选的实例规格支持倚天芯片（如GU系列机型）。
  • 模型本身兼容倚天芯片的架构（通常ModelScope中的主流模型均已适配）。

4. 注意事项

• 资源组管理：建议提前创建或选择一个包含倚天芯片资源的资源组，以确保部署时能够正确分配计算资源。
• 镜像加速：EAS针对ModelScope模型分发和镜像拉起做了优化，能够显著提升部署效率。
• 模型文件挂载：如果需要挂载自定义模型文件，可以将模型及相关配置文件上传至OSS存储，并在部署时选择对应的OSS路径。

5. 调用服务

• 部署完成后，您可以通过API接口调用模型服务。获取服务访问地址和Token的方式如下：
  1. 进入EAS页面，单击目标服务名称，进入服务详情页面。
  2. 在基本信息区域单击查看调用信息，获取公网地址和Token。

• 示例代码（Python）：

  import requests
  
  url = "<service_url>"
  headers = {"Authorization": "<token>"}
  data = {"prompt": "福建呢？", "history": [["浙江的省会是哪里？", "杭州"], ["江苏呢？", "南京"]]}
  
  response = requests.post(url, headers=headers, json=data)
  print(response.json())
  

  注意：请将<service_url>和<token>替换为实际的服务地址和Token。

总结

通过PAI-EAS使用modelscope-inference镜像在倚天芯片上部署大模型是完全可行的，且EAS提供了完善的工具链和优化机制来简化这一过程。如果您在部署过程中遇到问题，可以参考相关文档或联系技术支持获取帮助。