请问 在ModelScope魔搭怎么部署到阿里云机器学习里面？

在ModelScope魔搭PAI-DSW环境中微调的通义千问-7B-Chat模型，可以通过以下步骤部署到阿里云机器学习平台（PAI）中。以下是详细的操作流程：

1. 准备微调后的模型

在PAI-DSW环境中完成对通义千问-7B-Chat模型的微调后，需要确保微调后的模型文件已保存并存储在指定路径中。通常，微调后的模型会保存在DSW实例的工作目录中。

操作步骤： 1. 在DSW开发环境中，确认微调后的模型文件路径。 2. 如果模型未保存，请使用以下代码将模型保存到本地：

model.save_pretrained("/path/to/your/fine-tuned-model")
tokenizer.save_pretrained("/path/to/your/fine-tuned-model")

1. 确保模型文件完整，包括config.json、pytorch_model.bin等必要文件。

2. 将模型上传至OSS或其他存储服务

为了在PAI平台上部署模型，需要将微调后的模型文件上传至阿里云对象存储（OSS）或其他支持的存储服务中。

操作步骤： 1. 登录阿里云OSS控制台，创建一个存储空间（Bucket）。 2. 使用以下命令将模型文件上传至OSS：

ossutil cp -r /path/to/your/fine-tuned-model oss://your-bucket-name/path/to/model/

1. 记录OSS路径，例如：oss://your-bucket-name/path/to/model/。

3. 部署模型到PAI-EAS推理服务平台

通过PAI控制台，可以将微调后的模型部署为在线推理服务。

操作步骤： 1. 登录PAI控制台： - 进入PAI控制台。 - 选择对应地域和工作空间。

1. 进入Model Gallery页面：

   • 在左侧导航栏选择快速开始 > Model Gallery。
   • 搜索并选择通义千问-7B-Chat模型卡片。

2. 配置推理服务：

   • 单击右上角部署按钮。
   • 配置以下关键参数：
     • 服务名称：自定义服务名称，例如qwen-7b-finetuned。
     • 部署方式：选择镜像部署，并开启Web应用。
     • 镜像配置：选择官方镜像modelscope-inference:1.8.1。
     • 运行命令：python app.py。
     • 端口号：设置为8000。
     • 环境变量：
     • MODEL_ID：输入微调模型的OSS路径，例如oss://your-bucket-name/path/to/model/。
     • TASK：输入chat。
     • REVISION：输入模型版本号，例如v1.0.5。
     • 资源类型：选择公共资源。
     • 部署资源：推荐使用GPU资源，例如ml.gu7i.c16m60.1-gu30。

3. 启动部署：

   • 单击部署按钮，等待服务状态变为运行中。

4. 测试推理服务

部署完成后，可以通过WebUI或API方式测试推理服务。

操作步骤： 1. WebUI方式： - 在服务详情页面，单击查看WEB应用。 - 在WebUI界面的对话框中输入问题，单击Send，即可与模型进行交互。

1. API方式：
   • 单击WebUI页面底部的Use via API，查看API调用详情。
   • 使用以下示例代码调用API：

     curl -X POST "https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions" \
     -H "Authorization: Bearer %DASHSCOPE_API_KEY%" \
     -H "Content-Type: application/json" \
     -d '{
     "model": "qwen-7b-chat",
     "messages": [
      {
        "role": "user",
        "content": "你好，我是谁？"
      }
     ]
     }'
     

5. 注意事项

• 资源要求：部署通义千问-7B-Chat模型需要至少64 GiB内存和24 GiB显存的计算资源，请确保选择的资源规格满足要求。
• 模型版本：确保微调后的模型版本与部署时的REVISION参数一致。
• 网络连接：如果模型存储在OSS中，确保ECS实例或PAI平台能够访问OSS。

参考文档

上述步骤基于以下参考资料整理： - 微调与部署通义千问模型的相关说明。 - PAI-EAS一键部署通义千问模型的最佳实践。 - DSW中微调与推理模型的操作指南。

如需进一步帮助，请联系阿里云技术支持团队。