使用微调后模型推理推理时，ModelScope模型应该怎么填写？

在使用微调后的模型进行推理时，ModelScope模型的填写需要根据具体的部署方式和配置要求来完成。以下是详细的步骤和说明：

1. 获取微调后模型的MODEL_ID

微调后的模型通常会生成一个新的模型权重文件或存储路径。您需要将该模型上传至ModelScope模型仓库，并获取其对应的MODEL_ID。
- MODEL_ID 是模型在ModelScope中的唯一标识符，格式通常为<命名空间>/<模型名称>，例如：qwen/Qwen1.5-4B-Chat。 - 如果模型未公开，还需要获取ACCESS_TOKEN以授权访问。

重要提示：确保MODEL_ID指向的是微调后的模型版本，而不是原始预训练模型。

2. 指定模型版本（REVISION）

在部署微调后的模型时，必须明确指定模型的版本号（REVISION）。
- REVISION可以是具体的版本标签，例如v1.0.1或v1.0.0。 - 不能使用master分支作为版本号，因为这可能导致不确定的行为。

注意：如果微调后的模型未设置版本号，请先在ModelScope中为其创建一个明确的版本标签。

3. 配置环境变量

在部署服务时，可能需要通过环境变量传递以下信息： - MODEL_ID：指定微调后模型的ID。 - REVISION：指定模型的具体版本。 - ACCESS_TOKEN（可选）：如果模型是非公开的，则需要提供SDK访问令牌。

例如，在使用Arena部署时，可以通过启动参数传递这些信息：

arena serve custom \
-name=modelscope \
-version=v1 \
-gpus=1 \
-image=<镜像地址> \
"MODEL_ID=qwen/Qwen1.5-4B-Chat REVISION=v1.0.1 python3 server.py"

4. 验证模型推理服务

部署完成后，需要验证微调后模型的推理效果。可以通过以下方式测试： - 使用curl命令向推理服务发送请求，检查返回结果是否符合预期。 - 示例请求：

curl -XPOST http://localhost:8000/generate \
-H "Content-Type: application/json" \
-d '{"text_input": "什么是人工智能？", "parameters": {"temperature": 0.9}}'

• 预期输出应包含微调后模型生成的内容。

5. 清理与维护

如果不再需要该推理服务，可以通过以下命令删除已部署的服务：

arena serve del modelscope

总结关键点

• MODEL_ID 和 REVISION 是部署微调后模型的核心参数，需确保准确无误。
• 非公开模型需要配置ACCESS_TOKEN以获取访问权限。
• 验证推理效果是确保微调后模型正常工作的必要步骤。

以上内容基于知识库资料整理，请根据实际需求调整配置参数。