modelscope官方镜像是如何使用？

要使用ModelScope官方镜像 registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.13.1，您可以按照以下步骤操作。这些步骤涵盖了从拉取镜像到部署服务的完整流程。

1. 拉取ModelScope官方镜像

首先，您需要从阿里云容器镜像服务中拉取指定的ModelScope镜像。执行以下命令：

docker pull registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.13.1

说明： - 确保您的Docker环境已正确安装并运行。 - 如果您在拉取镜像时遇到速度较慢的问题，可以参考配置镜像加速器的方法。

2. 验证镜像是否成功拉取

执行以下命令查看本地镜像列表，确认镜像是否已成功下载：

docker images

预期输出中应包含类似以下内容：

REPOSITORY                                                TAG                                IMAGE ID       CREATED        SIZE
registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.13.1 <Image ID>   <时间>   <大小>

3. 启动容器

使用以下命令启动一个基于该镜像的容器：

docker run -it --name modelscope-container \
  -p 8000:8000 \
  registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.13.1 \
  bash

参数说明： - -it：以交互模式运行容器。 - --name modelscope-container：为容器指定名称。 - -p 8000:8000：将容器内的8000端口映射到主机的8000端口（可根据实际需求调整）。 - bash：启动容器后进入交互式终端。

4. 配置环境变量

在容器内，您可能需要配置一些环境变量以便使用ModelScope的功能。例如，设置ModelScope SDK Token信息：

export DASHSCOPE_API_KEY=<your-api-key>

说明： - <your-api-key> 是您在ModelScope平台获取的API密钥。 - 如果需要加载特定模型，可以通过环境变量 MODEL_ID 指定模型ID。例如：

export MODEL_ID=qwen/Qwen1.5-4B-Chat

5. 部署模型服务

如果您希望将ModelScope镜像用于推理服务，可以参考以下方法进行部署。

方法一：通过PAI-EAS部署

1. 登录PAI控制台，选择目标地域和工作空间，进入EAS页面。
2. 单击“部署服务”，选择“自定义模型部署”。
3. 在“镜像配置”中，选择官方镜像 modelscope-inference，并指定版本号（如 1.9.1）。
4. 配置环境变量，例如：
   • MODEL_ID：指定模型ID，如 qwen/Qwen1.5-4B-Chat。
   • TASK：指定任务类型，如 chat。
   • REVISION：指定模型版本，如 v1.0.11。
5. 单击“部署”，等待服务状态变为“运行中”。

方法二：通过ACK部署

如果您使用的是阿里云容器服务Kubernetes版（ACK），可以通过Arena工具快速部署推理服务：

arena serve custom \
  -name=modelscope \
  -version=v1 \
  -gpus=1 \
  -replicas=1 \
  -restful-port=8000 \
  -image=registry.cn-beijing.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py310-torch2.1.2-tf2.14.0-1.13.1 \
  "MODEL_ID=qwen/Qwen1.5-4B-Chat python3 server.py"

参数说明： - -name：指定推理服务名称。 - -version：指定推理服务版本。 - -gpus：指定GPU数量。 - -restful-port：指定服务对外暴露的端口。 - -image：指定使用的镜像地址。

6. 测试服务

部署完成后，您可以通过以下方式测试服务是否正常运行：

方法一：调用API接口

如果服务支持API调用，可以通过HTTP请求测试。例如：

curl -X POST http://<service-address>:8000/predict \
  -H "Content-Type: application/json" \
  -d '{"input": "Hello, ModelScope!"}'

方法二：查看日志

通过以下命令查看容器日志，确认服务是否正常启动：

docker logs modelscope-container

7. 停止和清理

如果需要停止或删除容器，可以执行以下命令：

# 停止容器
docker stop modelscope-container

# 删除容器
docker rm modelscope-container

重要提示

• 磁盘空间要求：ModelScope模型通常较大，建议GPU节点预留至少30GB磁盘空间。
• 权限问题：确保您对镜像仓库有拉取权限。如果未授权，可能会出现错误信息。
• 依赖安装：如果镜像中缺少某些依赖，您可以在容器内手动安装。例如：

  pip install dashvector modelscope
  

通过以上步骤，您可以成功使用ModelScope官方镜像完成模型的拉取、部署和服务测试。