开发者社区 ModelScope模型即服务计算机视觉正文

ModelScope这个模型如何使用自己的视频文件做推理呢？

ModelScope这个模型如何使用自己的视频文件做推理呢？文档中只写了如何做训练damo/cv_nerf-3d-reconstruction-accelerate_damo

https://modelscope.cn/models/damo/cv_nerf-3d-reconstruction-accelerate_damo/summary

展开

收起

真的很搞笑 2023-12-27 08:07:21 80 版权

阿里云 AI 助理回答

要使用ModelScope中的模型（如damo/cv_nerf-3d-reconstruction-accelerate_damo）对您自己的视频文件进行推理，可以按照以下步骤操作。以下是详细的专业指导：

1. 准备环境

在开始之前，请确保您的环境满足以下要求： - GPU资源：ModelScope模型通常需要GPU支持，建议预留至少30GB的磁盘空间用于模型下载和运行。 - 依赖安装：确保已安装ModelScope SDK，并配置好相关环境变量（如DASHSCOPE_API_KEY）。

如果您尚未安装ModelScope SDK，可以通过以下命令安装：

pip install modelscope

2. 部署推理服务

通过容器服务 Kubernetes 版（ACK）部署推理服务，具体步骤如下：

2.1 部署自定义推理服务

执行以下命令，通过Arena工具部署一个自定义推理服务：

arena serve custom \
-name=modelscope \
-version=v1 \
-gpus=1 \
-replicas=1 \
-restful-port=8000 \
-readiness-probe-action="tcpSocket" \
-readiness-probe-action-option="port: 8000" \
-readiness-probe-option="initialDelaySeconds: 30" \
-readiness-probe-option="periodSeconds: 30" \
-image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
"MODEL_ID=damo/cv_nerf-3d-reconstruction-accelerate_damo python3 server.py"

参数说明： - -name：指定推理服务名称（如modelscope）。 - -version：指定推理服务版本（如v1）。 - -gpus：指定单个推理服务副本需要使用的GPU卡数。 - -replicas：指定推理服务副本数。 - -restful-port：指定推理服务对外暴露的端口。 - -image：指定推理服务的镜像地址。 - MODEL_ID：指定要加载的ModelScope模型ID（如damo/cv_nerf-3d-reconstruction-accelerate_damo）。

预期输出：

service/modelscope-v1 created
deployment.apps/modelscope-v1-custom-serving created
INFO[0002] The Job modelscope has been submitted successfully
INFO[0002] You can run `arena serve get modelscope -type custom-serving -n default` to check the job status

2.2 检查服务状态

执行以下命令查看推理服务的详细信息：

arena serve get modelscope

等待模型下载完成（约10分钟），确认服务处于健康运行状态。

3. 准备视频文件

将您的视频文件转换为模型支持的格式（如.avi或.mp4）。如果需要预处理视频数据，可以参考PAI-EasyVision工具进行格式转换。

例如，使用PAI命令将原始视频文件转换为TFRecord格式：

pai -name easy_vision_ext \
-project algo_public \
-Dbuckets='oss://{bucket_name}.{oss_host}/{path}/' \
-Darn='acs:ram::*******:role/aliyunodpspaidefaultrole' \
-DossHost='{oss_host}' \
-Dcmd convert \
-Dconvert_config='{bucket_name}.{oss_host}/{path}/{config_file}' \
-Dlabel_file='{bucket_name}.{oss_host}/{path}/{config_file}/{label_file}' \
-Doutput_tfrecord='{bucket_name}.{oss_host}/{path}/'

4. 发送推理请求

通过HTTP请求向推理服务发送视频文件进行推理。

4.1 建立端口转发

在本地环境与推理服务之间建立端口转发：

kubectl port-forward svc/modelscope-v1 8000:8000

4.2 发送推理请求

使用curl命令向推理服务发送请求。假设您的视频文件路径为/path/to/video.mp4，可以构造如下请求：

curl -XPOST http://localhost:8000/inference \
-H "Content-Type: application/json" \
-d '{
  "video_path": "/path/to/video.mp4",
  "parameters": {
    "stream": false,
    "temperature": 0.9,
    "seed": 10
  }
}'

预期输出：推理结果将以JSON格式返回，包含模型对视频内容的理解和分析。