ModelScope有网页到网页的上传方法吗,在其他的云平台有社区镜像(autodl)里面已经打包好了整个环境和模型,可以直接在里面的环境中通过git或其他办法导入到ModelScope中吗?
根据现有资料,ModelScope本身并未直接提供网页到网页的文件上传方法。然而,阿里云的大模型服务平台百炼提供了一种通过临时存储空间实现文件传输的机制。以下是具体流程:
获取文件上传凭证
调用文件上传凭证获取接口,获取用于上传文件的临时凭证信息。例如:
curl -location 'https://dashscope.aliyuncs.com/api/v1/uploads?action=getPolicy&model=qwen-vl-plus' \
-header "Authorization: Bearer $DASHSCOPE_API_KEY" \
-header 'Content-Type: application/json'
响应中会包含upload_host
、policy
、signature
等必要信息。
上传文件至临时存储空间
使用上一步获取的凭证信息,将文件上传至指定的临时存储空间。例如:
curl -location 'https://dashscope-file-xxx.oss-cn-beijing.aliyuncs.com' \
-form 'OSSAccessKeyId="LTAm5xxx"' \
-form 'Signature="Sm/tv7DcZuTZftFVvt5yOoSETsc="' \
-form 'policy="eyJleHBpcmF0aW9 ... ... ... dHJ1ZSJ9XX0="' \
-form 'x-oss-object-acl="private"' \
-form 'x-oss-forbid-overwrite="true"' \
-form 'key="dashscope-instant/123/456/a.jpg"' \
-form 'success_action_status="200"' \
-form 'file=@"/tmp/cat.png"'
生成文件URL并调用模型
将上传文件的key
参数拼接oss://
前缀,生成文件URL。例如:
oss://dashscope-instant/xxx/2024-07-18/xxxx/cat.png
在调用模型时,需在请求头中添加X-DashScope-OssResourceResolve: enable
以确保能够正确解析文件。
注意:上传至临时存储空间的文件有效期为48小时,超过此时间后文件将被清除,链接失效。如果需要再次使用该文件,需重新上传。
目前,ModelScope官方文档未明确支持直接从其他云平台(如autodl)通过Git或其他方式导入打包好的环境和模型。然而,可以通过以下方式间接实现这一目标:
导出模型文件并上传至OSS
如果您在autodl等平台上已经打包好了环境和模型,可以将模型文件导出并上传至阿里云对象存储(OSS)。具体步骤如下:
${model_root_path}
/engines
使用TensorRT执行框架部署模型
如果您的模型需要高性能推理,可以将其转换为TensorRT-LLM格式,并按照以下步骤部署:
使用官方基础镜像构建自定义环境
如果您希望复用autodl中的环境配置,可以基于ModelScope提供的官方基础镜像构建自定义Docker镜像。例如:
FROM registry.cn-shanghai.aliyuncs.com/serverless_devs/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.5.0
ADD . .
EXPOSE 9000
构建完成后,您可以将镜像推送到阿里云容器镜像服务,并在EAS中使用该镜像部署服务。
AliyunOSSReadOnlyAccess
策略。如果您有进一步的具体需求或遇到问题,建议参考ModelScope官方文档或联系技术支持团队获取帮助。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352