可以直接在里面的环境中通过git或其他办法导入到ModelScope中吗?

ModelScope有网页到网页的上传方法吗,在其他的云平台有社区镜像(autodl)里面已经打包好了整个环境和模型,可以直接在里面的环境中通过git或其他办法导入到ModelScope中吗?

展开
收起
小小爱吃香菜 2024-05-01 08:56:16 85 分享 版权
阿里云 AI 助理回答

关于ModelScope网页到网页的上传方法

根据现有资料,ModelScope本身并未直接提供网页到网页的文件上传方法。然而,阿里云的大模型服务平台百炼提供了一种通过临时存储空间实现文件传输的机制。以下是具体流程:

  1. 获取文件上传凭证
    调用文件上传凭证获取接口,获取用于上传文件的临时凭证信息。例如:

    curl -location 'https://dashscope.aliyuncs.com/api/v1/uploads?action=getPolicy&model=qwen-vl-plus' \
    -header "Authorization: Bearer $DASHSCOPE_API_KEY" \
    -header 'Content-Type: application/json'
    

    响应中会包含upload_hostpolicysignature等必要信息。

  2. 上传文件至临时存储空间
    使用上一步获取的凭证信息,将文件上传至指定的临时存储空间。例如:

    curl -location 'https://dashscope-file-xxx.oss-cn-beijing.aliyuncs.com' \
    -form 'OSSAccessKeyId="LTAm5xxx"' \
    -form 'Signature="Sm/tv7DcZuTZftFVvt5yOoSETsc="' \
    -form 'policy="eyJleHBpcmF0aW9 ... ... ... dHJ1ZSJ9XX0="' \
    -form 'x-oss-object-acl="private"' \
    -form 'x-oss-forbid-overwrite="true"' \
    -form 'key="dashscope-instant/123/456/a.jpg"' \
    -form 'success_action_status="200"' \
    -form 'file=@"/tmp/cat.png"'
    
  3. 生成文件URL并调用模型
    将上传文件的key参数拼接oss://前缀,生成文件URL。例如:

    oss://dashscope-instant/xxx/2024-07-18/xxxx/cat.png
    

    在调用模型时,需在请求头中添加X-DashScope-OssResourceResolve: enable以确保能够正确解析文件。

注意:上传至临时存储空间的文件有效期为48小时,超过此时间后文件将被清除,链接失效。如果需要再次使用该文件,需重新上传。


关于从其他云平台(如autodl)导入环境和模型到ModelScope

目前,ModelScope官方文档未明确支持直接从其他云平台(如autodl)通过Git或其他方式导入打包好的环境和模型。然而,可以通过以下方式间接实现这一目标:

  1. 导出模型文件并上传至OSS
    如果您在autodl等平台上已经打包好了环境和模型,可以将模型文件导出并上传至阿里云对象存储(OSS)。具体步骤如下:

    • 将模型文件从autodl平台下载到本地。
    • 登录阿里云OSS控制台,创建一个Bucket,并将模型文件上传至该Bucket。
    • 确保上传路径符合ModelScope的要求,例如:
      ${model_root_path}
      /engines
      
  2. 使用TensorRT执行框架部署模型
    如果您的模型需要高性能推理,可以将其转换为TensorRT-LLM格式,并按照以下步骤部署:

    • 将原始模型和转换后的TensorRT-LLM engines上传至OSS Bucket。
    • 登录云原生应用开发平台(CAP),选择新建服务 > 模型服务
    • 选择模型页面,选择OSS作为模型来源,并填写对应的Bucket路径。
    • 配置GPU规格和角色权限,完成部署。
  3. 使用官方基础镜像构建自定义环境
    如果您希望复用autodl中的环境配置,可以基于ModelScope提供的官方基础镜像构建自定义Docker镜像。例如:

    FROM registry.cn-shanghai.aliyuncs.com/serverless_devs/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.5.0
    
    ADD . .
    EXPOSE 9000
    

    构建完成后,您可以将镜像推送到阿里云容器镜像服务,并在EAS中使用该镜像部署服务。


重要提醒

  • 跨平台兼容性:从autodl等平台导入环境时,需确保环境依赖与ModelScope或阿里云平台的基础镜像兼容。如果不兼容,可能需要手动调整依赖配置。
  • 文件有效期限制:通过临时存储空间上传的文件仅保留48小时,请及时处理文件的有效性问题。
  • 权限配置:在使用OSS或自定义镜像时,需确保相关权限已正确配置,例如AliyunOSSReadOnlyAccess策略。

如果您有进一步的具体需求或遇到问题,建议参考ModelScope官方文档或联系技术支持团队获取帮助。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理