请问如何下载ModelScope数据文件而非元文件?

"fcd2d02a01cbc8f11f37e6f6478e15c3.png
请问如何下载ModelScope数据文件而非元文件?
7dfc58d32d6ecbf811157ea98cef8350.png
"

展开
收起
小小爱吃香菜 2024-03-11 20:09:17 210 分享 版权
阿里云 AI 助理回答

要下载ModelScope中的数据文件而非元文件,您可以按照以下步骤操作。以下是详细的专业指导:


方法一:使用 git-lfs clone 命令下载模型数据文件

  1. 确认安装 git-lfs 工具
    在执行下载之前,请确保您的系统已安装 git-lfs(Git Large File Storage)。如果未安装,可以通过以下命令安装:

    sudo apt-get update
    sudo apt-get install git-lfs
    

    注意:如果提示 git-lfs: command not found,请务必先完成此步骤。

  2. 获取模型ID
    进入 ModelScope官网,搜索目标模型名称(例如 Qwen-7B-Chat),在模型详情页找到专属模型ID并复制。

  3. 执行下载命令
    使用 git-lfs clone 命令直接克隆模型仓库,该命令会自动下载模型的数据文件:

    sudo git-lfs clone https://modelscope.cn/<模型ID>.git
    

    示例:以通义千问-7B-Chat为例,命令如下:

    sudo git-lfs clone https://modelscope.cn/qwen/Qwen-7B-Chat.git
    
  4. 检查下载结果
    下载完成后,模型数据文件将存储在当前目录下的对应文件夹中。


方法二:使用 snapshot_download 函数下载模型数据文件

  1. 安装 ModelScope 库
    如果尚未安装 ModelScope 库,请通过以下命令安装:

    pip install modelscope
    
  2. 准备下载脚本
    创建一个 Python 脚本(例如 download_from_modelscope.py),内容如下:

    import argparse
    from modelscope.hub.snapshot_download import snapshot_download
    
    parser = argparse.ArgumentParser(description='Download model from ModelScope')
    parser.add_argument('-model_name', help='The model name to download')
    parser.add_argument('-version', help='The model version')
    args = parser.parse_args()
    
    base_dir = '/root/deepgpu/modelscope'  # 指定本地存储路径
    model_dir = snapshot_download(args.model_name, cache_dir=base_dir, revision=args.version)
    print(f"Model downloaded to: {model_dir}")
    
  3. 执行下载命令
    在终端中运行以下命令,指定模型名称和版本号(例如 v1.1.7):

    python3 download_from_modelscope.py -model_name Qwen/Qwen-7B-Chat -version v1.1.7
    
  4. 验证下载路径
    下载完成后,脚本会输出模型的具体存储路径,默认为 /root/deepgpu/modelscope 或您指定的路径。


方法三:通过 Docker 容器下载模型数据文件

  1. 定义模型名称和存储路径
    设置环境变量以指定模型名称和本地存储路径:

    MODEL_NAME="DeepSeek-R1-Distill-Qwen-7B"
    LOCAL_SAVE_PATH="/mnt/7B"
    
  2. 创建存储目录并设置权限
    确保目标存储路径存在,并赋予写权限:

    sudo mkdir -p ${LOCAL_SAVE_PATH}
    sudo chmod ugo+rw ${LOCAL_SAVE_PATH}
    
  3. 启动 Docker 容器进行下载
    使用以下命令启动容器并下载模型数据文件:

    sudo docker run -d -t --network=host --rm \
    -v ${LOCAL_SAVE_PATH}:/data \
    egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04 \
    /bin/bash -c "git-lfs clone https://www.modelscope.cn/models/deepseek-ai/${MODEL_NAME}.git /data"
    
  4. 监控下载进度
    实时查看下载日志以确认进度:

    sudo docker logs -f download
    

注意事项

  • 磁盘空间要求:下载模型前,请确保目标存储路径有足够的空间(建议预留模型大小的1.5倍空间)。
  • 内存不足问题:如果下载过程中出现内存不足的情况,可通过扩容云盘解决。
  • 默认下载路径:ModelScope 默认将数据文件下载到用户的缓存目录(例如 Linux 系统中的 ~/.cache/modelscope)。

通过上述方法,您可以成功下载 ModelScope 中的模型数据文件而非元文件。根据实际需求选择适合的方式即可。

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理