"
请问如何下载ModelScope数据文件而非元文件?
"
要下载ModelScope中的数据文件而非元文件,您可以按照以下步骤操作。以下是详细的专业指导:
git-lfs clone
命令下载模型数据文件确认安装 git-lfs
工具
在执行下载之前,请确保您的系统已安装 git-lfs
(Git Large File Storage)。如果未安装,可以通过以下命令安装:
sudo apt-get update
sudo apt-get install git-lfs
注意:如果提示 git-lfs: command not found
,请务必先完成此步骤。
获取模型ID
进入 ModelScope官网,搜索目标模型名称(例如 Qwen-7B-Chat
),在模型详情页找到专属模型ID并复制。
执行下载命令
使用 git-lfs clone
命令直接克隆模型仓库,该命令会自动下载模型的数据文件:
sudo git-lfs clone https://modelscope.cn/<模型ID>.git
示例:以通义千问-7B-Chat为例,命令如下:
sudo git-lfs clone https://modelscope.cn/qwen/Qwen-7B-Chat.git
检查下载结果
下载完成后,模型数据文件将存储在当前目录下的对应文件夹中。
snapshot_download
函数下载模型数据文件安装 ModelScope 库
如果尚未安装 ModelScope 库,请通过以下命令安装:
pip install modelscope
准备下载脚本
创建一个 Python 脚本(例如 download_from_modelscope.py
),内容如下:
import argparse
from modelscope.hub.snapshot_download import snapshot_download
parser = argparse.ArgumentParser(description='Download model from ModelScope')
parser.add_argument('-model_name', help='The model name to download')
parser.add_argument('-version', help='The model version')
args = parser.parse_args()
base_dir = '/root/deepgpu/modelscope' # 指定本地存储路径
model_dir = snapshot_download(args.model_name, cache_dir=base_dir, revision=args.version)
print(f"Model downloaded to: {model_dir}")
执行下载命令
在终端中运行以下命令,指定模型名称和版本号(例如 v1.1.7
):
python3 download_from_modelscope.py -model_name Qwen/Qwen-7B-Chat -version v1.1.7
验证下载路径
下载完成后,脚本会输出模型的具体存储路径,默认为 /root/deepgpu/modelscope
或您指定的路径。
定义模型名称和存储路径
设置环境变量以指定模型名称和本地存储路径:
MODEL_NAME="DeepSeek-R1-Distill-Qwen-7B"
LOCAL_SAVE_PATH="/mnt/7B"
创建存储目录并设置权限
确保目标存储路径存在,并赋予写权限:
sudo mkdir -p ${LOCAL_SAVE_PATH}
sudo chmod ugo+rw ${LOCAL_SAVE_PATH}
启动 Docker 容器进行下载
使用以下命令启动容器并下载模型数据文件:
sudo docker run -d -t --network=host --rm \
-v ${LOCAL_SAVE_PATH}:/data \
egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.6.4.post1-pytorch2.5.1-cuda12.4-ubuntu22.04 \
/bin/bash -c "git-lfs clone https://www.modelscope.cn/models/deepseek-ai/${MODEL_NAME}.git /data"
监控下载进度
实时查看下载日志以确认进度:
sudo docker logs -f download
~/.cache/modelscope
)。通过上述方法,您可以成功下载 ModelScope 中的模型数据文件而非元文件。根据实际需求选择适合的方式即可。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352