开发专题 | 1 :下载 huggingface 上模型的正确姿势

简介: 本文主要介绍如何以正确的方式下载 huggingface 上的模型

更多、更及时内容欢迎留意微信公众号小窗幽记机器学习

背景

之前下载huggingface上模型的时候,要么是用类似如下脚本的方式下载:

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForMaskedLM.from_pretrained("bert-base-uncased")

要么是在Files and versions 中点击目标文件逐一下载:

image.png

那么是否有更方便的方式,一行命令直接下载整个模型文件?有的,使用git lfs 即可。

环境安装

LFS是Large File Storage的缩写,用于帮助git管理大文件。不同于git每次保存diff,对于git来说,如果是模型或者一些设计大文件,改变一点,对于仓库来说会增加很大的体积,不一会就能几个G。对于git lfs来说,在使用git lfs track命令后,git push的时候,git lfs会截取要管理的大文件,并将其传至git lfs的服务器中,从而减小仓库的体积。

工具安装:

yum install git-lfs
# Make sure you have git-lfs installed
# (https://git-lfs.github.com/)
git lfs install

模型下载

至此,可以使用git clone https://huggingface.co/username/your-model-name下载目标模型。比如想要下载bert-base-uncased模型:

git clone https://huggingface.co/bert-base-uncased

image.png

下载结果可以和网页结果比对:

image.png

并进行hash校验,可以看出结果相同,即表明正常下载了模型文件。

image.png

image.png

相关文章
|
人工智能 开发者
解决HuggingFace模型下载难题:AI快站的高效加速服务
在AI研发领域,获取优质模型资源是关键。国内开发者常因海外服务器导致的下载困难而苦恼,尤其是大型模型下载更是耗时且充满挑战。AI快站(aifasthub.com)作为huggingface镜像网站,提供了高效的加速下载服务。它不仅解决了huggingface大模型下载的速度问题,还支持断点续传,保证下载连续性。此外,AI快站还提供全面及时更新的模型资源,是国内AI开发者的理想选择。
2679 0
|
8月前
|
物联网 测试技术
为什么 loss 几乎没用:微调里最容易让人“自嗨”的指标
本文揭示了大模型微调中一个常见误区:过度依赖loss曲线判断训练效果。loss仅反映模型对训练数据的拟合程度,并不衡量实际表现。它可能平稳下降,但模型输出无改善甚至变差。尤其在SFT/LoRA微调中,loss易被“虚假优化”,掩盖行为偏移、泛化缺失等问题。真正关键的是人工对照输出变化,结合loss作为辅助参考,而非决策核心。
|
人工智能 调度 数据安全/隐私保护
. Stable Diffusion 的工作流程(底层原理)
本文介绍了 Stable Diffusion 文生图模型的工作流程,包括输入文本描述、语义编码、图像生成与解码等关键步骤,揭示了 AI 如何将文字转化为图像的技术原理。
1004 0
|
8月前
|
人工智能 安全 API
资源有限,跑大模型太难?手把手教你用 llama.cpp 安全部署任意 GGUF 模型(含 DeepSeek-R1 实战)
无需高端显卡,手把手教你用 llama.cpp 本地安全部署任意 GGUF 模型!支持 DeepSeek-R1 实战,实现离线运行、流式输出与 OpenAI 兼容 API。涵盖 Docker 安全加固、模型切换、双模客户端调用,适用于企业知识库、智能客服等场景,个人开发者与企业皆可快速落地。
|
存储 Linux 开发工具
告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
【8月更文挑战第2天】告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
6700 64
告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
|
10月前
|
Linux Shell
Linux系统安装miniconda详细教程
本文介绍在CentOS 7系统中安装Miniconda的完整步骤:首先下载Miniconda安装包至/opt目录,接着执行安装脚本并按提示操作;安装完成后,将conda添加到环境变量,通过`conda init bash`和`source ~/.bashrc`配置生效,最终验证安装成功。
2793 5
|
10月前
|
人工智能 缓存 自然语言处理
构建AI智能体:二十二、双剑合璧:Qwen系列双模型在文生文、文生图中的搭配应用
使用Gradio构建的一个演示界面,该界面将展示如何使用Qwen-Turbo生成提示词,然后使用Qwen-Image生成图像。 我们将按照之前的设计,将流程分为两个主要步骤:先生成提示词,然后生成图像。在提示词生成成功之前,直接生成图像将会给出提示先生成提示词。
720 0
|
11月前
|
数据采集 人工智能 自然语言处理
121_训练评估:困惑度分析 - 分析指标与下游任务关系
在大规模语言模型(LLM)的训练过程中,评估模型性能是一个至关重要但常被简化处理的环节。2025年的研究表明,仅依赖单一指标(如困惑度)来判断模型质量已经无法满足复杂应用场景的需求。困惑度作为语言模型训练中最核心的评估指标,其与下游任务表现之间的关系远比直觉更复杂。本文将深入剖析困惑度的数学原理、计算方法、优化策略,以及其与各类下游任务表现的相关性分析,为大规模语言模型的训练优化提供全面的技术指导。
974 1