huggingface_hub加速

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: huggingface_hub加速

背景

huggingface是什么对于研究人工智能的耳熟能详,加入您的网络环境下载速度太慢或者网络受限,您可以采用下面方法进行下载加速。

依赖条件

已经安装好python开发环境,我这里是 python3.10+

主要步骤

这里假设我要下载 bigscience/bloom-560m 的模型

  1. 安装依赖

    pip install -U huggingface_hub
    pip install hf_transfer
    
    AI 代码解读
  2. 导入环境变量

    export HF_ENDPOINT=https://hf-mirror.com
    export HF_HUB_ENABLE_HF_TRANSFER=0
    
    AI 代码解读
  3. 下载模型

# 样例1
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

# 样例2
huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

# 样例3
HF_ENDPOINT=https://hf-mirror.com python your_script.py
AI 代码解读
目录
打赏
0
0
0
0
12
分享
相关文章
LangChain和Hub的前世今生
作为LLM(大模型)开发框架的宠儿,LangChain在短短几年内迅速崛起,成为开发者们不可或缺的工具。本文将带你探讨LangChain和LangChainHub的发展历程。
LangChain和Hub的前世今生
HuggingFace Tranformers 源码解析(2)
HuggingFace Tranformers 源码解析
80 0
|
9月前
HuggingFace Tranformers 源码解析(3)
HuggingFace Tranformers 源码解析
189 0
|
9月前
HuggingFace Tranformers 源码解析(4)
HuggingFace Tranformers 源码解析
143 0
HuggingFace Tranformers 源码解析(1)
HuggingFace Tranformers 源码解析
131 0
ModelScope 模型库产品快速使用
ModelScope 的模型库(Model Hub)是共享机器学习模型、demo 演示、数据集和数据指标的地方。可以轻松地创建和管理自己的模型库,利用界面或开发环境来便捷地上传、下载相关模型文件,并从 Model Hub 中获取有用的模型和数据集元数据。
32872 1
下载HuggingFace大模型上传到Modelscope模型库
下载大模型,都是通过huggingface。以前Llama 2的下载,必须通过Meta才能下载,直接使用Meta的代码去Meta官方下载,国内是很容易中断,导致无法下载。现在你通过了Meta申请通过后,可以直接在huggingface进行下载。
将OSS里的 Stable diffusion 模型库挂载到PAI-EAS并部署推理
本文将会介绍如何一键转存模型库到自己的对象存储OSS空间中,并给出将OSS挂载到PAI-EAS实现部署,并对模型进行灵活切换与推理。
2042 1
将OSS里的 Stable diffusion 模型库挂载到PAI-EAS并部署推理
使用Git LFS从Hugging Face下载大型语言模型
Hugging Face作为主流的模型库,提供了大量预训练模型,但这些模型的大尺寸使得直接下载可能会遇到困难。Git LFS(Large File Storage)作为Git的一个扩展,为我们提供了一个解决方案
1262 0

热门文章

最新文章