修改 torch和huggingface 缓存路径

简介: 简介:本文介绍了如何修改 PyTorch 和 Huggingface Transformers 的缓存路径。通过设置环境变量 `TORCH_HOME` 和 `HF_HOME` 或 `TRANSFORMERS_CACHE`,可以在 Windows、Linux 和 MacOS 上指定自定义缓存目录。具体步骤包括设置环境变量、编辑 shell 配置文件、移动现有缓存文件以及创建符号链接(可选)。

修改 torch 缓存路径
torch 使用 TORCH_HOME 环境变量来指定缓存目录。

Windows
设置环境变量
右键点击“此电脑”,选择“属性”。
点击“高级系统设置”。
在“系统属性”窗口中,点击“环境变量”按钮。
在“系统变量”下,点击“新建”按钮。
设置变量名为 TORCH_HOME,变量值为你希望存储模型的路径(例如,D:\torch_cache)。
或者在命令行中设置
set TORCH_HOME=D:\torch_cache
Linux/MacOS
编辑 shell 配置文件(如 .bashrc, .zshrc)
export TORCH_HOME=/path/to/your/desired/cache/dir
应用更改
source ~/.bashrc # or ~/.zshrc
修改 Huggingface Transformers 缓存路径
huggingface 使用 HF_HOME 或 TRANSFORMERS_CACHE 环境变量来指定缓存目录。

Windows
设置环境变量
重复上述步骤,添加新的系统变量。
设置变量名为 HF_HOME 或 TRANSFORMERS_CACHE,变量值为你希望存储模型的路径(例如,D:\huggingface_cache)。
或者在命令行中设置
set HF_HOME=D:\huggingface_cache
Linux/MacOS
编辑 shell 配置文件(如 .bashrc, .zshrc)
export HF_HOME=/path/to/your/desired/cache/dir

或者

export TRANSFORMERS_CACHE=/path/to/your/desired/cache/dir
应用更改
source ~/.bashrc # or ~/.zshrc
移动现有的缓存文件
关闭正在运行的 Python 程序
移动现有的 .cache 文件夹到新的路径
在 Windows 下,可以使用文件资源管理器进行移动。

在 Linux/MacOS 下,可以使用 mv 命令:

mv ~/.cache/torch /path/to/your/desired/cache/dir
mv ~/.cache/huggingface /path/to/your/desired/cache/dir
创建符号链接(可选)
在 Linux/MacOS 下,可以创建符号链接以保持旧路径的可用性:

ln -s /path/to/your/desired/cache/dir/torch ~/.cache/torch
ln -s /path/to/your/desired/cache/dir/huggingface ~/.cache/huggingface

相关文章
|
存储 缓存 C++
Nuget本地临时缓存路径处理
Nuget本地临时缓存路径处理
639 0
|
缓存
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
1108 0
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
|
缓存 数据安全/隐私保护 Windows
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
856 0
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
|
7月前
|
缓存 NoSQL 关系型数据库
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
美团面试:MySQL有1000w数据,redis只存20w的数据,如何做 缓存 设计?
|
2月前
|
缓存 负载均衡 监控
135_负载均衡:Redis缓存 - 提高缓存命中率的配置与最佳实践
在现代大型语言模型(LLM)部署架构中,缓存系统扮演着至关重要的角色。随着LLM应用规模的不断扩大和用户需求的持续增长,如何构建高效、可靠的缓存架构成为系统性能优化的核心挑战。Redis作为业界领先的内存数据库,因其高性能、丰富的数据结构和灵活的配置选项,已成为LLM部署中首选的缓存解决方案。
|
3月前
|
存储 缓存 NoSQL
Redis专题-实战篇二-商户查询缓存
本文介绍了缓存的基本概念、应用场景及实现方式,涵盖Redis缓存设计、缓存更新策略、缓存穿透问题及其解决方案。重点讲解了缓存空对象与布隆过滤器的使用,并通过代码示例演示了商铺查询的缓存优化实践。
217 1
Redis专题-实战篇二-商户查询缓存
|
2月前
|
缓存 运维 监控
Redis 7.0 高性能缓存架构设计与优化
🌟蒋星熠Jaxonic,技术宇宙中的星际旅人。深耕Redis 7.0高性能缓存架构,探索函数化编程、多层缓存、集群优化与分片消息系统,用代码在二进制星河中谱写极客诗篇。
|
7月前
|
缓存 NoSQL Java
Redis+Caffeine构建高性能二级缓存
大家好,我是摘星。今天为大家带来的是Redis+Caffeine构建高性能二级缓存,废话不多说直接开始~
1015 0
|
3月前
|
缓存 NoSQL 关系型数据库
Redis缓存和分布式锁
Redis 是一种高性能的键值存储系统,广泛用于缓存、消息队列和内存数据库。其典型应用包括缓解关系型数据库压力,通过缓存热点数据提高查询效率,支持高并发访问。此外,Redis 还可用于实现分布式锁,解决分布式系统中的资源竞争问题。文章还探讨了缓存的更新策略、缓存穿透与雪崩的解决方案,以及 Redlock 算法等关键技术。