修改 torch和huggingface 缓存路径

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 简介:本文介绍了如何修改 PyTorch 和 Huggingface Transformers 的缓存路径。通过设置环境变量 `TORCH_HOME` 和 `HF_HOME` 或 `TRANSFORMERS_CACHE`,可以在 Windows、Linux 和 MacOS 上指定自定义缓存目录。具体步骤包括设置环境变量、编辑 shell 配置文件、移动现有缓存文件以及创建符号链接(可选)。

修改 torch 缓存路径
torch 使用 TORCH_HOME 环境变量来指定缓存目录。

Windows
设置环境变量
右键点击“此电脑”,选择“属性”。
点击“高级系统设置”。
在“系统属性”窗口中,点击“环境变量”按钮。
在“系统变量”下,点击“新建”按钮。
设置变量名为 TORCH_HOME,变量值为你希望存储模型的路径(例如,D:\torch_cache)。
或者在命令行中设置
set TORCH_HOME=D:\torch_cache
Linux/MacOS
编辑 shell 配置文件(如 .bashrc, .zshrc)
export TORCH_HOME=/path/to/your/desired/cache/dir
应用更改
source ~/.bashrc # or ~/.zshrc
修改 Huggingface Transformers 缓存路径
huggingface 使用 HF_HOME 或 TRANSFORMERS_CACHE 环境变量来指定缓存目录。

Windows
设置环境变量
重复上述步骤,添加新的系统变量。
设置变量名为 HF_HOME 或 TRANSFORMERS_CACHE,变量值为你希望存储模型的路径(例如,D:\huggingface_cache)。
或者在命令行中设置
set HF_HOME=D:\huggingface_cache
Linux/MacOS
编辑 shell 配置文件(如 .bashrc, .zshrc)
export HF_HOME=/path/to/your/desired/cache/dir

或者

export TRANSFORMERS_CACHE=/path/to/your/desired/cache/dir
应用更改
source ~/.bashrc # or ~/.zshrc
移动现有的缓存文件
关闭正在运行的 Python 程序
移动现有的 .cache 文件夹到新的路径
在 Windows 下,可以使用文件资源管理器进行移动。

在 Linux/MacOS 下,可以使用 mv 命令:

mv ~/.cache/torch /path/to/your/desired/cache/dir
mv ~/.cache/huggingface /path/to/your/desired/cache/dir
创建符号链接(可选)
在 Linux/MacOS 下,可以创建符号链接以保持旧路径的可用性:

ln -s /path/to/your/desired/cache/dir/torch ~/.cache/torch
ln -s /path/to/your/desired/cache/dir/huggingface ~/.cache/huggingface

目录
相关文章
|
存储 缓存 C++
Nuget本地临时缓存路径处理
Nuget本地临时缓存路径处理
329 0
|
缓存
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
626 0
啊哈!C盘又满了?快修改IntelliJ IDEA默认系统缓存cache目录路径
|
缓存 数据安全/隐私保护 Windows
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
627 0
windows 技巧篇-清除共享地址访问缓存信息,共享路径临时访问用户切换方法
|
1月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(一)
数据的存储--Redis缓存存储(一)
|
1月前
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
数据的存储--Redis缓存存储(二)
|
1月前
|
消息中间件 缓存 NoSQL
Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统,常用于缓存、消息队列和会话管理等场景。随着数据增长,有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法:1)使用 Redis 命令与重定向;2)利用 Redis 的 RDB 和 AOF 持久化功能;3)借助第三方工具如 `redis-dump`。每种方法均附有示例代码,帮助你轻松完成数据导出任务。无论数据量大小,总有一款适合你。
77 6
|
13天前
|
缓存 NoSQL 关系型数据库
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
本文详解缓存雪崩、缓存穿透、缓存并发及缓存预热等问题,提供高可用解决方案,帮助你在大厂面试和实际工作中应对这些常见并发场景。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:如何解决Redis缓存雪崩、缓存穿透、缓存并发等5大难题
|
14天前
|
存储 缓存 NoSQL
【赵渝强老师】基于Redis的旁路缓存架构
本文介绍了引入缓存后的系统架构,通过缓存可以提升访问性能、降低网络拥堵、减轻服务负载和增强可扩展性。文中提供了相关图片和视频讲解,并讨论了数据库读写分离、分库分表等方法来减轻数据库压力。同时,文章也指出了缓存可能带来的复杂度增加、成本提高和数据一致性问题。
【赵渝强老师】基于Redis的旁路缓存架构
|
22天前
|
缓存 NoSQL Redis
Redis 缓存使用的实践
《Redis缓存最佳实践指南》涵盖缓存更新策略、缓存击穿防护、大key处理和性能优化。包括Cache Aside Pattern、Write Through、分布式锁、大key拆分和批量操作等技术,帮助你在项目中高效使用Redis缓存。
123 22