开发者社区 > ModelScope模型即服务 > 正文

ModelScope中,缓存有办法在以下命令里面做到吗?

ModelScope中,缓存有办法在以下命令里面做到吗? 75a52c10a3a1f56d963b53f10126e269.png

展开
收起
小小爱吃香菜 2024-04-24 08:20:55 76 0
2 条回答
写回答
取消 提交回答
  • python脚本中用的话,os.environ['MODELSCOPE_CACHE']='your path' 您在前面加个环境变量看看,MODELSCOPE_CACHE=your_path 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2024-04-24 12:20:43
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    虽然空闲内存总量足够,但内存可能已经被分割成了较小的块,无法分配一个足够大的连续块来满足18.00 GiB的需求。

    Try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation.
    
    2024-04-24 09:00:34
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
用户态高速块缓存方案 立即下载
高性能Web架构之缓存体系 立即下载