开发者社区 > 云原生 > Serverless > 正文

函数计算FC模型不应该只需要初始化计算一次,后续直接加载缓存就不用每次切换重新计算了吗?

使用api调用,模型切换一次计算sha256+从nas加载模型 耗时6s 7ebf3bffd7ee222c4e2a3d0414c7517b.png
7701400b52f412cd2a73efcb71933d5d.png
函数计算FC模型的sha256计算存到cache.json里面了啊,不应该只需要初始化计算一次,后续直接加载缓存就不用每次切换重新计算了吗?

展开
收起
三分钟热度的鱼 2023-08-15 13:19:29 72 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    我已经认真阅读了 你的问题:

    【 函数计算FC模型不应该只需要初始化计算一次,后续直接加载缓存就不用每次切换重新计算了吗?Apptying xtormers cross attentlon optimizatlon0401dYEY-CU2Y400Cd3134232d02odel loaded in 1.4s (load weights from disk: 0.1s, create model: 0.4s, apply weights to model: 0.3s, move model to device: 0.6s).-64dla7e7-d27488ca9f54252ad2 223-08-8

    并思考了

    建议如下:


    无需重新加载和初始化。
    通过在函数计算的全局作用域中初始化和加载模型,并将其保存在全局变量或其他持久化的存储中,可以避免在每次请求时重新加载模型的开销。

    根据您提供的日志信息,可以看到模型加载的过程,包括从磁盘加载权重、创建模型、应用权重到模型以及将模型移动到设备等步骤。在这种情况下,您可以将这些步骤放在函数的初始化过程中,并将加载的模型保存在全局变量或其他缓存中,以便后续请求直接使用。

    需要注意的是,模型的缓存和复用可能会受到函数计算环境的限制,例如内存大小和可用资源。您需要根据具体的函数计算配置和使用情况来评估和优化模型加载和缓存的策略。

    2023-08-20 18:51:48
    赞同 展开评论 打赏
  • sha256 只是个哈希,您要跑图还是需要加载整个文件的,webui 默认应该是切换模型不缓存文件到内存的,需要配置下。计算 和 加载模型 是一个操作,这个核心在加载,此回答整理自钉群“【答疑群】函数计算 AIGC 场景技术交流”

    2023-08-15 13:31:08
    赞同 展开评论 打赏

快速交付实现商业价值。

相关产品

  • 函数计算
  • 相关电子书

    更多
    基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
    用户态高速块缓存方案 立即下载
    高性能Web架构之缓存体系 立即下载