函数计算FC模型不应该只需要初始化计算一次，后续直接加载缓存就不用每次切换重新计算了吗？
使用api调用，模型切换一次计算sha256+从nas加载模型 耗时6s 
函数计算FC模型的sha256计算存到cache.json里面了啊，不应该只需要初始化计算一次，后续直接加载缓存就不用每次切换重新计算了吗？
写回答
-
北京阿里云ACE会长
我已经认真阅读了 你的问题：
【 函数计算FC模型不应该只需要初始化计算一次，后续直接加载缓存就不用每次切换重新计算了吗？Apptying xtormers cross attentlon optimizatlon0401dYEY-CU2Y400Cd3134232d02odel loaded in 1.4s (load weights from disk: 0.1s, create model: 0.4s, apply weights to model: 0.3s, move model to device: 0.6s).-64dla7e7-d27488ca9f54252ad2 223-08-8
】并思考了
建议如下:
无需重新加载和初始化。
通过在函数计算的全局作用域中初始化和加载模型，并将其保存在全局变量或其他持久化的存储中，可以避免在每次请求时重新加载模型的开销。根据您提供的日志信息，可以看到模型加载的过程，包括从磁盘加载权重、创建模型、应用权重到模型以及将模型移动到设备等步骤。在这种情况下，您可以将这些步骤放在函数的初始化过程中，并将加载的模型保存在全局变量或其他缓存中，以便后续请求直接使用。
需要注意的是，模型的缓存和复用可能会受到函数计算环境的限制，例如内存大小和可用资源。您需要根据具体的函数计算配置和使用情况来评估和优化模型加载和缓存的策略。
2023-08-20 18:51:48赞同 展开评论 打赏 -
sha256 只是个哈希，您要跑图还是需要加载整个文件的，webui 默认应该是切换模型不缓存文件到内存的，需要配置下。计算 和 加载模型 是一个操作，这个核心在加载，此回答整理自钉群“【答疑群】函数计算 AIGC 场景技术交流”
2023-08-15 13:31:08赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
