开发者社区 > 云原生 > Serverless > 正文

函数计算, 有个问题比较好奇, 1、如果GPU已经加载了模型到显存里,后面我不用了,这个显存预计

函数计算,
有个问题比较好奇,
1、如果GPU已经加载了模型到显存里,后面我不用了,这个显存预计多久会释放这些模型/

2、在这个不释放的周期里,我也没下达出图的指令,请问是否产生费用

3、假如释放完了,我还要用这个模型,就会触发再次加载模型了对吧

展开
收起
云上静思 2023-09-01 18:32:56 109 1
2 条回答
写回答
取消 提交回答
  • 以机器为单位释放连同机器销毁,再次触发会生成新的机器并使用镜像装好系统运行。
    计费方式跟服务器租用一样安按秒计费销毁停止计费按需租用计费

    此答案来自钉钉群“阿里函数计算官网客户”

    2023-09-01 20:58:35
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    我已经认真阅读了 你的问题:

    【 函数计算, 有个问题比较好奇, 1、如果GPU已经加载了模型到显存里,后面我不用了,这个显存预计

    并思考了

    建议如下:


    如果 GPU 已经加载了模型到显存里,后面不再使用,显存不会立即释放这些模型。显存中的模型会一直保留,直到您显式地删除它们。删除模型后,显存才会释放。需要注意的是,显存空间的释放可能会有一定的延迟,具体时间取决于函数计算服务的资源管理策略。

    1. 在显存中的模型没有被释放的情况下,即使您没有下达出图的指令,也不会产生费用。费用产生于您实际调用函数计算实例进行推理的时候。
    2. 如果显存中的模型被释放完了,当您再次使用这个模型时,确实会触发再次加载模型。但是,由于显存中已经没有模型,函数计算服务会自动重新加载模型到显存。这个过程可能会有一定的延迟,具体时间取决于函数计算服务的资源状况和模型大小。
    2023-09-01 19:17:00
    赞同 展开评论 打赏

快速交付实现商业价值。

相关产品

  • 函数计算
  • 热门讨论

    热门文章

    相关电子书

    更多
    Hologres Serverless之路:揭秘弹性计算组 立即下载
    Serverless开发平台: 让研发效能再提升 立即下载
    Serverless 引领云上研发新范式 立即下载