开发者社区 > 云原生 > Serverless > 正文

在函数计算中,觉启动也不是想象中的那么慢,你们是用的什么解决方案呢

部署比如绘画的ai模型是什么流程,我想弄成一个flask的api,是通过镜像的方式部署,然后模型下载到nas上吗,启动是不是非常慢,模型8个g。但是我之前用你们那个模板部署了个stable diffusion,感觉启动也不是想象中的那么慢,你们是用的什么解决方案呢

展开
收起
崔问问 2023-12-01 08:36:45 42 0
3 条回答
写回答
取消 提交回答
  • 函数计算的启动速度主要受到冷启动的影响。冷启动是指函数第一次被调用时,平台部署函数实例的过程。这个过程可能涉及到初始化资源或加载依赖库,因此可能会消耗一定的时间。然而,函数计算已经采取了一些措施来优化这个过程,例如预取功能,它可以提前预热您的函数并缓存函数执行环境,从而大大减少冷启动响应时间。

    对于大模型的部署,函数计算正式发布了容器镜像加速功能,通过按需读取和更高效的解压技术在不同场景下加速 50%-80%,即使 GB 级别的镜像也可以在几秒内完成端到端启动。这种加速功能结合函数计算极致弹性和事件触发的特点,解锁了更多对实时要求高的工作负载。

    对于您提到的绘画AI模型,您可以将其部署为一个Flask API。首先,您可以将模型打包成一个容器镜像,然后将这个镜像部署到函数计算平台上。在部署过程中,您可以选择将模型下载到NAS上,以便在本地环境中运行它。虽然模型大小为8GB,但由于函数计算的容器镜像加速功能,启动过程应该不会太慢。

    2023-12-02 16:55:19
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    部署绘画AI模型的流程通常包括以下步骤:

    1. 准备环境

      • 安装必要的依赖项,如Python库、框架等。
      • 设置API服务(如Flask)。
    2. 模型优化和压缩

      • 使用模型剪枝、量化等技术减小模型大小。
      • 将模型转换为更高效的格式,如ONNX或TensorRT。
    3. 容器化

      • 创建Docker镜像,包含所有必需的组件和服务。
    4. 存储配置

      • 将模型文件存放在NAS或OSS中,便于访问。
    5. 函数计算设置

      • 创建并配置函数计算服务。
      • 配置触发器、安全组规则和资源限制。
    6. 部署

      • 上传Docker镜像到阿里云镜像仓库。
      • 在函数计算服务中选择该镜像进行部署。

    对于8GB的大模型,启动速度可能会较慢。不过,可以采用以下解决方案来提高性能:

    • 预热功能:主动触发函数执行以减少实际请求时的等待时间。
    • 内存缓存:如果可能,将模型数据加载到内存中以减少磁盘IO。
    • 冷启动优化:根据模型需求调整函数配置,例如设置足够的内存、CPU和超时时间。
    2023-12-01 14:40:35
    赞同 展开评论 打赏
  • 镜像启动加速(ACR企业版)https://help.aliyun.com/zh/fc/user-guide/accelerate-startup-of-images-of-container-registry-enterprise-edition?spm=a2c4g.11186623.0.0.501728f06TxnUr

    。开启镜像加速可分两阶段共提速约90%,将分钟级的镜像拉取缩短至秒级。本文介绍使用ACR企业版实现镜像启动加速的使用原理和配置方法等。

    2023-12-01 14:30:02
    赞同 展开评论 打赏

快速交付实现商业价值。

相关产品

  • 函数计算
  • 相关电子书

    更多
    Serverless开发平台: 让研发效能再提升 立即下载
    Serverless 引领云上研发新范式 立即下载
    All in Serverless 阿里云核心产品全面升级 立即下载