冷启动优化:厂商对冷启动问题的优化

简介: 冷启动优化:厂商对冷启动问题的优化

通过对《Understanding AWS Lambda Performance—How Much Do Cold Starts Really Matter?》、《Serverless:Cold Start War》等文章分析不难看出,不仅仅不同厂商对于冷启动的优化程度是不同的,同一厂商对不同运行时的冷启动优化、也是不同的;这也充分说明,尽管各个厂商也在通过一些规则和策略努力降低冷启动率,但是由于冷启动的影响因素是复杂的,存在即多不可控因素,所以至今也没办法做到一致性,甚至同一厂商都没办法在不同运行时实现同样的优化成果。除此之外文章《Understanding Serverless Cold Start》,《Everything you need to know about cold starts in AWS Lambda》,《Keeping Functions Warm》,《I'm afraid you're thinking about AWS Lambda cold starts all wrong》等也均对冷启动现象等进行描述和深入的探讨,并且提出了一些业务侧应对函数冷启动的解决方案和策略。

如图1.31所示,通常情况下,冷启动的解决方案包括几个部分:实例的复用,实例的预热以及资源池化。

实例复用方案

从资源复用层面来说,对实例的复用相对来说是比较重要的,一个实例并不是在触发完成之后就结束其生命周期,而是会继续保留一段时间,当在这段时间内如果函数再次被触发,那么可以优先分配该实例来完成相应的触发请求,在这种情况下可以认为函数的所有资源是准备妥当的,只需要再执行对应的方法即可,所以实例复用是大多数厂商都会采取的一个降低冷启动率的措施;在实例资源复用的方案中,实例静默状态下要被保留多久,是一个成本话题,也是厂商不断探索的话题之一,因为如果保留时间过短会导致请求出现较为严重的冷启动问题,影响用户体验,如果实例长期不被释放则很难被合理地利用起来,会大幅度提高平台整体成本。

实例预热方案

在预热层面来讲,解决函数冷启动问题可以通过某些手段判断用户的函数在下一个时间段可能需要多少实例,并且进行实例资源的提前准备;函数预热的方案是大部分云厂商所重视并不断深入探索的方向,常见的预热方案有几种:

被动预热通常指的是非用户主动行为预热,是系统自动预热函数的行为。这一部分主要包括了规则预热、算法预热以及混合预热;所谓的规则预热是指设定一个实例数量范围(例如每个函数同一时间点最低0个实例,最多300个实例),然后通过一个或几个比例关系进行函数下一时间段的实例数量的扩缩,例如设定某个比例为1.3倍,当前实例数量为110,实际活跃实例数量为100,那么实际活跃数量*所设定的比例的结果为130个实例,与当前实际存在时110个实例相比是需要额外扩容20个实例,那么系统就会自动将实例数量从110个提升到130个;这种做法在实例数量较多的和较少的情况下会出现阔缩数量过大或过小的问题(所以有部分厂商引入不同实例范围内采用不同的比例来解决这个问题),在流量波动较频繁且波峰波谷相差较大的时候该方案会出现预热滞后的问题;算法预热实际上是根据函数之间的关系、函数的历史特征进行,通过深度学习等算法,进行下一时间段的实例的扩缩操作,但是在实际生产过程中,环境是非常复杂的,对流量进行一个较为精确的预测是非常困难的,所以算法预测的方案是很多人在探索,但却迟迟没有落地的一个重要原因;还有一种方案是混合预热,即将规则预热与算法预热进行一个权重划分,共同预测下一时间段的实例数量,并提前决定扩缩行为,以及扩缩数量等;

主动预热通常指的是用户主动进行预热的行为,由于被动预热在复杂环境下的不准确性,所以很多云厂商提供了用户手动预留的能力,目前来说主要分为简单配置和指标配置两种,所谓的简单配置就是设定预留的实例数量,或者某个时间范围内的预留实例数量,所预留的实例将会一直保持存活状态,不会被释放掉;还有另一种是指标配置,即在简单配置基础上,可以增加一些指标,例如当前预留的空闲容器数量小于某个值时进行某个规律的扩容,反之进行某个规律的缩容等;通常情况下用户主动预留模式比较适用于有计划的活动,例如某平台在双十一期间要进行促销活动,那么可以设定双十一期间的预留资源以保证高并发下系统良好的稳定性和优秀的响应速度;通常情况下主动预留可能会产生额外的费用;

混合预热,即将被动预热和主动预热按照一个权重关系进行结合;当用户配置了主动预热优先主动预热规则,辅助被动预热规则;如果用户没有配置主动预热规则,则使用默认的被动预热规则;

资源池化方案

最后一种解决冷启动问题的方法是资源池化,但是通常情况下这种所谓的资源池化带来的效果可能不是热启动,可能是温启动,所谓的温启动就是说实例所需要的相关资源是已经被提前准备了,但是并没有完全准备的情况。所谓的池化就是在实例从零到一的过程中的任何一步,进行一些预留准备:

例如,底层资源准备层面,可以提前准备一些底层资源作为池化;在进行运行时准备的层面,也可以准备一些运行时资源作为池化资源;如果可以精确到用户代码层面,也可以在一些实例中,在加载用户代码(业务逻辑)等资源层面作为池化;池化的好处是,可以将实例启动的链路,例如运行时层面的池化,可以避免底层资源准备时产生的时间消耗,让启动速度更快,同时池化也可以更加灵活的面对更多情况,例如在运行时层面的池化,可以将池化的实例分配给不同的函数,不同函数被触发的时候,可以优先使用池化资源,达到更快启动速度;当然池化也是一门学问,例如池化的资源规格,运行时的种类,以及池化的数量,资源的分配和调度等。

通常情况下,在冷启动的过程中,比较耗时的环节包括网络资源的打通(很多函数平台都是函数容器里绑定弹性网卡去访问开发者其他的资源,这个网络的部署需要秒的级别),实例的底层资源的准备过程,以及运行时等准备。

目录
相关文章
|
8月前
|
人工智能 机器人 Serverless
魔搭大模型一键部署到阿里云函数计算,GPU 闲置计费功能可大幅降低开销
魔搭大模型一键部署到阿里云函数计算,GPU 闲置计费功能可大幅降低开销
777 2
|
3月前
|
机器学习/深度学习 物联网 异构计算
ExVideo+CogVideoX,更长、更优!再次升级的开源视频生成能力
DiffSynth-Studio 再次为 CogVideoX 带来新的增强模块——ExVideo-CogVideoX-LoRA-129f-v1
|
2月前
|
SQL 缓存 监控
接口性能倍增记:一次成功的优化实践
在软件开发过程中,接口性能优化是提升用户体验和系统稳定性的关键环节。本文将分享一次接口优化的成功案例,从问题发现到解决方案实施,详细介绍我们的优化过程和成果。
33 0
|
7月前
|
SQL 关系型数据库 MySQL
【冷启动#1】实用的MySQL基础
又又又例如,你想查询是否存在等级大于100的玩家,可以使用EXISTS配合子查询来实现 SELECT EXISTS(SELECT * FROM player WHERE level > 100) SQL 复制 全屏 表关联 表关联用于查询多个表中的数据,关联的表中需要含有相同字段 一般通过表的主键和外键来关联(概念理解详见) 以game数据库为例,里面除了玩家以外,还有装备数据。有时候我们希望将玩家与装备信息关联起来进行查询 DESC equip # 先查看一下equip表的结构 SELECT * FROM player # 查询player表中的所有项 INNER JOIN equip #
|
8月前
|
人工智能 算法 搜索推荐
某国有银行业务收益提升30倍,它究竟是怎么做到的!
在激烈的银行竞争环境下,释放存量客户的复购潜力成为关注的重点。然而,目前银行销售理财产品过程中存在一系列问题,其中一个主要原因是过度依赖理财经理的个人经验。国有银行也难以避免这些问题在目标客户定位和营销执行过程中的出现。
|
数据采集 算法 编译器
倚天710规模化应用 - 性能优化 -自动反馈优化分析与实践
编译器优化分成静态优化与动态优化,静态优化指传统编译器gcc/llvm时,增加的优化等级,如O1,O2,O3,Ofast,此时,编译器会依据编译优化等级增加一些优化算法,如函数inline、循环展开以及分支静态预测等等。一般情况下,优化等级越高,编译器做的优化越多,性能会更会好。在阿里生产环境中,单纯依赖于静态优化,并不能达到程序运行流畅目的,通过分析CPU硬件取指令、执行指令,往往会出现一些分支预测失败导致iCacheMiss率高的场景,限制了程序的性能进一步提升。基于此,业务引入了动态反馈优化工具,依据生产环境的实际运行数据,反哺指导编译器对程序代码进一步调整编译优化策略,提高分支预准确率
|
Serverless
函数计算减少冷启动对性能的影响
函数计算减少冷启动对性能的影响
382 1
|
机器学习/深度学习 智能设计 自然语言处理
冷启动系统优化与内容潜力预估实践
本专题共8篇内容,包含每平每屋过去一年在召回、排序和冷启动等模块中的一些探索和实践经验,本文为该专题第一篇。
1272 0
|
机器学习/深度学习 存储 缓存
冷启动延时缩短50%-80%,阿里云函数计算发布冷启动加速技术
近日,阿里云函数计算重磅发布冷启动加速技术,将原本属于开发者的镜像优化负担转由函数计算承担,进一步帮助开发者提高生产效率,专注业务创新。该技术源于阿里集团超大规模和场景高度复杂的容器环境,对镜像存储、加速技术有深厚的积累,并出色地承担了3年双十一,双十二,春节等大促秒杀场景的严苛的挑战。
4573 7
冷启动延时缩短50%-80%,阿里云函数计算发布冷启动加速技术