重塑云上 AI 应用“运行时”,函数计算进化之路

简介: 回顾历史,电网的修建,深刻地改变了世界的经济地理和创新格局。今天,一个 AI 原生的云端运行时的进化,其意义也远不止于技术本身。这是一次设计哲学的升华:从“让应用适应平台”到“让平台主动理解和适应智能应用”的转变。当一个强大、易用、经济且安全的 AI 运行时成为像水电一样的基础设施时,它将极大地降低创新的门槛。一个独立的开发者、一个小型创业团队,将有能力去创造和部署世界级的 AI 应用。这才是技术平权的真谛,是激发全社会创新潜能的关键。

作者:世如

引言:AI 应用的“电器时代”与运行时的“隐形枷锁”

阿里云王坚博士曾不止一次的强调云计算的核心价值 —— 成为数字时代的“超级电网”;19 世纪末,电力的发现开启了人类历史的第二次工业革命。然而,真正引爆这场革命的,并非仅仅是爱迪生发明的灯泡,而是特斯拉等人构建的交流电系统和覆盖千家万户的 “电网”。

电网让创新者们不再需要为每个发明都配备一台笨重的发电机,他们只需专注于创造——“电器”。

今天,由 LLM 驱动的新一轮“电气革命”已经到来。LLM 就是那座强大的新型“发电机”,正源源不断地产生着“智能”。全球开发者正以前所未有的热情,投身于各种 AI Agent 这些新型“电器”的创造 。

在这场智能大爆炸的面前,面对接踵而至的多样化 AI 应用场景,一个根本性的问题摆在我们面前:为这些 AI 应用输送“智能”的“超级电网”——我们现有的云原生运行时——真的准备好了吗?

答案是,远未准备好。无论是被誉为“云原生操作系统”的 Kubernetes,还是被看作“终极形态”的无服务器(Serverless),在面对 AI 应用时都暴露出了深刻的架构失配。它们就像第一次工业革命时期笨重、低效的蒸汽机,虽曾是中流砥柱,却已然无法胜任驱动“电气时代”的重任。


我们需要一场彻底的、面向 AI 的运行时革命。


01 来自一线战场的“炮火”:AI 应用到底需要什么样的运行时?


4 月初,MCP 的热度一时点燃了 AI 应用的又一波热潮,大家真正的感受到了 Tool 的规范引入对于挖掘 LLM 潜能的价值,大模型真的有了手和脚,一下子 AI 应用的关注点从单纯驱动 LLM 转移到了如何利用 Tool 构建更加智能的 Agent。函数计算作为阿里云百炼、宜搭和开源魔搭社区等 MCP 市场的底层运行时,我们见证了第一波大规模 AI 应用浪潮对运行时的真实冲击。


过去 5 个月,我和产品,PDSA 们与超过 100 家寻求 AI 业务落地的客户深入交流,也负责和阿里集团内部几个智能体平台团队进行了业务上的深度合作,同时和前线也帮助国内几家大的模型服务头部厂商在函数计算产品上落地 Agent 平台业务,涉及 Agent 运行时,Code Sandbox和Browser Sandbox 工具运行时。

1758004282699_6D23B190-D6C3-4a22-97CC-C82DB0EB0032.png

理论是苍白的,场景是鲜活的。我们先一起看看目前在阿里云函数计算上已经落地的企业 AI 业务场景,以及他们为此付出了怎样的“基础设施代价”。从这些正在真实发生的 AI 应用场景,来剖析它们的共同特征,并推导出对下一代运行时的核心要求。


场景一:AI 开发平台 MCP Server 托管场景 (AI Tool)

  • 企业场景:开展 MCP 市场的平台客户,例如百炼 MCP 市场,魔搭开源社区 MCP 市场,宜搭 MCP 市场。
  • 对运行时的核心要求:
  • 会话状态管理:必须有轻量、高效的机制来维持长程会话的上下文与记忆,核心诉求就是能够支持 MCP SSE 协议和 MCP Streamable HTTP 协议。
  • 轻量极速启动:必须为每一次工具调用(特别是代码执行)提供毫秒级启动、由于不同 MCP Server 业务调用规模不同,运行时的资源规格从0.1C128M~1C2G。
  • 高频工具调用的经济性:工具的调用是短暂,50~100 毫秒级、高频的,运行时必须支持“按需执行、闲时零成本”的模式,否则成本会爆炸。
  • 会话保持的经济性:早期 MCP Server 必须先保持一个 SSE 长连接,即便 MCP Streamable HTTP 协议,在会话保持的情况下,也需要长时持有实例,但实际业务请求呈现稀疏调用特征,需要在实例保持的情况下,按照实际的业务请求及执行负载计费。
  • 平台基础设施代价评估:开始一段时间,MCP 市场上有 10W+ 的 MCP Server 托管,但只有不到 5W+ 的活跃 MCP Server 存在调用,在这种情况下,平台只需要付出非常小的成本代价,因为大部分的 MCP Server 都属于闲置状态;在这种稀疏,不确定的场景下,不管是平台一方的 MCP Server,还是用户自托管只需要为活跃的调用付费。


场景二:交互式智能内容创作助手(AI Agent)

  • 企业场景:市场营销科技公司、大型企业的内容创作与知识管理团队。
  • 实际用例:市场经理在一个富文本编辑器中输入初稿,AI 助手可以实时地进行润色、扩写、总结。经理可以进一步下达指令,如“帮我配一张科技感的头图”、“将这段翻译成英文”、“把语气变得更专业”。
  • 应用行为拆解:
  • a. 多轮对话:整个创作过程是一个持续的多轮人机交互会话。
  • b. 上下文记忆:AI 必须记住之前的文稿版本、用户的修改指令和偏好,才能提供连贯的创作建议。
  • c. 异构任务流:这个过程混合了多种任务。文本润色主要依赖 LLM(CPU 密集),而“配图”则需要调用文生图的扩散模型(GPU 密集)。
  • d. 流式响应:为了获得更好的用户体验,AI 的回答(特别是长文本)需要像打字机一样逐字流式输出。
  • 对运行时的核心要求:
  • 原生会话状态管理:必须有轻量、高效的机制来维持长程会话的上下文与记忆。
  • 会话保持支持 idle 能力:会话保持,在一段时间没有请求时,能够自动释放运行时实例,释放前能够提供回调入口,调用 Agent 内部的记忆持久化逻辑,写入持久化记忆中,然后缩 0,下次请求能够在毫秒级快速拉起实例。
  • 运行时的最大存活时间要求:不要求一直存活,但一直有请求的时候要能够保证至少存活 6 个小时。
  • 异构计算调度:运行时需要能智能地将文本任务和图像生成任务,分别调度到最合适的 CPU 和 GPU 资源上。
  • 低延迟流式通信:需要原生支持 SSE (Server-Sent Events) 或 WebSocket 等流式协议,以实现打字机效果。


场景三:个性化 AI 客服(AI Agent)

  • 企业场景:大型电商平台、在线旅游(OTA)、SaaS 软件公司。
  • 实际用例:某电商平台的“主动式导购 Agent”。当一个用户在某个昂贵的商品页面停留超过 3 分钟,并反复查看评论和规格时,AI Agent 不是被动等待提问,而是主动发起对话:“您好!我是您的专属 AI 导购,xxx”。
  • 应用行为拆解:
  • a. 事件驱动:Agent 的启动是由复杂的业务事件(如用户行为日志、定时器)触发的,而不是简单的 API 请求。
  • b. 数据密集:在发起对话前,Agent 需要瞬间拉取并整合多个数据源:用户的历史订单(CRM)、商品知识库(向量数据库)、实时库存(ERP)等。
  • c. 7x24 小时待命:Agent 需要全天候“在线”,随时准备响应触发事件。
  • 对运行时的核心要求:
  • 丰富的事件源集成:运行时必须能无缝对接各类业务事件源,如消息队列、数据库变更、行为日志流等。
  • 低延迟数据访问:必须提供高效的机制,让运行实例能快速访问 VPC 内的各种数据服务,支持 VPC 网络配置。
  • “永远在线”的成本效益:需要一种“缩容到零”但能被事件快速“唤醒”的机制,以极低的成本实现 7x24 小时的可用性。


场景四:通用 Agent 平台+病毒式传播的 AIGC 创意应用(AI Agent + Sandbox)

  • 企业场景:面向消费者的(toC)通用 Agent 平台公司,开展面向 C 端客户的 AIGC 创意应用。过提示词写出一个完整的项目工程,并且可以一键部署和分享出去。
  • 实际用例:客户是一个国内头部的基础大模型服务公司,利用自己的大模型,结合面向 C 端的 Agent 平台开展全栈开发,目的让用户可以通过提示词写出一个完整的项目工程,并且可以一键部署和分享出去。
  • 应用行为拆解:
  • a. Agent 智能体:通过和用户对话,根据用户输入,以休闲益智类游戏为例,通过特定 LLM 生成游戏代码。
  • b. 代码执行验证:AI Agent 生成代码,然后需要一个 Code Interpreter Sandbox 来执行验证 AI 生成的代码。
  • c. 生成服务并分享:AI 生成的游戏项目完成验证,用户可以部署为一个服务,然后通过分享对外发布。
  • d. 脉冲式流量:应用可能在某个晚上因为一个网红的推荐而流量激增,并发请求在几分钟内从 10 个飙升到 10000 个。
  • e. 大文件处理:应用需要处理用户上传的高清照片,并生成高清结果图,涉及较大的数据 Payload。
  • 对运行时的核心要求:
  • 原生会话状态管理:必须有轻量、高效的机制来维持长程会话的上下文与记忆。并支持大量的会话创建,应对平台日均百万级客户规模。
  • 会话保持支持 idle 能力:会话保持,在一段时间没有请求时,能够自动释放运行时实例,释放前能够提供回调入口,调用 Agent 内部的记忆持久化逻辑,写入持久化记忆中,然后缩 0,下次请求能够在毫秒级快速拉起实例。会话不要求一直存活,但一直有请求的时候要能够保证至少存活 6 个小时。
  • 轻量级安全沙箱:为规避 AI 代码执行的任何安全风险,为 AI 生成的代码提供一个安全的执行环境,提供秒级甚至毫秒级启动、用后即焚的强隔离沙箱。
  • 安全沙箱存储隔离:要求能够支持动态存储挂载,会话之间存储保持隔离,每一个会话只挂载对应会话目录,持久化会话目录能支持 TTL 自动清理。
  • 支持大规模的 AIGC 应用部署:由于是 AI 生成代码,可以不断的创建分享新应用,平台会对用户分享的工程数量做限制,但是从平台长期商业化角度,考虑到用户规模,未来要支持海量的应用创建。
  • 极致的并发弹性:分享后的休闲游戏,突然火爆之后,运行时必须能够瞬时、自动地应对 1000 倍以上的流量增长,且无需任何人工干预。
  • 高频工具调用的经济性:工具的调用是短暂、高频的,运行时必须支持“按需执行、闲时零成本”的模式,否则成本会爆炸。

总结:下一代 AI 运行时的七大核心诉求

从这些真实的用例中,我们可以清晰地勾勒出新一代 AI 应用的共同画像:它们是会话式的、工具增强的、事件驱动的、按需成本。这最终汇聚成了对理想运行时的七大核心诉求:


1. 会话管理:能够低成本、高效率地管理长程会话和状态。

2. 流程编排:内建或无缝集成复杂任务流的编排能力。

3. 安全沙箱:默认提供轻量、快速、强隔离的安全执行环境,尤其是存储隔离。

4. 极致弹性:能对 CPU 和 GPU 等异构资源实现从零到万的瞬时、按需伸缩。

5. 应用管理:能够管理十万至百万级应用管理,应用创建没有额外费用。

6. 一直在线:一种逻辑上的长时运行,上下文持久化,有请求时快速恢复执行,无请求时按照 idle 缩 0。

7. 成本效益:能够完美匹配 AI 应用稀疏、不确定,脉冲式的调用模式,实现真正的“按价值付费”。


这些诉求,正是驱动着云端运行时,从传统的 VM、到容器化的 K8s、再到新一代 AI 原生 Serverless 架构演进的根本动力。


02 传统容器运行时的“蒸汽机”困境


Kubernetes(K8s)作为当前云原生的“操作系统”和事实标准,其强大和通用性毋庸置疑。然而,当它直接面对形态各异、需求极致的 AI 运行时,将它应用于 AI Agent、Sandbox 这类新兴的、更加动态和细粒度的 AI 应用场景时,K8s 的“通用性”设计哲学和实现细节暴露出了一系列深刻的问题,带来了一系列具体而微的“摩擦”和“掣肘”。这些问题不是“K8s 行不行”,而是“用 K8s 做这件事,我们的代价、复杂度和天花板在哪里?”。


挑战一:面向资源,而非运行时的元数据管理瓶颈

在 K8s 的架构中,etcd 是整个集群的“中央档案室”和唯一的事实源头。它存储了集群中每一个资源对象(Pod, Service, ConfigMap, Job 等)的定义(Spec)和状态(Status)。


这个面向资源的“中央集权”设计,在面对巨量、高频的函数创建/销毁应用场景时,会遇到以下几个具体的瓶颈:


瓶颈一:强一致性的“写入放大”效应。etcd 是一个基于 Raft 协议的强一致性键值存储。当你在 K8s 中创建一个业务 Pod 时,这个看似简单的操作,在 etcd 层面会触发一系列“重”操作:API Server 向 etcd 的 Leader 节点发起写入请求,Leader 节点需要将这个写入日志复制给多数 Follower 节点,并等待它们的确认。这个过程是为了保证集群状态的绝对可靠,但牺牲了极致的写入性能当成千上万的函数实例被同时创建时,etcd 的 Raft 协议会成为写入操作的瓶颈。


瓶颈二:“状态更新”的风暴。比“创建”更可怕的是“状态更新”。一个 Pod 的生命周期中会经历多个状态(Pending, ContainerCreating, Running, Succeeded 等)。每个节点上的 kubelet 都会频繁地向 API Server 汇报 Pod 的最新状态,这些海量的状态更新最终都会被写入到 etcd 中。对于生命周期较短的业务场景,其短暂的一生中产生的状态更新流量,远比其创建时的流量要大。这场“状态风暴”会持续不断地冲击 etcd,消耗其 I/O 和 CPU 资源。


瓶颈三:“监视(Watch)”机制的负担。K8s 的控制器模型依赖于“List-Watch”机制来感知资源变化。当集群中有数万乃至数十万个 Pod 对象时,大量的控制器(包括自定义的 Operator)会与 API Server 建立长连接来监视这些 Pod 的变化。这会给 API Server 和 etcd 带来巨大的内存和连接压力,导致事件通知延迟,整个集群的响应“变钝”。


K8s 的元数据管理是为“相对稳定、长时间运行”的“服务”设计的,而不是为“巨量、瞬时、高频生灭”的应用设计的,它的可靠性来自于牺牲了一部分极致的规模化能力。


挑战二:安全与隔离的“漏”与“重”:为“沙箱”付出的高昂代价

供 AI 代码执行的安全沙箱是 AI 应用体系的核心组成部分,它要求在执行不可信代码(尤其是 LLM 生成的代码)时,提供绝对安全强隔离、轻量级、快速启动的环境。K8s 在这方面提供了几种选择,但每种都有难以调和的矛盾。


原生默认隔离的“漏”:K8s 默认的 Pod 隔离基于 Linux Namespace 和 Cgroups,所有 Pod 共享宿主机的操作系统内核,共享内核的安全原罪。这意味着,一旦发生内核漏洞利用或容器逃逸,整个节点的安全防线都可能被击穿。对于需要执行任意代码的 AI Sandbox 场景,这种默认的隔离级别在执行 AI 代码安全风险完全不可预知的情况下是绝对不够的。况且以面向人为操作的管控情况下,安全风险层出不穷,AI 驱动的业务逻辑实现下,尤其在商业的驱动下,以往任何漏洞都有可能被 AI 利用,运行时面临更加极端的安全风险。


升级隔离方案的“重”:为了解决共享内核问题,基于轻量级虚拟化(MicroVM)的方案,如 Kata Containers,或基于用户态内核的 gVisor。它们确实能提供接近 VM 级别的强隔离。但问题在于:


a. 性能开销:相比普通容器,它们有明显的性能损耗(网络 I/O、文件访问等),相比追求极致的 FaaS 平台,很难牺牲通用型来实现极致的运行时优化。基于 K8s 通用运行时之上构建更加符合业务场景需要的轻量安全的沙箱能力本身是当下 Serverless,FaaS 平台专注的领域;

b. 运维复杂性:针对特定安全需求,需要特定的运行时配置(RuntimeClass)、运行时的配置绝不仅仅是一个配置的修改,同时依赖底层的硬件和内核支持,给集群的管理和维护带来了极高的复杂性。

Serverless 容器在这方面确实做了一些很好的优化,用户只需按需申请容器 Pod,自动匹配和管理底层计算资源,无需规划节点容量,整体来看如何平衡隔离和性能是这类架构核心关注点,并不是原生出发点。


挑战三:资源模型的适配:“标准化”遭遇“定制化”

K8s 的核心是围绕长时运行的服务设计的,其主力资源对象如 Deployment StatefulSet,好比是用来管理一支 7x24 小时运营的长途货运车队。但 AI Agent 和其工具的运行模式却完全不同,他们更像追求按需,敏捷的“同城闪购”,弹性与速度成为支持“同城闪购”的核心诉求。


AI Agent 的“思考” vs. K8s 的“服务”:一个 AI Agent 的核心是一个“思考循环”,问题回答完成,一个空闲的时间之后,它长时间处于待命状态,等待外部事件触发,然后进行一连串密集的计算和工具调用。它本质上是有状态的、单体的、触发式运行。用 K8s 的工作负载来管理有状态的,单体的 Agent,目前无法优雅地处理 Agent “长时间待命,短时爆发”的模式。


AI Tool 的“执行” vs. K8s 的“任务”:一个 AI Tool 的调用是一次性的、短暂的函数执行。在 K8s 里,最接近的模型是 Deployment 或 Job。但为了执行一个可能只耗时 200 毫秒的 Python 脚本(例如,调用一次天气 API),开发者需要编写一个Dockerfile,构建一个容器镜像,再编写一个 Job 的 YAML 文件。这个过程的“仪式感”过重,管理和部署成本极高,完全违背了工具应有的轻便和灵活。Knative 和 OpenFaaS 等项目试图在 K8s 上构建 FaaS(函数即服务)体验,但这本身就证明了 K8s 原生能力的缺失,并引入了又一个需要维护的复杂技术栈,通过增加更多复杂性来“模拟”一个轻量级的能力。


AI 应用闪购属性凸显,C 端需求的不确定性:弹性规模受 K8s 系统原生设计,实例的创建/释放存在全局瓶颈。K8s 的 HPA 需要几十秒时间收集实例指标决策是否扩缩容,Pod 的启动包含镜像拉取、网络分配、容器启动等多个步骤,通常在几秒到几十秒;极端情况下,集群底层资源节点不足时,这通常需要数分钟时间来进行扩容;面向通用性设计的稳定性要求,无法满足瞬时弹性的根本诉求,依赖业务基于 K8s 资源二次封装。


挑战四:弹性与成本的“经济账”:为“可能性”支付 7x24 小时的账单

AI 应用的调用模式往往是“稀疏”且“不可预测”的,这使得 K8s 基于“预留资源”的成本模型显得捉襟见肘。作为 AI 应用的 “电网”,有责任解决普通居民用电的经济诉求和整体电力的有效输送。


AI Agent 待命费用:假设你为一个企业内网的 1000 名员工,每人配备一个个人 AI 助理 Agent。这些 Agent 大部分时间都在等待用户指令。在 K8s 中,为了保证即时响应,你需要为这 1000 个 Agent 持续运行 1000 个 Pod,这意味着企业需要为数千个几乎永远处于空闲状态的 Pod 支付 7x24 小时的资源成本。在这种应用场景下,每个 K8s 工作负载只有一个 Pod 实例,由于 K8s 实例运行时并没有提供运行时维度原生的生命周期管理能力,借助 KEDA 等项目可以为 K8s 带来“缩容到零”,对于用户需要配合复杂的系统设计才能实现实例状态保存,这是一个巨大的、无法接受的浪费。


Tool 轻量资源诉求:一个平台可能会提供上百个细粒度的 AI 工具(如“PDF 内容提取”、“图片尺寸修改”、“特定 API 调用”等)。在 K8s 上部署,每个工具都需要一个长期运行的 Deployment,如果考虑最佳实践至少 2 个副本保证可用性成本问题便会更加棘手,即使它们每天只被调用几次。这种“按部署付费”而非“按使用付费”的模式,以及工具对于极小资源粒度的强烈诉求,例如 0.05C128M,在当前 K8s 资源粒度限制下,都会成为成本的重要负担。


挑战五:使用和管理维度的无尽细节,成为平台规模化的隐形成本

Kubernetes 复杂性已成为行业共识。开发者被迫从“算法工程师”转型为“YAML 工程师”,平台本身成为了创新的阻力。管理复杂的网络策略、RBAC 权限等,本身就是一项高门槛的专家级工作;面对 AI 应用创新敏捷开发诉求,K8s 的复杂性会拖累整个业务创新速度;即便 Serverless Kubernetes 能够解决部分运维管理的问题,但其核心解决的是“我不想管理 K8s 集群”的问题。 它的核心是让你用 K8s 的方式,但无需关心底层的服务器,你的交互对象依然是容器(Pod)。而当前 AI 应用创新的核心逻辑是,我通过 Agent 框架快速的实现了一个 Agent 业务,我用 AI 快速的生成了一个应用,核心诉求是“只想运行我的代码”的问题,核心是完全不用关心任何基础设施,包括容器。


面对 AI 应用开箱即用诉求下的一系列周边需求, 大量 AI 应用创建,也就意味着有大量的 Service 创建,网络 IP 的“快速消耗”: 每个 Pod 对应的 Service 消耗一个 IP 地址的模式,在规模化场景下会快速耗尽 IP 资源,成为平台扩容的严重制约。


03 传统无服务器架构运行时的“状态枷锁”


在我们深入剖析了传统运行时及 K8s 体系在 AI 浪潮下的种种“不适”之后,一个自然的问题是:那么,被誉为云原生终极形态的无服务器(Serverless FaaS)架构,就是那个“开箱即用”的答案吗?


坦率地说,并非如此。传统的、以无状态为核心设计理念的 FaaS 架构,与以 AI Agent 和 Sandbox 为代表的新兴有状态工作负载之间,存在着根本性的架构失配。我们尝试基于已有的函数计算构建有状态的 AI Agent 和 Sandbox,一系列的挑战接踵而至:


挑战一:模拟会话导致复杂且脆弱的实例生命周期管理

问题描述为了模拟会话,每个会话都对应一个配置了静态预留实例的函数。这意味着,会话的生命周期必须与函数计算实例的生命周期严格同步。当一个用户会话结束时,我们需要通过更新函数的弹性策略,将最小实例数从 1 调整为 0,以触发实例的回收,从而避免产生不必要的闲置费用。这个过程被证明是“复杂且难以有效管理的”。


深度分析此问题的根源在于 FaaS 平台设计的核心假设——实例是短暂且由平台自动管理的。函数计算的实例生命周期(创建、调用、销毁)是事件驱动的,其设计目标是响应请求的潮汐变化,而非维持一个与外部业务逻辑(如用户会话)同步的、长周期的状态。虽然平台提供了预留实例和生命周期挂钩(如 InitializePreStop)等高级功能,但这些功能的设计初衷是为了应对冷启动或实现优雅停机时的状态清理,而不是作为管理长连接会话状态的核心机制。


我们被迫在应用层“逆向工程”平台的调度行为,通过 API 调用频繁地修改基础设施的弹性配置,这本质上是在对抗平台的设计理念。这种做法不仅增加了系统的复杂性,也使其变得非常脆弱。例如,我们需要额外考虑闲置会话的超时回收、会话中断后的状态恢复、以及更新弹性策略失败时的补偿逻辑等一系列棘手问题。这与 FaaS 承诺的“免运维”理念背道而驰,极大地增加了运营成本和系统的不可靠性,也印证了在无状态 Serverless 架构中管理持久状态的普遍挑战。


挑战二:函数隔离下的配置复用和管理问题

问题描述:由于每个会话都需要创建一个独立的函数来实现隔离,导致每个函数实例的配置(如环境变量、资源规格、网络设置)都相对独立。这使得跨实例、跨会话的配置复用变得异常困难,显著增加了管理开销。


深度分析:在传统 FaaS 的世界里,“函数”是配置和部署的基本单元。平台所有的管理和优化都是围绕函数展开的。当应用场景迫使我们将“会话”这一应用层概念与“函数”这一基础设施层概念进行一对一绑定时,就破坏了配置复用的可能性。在一个更传统的虚拟机或容器编排系统中,我们可以使用一个“镜像”或“模板”来批量创建成千上万个配置相同的实例。在传统 FaaS 方案中,每创建一个新会话,就意味着要进行一次完整的函数定义和配置过程,这相比传统资源管理已经足够轻量和敏捷,但在追求极致的 Serverless 世界,我们认为这在管理上仍然是极其低效和复杂的。


挑战三:原生基于函数隔离在高频会话创建场景效率下降

问题描述:为了给每一个新的会话提供一个隔离的环境,传统 Serverless 架构不得不频繁地通过 API 创建和删除函数。创建操作引入的控制面时间成本渗透到了业务逻辑中,造成了不必要的负担。


深度分析:这是本次探索中最为关键和深刻的发现。控制平面的性能带来了业务逻辑处理的隐形成本,在传统架构中管控是不得不面对的实际操作,相比资源创建,管控链路的消耗通常被认为理所当然。但相比 FaaS 平台的数据平面——即实际执行函数代码的计算实例——被设计为可以大规模水平扩展,其控制平面——负责函数的创建、删除、配置更新、路由规则变更等管理任务,尽管相比传统架构,已经非常极致,但对于追求更极致的 Serverless 场景,我们希望能够通过更多的函数维度配置复用,消除这样的不必要时间。


每一次函数的创建或删除,都不是一个轻量级操作。它涉及到在元数据存储中读写记录、更新 API 网关路由、配置网络和安全策略、以及与底层资源调度器交互等一系列复杂的分布式事务。一个设计良好的 Serverless 业务系统,其函数集合应该是相对稳定的,而实例数量是动态变化的。依赖大量的函数隔离,模拟会话导致了函数定义本身的高频变化。这种使用模式下,在需要极致高频创建会话逻辑的场景,必然会触及控制平面的请求限流,导致 API 调用延迟增高、甚至影响到平台上其他用户的正常使用,是典型地将应用层问题错误地转移到基础设施层来解决所导致的架构性问题。当然在不得不需要函数维度隔离的场景下,例如确保不同实例配置的差异化,可以通过预先创建函数资源的方式,维护一个函数元数据维度的缓存池解决高频创建场景下的性能问题。


04 从“理念契合”到“能力完备”:函数计算为 AI 而生的进化之路


这些尝试清晰地表明,我们遇到的所有挑战并非孤立的技术难题,而是源自于一个共同的根源:试图将一个本质上有状态、长周期、交互式的会话模型,强行适配到一个为无状态、短周期、请求-响应式事件设计的计算平台上。那么,为什么我们依然坚信,Serverless 才是 AI 时代的正确方向?


AI 运行时完美“理念契合” Serverless 运行时理念

机遇一:完善的事件驱动生态,完美契合未来多样的 AI Agent 交互模式

  • 万物皆可为“触发器”:Serverless 的事件驱动模型是构建 AI Agent 的完美基石。一封新邮件、一次数据库更新、一条 IoT 设备消息,都可以成为触发 Agent“感知-思考-行动”循环的事件。Serverless 平台因此成为连接数字世界与物理世界的、无处不在的“神经网络”。
  • 响应式与自主性的统一:AI Agent 天生就是一个事件驱动的系统,它“感知”外部事件,然后“思考”和“行动”。基于事件驱动,AI Agent 可以实现从被动响应用户查询,到主动监测环境变化、自主执行任务的巨大飞跃,成为真正的“自主智能体”。


机遇二:轻量敏捷的运行时沙箱,为 AI Sandbox 量身打造,防止 AI“逃逸”

  • 从重量级 VM 到轻量级 MicroVM:以 MicroVM 为代表的轻量级虚拟化技术,可以在极短时间内启动一个具有强内核级隔离的微型虚拟机。这为 AI 运行时提供了完美的“沙箱”——既能保证运行第三方或不可信 AI 模型的安全性,又能实现远超容器的隔离级别,是解决 GPU 等多租户安全隔离问题的理想答案。
  • 可扩展的执行环境:基于沙箱技术,我们可以为每个 AI 应用定制一个包含特定依赖库、数据卷和环境变量的、可复用的“运行时快照”。这极大地加速了冷启动过程,实现了环境的快速分发与一致性。


机遇三:极致弹性的天作之合,应对 AI 流量不可预测性的“脉冲风暴”

  • 从零到万的瞬间伸缩:一个 AI 应用可能在一夜之间引爆全球流量。无服务器架构与生俱来的、近乎无限的扩展能力,使其成为承载这种“病毒式”传播应用的唯一合理选择。企业无需预估和储备昂贵的 GPU 集群,只需为实际发生的计算付费,完美匹配 AI 应用高度不确定的业务发展曲线。
  • 事件驱动的 AI 代理(Agent)中枢:AI 正从简单的“请求-响应”模式,演变为能够主动感知、响应外部事件的智能代理。无服务器架构的事件驱动本质,使其成为构建 AI Agent 的天然“神经中枢”,能够无缝连接各种数据源、API 和物理世界事件,驱动 AI 进行决策和行动。


机遇四:异构算力的精细化调度与成本优化,AI 应用“一直运行”,但只为真正的请求付费

  • 算力“管弦乐团”:函数计算平台不是单一的 CPU 乐器,而是一个能够指挥 CPU、GPU、XPU 等多种算力的“管弦乐团”。通过将复杂的 AI 任务分解到不同的函数中,平台可以为每个步骤智能匹配最经济、最高效的算力,实现前所未有的资源利用率和成本效益。
  • AI 开发者的核心任务是构建“智能”,而非运维“设施”。FaaS 致力于将基础设施完全抽象掉,让开发者只关心业务代码的愿景,与 AI 开发者的诉求完全一致。

尽管挑战重重,但无服务器架构的核心理念——极致弹性、按需使用、免运维、开箱即用——与 AI 应用的爆发式、不可预测的负载模式高度契合。这与 AI 应用的需求有着惊人的、灵魂深处的一致性,这种在“核心理念”上的高度契合和一致性让我们相信,我们需要的不是放弃,而是一次深刻的进化。 同时我们看到行业领导者 AWS 也在 AI 应用运行时领域投出了重磅发布:AWS AgentCore,基于 AWS Lambda 构建 Agent Runtime,AI Sandbox 运行时,这更加坚定了我们的信心和目标。

阿里云函数计算 AI 原生运行时进化之路

面对上述困境,我们需要一个全新的、为AI而生的“超级电网”。进化的无服务器架构(函数计算)正朝着这个方向演进,它必须具备六大核心支柱:


1. 为请求赋予会话属性:如果说 LLM 是 AI 智能的源泉,会话就是 AI 应用的记忆与意识,突破无状态计算枷锁。

2. 重新定义事件驱动:突破单个事件设定,成为 AI Agent 的天然“神经系统”,连接万物,驱动智能。

3. 运行时沙箱的安全革命:以 MicroVM 为安全基石,以会话,存储维度运行时隔离赋予 Agent 安全的“行动力”,实现强隔离、快启动。

4. 异构能力的“管弦乐”:成为能精细化调度 CPU、GPU 等多种算力的“指挥家”,实现极致的成本效益。

5. 端到端的全景可观测:以 MCP,A2A 等标准协议连接智能载体,以 OpenTelemetry 等开放标准点亮“智能黑盒”,提供企业级的运维能力。

6. 解决状态的成本困局:函数计算以请求维度计费为其核心特点,在突破状态枷锁之后,AI 应用状态的维持,务必会带来请求资源的长期占有,和 AI 应用“稀疏”且“不可预测”的调用模式下的成本困局。


直面挑战,作为 Serverless 领域的领导者,阿里云函数计算(FC)正以先行者的姿态,用一系列硬核升级,将 AI 原生运行时的构想落为现实。


第一步:以“智能会话”原生 AI 应用原语破解状态枷锁,开发复杂度降低一个数量级

业务价值:开发者在构建复杂对话式 AI 和多轮工具 Agent 时,无需再依赖外部状态系统,极大地降低了架构复杂度和端到端延迟。

能力升华: 通过多维度的会话亲和与 Session API,函数计算将会话的定义权和生命周期管理权交还给开发者,实现了与业务逻辑的深度集成。


第二步:以“会话即沙箱”重塑安全边界,提供金融级隔离保障

业务价值:企业可以构建大规模、高密度、多租户的 AI Agent 或 Sandbox 服务。每个用户的会话都运行在一个完全隔离的“气泡”中,为在线编程、AI 代码助手等商业模式提供了绝对安全的基石。

能力升华:通过动态挂载和会话级计算与存储隔离(依托 MicroVM),实现了极致的资源优化和业界顶级的安全保障。


第三步:以“智能负载探测”革新成本模型,实现业务与成本双赢

业务价值:彻底改变了 Serverless 在有状态和后台任务场景下的成本模型,使得企业能以极低成本,运行需要“持续在线”的复杂 AI 应用(如 7x24 小时待命的 Agent)。

能力升华:突破传统的 Freeze/Unfreeze 模式,升级为按实际业务负载动态探测资源消耗,实现了从“为资源付费”到“为效果付费”的哲学转变。结合请求级 Idle 能力与动态快照,完美平衡了性能、弹性和成本。


第四步:以“开放标准”拥抱生态,简化连接与观测

业务价值:大幅降低构建企业级 AI 应用的架构复杂度,开发者无需自行搭建复杂的鉴权、服务发现和流式通信设施,也拥有了“上帝视角”的运维能力。
能力升华:原生支持 WebSocket, gRPC, SSE 流式亲和等现代协议和 JWT 等鉴权方式;与网关服务集成打通了 A2A,MCP 应用互通;全面拥抱 OpenTelemetry 标准,点亮了 AI 工作流这个“智能黑盒”。


第五步:以“DevPod”统一云上云下,提供所见即所得的开发体验

业务价值:解决了 AI Serverless 应用开发与调试的“黑洞”问题,提供与云端完全一致的环境,极大提升开发效率,是 AI 应用工程化“最后一公里”的坚实保障。


结语:为新时代的“电器发明家”铺路


回顾历史,电网的修建,深刻地改变了世界的经济地理和创新格局。今天,一个 AI 原生的云端运行时的进化,其意义也远不止于技术本身。


这是一次设计哲学的升华从“让应用适应平台”到“让平台主动理解和适应智能应用”的转变。当一个强大、易用、经济且安全的 AI 运行时成为像水电一样的基础设施时,它将极大地降低创新的门槛。一个独立的开发者、一个小型创业团队,将有能力去创造和部署世界级的 AI 应用。这才是技术平权的真谛,是激发全社会创新潜能的关键。


我们的终极目标,是实现函数计算无服务器架构的进化,使其成为AI智能体时代的、默认的、无形的“世界计算机”。在这条新修的“超级电网”上,开发者可以完全专注于 AI 应用的创造和业务逻辑的实现,而将背后的一切复杂性——资源、伸缩、记忆、安全、运维——都透明地交由平台处理。这不仅仅是关于运行代码,这是关于托管智能、赋能创造、并安全地连接 AI 与现实世界的伟大征程。


新时代的“电气革命”已经到来,而我们,正致力于为所有“电器发明家”,铺设那条通往未来的、最坚实的道路。

相关实践学习
【AI破次元壁合照】少年白马醉春风,函数计算一键部署AI绘画平台
本次实验基于阿里云函数计算产品能力开发AI绘画平台,可让您实现“破次元壁”与角色合照,为角色换背景效果,用AI绘图技术绘出属于自己的少年江湖。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
2月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
483 30
|
2月前
|
人工智能 运维 安全
加速智能体开发:从 Serverless 运行时到 Serverless AI 运行时
在云计算与人工智能深度融合的背景下,Serverless 技术作为云原生架构的集大成者,正加速向 AI 原生架构演进。阿里云函数计算(FC)率先提出并实践“Serverless AI 运行时”概念,通过技术创新与生态联动,为智能体(Agent)开发提供高效、安全、低成本的基础设施支持。本文从技术演进路径、核心能力及未来展望三方面解析 Serverless AI 的突破性价值。
|
2月前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
443 1
|
2月前
|
人工智能 缓存 运维
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
本文介绍联调造数场景下的AI应用演进:从单Agent模式到多Agent协同的架构升级。针对复杂指令执行不准、响应慢等问题,通过意图识别、工具引擎、推理执行等多Agent分工协作,结合工程化手段提升准确性与效率,并分享了关键设计思路与实践心得。
576 20
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
|
2月前
|
人工智能 安全 数据可视化
Dify让你拖拽式搭建企业级AI应用
Dify是开源大模型应用开发平台,融合BaaS与LLMOps理念,通过可视化工作流、低代码编排和企业级监控,支持多模型接入与RAG知识库,助力企业快速构建安全可控的AI应用,实现从原型到生产的高效落地。
Dify让你拖拽式搭建企业级AI应用
|
2月前
|
自然语言处理 数据挖掘 关系型数据库
ADB AI指标分析在广告营销场景的方案及应用
ADB Analytic Agent助力广告营销智能化,融合异动与归因分析,支持自然语言输入、多源数据对接及场景模板化,实现从数据获取到洞察报告的自动化生成,提升分析效率与精度,推动数据驱动决策。
|
3月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
512 12
|
8月前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
931 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
6月前
|
存储 编解码 Serverless
Serverless架构下的OSS应用:函数计算FC自动处理图片/视频转码(演示水印添加+缩略图生成流水线)
本文介绍基于阿里云函数计算(FC)和对象存储(OSS)构建Serverless媒体处理流水线,解决传统方案资源利用率低、运维复杂、成本高等问题。通过事件驱动机制实现图片水印添加、多规格缩略图生成及视频转码优化,支持毫秒级弹性伸缩与精确计费,提升处理效率并降低成本,适用于高并发媒体处理场景。
355 0
|
8月前
|
人工智能 开发框架 安全
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
作为云上托管 MCP 服务的最佳运行时,函数计算 FC 为阿里云百炼 MCP 提供弹性调用能力,用户只需提交 npx 命令即可“零改造”将开源 MCP Server 部署到云上,函数计算 FC 会准备好计算资源,并以弹性、可靠的方式运行 MCP 服务,按实际调用时长和次数计费,欢迎你在阿里云百炼和函数计算 FC 上体验 MCP 服务。
747 30

热门文章

最新文章

相关产品

  • 函数计算