基于 eBPF 的 Serverless 多语言应用监控能力建设

简介: 面向未来,云计算将会全面 Serverless 化,多语言,全生态的支持将会是 Serverless 产品发力的重点,SAE 应用监控能力同样会持续不断的演进和增强,目前已经全面上线了无入侵,多维度,高性能的应用核心指标监控和告警能力,欢迎大家使用。

作者:竞霄


监控能力作为基础运维能力和核心稳定性措施,开发运维人员可以通过监控系统有效进行故障定位,预防潜在风险,分析长期趋势进行容量规划和性能调优,是软件开发生命周期中必不可少的一环。与此同时,Serverless 作为云计算的最佳实践和未来演进趋势,其全托管免运维的使用体验和按量付费的成本优势,使得其在云原生时代备受推崇,在下一个十年将成为云厂商提供的核心能力。随着 Serverless 的心智普及度越来越高,场景覆盖度越来越广,更多使用 PHP, Python,C/C++, Node.Js, Golang 等语言的用户开始进行 Serverless 架构升级。


1.png


对于这部分用户来说,传统的应用监控方案存在以下痛点:


  • 建设成本高需部署一整套监控系统,包括数据采集,指标传输,持久化存储,可视化展示,告警等模块,增加了额外的资源成本和人力成本。
  • 埋点强入侵需评估各语言,各框架,各接口的监控指标诉求,引入三方依赖进行繁琐地手动埋点。虽然对于 PHP, Python 等语言,已经有借助对象(模块)替换增强的技术实现无需修改的指标采集,但其能力成熟度,框架兼容性,运行稳定性等方面都还有进一步提升的空间。
  • 运维复杂用户需要确保整个监控链路的低延时,高可用和指标准确性,需要对比分析引入监控埋点后对原有应用性能上的影响并持续优化。


Serverless 产品需要提供一种统一的,开箱即用的,无入侵零改造的方式来实现任意语言的应用监控能力,使得多语言用户可以充分享受 Serverless 带来的普惠技术红利。下面我们首先对其背后使用的 eBPF(Extended Berkeley Packet Filter) 技术进行介绍。


何为 eBPF?


eBPF 全称为 Extended Berkeley Packet Filter,始于 Linux 3.18,是一项革命性的 Linux 内核技术。eBPF 提供了基于系统或程序事件的高效,安全,无入侵执行特定代码的通用能力。在 eBPF 诞生之前,由于用户态与系统态相互隔离,应用程序无法直接处理内核数据,而如果直接修改内核又具备相当的复杂性,每次开发或调试都需要重新编译,效率十分低下,安全性也无法保证。


eBPF 作为一个运行在内核中的虚拟机,允许开发人员直接提交 eBPF 程序,在不修改内核代码的情况下运行特定的功能。eBPF 程序基于事件驱动模型,当内核运行到特定 hook 点时会触发执行,预定义的 hook 点包括系统调用、函数进入/退出、内核 tracepoints、网络事件等。对于不存在的 hook 点也可以通过 KProbe,UProbe 进行动态埋点,提供内核态和用户态函数的追踪能力。借助丰富的 hook 点,eBPF 技术可被广泛应用于包括网络监控、安全过滤和性能分析等诸多场景。


2.png


eBPF 的工作流程如下图所示,首先通过在用户空间内使用 LLVM 或者 GCC 将编写好的 eBPF 程序编译成为字节码,然后借助系统调用 bpf 将其加载至内核中。eBPF 虚拟机将使用验证器对字节码进行安全性校验,如只能使用受限的 helper 辅助函数,有限的循环次数和执行时间,DAG 判断是否存在不可达代码等,避免其造成内核崩溃。


安全校验后 eBPF 字节码将通过即时编译器(JIT,Just-In-Time Compiler)编译成为原生机器码,提供近乎内核本地代码的执行效率,并挂载到具体的 hook 点上。用户态程序与 eBPF 程序间通过常驻内存的 eBPF Map 结构进行双向通信,每当特定的事件发生时,eBPF 程序可以将采集的统计信息通过 Map 结构传递给上层用户态的应用程序,进行进一步数据处理与分析。


3.png


SAE 应用监控


SAE(Serverless 应用引擎)作为业界首款面向应用的 Serverless PaaS 平台,全托管免运维,实现了单体 Web 应用,微服务应用以及定时任务的 Serverless 化。其核心优势之一在于用户可以低心智负担,零改成成本的将其应用/任务直接部署至 SAE 中。目前在 JAVA 生态中,无论是代码包部署,监控调用链的集成,还是分布式调度框架的迁移,都可以让用户无需改动任何业务逻辑和版本依赖的情况下使用。


4.png


基于 eBPF 技术,SAE 应用监控支持了针对任意语言,任意框架的无入侵指标采集与监控告警能力,提供包括应用/实例维度的黄金三指标 RED(请求数,错误数,响应时间)和 HTTP 状态码统计,以及提供服务与依赖服务的接口级别调用信息。借助内置可视化大盘,开发运维人员可以及时评估当前应用对外服务状态,有效识别用户体验、服务中断、业务异常等问题。


SAE 应用监控能力具备以下核心优势:


  • 免运维开箱即用,部署即生效,用户无需额外运行维护监控告警组件。
  • 代码无侵入无需任何代码埋点,无需任何依赖修改即可获取到丰富的监控数据。
  • 语言无关通过内核层进行网络协议解析,支持任意语言,任意框架。
  • 多协议覆盖支持对 HTTP,MySQL,Redis,Kafka,DNS 等网络协议,进行指标和链路的监控。
  • 高性能
    通过减少数据在内核态和用户态之间的拷贝,以极低的性能消耗获取指标数据。


5.png


技术实现上,SAE 通过将 eBPF 探针以 sidecar 的形式与用户业务程序部署在同一安全容器中,实现了多租隔离。


eBPF 程序将会监听 accept/close/read/write/sendto/recvfrom 等系统调用,获取本地及远端地址,线程上下文,文件描述符 fd 等信息,同时关联当前容器实例信息产出原始事件。


然后将原始事件的内容发送至用户态程序。用户态程序进行应用层协议识别,解析出协议的关键字段,匹配单条链路的请求和响应,同时经过事件过滤,维度收敛,元信息关联,预聚合等步骤进行数据加工,生成最终指标。最后周期性将采集指标上报至 Arms Promethues 中进行持久化存储。


6.png


总结


面向未来,云计算将会全面 Serverless 化,多语言,全生态的支持将会是 Serverless 产品发力的重点,SAE 应用监控能力同样会持续不断的演进和增强,目前已经全面上线了无入侵,多维度,高性能的应用核心指标监控和告警能力,欢迎大家使用。同时在后续的 RoadMap 中,SAE 将会推出全局调用拓扑,服务上下游依赖,调用链路详情等进阶功能,打造更加完善的 Serverless 多语言可观测体系。

相关实践学习
【玩转ComfyUI】基于函数计算一键部署AI生图平台ComfyUI
本次实验将带大家通过使用阿里云产品函数计算FC,快速使用ComfyUI实现更高质量的图像生成。
从 0 入门函数计算
在函数计算的架构中,开发者只需要编写业务代码,并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来,将精力投入到更有意义的开发任务上。
相关文章
|
10月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
915 30
|
11月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
967 12
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1522 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
人工智能 开发框架 安全
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
作为云上托管 MCP 服务的最佳运行时,函数计算 FC 为阿里云百炼 MCP 提供弹性调用能力,用户只需提交 npx 命令即可“零改造”将开源 MCP Server 部署到云上,函数计算 FC 会准备好计算资源,并以弹性、可靠的方式运行 MCP 服务,按实际调用时长和次数计费,欢迎你在阿里云百炼和函数计算 FC 上体验 MCP 服务。
1154 31
|
存储 编解码 Serverless
Serverless架构下的OSS应用:函数计算FC自动处理图片/视频转码(演示水印添加+缩略图生成流水线)
本文介绍基于阿里云函数计算(FC)和对象存储(OSS)构建Serverless媒体处理流水线,解决传统方案资源利用率低、运维复杂、成本高等问题。通过事件驱动机制实现图片水印添加、多规格缩略图生成及视频转码优化,支持毫秒级弹性伸缩与精确计费,提升处理效率并降低成本,适用于高并发媒体处理场景。
1760 0
|
11月前
|
人工智能 运维 安全
聚焦 AI 应用基础设施,云栖大会 Serverless AI 全回顾
2025 年 9 月 26 日,为期三天的云栖大会在杭州云栖小镇圆满闭幕。随着大模型技术的飞速发展,我们正从云原生时代迈向一个全新的 AI 原生应用时代。为了解决企业在 AI 应用落地中面临的高成本、高复杂度和高风险等核心挑战,阿里云基于函数计算 FC 发布一系列重磅服务。本文将对云栖大会期间 Serverless+AI 基础设施相关内容进行全面总结。
|
11月前
|
人工智能 Kubernetes 安全
重塑云上 AI 应用“运行时”,函数计算进化之路
回顾历史,电网的修建,深刻地改变了世界的经济地理和创新格局。今天,一个 AI 原生的云端运行时的进化,其意义也远不止于技术本身。这是一次设计哲学的升华:从“让应用适应平台”到“让平台主动理解和适应智能应用”的转变。当一个强大、易用、经济且安全的 AI 运行时成为像水电一样的基础设施时,它将极大地降低创新的门槛。一个独立的开发者、一个小型创业团队,将有能力去创造和部署世界级的 AI 应用。这才是技术平权的真谛,是激发全社会创新潜能的关键。
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
存储 消息中间件 人工智能
ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用
本文整理自2024年云栖大会阿里云智能集团高级技术专家金吉祥的演讲《ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用》。
814 129
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
856 12

相关产品

  • 函数计算