作者:古琦、千陆、彦鸿
随着 Kubernetes 、Serverless 等云原生技术引领研发、运维模式变革。应用架构从单体架构逐步演进为分布式、微服务化应用,随着业务的发展,多语言、多框架、多协议的微服务在企业内部越来越多,微服务的复杂度越来越高,如何通过可观测来快速发现、定位微服务的问题,对于运维人员、开发人员都非常重要。
如何得知应用当前的运行架构、上下游依赖是否正常、流量是否正常这些都是可观测上重要的产品能力,随着微服务类型的增多,不同的语言、不同的框架、不同的如何进行埋点、不同的协议如何处理、是否对性能有影响,这些都影响了微服务可观测能力的建设。为了满足全场景、端到端的应用监控需求,应用实时监控服务 ARMS 推出应用监控 eBPF 版,通过 eBPF 技术完善整个应用监控的体系,接下来将重点介绍应用监控 eBPF 版。
01 使用场景
随着公司业务的发展,微服务数量变的越来越多,在不同业务中也会使用一些特定语言来编写应用,导致常用的应用可观测无法满足这种复杂场景,同时非 Java 的语言大部分需要使用 SDK 的方式接入监控,大大降低了研发人员的工作效率,因此应用监控 eBPF 版主要用于解决多语言场景下的应用可观测问题,提供无侵入的、语言无关的可观测能力,同时针对 go 语言的微服务,我们后续将提供一些特定的监控能力,如 GC 监控、内存 Dump、Profiling 等能力。
02 什么是 eBPF
eBPF 技术是一种在 Linux 内核中运行沙盒程序,而无需更改任何源代码或加载任何内核模块,有以下特性:
- 无侵入:成本极低,应用无需重启、无需修改代码
- 动态可编程:不需要重启探针,动态下发采集脚本
- 高性能:自带 JIT 编译成 native 代码
- 安全:verifier 机制保障内核运行稳定
03 使用 eBPF 采集应用监控数据
eBPF Agent 在 Kubernetes 环境下是 以Daemonset 方式部署在每个节点上,在用户态通过 Load eBPF 的程序到内核中运行,采集到数据后发送到用户态进行数据处理,然后形成不同类型的指标。
eBPF 在可观测领域具备三个最重要的优势:
- 无侵入:用户不需要修改任何业务代码,eBPF Agent 通过节点部署的方式实现应用的网络数据监控,业务无感知。
- 多语言、多框架、多协议:由于 eBPF 探针的无侵入性,所以对微服务的语言、框架、协议没有限制,eBPF 采集到应用请求的网络数据后,eBPF Agent 可以对不同类型的协议进行解析、识别,同时支持不同的开发框架。
- 全栈覆盖:集从网络层到应用层的所有数据,实现全栈的覆盖,可以采集内核空间、用户空间中不同类型的数据,如内核空间的 TCP/UDP、Socket,用户空间的如 golang 的 net/http 库。
04 使用应用监控 eBPF 版进行应用可观测
- 全局拓扑:能够正确地反应当前运行的应用的调用关系,帮助用户感知整体微服务的架构,通过对比期望架构,发现问题,通常在新应用上线,新地区开服,整体链路梳理等场景使用。
- 应用详情:展示微服务的请求数、错误数、平均耗时、实例数、接口、CPU、内存等信息,能够完整的查看当前应用的运行情况。
- 应用拓扑:可以快速查看上游请求和下游依赖,以及自身服务实例的运行情况,进一步提升问题定位能力,通常在已经定位到某个异常节点后使用。
- 实例监控:查看应用运行的单个实例的请求数、错误数、平均延时,同时可以查看单个实例的Pod运行的容器监控。
- 智能告警:可以配置应用的主动告警的能力,如果请求数、延迟、错误数、Http状态码等告警。
05 如何接入应用监控 eBPF 版
(1)前提条件
- 已开通 ARMS,具体操作,请参见开通和升级 ARMS[1]。
- 创建 Kubernetes 集群。目前应用监控 eBPF 版仅支持接入 ACK 集群,各集群创建方法如下:
- 创建 Kubernetes 专有版集群[2]
- 创建 Kubernetes 托管版集群[3]
- 已确认当前环境支持应用监控 eBPF 版运行。更多信息,请参见应用监控 eBPF 版运行环境要求和限制[4]。
(2)接入说明
为Kubernetes 集群安装以下监控组件即可将集群接入应用监控 eBPF 版:
- Prometheus 监控组件
说明:应用监控 eBPF 版的指标类数据依赖 Prometheus 监控,因此您需要先安装 Prometheus 监控组件。
- 应用监控 eBPF 版组件
安装前,需先检查目标集群是否存在 ARMS Addon Token,否则会出现权限不足的报错。若存在 ARMS Addon Token,ARMS 会进行免密授权,组件安装完成后,即可使用应用监控 eBPF 版;若不存在 ARMS Addon Token,则需要手动添加 ARMS 和链路追踪权限策略。查看 ARMS Addon Token 和手动添加权限策略方法如下:
查看集群是否存在 ARMS Addon Token。
- 登录容器服务管理控制台[5],在集群列表页面,单击目标集群名称进入集群详情页。
- 在左侧导航栏选择配置管理 > 保密字典,然后在顶部选择命名空间为 kube-system,查看 addon.arms.token 是否存在。
手动添加权限策略。
- 登录容器服务管理控制台。
- 在左侧导航栏选择集群,然后单击目标集群名称。
- 在目标集群的集群信息页面上单击集群资源页签,然后单击 Worker RAM 角色右侧的链接。
- 在角色页面的权限管理页签上,单击新增授权。
- 选择 AliyunARMSFullAccess 和 AliyunTracingAnalysisFullAccess 系统权限,然后单击确定。
说明:Kubernetes 托管版集群:对于部分 Kubernetes 托管版集群,可能存在没有 ARMS Addon Token 的情况,因此,对于 Kubernetes 托管版集群,建议首先检查 ARMS Addon Token 是否存在。若不存在,仍需进行手动授权。
Kubernetes 专有版集群:默认不支持 ARMS Addon Token,需进行手动授权。
安装 Prometheus 监控组件
- 登录容器服务管理控制台,在集群列表页面单击目标集群名称。
- 在左侧导航栏,选择运维管理 > Prometheus 监控。
- 如果 Prometheus 监控页面提示组件未安装,请执行下一步安装 Prometheus 监控组件。
- 在 Prometheus 监控页面,单击开始安装。
ACK 控制台将会自动安装 Prometheus 监控组件。
说明:命名空间默认为 arms-prom。
(4)安装应用监控 eBPF 版组件
a. 为已有应用安装组件
- 登录容器服务管理控制台,在集群列表页面单击目标集群名称。
- 在左侧导航栏,选择运维管理 > 集群拓扑。
- 在集群拓扑页面,单击开始安装。ACK 控制台将会自动安装应用监控 eBPF 版组件。
说明:命名空间默认为 arms-prom。
b. 新建应用时安装组件
- 登录容器服务管理控制台,在集群列表页面上的目标集群右侧操作列单击应用管理。
- 在无状态页面右上角单击使用 YAML 创建资源。
- 选择示例模板,并在模板(YAML格式)中将以下 labels 添加到 spec.template.metadata 层级下。
labels: armseBPFAutoEnable: "on" armseBPFCreateAppName: "<your-deployment-name>" //请将<your-deployment-name>替换为您的应用名称。
创建一个无状态(Deployment)应用并开启 ARMS 应用监控 eBPF 版的完整 YAML 示例模板如下:
apiVersion: v1 kind: Namespace metadata: name: arms-demo --- apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1 kind: Deployment metadata: name: arms-springboot-demo namespace: arms-demo labels: app: arms-springboot-demo spec: replicas: 2 selector: matchLabels: app: arms-springboot-demo template: metadata: labels: app: arms-springboot-demo armseBPFAutoEnable: "on" armseBPFCreateAppName: "arms-k8s-demo" spec: containers: - resources: limits: cpu: 0.5 image: registry.cn-hangzhou.aliyuncs.com/arms-docker-repo/arms-springboot-demo:v0.1 imagePullPolicy: Always name: arms-springboot-demo env: - name: SELF_INVOKE_SWITCH value: "true" - name: COMPONENT_HOST value: "arms-demo-component" - name: COMPONENT_PORT value: "6666" - name: MYSQL_SERVICE_HOST value: "arms-demo-mysql" - name: MYSQL_SERVICE_PORT value: "3306" --- apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1 kind: Deployment metadata: name: arms-springboot-demo-subcomponent namespace: arms-demo labels: app: arms-springboot-demo-subcomponent spec: replicas: 2 selector: matchLabels: app: arms-springboot-demo-subcomponent template: metadata: labels: app: arms-springboot-demo-subcomponent armseBPFAutoEnable: "on" armseBPFCreateAppName: "arms-k8s-demo-subcomponent" spec: containers: - resources: limits: cpu: 0.5 image: registry.cn-hangzhou.aliyuncs.com/arms-docker-repo/arms-springboot-demo:v0.1 imagePullPolicy: Always name: arms-springboot-demo-subcomponent env: - name: SELF_INVOKE_SWITCH value: "false" - name: MYSQL_SERVICE_HOST value: "arms-demo-mysql" - name: MYSQL_SERVICE_PORT value: "3306" --- apiVersion: v1 kind: Service metadata: labels: name: arms-demo-component name: arms-demo-component namespace: arms-demo spec: ports: # the port that this service should serve on - name: arms-demo-component-svc port: 6666 targetPort: 8888 # label keys and values that must match in order to receive traffic for this service selector: app: arms-springboot-demo-subcomponent --- apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1 kind: Deployment metadata: name: arms-demo-mysql namespace: arms-demo labels: app: mysql spec: replicas: 1 selector: matchLabels: app: mysql template: metadata: labels: app: mysql spec: containers: - resources: limits: cpu: 0.5 image: registry.cn-hangzhou.aliyuncs.com/arms-docker-repo/arms-demo-mysql:v0.1 name: mysql ports: - containerPort: 3306 name: mysql --- apiVersion: v1 kind: Service metadata: labels: name: mysql name: arms-demo-mysql namespace: arms-demo spec: ports: # the port that this service should serve on - name: arms-mysql-svc port: 3306 targetPort: 3306 # label keys and values that must match in order to receive traffic for this service selector: app: mysql --
06 ARMS 应用监控与应用监控 eBPF 版
ARMS 应用监控为 Java 服务提供无侵入的可观测能力,针对 Java 应用我们推荐大家接入 ARMS 应用监控,应用监控 eBPF 版因为其无侵入性,因此其提供语言无关的可观测能力,当前应用监控 eBPF 版只支持 Http 协议,其他协议陆续支持中,我们可以根据自身场景需要进行选型。
如果您在使用应用监控 eBPF 版中有任何问题,请联系答疑钉钉群(群号:35568145)获取帮助。
相关链接:
[1] 开通和升级 ARMS
https://help.aliyun.com/zh/arms/getting-started/activate-arms#concept-65257-zh
[2] 创建 Kubernetes 专有版集群
[3] 创建 Kubernetes 托管版集群
[4] 应用监控 eBPF 版运行环境要求和限制
[5] 容器服务管理控制台
https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcs.console.aliyun.com%2F
点击此处,立即开通 ARMS 应用监控 eBPF 版。