如何使用 eBPF 去跟踪用户进程的执行状态

简介: 【2月更文挑战第8天】

在跟踪内核的状态之前,需要利用内核提供的调试信息查询内核函数、内核跟踪点以及性能事件等。类似地,在跟踪应用进程之前,也需要知道这个进程所对应的二进制文件中提供了哪些可用的跟踪点。那么,从哪里可以找到这些信息呢?如果使用 GDB 之类的应用调试过程序,那就是应用程序二进制文件中的调试信息。


在静态语言的编译过程中,通常你可以加上  -g  选项保留调试信息。这样,源代码中的函数、变量以及它们对应的代码行号等信息,就以  DWARF(Debugging With Attributed Record Formats,Linux 和类 Unix 平台最主流的调试信息格式)格式存储到了编译后的二进制文件中。

有了调试信息,你就可以通过  readelf、objdump、nm  等工具,查询可用于跟踪的函数、变量等符号列表。比如,使用 readelf 命令,查询二进制文件的基本信息。在终端中执行下面的命令,就可以查询  libc  动态链接库中的符号表:

# 查询符号表(RHEL8系统中请把动态库路径替换为/usr/lib64/libc.so.6)
readelf -Ws /usr/lib/x86_64-linux-gnu/libc.so.6
# 查询USDT信息(USDT信息位于ELF文件的notes段)
readelf -n /usr/lib/x86_64-linux-gnu/libc.so.6

除了符号表之外,理论上可以把 uprobe 插桩到二进制文件的任意地址。不过这要求你对应用程序 ELF 格式的地址空间非常熟悉,并且具体的地址会随着应用的迭代更新而发生变化。所以,在需要跟踪地址的场景中,一定要记得去 ELF 二进制文件动态获取地址信息。

另外需要提醒的是,uprobe 是基于文件的。当文件中的某个函数被跟踪时,除非对进程 PID 进行了过滤,默认所有使用到这个文件的进程都会被插桩。


这些查询跟踪点信息的方法很可能是跟编程语言相关的。如果把常用的编程语言进行归类,按照其运行原理,我认为大致上可以分为三类:


  • 第一类是 C、C++、Golang 等编译为机器码后再执行的编译型语言。这类编程语言开发的程序,通常会编译成 ELF 格式的二进制文件,包含了保存在寄存器或栈中的函数参数和返回值,因而可以直接通过二进制文件中的符号进行跟踪。
  • 第二类是 Python、Bash、Ruby 等通过解释器语法分析之后再执行的解释型语言。这类编程语言开发的程序,无法直接从语言运行时的二进制文件中获取应用程序的调试信息,通常需要跟踪解释器的函数,再从其参数中获取应用程序的运行细节。
  • 最后一类是 Java、.Net、JavaScript 等先编译为字节码,再由即时编译器(JIT)编译为机器码执行的即时编译型语言。同解释型语言类似,这类编程语言无法直接从语言运行时的二进制文件中获取应用程序的调试信息。跟踪 JIT 编程语言开发的程序是最困难的,因为 JIT 编译的状态只存在于内存中。


编程语言的类型对 eBPF 跟踪也有非常大的影响,不同类型编程语言开发的应用程序,其跟踪过程和难度也不相同。


由于可以直接从调试信息中获取到符号(用于跟踪函数)和帧指针(用于跟踪调用栈),编译型语言开发的应用程序是比较容易跟踪的。


在跟踪函数参数和返回值时,你需要首先区分编程语言的调用规范,然后再去寄存器或堆栈中读取函数的参数和返回值。


此外,调试信息并非一定要内置于最终分发的应用程序二进制文件中,它们也可以放到独立的调试文件存储。为了减少应用程序二进制文件的大小,通常会把调试信息从二进制文件中剥离出来,保存到  <应用名>.debuginfo  或者  <build-id>.debug  文件中,后续排查问题需要用到时再安装。


比如,在 RHEL 和 Ubuntu 等常见的 Linux 发行版中,调试信息跟应用程序通常是两个不同的软件包。而对很多开发者来说,每次编译和发布应用程序之前,通常都需要执行一下  strip  命令,把调试信息删除后才发布到生产环境中。


这里给个小提示:ELF 符号表包含  .symtab(应用本地的符号)和  .dynsym(调用到外部的符号),strip 命令实际上只是删除了  .symtab  的内容。


对于各种解释型编程语言的二进制文件(如 Python、PHP 等),你可以使用类似编译型语言应用程序的跟踪点查询方法,查询它们在解释器层面的 uprobe 和 USDT 跟踪点。比如,对于 Python3 来说,你可以执行下面的命令查询:

sudo bpftrace -l '*:/usr/bin/python3:*'

命令执行后,你会得到 1500 多个跟踪点。接下来的难点在于,如何从这些解释器的跟踪点中找出应用程序的函数信息,所以你需要对解释器的运行原理有一定的了解。


还有一种是 Java、.Net 等即时编译型语言。对于这类编程语言开发的应用程序,应用源代码会先编译为字节码,再由即时编译器(JIT)编译为机器码执行。以 Java 为例,Java 虚拟机(JVM)除了会执行常规的 JIT 即时编译之外,还会在执行过程中对运行流程进行剖析和优化,因而也加大了跟踪的难度。


同解释型编程语言类似,uprobe 和 USDT 跟踪只能用在即时编译器上,从即时编译器的跟踪点参数里面获取最终应用程序的函数信息。由于 USDT 跟踪点比 uprobe 更为稳定,如果编程语言提供了 USDT 跟踪功能,推荐打开 USDT 跟踪(比如 Java 需要打开  --enable-dtrace  编译选项),再利用 USDT 而不是 uprobe 去跟踪应用的执行过程。


要找出即时编译器的跟踪点同应用程序运行之间的关系,就需要你对编程语言的底层运行原理非常熟悉,这也是跟踪即时编译型语言应用程序最难的一步。不过这一步梳理清楚之后,具体的跟踪步骤与解释型编程语言应用程序是类似的。

相关文章
|
存储 安全 前端开发
【译】eBPF 概述:第 5 部分:跟踪用户进程
【译】eBPF 概述:第 5 部分:跟踪用户进程
638 0
|
3月前
|
监控 Linux 应用服务中间件
探索Linux中的`ps`命令:进程监控与分析的利器
探索Linux中的`ps`命令:进程监控与分析的利器
|
2月前
|
运维 关系型数据库 MySQL
掌握taskset:优化你的Linux进程,提升系统性能
在多核处理器成为现代计算标准的今天,运维人员和性能调优人员面临着如何有效利用这些处理能力的挑战。优化进程运行的位置不仅可以提高性能,还能更好地管理和分配系统资源。 其中,taskset命令是一个强大的工具,它允许管理员将进程绑定到特定的CPU核心,减少上下文切换的开销,从而提升整体效率。
掌握taskset:优化你的Linux进程,提升系统性能
|
2月前
|
弹性计算 Linux 区块链
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
68 4
Linux系统CPU异常占用(minerd 、tplink等挖矿进程)
|
1月前
|
算法 Linux 调度
探索进程调度:Linux内核中的完全公平调度器
【8月更文挑战第2天】在操作系统的心脏——内核中,进程调度算法扮演着至关重要的角色。本文将深入探讨Linux内核中的完全公平调度器(Completely Fair Scheduler, CFS),一个旨在提供公平时间分配给所有进程的调度器。我们将通过代码示例,理解CFS如何管理运行队列、选择下一个运行进程以及如何对实时负载进行响应。文章将揭示CFS的设计哲学,并展示其如何在现代多任务计算环境中实现高效的资源分配。
|
2月前
|
存储 缓存 安全
【Linux】冯诺依曼体系结构与操作系统及其进程
【Linux】冯诺依曼体系结构与操作系统及其进程
141 1
|
2月前
|
小程序 Linux
【编程小实验】利用Linux fork()与文件I/O:父进程与子进程协同实现高效cp命令(前半文件与后半文件并行复制)
这个小程序是在文件IO的基础上去结合父子进程的一个使用,利用父子进程相互独立的特点实现对数据不同的操作
|
2月前
|
SQL 自然语言处理 网络协议
【Linux开发实战指南】基于TCP、进程数据结构与SQL数据库:构建在线云词典系统(含注册、登录、查询、历史记录管理功能及源码分享)
TCP(Transmission Control Protocol)连接是互联网上最常用的一种面向连接、可靠的、基于字节流的传输层通信协议。建立TCP连接需要经过著名的“三次握手”过程: 1. SYN(同步序列编号):客户端发送一个SYN包给服务器,并进入SYN_SEND状态,等待服务器确认。 2. SYN-ACK:服务器收到SYN包后,回应一个SYN-ACK(SYN+ACKnowledgment)包,告诉客户端其接收到了请求,并同意建立连接,此时服务器进入SYN_RECV状态。 3. ACK(确认字符):客户端收到服务器的SYN-ACK包后,发送一个ACK包给服务器,确认收到了服务器的确
168 1
|
3月前
|
Web App开发 运维 监控
深入探索Linux命令pwdx:揭秘进程工作目录的秘密
`pwdx`命令在Linux中用于显示指定进程的工作目录,基于`/proc`文件系统获取实时信息。简单易用,如`pwdx 1234`显示PID为1234的进程目录。结合`ps`和`pgrep`等命令可扩展使用,如查看所有进程或特定进程(如Firefox)的目录。使用时注意权限、进程ID的有效性和与其他命令的配合。查阅`man pwdx`获取更多帮助。
|
3月前
|
存储 Shell Linux
Linux进程概念(下)
本文详细的介绍了环境变量和进程空间的概念及其相关的知识。
30 0
Linux进程概念(下)

相关实验场景

更多