一、bpftrace简介
bpftrace 是基于ebpf内核vm扩展出来的trace工具。
bpftrace 是 Linux 高级追踪工具和语言。该工具基于 eBPF 和 BBC 实现了通过探针机制采集内核和程序运行的信息，然后用图表等方式将信息展示出来，帮助开发者找到隐藏较深的 Bug、安全问题和性能瓶颈。
版
## bpftrace进行内核跟踪 #### bpftrace 命令行操作 单行命令工具： bpftrace -e 'program' bpftrace直接跟-e选项后面加单行命令，一些示例，比如： bpftrace -e 'BEGIN { printf("Hello world!\n"); }' bpftrace -e 'kprobe:vfs_read { @[tid] = count();}' bpftrace -e 'kprobe:vfs_read /pid == 123/ { @[tid, comm] = count();}' bpftrace -e 't:block:block_rq_insert { @[kstack] = count(); }' 单行命令工具可以按ctrl-c也结束，只有结束后才会打印输出结果。 #### bpftrace 编写脚本工具 bpftrace支持脚本编写，只需要在其实出添加#!/usr/local/bin/bpftrace，会被认为是一个bpftrace脚本。 #!/usr/local/bin/bpftrace // this program times vfs_read() kprobe:vfs_read { @start[tid] = nsecs; } retprobe:vfs_read /@start[tid]/ { $duration_us = (nsecs - @start[tid]) / 1000; @us = hist($duration_us); delete(@start[tid]); } #### debug调试 bpftrace -d bpftrace -v bpftrace语法结构 bpftrace编程语言参考了awk的语法，基础结构： probes /filter/ { actions } 它是一种事件驱动的运行方式。 probes表示的就是事件，包括tracepoint、kprobe、kretprobe、uprobe等等。除了这些跟踪点，还有两个特殊的事件BEGIN、END，用于在脚本开始处和结束处执行。 filter表示的是过滤条件，当一个事件触发时，会先判断该条件，满足条件才会执行后面的action行为。 action表示的具体执行的操作。 示例： bpftrace -e 'kprobe:vfs_read /pid == 123/ { @[tid, comm] = count();}' #### bpftrace 脚本变量 内部变量（built-in） uid: 用户id。 tid： 线程id pid： 进程id。 cpu： cpu id。 cgroup：cgroup id. probe： 当前的trace点。 comm： 进程名字。 nsecs： 纳秒级别的时间戳。 kstack：内核栈描述 curtask：当前进程的task_struct地址。 args: 获取该kprobe或者tracepoint的参数列表 arg0: 获取该kprobe的第一个变量，tracepoint不可用 arg1: 获取该kprobe的第二个变量，tracepoint不可用 arg2: 获取该kprobe的第三个变量，tracepoint不可用 retval: kretprobe中获取函数返回值 args->ret: kretprobe中获取函数返回值 备注： bpftrace -lv tracepoint:syscalls:sys_enter_read 这个命令-lv可以用来查看一个tracepoint对应的参数都有哪些。 自定义临时变量 以"$"标志起始来定义和引用一个变量 Map变量 map变量是用于内核向用户空间传递数据的一种存储结构，定义方式是以"@"符号作为其实标记。 这个map可以有单个key或者多个key： @path[tid] = nsecs @path[pid, $fd] =nsecs bpftrace默认在结束时会打印从内核接收到的map变量。 #### 函数 exit():退出bpftrace程序 str(char *):转换一个指针到string类型 system(format[, arguments ...]):运行一个shell命令 join(char *str[]):打印一个字符串列表并在每个前面加上空格，比如可以用来输出args->argv ksym(addr)：用于转换一个地址到内核symbol kaddr(char *name):通过symbol转换为内核地址 print(@m [, top [, div]])：可选择参数打印map中的top n个数据，数据可选择除以一个div值 #### map函数 bpftrace内构的一些map函数，用于传递数据给map变量，注意接收他们的变量是map类型。常用的包括： count():用于计算次数 sum(int n):用于累加计算 avg(int n):用于计算平均值 min(int n):用于计算最小值 max(int n):用于计算最大值 hist(int n):数据分布直方图（范围为2的幂次增长） lhist(int n)：数据线性直方图 delete(@m[key]):删除map中的对应的key数据 clear(@m):删除map中的所有数据 zero(@m):map中的所有值设置为0 #### 附件 常用的一些单行命令示例： bpftrace -e 'tracepoint:block:block_rq_i* { @[probe] = count(); } interval:s:1 { print(@); clear(@); }' bpftrace -e 'tracepoint:syscalls:sys_exit_read /args->ret > 0/ { @bytes = sum(args->ret); }' bpftrace -e 'tracepoint:syscalls:sys_exit_read { @ret = hist(args->ret); }' bpftrace -e 'tracepoint:syscalls:sys_exit_read { @ret = lhist(args->ret, 0, 1000, 100); }' bpftrace -e 'tracepoint:syscalls:sys_exit_read /args->ret < 0/ { @[- args->ret] = count(); }' bpftrace -e 'kprobe:vfs_* { @[probe] = count(); } END { print(@, 5); clear(@); }' bpftrace -e 'kprobe:vfs_read { @start[tid] =nsecs; } kretprobe:vfs_read /@start[tid]/ { @ms[comm] = sum(nsecs - @start[tid]); delete(@start[tid]); } END { print(@ms, 0, 1000000); clear(@ms); clear(@start); }' bpftrace -e 'k:vfs_read { @[pid] = count(); }' bpftrace -e 'tracepoint:syscalls:sys_enter_execve { printf("%s -> %s\n", comm, str(args->filename)); }' bpftrace -e 'tracepoint:syscalls:sys_enter_execve { join(args->argv); }' bpftrace -e 'tracepoint:syscalls:sys_enter_openat { printf("%s %s\n", comm, str(args->filename)); }' bpftrace -e 'tracepoint:raw_syscalls:sys_enter {@[comm] = count(); }' bpftrace -e 'tracepoint:syscalls:sys_enter_* {@[probe] = count(); }' bpftrace -e 'tracepoint:raw_syscalls:sys_enter {@[pid, comm] = count(); }' bpftrace -e 'tracepoint:syscalls:sys_exit_read /args->ret/ { @[comm] = sum(args->ret); }' bpftrace -e 'tracepoint:syscalls:sys_exit_read { @[comm] = hist(args->ret); }' bpftrace -e 'tracepoint:block:block_rq_issue { printf("%d %s %d\n", pid, comm, args->bytes); }' bpftrace -e 'software:major-faults:1 { @[comm] = count(); }' bpftrace -e 'software:faults:1 { @[comm] = count(); }' bpftrace -e 'tracepoint:syscalls:sys_enter_clone { printf("-> clone() by %s PID %d\n", comm, pid); } tracepoint:syscalls:sys_exit_clone { printf("<- clone() return %d, %s PID %d\n", args->ret, comm, pid); }' bpftrace -e 'tracepoint:syscalls:sys_enter_setuid { printf("setuid by PID %d (%s), UID %d\n", pid, comm, uid); }' bpftrace -e 'tracepoint:syscalls:sys_exit_setuid { printf("setuid by %s returned %d\n", comm, args->ret); }' bpftrace -e 'tracepoint:block:block_rq_insert { printf("Block I/O by %s\n", kstack); }' bpftrace -e 'tracepoint:syscalls:sys_enter_connect /pid == 123/ { printf("PID %d called connect()\n", $1); }' bpftrace -e 'tracepoint:timer:hrtimer_start { @[ksym(args->function)] = count(); }' bpftrace -e 't:syscalls:sys_enter_read { @reads = count(); } interval:s:5 { exit(); }' bpftrace -e 'kprobe:vfs_read {@ID = pid;} interval:s:2 {printf("ID:%d\n", @ID);}'
