Linux系统调试篇——Perf性能分析指南

简介: Linux系统调试篇——Perf性能分析指南

安装

在开发板上使用apt安装perf命令:

apt install -y perf

或者进入kernel内核源码目录tools/perf,交叉编译执行make,然后拷贝到开发板中运行。

认识Perf

perf可以用来统计一个程序运行期间花了多少时间、上下文切换次数、cache命中率等一些性能相关的事件,通过perf可以分析一个程序的性能瓶颈,从而对程序做出优化。

perf性能事件的关系图如下:

执行命令:

perf list

可以看到如下显示:

branch-instructions OR branches                    [Hardware event]
branch-misses                                      [Hardware event]
cache-misses                                       [Hardware event]
... ...
context-switches OR cs                             [Software event]
page-faults OR faults                              [Software event]
... ...
L1-dcache-load-misses                              [Hardware cache event]
L1-dcache-loads                                    [Hardware cache event]
... ...
block:block_bio_backmerge                          [Tracepoint event]
clk:clk_enable                                     [Tracepoint event]
dma_fence:dma_fence_destroy                        [Tracepoint event]
... ...

其中

  • hardware event 是硬件相关的性能事件
  • software event 是软件相关的性能事件
  • hardware cache event 是cache相关的性能事件
  • tracepoint event 是内核设置的相关的性能事件

perf的性能事件主要可以分为以上四类,但是像hardware event这类事件依赖于硬件的实现,如果硬件不支持也无法统计。部分的其它事件在使用的过程也会遇到不支持的情况。

另外执行perf list命令并不会把所有的事件都列举出来,perf list只会显示支持的事件,如果不支持就看不到了。

Perf功能概览

perf的功能可以分为基础子命令功能型子命令两大类。

基础子命令是最常用的命令,是必须要学会的。

基础子命令如下

功能型子命令如下

更多的命令详细参考perf -h说明。

Perf基础子命令

perf list

perf list可以列举支持哪些事件:

perf stat

perf stat可以采样perf list所列举的事件,使用帮助如下:

perf stat -h
-a, --all-cpus        system-wide collection from all CPUs
-A, --no-aggr         disable CPU count aggregation
-B, --big-num         print large numbers with thousands' separators
-C, --cpu <cpu>       list of cpus to monitor in system-wide
-D, --delay <n>       ms to wait before starting measurement after program start (-1: start with events disabled)
-d, --detailed        detailed run - start a lot of events
-e, --event <event>   event selector. use 'perf list' to list available events
-G, --cgroup <name>   monitor event in cgroup name only
-g, --group           put the counters into a counter group
... ...

perf stat可以通过-e指定某个事件,例如统计ls命令的cpu-clock事件:

对于tracepoint event事件,其本身就分为很多种类型,例如:block:block_bio_backmerge,就表示block这个类型的block_bio_backmerge这个采样点。

tracepoint event支持采样类型和采样点非常多,有clkmmcsched等类型,而其中每个采样类型又分为更多的采样点,因此,可以通过perf list后面跟上采样类型的名字,来查看某个特性类型的采样点。

可以看到,一个sched类型,对应很多采样点。

对应着sched:sched_switch这个采样点。通过perf stat子命令可以得到观测结果:

可以看到,执行lscpu运行了29sched_switch,也就是对应的__schedule函数。

其实tracepoint event最强大的地方在于时间的统计,内核中每个采样点都代表了一些重要的时刻,比如,进程切换了,调度器把进程放入runqueue,或者开始真正的进程运行,都会加上一个tracepoint,来记录时间,从而为分析和调试提供支持。

perf record & perf report

perf stat子命令展示的是即时的数据,若想要获取更多信息,则需要用perf record子命令将信息组成一个perf.data文件,并利用perf report将其解析并展示出来。

因此perf recordperf report命令通常是一起使用的。

同样的,perf recordperf report子命令也具有相当多的参数。

perf report -h
-b, --branch-stack    use branch records for per branch histogram filling
-c, --comms <comm[,comm...]>
only consider symbols in these comms
-C, --cpu <cpu>       list of cpus to profile
... ...

例如对context-switches事件采样:

perf record -e context-switches -a sleep 1

然后执行perf report显示更多的详细信息:

可以看到,perf report子命令不光展示了cpu执行sleep 1时发生的上下文切换次数,还展示了这切换都分布在哪些进程中。

perf script

perf script主要被用来生成perf.unfold文件,被交给一个名叫FlameGraph火焰图)的工具,这个工具会解析perf.unfold数据,然后将其转换成易于人类阅读和分析的图形。

火焰图

wget "https://github.com/brendangregg/FlameGraph/archive/master.zip"
unzip master.zip

如果希望了解CPU在一段时间内的都运行了哪些函数以及各函数都消耗了多少时间,就可以使用On CPU火焰图,这种火焰图基于cpu-cycles事件进行采样,然后通过svg图片格式展现出来

dd if=/dev/zero of=/tmp/testfile bs=4K count=102400 &
perf record -e cpu-cycles -a -g sleep 1
perf script > perf.unfold
cd FlameGraph-master
./stackcollapse-perf.pl < ../perf.unfold | ./flamegraph.pl > ../perf.svg

首先在后台启动一个dd命令,让它持续运行一段时间,然后开启perf record,记录一秒钟内cpu都运行了多少个cpu-cycles,也就是时间(同时使能-g,就会一并记录运行的函数以及调用关系),再利用perf script命令将perf.data转成perf.unfold,最后利用FlameGraph工具将其转换成一个perf.svg,这是一个图形文件,用浏览器打开后会得到这样一幅图:

此图记录着函数调用关系及其cpu-cycles(时间)占比,就像一缕缕升起的火苗,所以被称之为火焰图。

火焰图还可以通过鼠标点击放大,观察其细节,如下:

Perf功能型子命令

列举2个perf功能型子命令实例topbench,更多的参考-h列举的说明。

perf top

perf top子命令动态地显示各种采样事件,例如:

perf top -e sched:sched_wakeup

perf bench

perf bench子命令是perf内部集成的一个benchmark测试程序,可以看一下perf bench支持哪些benchmark

可见,benchmarkschedmem, futex等几大类

perf bench mem

mem里又包含了2个测试点

perf bench mem memcpy

perf bench mem memset

总结

perf是用于性能分析的一个工具,功能强大,用法也非常多。但是要真正用明白,懂得分析,需要长时间的学习和沉淀。

例如必须得知道cyclesinstructions分支预测等这些是什么意思,每个性能事件的统计值高低所带来的影响分别是什么,如何增加/降低某个性能事件的统计值等等,只有在具备这些理论基础的情况下,去分析perf的统计值才比较有意义。

end

往期推荐

入职Linux驱动工程师后,我才知道的真相......

机遇:我是如何走向Linux驱动的...

当我用几道题考了一遍做Linux驱动的同事......

“不是所有的驱动岗,都值得你去”

Linux驱动面试高频考点

相关文章
|
1天前
|
存储 缓存 监控
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
97 78
|
5天前
|
Linux Shell 网络安全
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
本指南介绍如何利用 HTA 文件和 Metasploit 框架进行渗透测试。通过创建反向 shell、生成 HTA 文件、设置 HTTP 服务器和发送文件,最终实现对目标系统的控制。适用于教育目的,需合法授权。
30 9
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
|
28天前
|
缓存 Java Linux
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
115 48
|
6天前
|
运维 监控 Linux
BPF及Linux性能调试探索初探
BPF技术从最初的网络数据包过滤发展为强大的系统性能优化工具,无需修改内核代码即可实现实时监控、动态调整和精确分析。本文深入探讨BPF在Linux性能调试中的应用,介绍bpftune和BPF-tools等工具,并通过具体案例展示其优化效果。
36 14
|
1天前
|
Ubuntu Linux C++
Win10系统上直接使用linux子系统教程(仅需五步!超简单,快速上手)
本文介绍了如何在Windows 10上安装并使用Linux子系统。首先,通过应用商店安装Windows Terminal和Linux系统(如Ubuntu)。接着,在控制面板中启用“适用于Linux的Windows子系统”并重启电脑。最后,在Windows Terminal中选择安装的Linux系统即可开始使用。文中还提供了注意事项和进一步配置的链接。
11 0
|
25天前
|
Ubuntu Linux 网络安全
linux系统ubuntu中在命令行中打开图形界面的文件夹
在Ubuntu系统中,通过命令行打开图形界面的文件夹是一个高效且实用的操作。无论是使用Nautilus、Dolphin还是Thunar,都可以根据具体桌面环境选择合适的文件管理器。通过上述命令和方法,可以简化日常工作,提高效率。同时,解决权限问题和图形界面问题也能确保操作的顺利进行。掌握这些技巧,可以使Linux操作更加便捷和灵活。
17 3
|
29天前
|
存储 运维 Linux
如何在 Linux 系统中使用 envsubst 命令替换环境变量?
`envsubst` 是 Linux 系统中用于替换文本中环境变量值的实用工具。本文分三部分介绍其工作原理、使用方法及实际应用,包括配置文件替换、脚本执行中环境变量替换和动态生成文件等场景,帮助用户高效利用 `envsubst` 进行开发和运维工作。
50 4
|
28天前
|
Linux
在 Linux 系统中,`find` 命令
在 Linux 系统中,`find` 命令
30 1
|
28天前
|
网络协议 Linux 虚拟化
如何在 Linux 系统中查看进程的详细信息?
如何在 Linux 系统中查看进程的详细信息?
58 1
|
28天前
|
Linux
如何在 Linux 系统中查看进程占用的内存?
如何在 Linux 系统中查看进程占用的内存?

热门文章

最新文章