Go pprof 性能分析工具 - 详细使用图解

1、Go导入pprof包的选择及go版本要求：

• 如果你是使用 net/http 包来构建web服务（有启动http服务），想查看服务运行的相关状态，就可以使用 net/http/pprof 包，导入方式："_ net/http/pprof"，匿名引用是为了执行其 init() 函数，只要其 init() 函数被执行，pprof 就会自动持续地监控我们的程序了。基本不需要主动在程序中调用代码采集和输出性能分析结果。
• 但如果只是一个普通的单机程序，就只能使用原生的 "runtime/pprof" 了，需要主动在程序中调用代码采集和输出性能分析结果。
• 如果你是使用 github.com/gin-gonic/gin 包来构建web服务，想查看服务运行的相关状态，就需要使用 github.com/gin-contrib/pprof 包。本文是使用gin框架来构建web服务的，因此导入的是 "github.com/gin-contrib/pprof" 包。具体gin框架构建web服务示例可参考：GO Gin框架的Post/Get请求示例
• go version >= 1.1
• 由源码可知，基于 http 的 pprof 是在你页面请求 profile 时，它会临时采集一个时间区间（比如30秒）内的对应性能数据，如下图；而访问其他指标会立即返回。所以在采集数据时需要先压测，这样才会有数据。
  

2、pprof查看web服务原始状态数据

浏览器访问：http://localhost:8000/debug/pprof/，结果如图：

注意：

• 端口使用你自己web服务的监听端口号，例如我这里是：8000 端口
• 采集前需要先压测，在压测过程中才会有数据被收集

3、go tool pprof 数据图形可视化

通过 pprof 得到的信息都是原始数据，阅读起来很费劲，我们可以通过 go tool pprof 命令来辅助查看以及将原始数据图形化的方式来展示。

1. 下载安装可视化图形软件工具 graphviz ：https://graphviz.org/download/。可自行选择Linux、Windows、Mac等对应版本，并且记得将该工具添加到系统环境变量中，否则会报错：`failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in %PATH%

`。我这里下载的是windows-64位的版本。

1. 采集前需要先压测，在压测过程中才会有数据被收集：

• go-wrk 是一个用Go语言实现的轻量级的http基准测试工具，先下载压测go工具：go get github.com/adjust/go-wrk
• go-wrk -c=400 -t=8 -n=100000 http://127.0.0.1:8000/api/getReq。400个连接，8个线程， 模拟10w次请求。具体可参考：通过go-wrk进行HTTP接口压力测试。

注意：压测试，wrk的命令行参数只能发送类似于 get、delete 这种不在请求体body中带参数的http请求。如果要发送 post 这类请求，必须要写Lua脚本。 具体可参考：wrk入门（2）：发送post请求

go-wrk 压测结果如下图所示：

1. 压测的同时采集数据，并生成 profile 数据分析-结果文件：

• cpu概要文件（在默认情况下，Go语言的运行时系统会以100 Hz的的频率对CPU使用情况进行取样）：go tool pprof http://127.0.0.1:8000/debug/pprof/profile
• 内存概要文件（保存在用户程序执行期间的堆内存使用情况）：go tool pprof http://127.0.0.1:8000/debug/pprof/heap
• 程序阻塞概要文件（保存用户程序中的Goroutine阻塞事件的记录）：go tool pprof http://127.0.0.1:8000/debug/pprof/goroutine

注意：

• 由提示可知，它是先将下载的原始数据保存在临时文件，然后再进一步去分析。比如图中所示的 pprof.samples.cpu.001.pb.gz
• $\color{blue}{记住关键点：不管哪种方式收集，一定是在 服务正在被压测 或者 业务逻辑正在执行的同时 启动收集}$；刚开始不熟悉流程，可能在服务都没有任何请求的时候就去收集，这是毫无意义的，也不会收集到明显的 profile 信息，可能就会像下面这样，啥数据都看不到：

1. 然后会进入一个交互界面，列表中各参数代表含义如下：

flat：当前函数占用CPU的时间
flat%：当前函数占用CPU百分比
sum%：当前所有函数累加使用 CPU 的比例
cum：当前函数以及子函数占用CPU的时间
cum%：当前函数以及子函数占用CPU的百分比

另外交互界面常用命令如下：

help：命令可以提供所有pprof支持的命令说明
top 10：列出前10
web：调用 graphviz 生成svg图片并打开
list：查看具体的函数分析
pdf：命令可以生成可视化的pdf文件
tree：以树状显示
png：以图片格式输出
svg：生成浏览器可以识别的svg文件

pprof具体定位代码段示例：
此处可以通过终端交互方式来定位具体耗时较长的代码段，如下：

1. top5 -cum：按 “当前函数以及子函数占用CPU的时间” 倒序排列
2. list MyWebService/internal/app/yunapi.Router.func1：根据具体调用函数名来查找对应代码段。可以看到下方的 “无效循环” 是导致此处执行耗时较长的根因，所以可以针对性的做优化，比如去除 “无效循环”

示例：当输入 web 后，会自动生成.svg文件，并在浏览器中显示可视化图形分析，如图所示：
流程图中有不同被调函数运行时长所占百分比，同时方框越大对应CPU耗时越久。不过只是这样仍然很难去分析，还有更直观的方式 ~

1. 退出命令行，复制上面步骤3图中 Saved profile 后面的文件名及路径，比如：C:\Users\xxx\pprof\pprof.samples.cpu.001.pb.gz
2. 输入以下 go tool pprof xxx 命令，会自动打开浏览器图形可视化页面，包含火焰图等...（其中 -http=:8081，或 -http localhost:8081 会启动一个http服务，端口为8081，然后浏览器会弹出此结果文件的图示页面）

• linux下：

go tool pprof -http=:8081 ~/pprof/pprof.samples.cpu.001.pb.gz

• windows下路径用双反斜杠表示：

go tool pprof -http localhost:8081 C:\\Users\\xxx\\pprof\\pprof.samples.cpu.001.pb.gz

Graph图示：

火焰图：
  每个方块代表一个函数，它下面一层表示这个函数会调用哪些函数，方块的大小代表了使用 CPU 所占百分比。火焰图的配色并没有特殊的意义，默认的红、黄配色是为了更像火焰而已。

  另外，有时候我们通过其他途径得到了 pprof 文件，也可以通过它来分析使用 go tool pprof 应用程序 应用程序的prof文件 或者 go tool pprof prof 文件

4、pprof使用方法总结：

• 采集前需要先进行压测，在压测过程中再去收集才会有数据：

  • go-wrk -c=400 -t=8 -n=100000 http://127.0.0.1:8000/api/getReq。400个连接，8个线程， 模拟10w次请求（get请求支持直接写命令行的形式，post请求需要借助lua脚本，较复杂）。

• 压测的同时采集数据，并生成 profile 数据分析-结果文件：

  • go tool pprof http://127.0.0.1:8000/debug/pprof/profile

• 此时会进入一个交互界面，且生成了一个类似于 pprof.samples.cpu.001.pb.gz 的待分析文件。具体性能结果分析方法，一共有两种：

  • 通过 终端交互 （此方法无需借助上述文件来分析）：

    • top10 -cum 找到对应cpu/内存占用高的函数名称（-cum：按 “当前函数以及子函数占用CPU的时间” 倒序排列）
    • list xxx（xxx：top10 中最后一列列出的具体被调用函数的名称）

  • 通过 可视化图形分析 （此方法需借助上述文件来分析）：

    • 退出 pprof 命令行，复制上面步骤3图中 Saved profile 后面的文件名及路径，比如：C:\Users\xxx\pprof\pprof.samples.cpu.001.pb.gz

    • 输入以下 go tool pprof xxx 命令，会自动打开浏览器图形可视化页面，包含火焰图等...

      1. linux下：go tool pprof -http=:8081 ~/pprof/pprof.samples.cpu.001.pb.gz
      2. windows下路径用双反斜杠表示：go tool pprof -http localhost:8081 C:\\Users\\xxx\\pprof\\pprof.samples.cpu.001.pb.gz
    • 注意：待分析的 .pb.gz 文件和 文件路径 是你自己电脑上对应的路径，这里仅仅是我测试的示例而已，可能会有所不同
• go tool pprof github markdown参考文档