Processing math: 100%

Go pprof 性能分析工具 - 详细使用图解

本文涉及的产品
性能测试 PTS,5000VUM额度
简介: Go pprof 性能分析工具 - 详细使用图解

1、Go导入pprof包的选择及go版本要求:

  • 如果你是使用 net/http 包来构建web服务(有启动http服务),想查看服务运行的相关状态,就可以使用 net/http/pprof 包,导入方式:"_ net/http/pprof",匿名引用是为了执行其 init() 函数,只要其 init() 函数被执行,pprof 就会自动持续地监控我们的程序了。基本不需要主动在程序中调用代码采集和输出性能分析结果。
  • 但如果只是一个普通的单机程序,就只能使用原生的 "runtime/pprof" 了,需要主动在程序中调用代码采集和输出性能分析结果
  • 如果你是使用 github.com/gin-gonic/gin 包来构建web服务,想查看服务运行的相关状态,就需要使用 github.com/gin-contrib/pprof 包。本文是使用gin框架来构建web服务的,因此导入的是 "github.com/gin-contrib/pprof" 包。具体gin框架构建web服务示例可参考:GO Gin框架的Post/Get请求示例
  • go version >= 1.1
  • 由源码可知,基于 http 的 pprof 是在你页面请求 profile 时,它会临时采集一个时间区间(比如30秒)内的对应性能数据,如下图;而访问其他指标会立即返回。所以在采集数据时需要先压测,这样才会有数据。
    在这里插入图片描述

2、pprof查看web服务原始状态数据

浏览器访问:http://localhost:8000/debug/pprof/,结果如图:
在这里插入图片描述
注意:

  • 端口使用你自己web服务的监听端口号,例如我这里是:8000 端口
  • 采集前需要先压测,在压测过程中才会有数据被收集

3、go tool pprof 数据图形可视化

通过 pprof 得到的信息都是原始数据,阅读起来很费劲,我们可以通过 go tool pprof 命令来辅助查看以及将原始数据图形化的方式来展示。

  1. 下载安装可视化图形软件工具 graphviz :https://graphviz.org/download/。可自行选择Linux、Windows、Mac等对应版本,并且记得将该工具添加到系统环境变量中,否则会报错:`failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in %PATH%

`。我这里下载的是windows-64位的版本。在这里插入图片描述
记得将该工具添加到系统环境变量中

  1. 采集前需要先压测,在压测过程中才会有数据被收集:
  • go-wrk 是一个用Go语言实现的轻量级的http基准测试工具,先下载压测go工具:go get github.com/adjust/go-wrk
  • go-wrk -c=400 -t=8 -n=100000 http://127.0.0.1:8000/api/getReq。400个连接,8个线程, 模拟10w次请求。具体可参考:通过go-wrk进行HTTP接口压力测试

注意:压测试,wrk的命令行参数只能发送类似于 get、delete 这种不在请求体body中带参数的http请求。如果要发送 post 这类请求,必须要写Lua脚本。 具体可参考:wrk入门(2):发送post请求

go-wrk 压测结果如下图所示:压测结果如图

  1. 压测的同时采集数据,并生成 profile 数据分析-结果文件:
  • cpu概要文件(在默认情况下,Go语言的运行时系统会以100 Hz的的频率对CPU使用情况进行取样):go tool pprof http://127.0.0.1:8000/debug/pprof/profile
  • 内存概要文件(保存在用户程序执行期间的堆内存使用情况):go tool pprof http://127.0.0.1:8000/debug/pprof/heap
  • 程序阻塞概要文件(保存用户程序中的Goroutine阻塞事件的记录):go tool pprof http://127.0.0.1:8000/debug/pprof/goroutine

在这里插入图片描述
注意:

  • 由提示可知,它是先将下载的原始数据保存在临时文件,然后再进一步去分析。比如图中所示的 pprof.samples.cpu.001.pb.gz
  • ;刚开始不熟悉流程,可能在服务都没有任何请求的时候就去收集,这是毫无意义的,也不会收集到明显的 profile 信息,可能就会像下面这样,啥数据都看不到:

在这里插入图片描述

  1. 然后会进入一个交互界面,列表中各参数代表含义如下:
flat:当前函数占用CPU的时间
flat%:当前函数占用CPU百分比
sum%:当前所有函数累加使用 CPU 的比例
cum:当前函数以及子函数占用CPU的时间
cum%:当前函数以及子函数占用CPU的百分比

另外交互界面常用命令如下:

help:命令可以提供所有pprof支持的命令说明
top 10:列出前10
web:调用 graphviz 生成svg图片并打开
list:查看具体的函数分析
pdf:命令可以生成可视化的pdf文件
tree:以树状显示
png:以图片格式输出
svg:生成浏览器可以识别的svg文件

pprof具体定位代码段示例:
此处可以通过终端交互方式来定位具体耗时较长的代码段,如下:

  1. top5 -cum:按 “当前函数以及子函数占用CPU的时间” 倒序排列
  2. list MyWebService/internal/app/yunapi.Router.func1:根据具体调用函数名来查找对应代码段。可以看到下方的 “无效循环” 是导致此处执行耗时较长的根因,所以可以针对性的做优化,比如去除 “无效循环”在这里插入图片描述

示例:当输入 web 后,会自动生成.svg文件,并在浏览器中显示可视化图形分析,如图所示:在这里插入图片描述
流程图中有不同被调函数运行时长所占百分比,同时方框越大对应CPU耗时越久。不过只是这样仍然很难去分析,还有更直观的方式 ~

  1. 退出命令行,复制上面步骤3图中 Saved profile 后面的文件名及路径,比如:C:\Users\xxx\pprof\pprof.samples.cpu.001.pb.gz
  2. 输入以下 go tool pprof xxx 命令,会自动打开浏览器图形可视化页面,包含火焰图等...(其中 -http=:8081,或 -http localhost:8081 会启动一个http服务,端口为8081,然后浏览器会弹出此结果文件的图示页面)
  • linux下:

go tool pprof -http=:8081 ~/pprof/pprof.samples.cpu.001.pb.gz

  • windows下路径用双反斜杠表示:

go tool pprof -http localhost:8081 C:\\Users\\xxx\\pprof\\pprof.samples.cpu.001.pb.gz
在这里插入图片描述

Graph图示:
Graph图示

火焰图:
火焰图   每个方块代表一个函数,它下面一层表示这个函数会调用哪些函数,方块的大小代表了使用 CPU 所占百分比。火焰图的配色并没有特殊的意义,默认的红、黄配色是为了更像火焰而已。

  另外,有时候我们通过其他途径得到了 pprof 文件,也可以通过它来分析使用 go tool pprof 应用程序 应用程序的prof文件 或者 go tool pprof prof 文件

4、pprof使用方法总结:

  • 采集前需要先进行压测,在压测过程中再去收集才会有数据

    • go-wrk -c=400 -t=8 -n=100000 http://127.0.0.1:8000/api/getReq。400个连接,8个线程, 模拟10w次请求(get请求支持直接写命令行的形式,post请求需要借助lua脚本,较复杂)。
  • 压测的同时采集数据,并生成 profile 数据分析-结果文件:

    • go tool pprof http://127.0.0.1:8000/debug/pprof/profile
  • 此时会进入一个交互界面,且生成了一个类似于 pprof.samples.cpu.001.pb.gz 的待分析文件。具体性能结果分析方法,一共有两种:

    • 通过 终端交互 (此方法无需借助上述文件来分析):

      • top10 -cum 找到对应cpu/内存占用高的函数名称(-cum:按 “当前函数以及子函数占用CPU的时间” 倒序排列)
      • list xxx(xxx:top10 中最后一列列出的具体被调用函数的名称)
    • 通过 可视化图形分析 (此方法需借助上述文件来分析):

      • 退出 pprof 命令行,复制上面步骤3图中 Saved profile 后面的文件名及路径,比如:C:\Users\xxx\pprof\pprof.samples.cpu.001.pb.gz在这里插入图片描述
      • 输入以下 go tool pprof xxx 命令,会自动打开浏览器图形可视化页面,包含火焰图等...

        1. linux下:go tool pprof -http=:8081 ~/pprof/pprof.samples.cpu.001.pb.gz
        2. windows下路径用双反斜杠表示:go tool pprof -http localhost:8081 C:\\Users\\xxx\\pprof\\pprof.samples.cpu.001.pb.gz
      • 注意:待分析的 .pb.gz 文件和 文件路径 是你自己电脑上对应的路径,这里仅仅是我测试的示例而已,可能会有所不同
  • go tool pprof github markdown参考文档
相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
目录
相关文章
|
2月前
|
缓存 监控 Linux
Linux性能分析利器:全面掌握perf工具
【10月更文挑战第18天】 在Linux系统中,性能分析是确保软件运行效率的关键步骤。`perf`工具,作为Linux内核自带的性能分析工具,为开发者提供了强大的性能监控和分析能力。本文将全面介绍`perf`工具的使用,帮助你成为性能优化的高手。
205 1
|
2月前
|
缓存 监控 Linux
掌握Linux性能分析:深入探索perf工具
【10月更文挑战第26天】
106 1
|
2月前
|
JSON 监控 安全
go语言选择合适的工具和库
【10月更文挑战第17天】
18 2
|
3月前
|
Web App开发 监控 JavaScript
一些常用的 Vue 性能分析工具
【10月更文挑战第2天】
209 1
|
4月前
|
SQL 缓存 关系型数据库
MySQL高级篇——性能分析工具
MySQL的慢查询日志,用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long-query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为 10,意思是运行10秒以上(不含10秒)的语句,认为是超出了我们的最大忍耐时间值。它的主要作用是,帮助我们发现那些执行时间特别长的 SOL 查询,并且有针对性地进行优化,从而提高系统的整体效率。当我们的数据库服务器发生阻塞、运行变慢的时候,检查一下慢查询日志,找到那些慢查询,对解决问题很有帮助。
MySQL高级篇——性能分析工具
|
4月前
|
监控 IDE Java
【Java性能调优新工具】JDK 22性能分析器:深度剖析,优化无死角!
【9月更文挑战第9天】JDK 22中的性能分析器为Java应用的性能调优提供了强大的支持。通过深度集成、全面监控、精细化分析和灵活报告生成等核心优势,性能分析器帮助开发者实现了对应用性能的全面掌控和深度优化。在未来的Java开发过程中,我们期待性能分析器能够继续发挥重要作用,为Java应用的性能提升贡献更多力量。
|
5月前
|
存储 缓存 监控
Linux性能分析工具-perf并生成火焰图
Linux性能分析工具-perf并生成火焰图
|
5月前
|
Kubernetes 数据可视化 Java
|
5月前
|
SQL 存储 监控
|
5月前
|
算法 测试技术 Go