postgresql|数据库|插件学习(二)---postgresql-12的外置插件pg_profile的启用和使用

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: postgresql|数据库|插件学习(二)---postgresql-12的外置插件pg_profile的启用和使用

前言:

postgresql数据库有非常多的插件,那么,pg_profile算是监控类的插件,该插件会通过内置的pg_stat_statements插件和dblink插件这两个插件监控查询postgresql的状态,并可以通过打快照的方式得到awr报告。

###注:AWR全称Automatic Workload Repository,自动负载信息库,该概念是oracle数据库的,但postgresql也有类似的插件,比如,今天要讲的这个pg_profile

本文将就如何安装这个pg_profile插件,以及如何使用此插件得到一个可用的性能监测awr报告。

一,

pg_profile的安装

PEV

Releases · zubkov-andrei/pg_profile · GitHub

以上两个网址都可以下载pg_profile,操作文档见此网址:pg_profile/pg_profile.md at 4.0 · zubkov-andrei/pg_profile · GitHub

那么,下载的版本是pg_profile--0.3.6.tar.gz,该版本不是很高,因为用的是pg12版本。

总共就四个文件,文件如下:

 

pg_profile.control文件内容如下:

说的是有两个插件依赖,dblink(这个是源码包自带的),plpgsql(这个是默认的)

# Profiler extension for PostgreSQL
comment = 'PostgreSQL load profile repository and report builder'
default_version = '0.3.6'
relocatable = false
requires = 'dblink,plpgsql'
superuser = false

那么,三个SQL脚本文件放置到$PGHOME目录下的share/extension/ 目录下,pg_profile.control放置到$PGHOME目录下的lib目录下就算安装完毕了。

dblink插件需要源码包安装,安装方式见上一个博客:postgresql|数据库|插件学习(一)---postgresql-12的内置插件pg_stat_statements的启用和使用_晚风_END的博客-CSDN博客

同时也需要安装pg_stat_statements插件,上面的文章都写了。

二,

pg_profile的配置

postgresql.conf 文件内增加如下配置,并重启数据库使之生效

shared_preload_libraries = 'pg_stat_statements'
pg_stat_statements.max = 10000
pg_stat_statements.track = 'top'
pg_stat_statements.save = on
track_activities = on
track_counts = on
track_io_timing = on
track_wal_io_timing = on      # Since Postgres 14
track_functions = all/pl

通过命令行登入数据库,执行以下命令:

postgres=# CREATE EXTENSION dblink;
postgres=# CREATE EXTENSION pg_stat_statements;
postgres=# CREATE SCHEMA profile;
postgres=# CREATE EXTENSION pg_profile SCHEMA profile;

这些命令执行完毕后,将会可以看到有四个插件:

 

postgres=# \dx
                                       List of installed extensions
        Name        | Version |   Schema   |                         Description                          
--------------------+---------+------------+--------------------------------------------------------------
 dblink             | 1.2     | public     | connect to other PostgreSQL databases from within a database
 pg_profile         | 0.3.6   | profile    | PostgreSQL load profile repository and report builder
 pg_stat_statements | 1.7     | public     | track execution statistics of all SQL statements executed
 plpgsql            | 1.0     | pg_catalog | PL/pgSQL procedural language
(4 rows)

还可以看到大量的函数和视图:

扩展参数(一般不需要设置):

您可以在postgresql.conf中定义扩展参数。默认值:

  • pg_profile.topn = 20 - 顶级对象(语句、关系等)的数量。),在每个排序后的报表中报告。此外,该参数影响样本的大小——您希望在报告中出现的对象越多,我们需要在样本中保留的对象就越多。
  • pg_profile.max_sample_age = 7 - 样品的保留时间(天)。样本、老化pg_profile.max_sample_age天数等将在下次调用take_sample()时自动删除。
  • pg_profile.track_sample_timings = off - 当此参数打开时,pg_profile将跟踪详细的采样时间。.
  • pg_profile.max_query_length = 20000 - 报告的查询长度限制。报告中的所有查询都将被截断到此长度。此设置不影响查询文本收集-在一个样本期间收集完整的查询文本,因此可以获得

三,

pg_profile的使用

查看数据库信息:

postgres=# select * from profile.show_servers();
 server_name |          connstr           | enabled | description 
-------------+----------------------------+---------+-------------
 local       | dbname=postgres port=35432 | t       | 
(1 row)

创建一个远程的服务器(远程的数据库ip是192.168.123.60,开放端口是5432,该服务器也安装了pg_profile):

[root@EULER1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:6d:97:07 brd ff:ff:ff:ff:ff:ff
    inet 192.168.123.60/24 brd 192.168.123.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::1b25:fbf0:3c0d:2037/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:d2:bc:7d brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fed2:bc7d/64 scope link 
       valid_lft forever preferred_lft forever
11: vetha169aaf@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether b6:b7:7e:4a:62:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::b4b7:7eff:fe4a:62d0/64 scope link 
       valid_lft forever preferred_lft forever
[root@EULER1 ~]# netstat -antup |grep postgre
tcp        0      0 0.0.0.0:5432            0.0.0.0:*               LISTEN      29063/postgres      

在本地服务器上执行,不在60上哦:

postgres=# SELECT profile.create_server('euler','host=192.168.123.60 dbname=postgres port=5432');
 create_server 
---------------
             4
(1 row)
postgres=# select * from profile.show_servers();
 server_name |                    connstr                    | enabled | description 
-------------+-----------------------------------------------+---------+-------------
 local       | dbname=postgres port=35432                    | t       | 
 euler       | host=192.168.123.60 dbname=postgres port=5432 | t       | 
(2 rows)

打快照

两个命令等价的

两个服务器都打快照

####下面的两个命令等价的
SELECT profile.snapshot() ;
select * from profile.take_sample();
postgres=# SELECT profile.snapshot() ;
        snapshot        
------------------------
 (local,OK,00:00:00.31)
 (euler,OK,00:00:00.7)
(2 rows)

单独打远程快照:

postgres=# select * from profile.take_sample('euler');
 take_sample 
-------------
           0
(1 row)

 

输出如下:

postgres=# select * from profile.take_sample();
 server | result |   elapsed   
--------+--------+-------------
 local  | OK     | 00:00:00.32
(1 row)
postgres=# SELECT profile.snapshot() ;
        snapshot        
------------------------
 (local,OK,00:00:00.36)
(1 row)

查看快照:

postgres=# select profile.show_samples();
           show_samples            
-----------------------------------
 (1,"2023-05-21 17:43:40+08",t,,,)
 (2,"2023-05-21 17:45:03+08",t,,,)
 (3,"2023-05-21 17:50:50+08",t,,,)
 (4,"2023-05-21 17:51:14+08",t,,,)
(4 rows)

查看远程快照:

postgres=# SELECT profile.snapshot() ;
        snapshot        
------------------------
 (local,OK,00:00:00.4)
 (euler,OK,00:00:00.77)
(2 rows)
postgres=# select profile.show_samples();
           show_samples            
-----------------------------------
 (1,"2023-05-21 17:43:40+08",t,,,)
 (2,"2023-05-21 17:45:03+08",t,,,)
 (3,"2023-05-21 17:50:50+08",t,,,)
 (4,"2023-05-21 17:51:14+08",t,,,)
 (5,"2023-05-21 18:02:45+08",t,,,)
 (6,"2023-05-21 19:40:54+08",t,,,)
 (7,"2023-05-21 19:42:31+08",t,,,)
 (8,"2023-05-21 19:42:54+08",t,,,)
 (9,"2023-05-21 19:43:22+08",t,,,)
(9 rows)
postgres=# select profile.show_samples('euler');
           show_samples            
-----------------------------------
 (1,"2023-05-21 19:38:41+08",t,,,)
 (2,"2023-05-21 19:40:54+08",t,,,)
 (3,"2023-05-21 19:42:28+08",t,,,)
 (4,"2023-05-21 19:42:31+08",t,,,)
 (5,"2023-05-21 19:42:43+08",t,,,)
 (6,"2023-05-21 19:42:54+08",t,,,)
 (7,"2023-05-21 19:43:11+08",t,,,)
 (8,"2023-05-21 19:44:01+08",t,,,)
(8 rows)

 

生成普通报告(第二个是远程的):

psql -Upostgres -p 35432  -qtc "select profile.get_report(1,3)"  --output awr_report_postgres_1_3.html
psql -Upostgres -p 35432  -qtc "select profile.get_report('euler',1,3)"  --output awr_report_postgres_1_3.html

生成差异化报告:

需要输入四个快照ID,前两个为一组,后两个为一组

psql -Upostgres -p 35432  -qtc "select profile.get_diffreport(1,2,3,4)"  --output awr_report_postgres_1_4.html

生成远程数据库服务器的差异化报告

psql -Upostgres -p 35432  -qtc "select profile.get_diffreport('euler',1,2,3,4)"  --output awr_report_postgres_1_4.html

本地的普通报告:

远程服务器euler的差异化报告:

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
7天前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
|
8天前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
13天前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
4月前
|
SQL 关系型数据库 MySQL
Go语言数据库编程:使用 `database/sql` 与 MySQL/PostgreSQL
Go语言通过`database/sql`标准库提供统一数据库操作接口,支持MySQL、PostgreSQL等多种数据库。本文介绍了驱动安装、连接数据库、基本增删改查操作、预处理语句、事务处理及错误管理等内容,涵盖实际开发中常用的技巧与注意事项,适合快速掌握Go语言数据库编程基础。
286 62
|
2月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
157 0
|
4月前
|
存储 关系型数据库 分布式数据库
【赵渝强老师】基于PostgreSQL的分布式数据库:Citus
Citus 是基于 PostgreSQL 的开源分布式数据库,采用 shared nothing 架构,具备良好的扩展性。它以插件形式集成,部署简单,适用于处理大规模数据和高并发场景。本文介绍了 Citus 的基础概念、安装配置步骤及其在单机环境下的集群搭建方法。
290 2
|
28天前
|
安全 关系型数据库 MySQL
MySQL安全最佳实践:保护你的数据库
本文深入探讨了MySQL数据库的安全防护体系,涵盖认证安全、访问控制、网络安全、数据加密、审计监控、备份恢复、操作系统安全、应急响应等多个方面。通过具体配置示例,为企业提供了一套全面的安全实践方案,帮助强化数据库安全,防止数据泄露和未授权访问,保障企业数据资产安全。
|
13天前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
52 3
|
19天前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
2月前
|
存储 运维 关系型数据库
从MySQL到云数据库,数据库迁移真的有必要吗?
本文探讨了企业在业务增长背景下,是否应从 MySQL 迁移至云数据库的决策问题。分析了 MySQL 的优势与瓶颈,对比了云数据库在存储计算分离、自动化运维、多负载支持等方面的优势,并提出判断迁移必要性的五个关键问题及实施路径,帮助企业理性决策并落地迁移方案。

热门文章

最新文章

推荐镜像

更多