PostgreSQL年龄的处理

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 实例周期性的IO升高,是因为数据库周期性执行autovacuum所致。 这种情况通常是因为频繁的更新、修改,引起年龄的增长、或脏数据的产生,从而触发autovacuum进行回收 具体autovacuum的机制可以参考  http://www.
实例周期性的IO升高,是因为数据库周期性执行autovacuum所致。

这种情况通常是因为频繁的更新、修改,引起年龄的增长、或脏数据的产生,从而触发autovacuum进行回收。

1. 查询库的年龄

SELECT   $$nos_db$$ AS env_name , 
         Current_database(), 
         nspname, 
         CASE relkind 
                  WHEN $$r$$ THEN $$ordinary table$$ 
                  WHEN $$t$$ THEN $$toast table$$ 
         END AS relkind, 
         relname, 
         age(relfrozenxid), 
         CASE 
                  WHEN ( 
                                    substring(reloptions::text,$$autovacuum_freeze_max_age=(\d+)$$)::int8) IS NOT NULL THEN (substring(reloptions::text,$$autovacuum_freeze_max_age=(\d+)$$)::int8)-age(relfrozenxid) 
                  ELSE 
                        ( 
                        SELECT setting 
                        FROM   pg_settings 
                        WHERE  name=$$autovacuum_freeze_max_age$$)::int8 - age(relfrozenxid) 
         END AS age_remain 
FROM     pg_class t2 
join     pg_namespace t3 
ON       t2.relnamespace=t3.oid 
WHERE    t2.relkind IN ($$t$$, 
                        $$r$$) 
AND      t2.relname LIKE 't_%' 
ORDER BY age(relfrozenxid) DESC;


根据vacuum_freeze_min_age、autovacuum_freeze_max_age、vacuum_freeze_table_age等参数,判断是否是因为年龄触发的。 该文档中有说明 http://xmarker.blog.163.com/blog/static/2264840572014524112214193/


2. 如果年龄比较高,则执行vacuum freeze

vacuum freeze 的锁粒度较小,且执行较快。  参考中的vacuum freeze相关的介绍  http://www.postgres.cn/docs/9.3/routine-vacuuming.html#VACUUM-FOR-WRAPAROUND

此时,可以解决由年龄触发的autovacuum。


3. 脏数据

经常更新,很容易造成脏数据,导致表的膨胀,请参考文档中的2.2部分 http://gitbook.cn/books/58db93b8f59193805502b491/index.html

可以先做下vacuum,然后看下表的空间占用是否会下降。必要的话,请做下vacuum full。


4. 业务维护

vacuum full可以解决当前频繁触发autovacuum的问题。正常情况下,autovacuum工作的很好,但鉴于当前业务更新量超大的情况,建议做好年龄和脏数据的监控,并及时处理。 或者在了解autovacuum的原理后,调整参数来适应业务,这个参考  http://www.postgres.cn/docs/9.3/runtime-config-autovacuum.html  




参考:

1. 具体autovacuum的机制可以参考  http://www.postgres.cn/docs/9.3/routine-vacuuming.html#VACUUM-FOR-WRAPAROUND
2. autovacuum相关参数 http://www.postgres.cn/docs/9.3/runtime-config-autovacuum.html  
3. MVCC:
http://www.jasongj.com/sql/mvcc/
https://mp.weixin.qq.com/s?__biz=MzI5MTQ3ODU4Nw==&mid=2247483739&idx=1&sn=06e4ea74b2a94c277c89c0fa0aa58a0e
https://mp.weixin.qq.com/s/so-MaqrUtncT8pbRngUcDA
https://my.oschina.net/liuyuanyuangogo/blog/497929
http://www.jianshu.com/p/f73b9f36e555
4. checkpoint:
https://yq.aliyun.com/articles/72500
http://mysql.taobao.org/monthly/2017/04/04/
http://www.jianshu.com/p/a37ceed648a8
https://kb.cnblogs.com/page/76601/   
5. 关于数据库中的年龄:
http://francs3.blog.163.com/blog/static/405767272012469589239
http://xmarker.blog.163.com/blog/static/2264840572014524112214193/
https://yq.aliyun.com/articles/50411
6. 可以参考的官方文档:
http://www.postgres.cn/docs/9.3/

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
16天前
|
SQL 存储 关系型数据库
RDS for MySQL的SQL分类与数据类型
小明需在MySQL中管理商品信息,使用SQL完成业务操作。SQL分为DQL(查询)、DML(增删改)、DDL(定义)、DCL(权限控制)和TCL(事务)五大类。DDL用于创建、修改和删除数据库结构,DML处理数据,DCL控制权限,TCL管理事务,DQL则用于查询数据。MySQL有多种数据类型,如数值型(整数、小数)、日期型和字符串型等,选择合适的数据类型是高效开发的关键。
26 0
|
存储 SQL 关系型数据库
PostgreSQL系统字段cmin和cmax详解
1.cmin和cmax是什么 PG中每个表都包含了一些系统字段,其中包括cmin和cmax。 cmin:插入该元组的命令在插入事务中的命令标识(从0开始累加) cmax:删除该元组的命令在插入事务中的命令标识(从0开始累加) 可以在Select命令的输出列表中显式地指定系统字段。
2669 0
|
8月前
|
关系型数据库 Go 数据库
《提高查询速度:PostgreSQL索引实用指南》
《提高查询速度:PostgreSQL索引实用指南》
406 0
|
8月前
|
SQL 关系型数据库 MySQL
《PostgreSQL与MySQL:详细对比与分析》
《PostgreSQL与MySQL:详细对比与分析》
275 0
|
关系型数据库 MySQL
MySql 627.变更性别
MySql 627.变更性别
40 0
MySql 627.变更性别
|
存储 JSON 算法
AnalyticDB MySQL-表和索引与MySQL的差异
AnalyticDB MySQL在语法上兼容MySQL,但是它的技术架构不同于MySQL,表和索引也和MySQL差异较大,这篇文章列出了这些差异,在使用AnalyticDB MySQL创建表时可以参考一下。
383 0
|
SQL 存储 关系型数据库
PostgreSQL表的查询(难度适中)
PostgreSQL表的查询(难度适中)
204 0
PostgreSQL表的查询(难度适中)
|
SQL 关系型数据库 PostgreSQL
PostgreSQL 10.1 手册_部分 I. 教程_第 2 章 SQL语言_2.4. 在表中增加行
2.4. 在表中增加行 INSERT语句用于向表中添加行: INSERT INTO weather VALUES ('San Francisco', 46, 50, 0.25, '1994-11-27'); 请注意所有数据类型都使用了相当明了的输入格式。
1061 0
|
关系型数据库 MySQL PostgreSQL
|
SQL 关系型数据库 PostgreSQL

热门文章

最新文章