【重新发现PostgreSQL之美】- 13 brin 时序索引

简介: 大家好,这里是重新发现PostgreSQL之美 - 13 brin 时序索引

背景



场景:

  • 物联网、游戏、金融、证券、车联网等场景, appendonly的高并发数据写入, 需要高效的按时间区间进行数据统计分析.

挑战:

  • 写入量大, 传统btree索引对写入的RT影响大, 导致性能下降严重.
  • 普通btree索引存储空间占用较大.
  • 普通btree索引采用链表存储, 逻辑上有序, 而物理离散, 加上IO有prefetch, 使得按btree的索引范围查询将占用大量IO通道. 范围查询效率差.

PG解决方案:

  • PG采用堆表存储, 使用时序索引, 每连续的N个数据块存储min,max val. 时序索引只有btree的几百分之一大小. 并且支持快速的范围查询.
  • 其他数据库产品采用聚集存储无法实现时序索引, 因为聚集存储本身必须按PK组织, 在数据块层面已经没有时序顺序了.

202105/20210507_05.md  《PostGIS空间索引(GiST、BRIN、R-Tree)选择、优化- 2》

202103/20210326_02.md  《PostgreSQL 14 preview - BRIN (典型IoT 时序场景) 块级索引支持bloom filter - 随机,大量distinct value, 等值查询》

202103/20210326_01.md  《PostgreSQL 14 preview - BRIN (典型IoT 时序场景) 块级索引支持multi-range min-max [s] - 分段范围索引》

202103/20210324_01.md  《PostgreSQL 14 preview - brin 索引内存优化》

201803/20180323_05.md  《PostgreSQL 11 preview - BRIN索引接口功能扩展(BLOOM FILTER、min max分段)》

201711/20171107_25.md  《HTAP数据库PostgreSQL 场景与性能测试之24 - (OLTP) 物联网- 时序数据并发写入(含时序索引BRIN)》

201708/20170824_01.md  《PostgreSQL BRIN索引的pages_per_range选项优化与内核代码优化思考》

201708/20170823_01.md  《万亿级电商广告- brin黑科技带你(最低成本)玩转毫秒级圈人(视觉挖掘姊妹篇) - 阿里云RDS PostgreSQL, HybridDB for PostgreSQL最佳实践》

201708/20170820_01.md  《PostGIS空间索引(GiST、BRIN、R-Tree)选择、优化- 阿里云RDS PostgreSQL最佳实践》

201706/20170617_01.md  《自动选择正确索引访问接口(btree,hash,gin,gist,sp-gist,brin,bitmap...)的方法》

201706/20170611_02.md  《PostgreSQL 并行写入堆表,如何保证时序线性存储- BRIN索引优化》

201704/20170405_01.md  《PostgreSQL 10.0 preview 功能增强- BRIN 索引更新smooth化》

201702/20170219_01.md  《PostgreSQL 聚集存储与BRIN索引- 高并发行为、轨迹类大吞吐数据查询场景解说》

201604/20160414_01.md  《PostgreSQL 物联网黑科技- 瘦身几百倍的索引(BRIN index)》

201505/20150526_01.md  《PostgreSQL 9.5 new feature - lets BRIN be used with R-Tree-like indexing strategies For "inclusion" opclasses》

201504/20150419_01.md  《PostgreSQL 9.5 new feature - BRIN (block range index) index》

202105/20210518_02.md  《结合PostgreSQL, MADlib, Tensorflow 实现机器学习是时序分析. 使用本地数据, 不需要move data.》

202105/20210514_01.md  《PostgreSQL 时序数据库插件timescaledb 2.2.1 通过custom plan provider接口实现index skip scan, 加速distinct, last_value, first_value等大表稀疏值快速搜索, 最快上万倍性能提升》

202105/20210509_01.md  《PostgreSQL 应用开发解决方案最佳实践系列课程- 6. 时空、时态、时序、日志等轨迹系统》

202104/20210429_03.md  《PostgreSQL - 时序、IoT类场景- time_bucket 分析函数- 内置date_bin》

202104/20210429_02.md  《PostgreSQL - 时序、IoT类场景- first_value , last_value , agg , cte , window , recursive》

202104/20210429_01.md  《PostgreSQL - 时序、IoT类场景- 自定义histogram函数, 绘制数据分布柱状图- cte window range width_bucket format plpgsql》

202104/20210428_03.md  《PostgreSQL 时序数据库设计最佳实践- 关联citus,columnar,partition,timescaledb,压缩,高速写,parallel append 多分区并行查询,分区》

202103/20210325_01.md  《PostgreSQL 14 preview - date_bin 任意起点, 任意bucket(interval) split bucket align 统计- 时序场景(iot, 金融等),关联timescaledb》

202004/20200412_03.md  《一款兼容PostgreSQL协议的时序数据库- QuestDB》

201912/20191218_01.md  《PostgreSQL 时序数据库timescaledb支持compress调度》

201910/20191027_04.md  《PostgreSQL timescaledb插件pg_prometheus - PostgreSQL作为prometheus的时序数据库必备插件》

201905/20190509_01.md  《pipelinedb 团队加入Confluent,TimescaleDB时序插件支持准实时聚合(类流式计算)》

201804/20180420_01.md  《[未完待续] PostgreSQL + timescaleDB + Prometheus 物联网时序数据监控组合》

201801/20180129_01.md  《PostgreSQL 时序数据库插件timescaleDB 部署实践(含例子纽约TAXI数据透视分析) - PostGIS + timescaleDB => PG时空数据库》

201712/20171225_01.md  《PostgreSQL 时序数据案例- 时间流逝, 自动压缩(时间粒度老化), 同比\环比》

201711/20171107_16.md  《HTAP数据库PostgreSQL 场景与性能测试之15 - (OLTP) 物联网- 查询一个时序区间的数据》

201708/20170823_02.md  《时序业务,求最新值(从7秒到7毫秒的优化之旅)- 阿里云RDS PostgreSQL最佳实践》

201707/20170705_01.md  《PostgreSQL 海量时序数据(任意滑动窗口实时统计分析) - 传感器、人群、物体等对象跟踪》

201707/20170702_01.md  《PostgreSQL FDW 伪列实现时序数据存储自动分区- FUNCTION pushdown》

201705/20170518_01.md  《(流式、lambda、触发器)实时处理大比拼- 物联网(IoT)\金融,时序处理最佳实践》

201704/20170417_01.md  《PostgreSQL 时序最佳实践- 证券交易系统数据库设计- 阿里云RDS PostgreSQL最佳实践》

201704/20170409_05.md  《时序数据库有哪些特点? TimescaleDB时序数据库介绍》

201611/20161128_01.md  《时序数据合并场景加速分析和实现- 复合索引,窗口分组查询加速,变态递归加速》

 

 

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
存储 监控 关系型数据库
B-tree不是万能药:PostgreSQL索引失效的7种高频场景与破解方案
在PostgreSQL优化实践中,B-tree索引虽承担了80%以上的查询加速任务,但因多种原因可能导致索引失效,引发性能骤降。本文深入剖析7种高频失效场景,包括隐式类型转换、函数包裹列、前导通配符等,并通过实战案例揭示问题本质,提供生产验证的解决方案。同时,总结索引使用决策矩阵与关键原则,助你让索引真正发挥作用。
|
监控 关系型数据库 数据库
PostgreSQL的索引优化策略?
【8月更文挑战第26天】PostgreSQL的索引优化策略?
797 1
|
JSON 关系型数据库 PostgreSQL
PostgreSQL 9种索引的原理和应用场景
PostgreSQL 支持九种主要索引类型,包括 B-Tree、Hash、GiST、SP-GiST、GIN、BRIN、Bitmap、Partial 和 Unique 索引。每种索引适用于不同场景,如 B-Tree 适合范围查询和排序,Hash 仅用于等值查询,GiST 支持全文搜索和几何数据查询,GIN 适用于多值列和 JSON 数据,BRIN 适合非常大的表,Bitmap 适用于低基数列,Partial 只对部分数据创建索引,Unique 确保列值唯一。
1770 15
|
SQL 关系型数据库 OLAP
云原生数据仓库AnalyticDB PostgreSQL同一个SQL可以实现向量索引、全文索引GIN、普通索引BTREE混合查询,简化业务实现逻辑、提升查询性能
本文档介绍了如何在AnalyticDB for PostgreSQL中创建表、向量索引及混合检索的实现步骤。主要内容包括:创建`articles`表并设置向量存储格式,创建ANN向量索引,为表增加`username`和`time`列,建立BTREE索引和GIN全文检索索引,并展示了查询结果。参考文档提供了详细的SQL语句和配置说明。
821 2
|
SQL 关系型数据库 MySQL
SQL Server、MySQL、PostgreSQL:主流数据库SQL语法异同比较——深入探讨数据类型、分页查询、表创建与数据插入、函数和索引等关键语法差异,为跨数据库开发提供实用指导
【8月更文挑战第31天】SQL Server、MySQL和PostgreSQL是当今最流行的关系型数据库管理系统,均使用SQL作为查询语言,但在语法和功能实现上存在差异。本文将比较它们在数据类型、分页查询、创建和插入数据以及函数和索引等方面的异同,帮助开发者更好地理解和使用这些数据库。尽管它们共用SQL语言,但每个系统都有独特的语法规则,了解这些差异有助于提升开发效率和项目成功率。
2735 1
|
关系型数据库 数据库 PostgreSQL
PostgreSQL索引维护看完这篇就够了
PostgreSQL索引维护看完这篇就够了
1761 0
|
SQL 关系型数据库 数据库
RDS PostgreSQL索引推荐原理及最佳实践
前言很多开发人员都知道索引对于数据库的查询性能至关重要,一个好的索引能使数据库的性能提升成千上万倍。但给数据库加索引是一项相对专业的工作,需要对数据库的运行原理有一定了解。同时,加了索引有没有性能提升、性能提升了多少,这些都是加索引前就想知道的。这项繁杂的工作有没有更好的方案呢?有!就是今天重磅推出...
891 1
RDS PostgreSQL索引推荐原理及最佳实践
|
关系型数据库 Go 数据库
《提高查询速度:PostgreSQL索引实用指南》
《提高查询速度:PostgreSQL索引实用指南》
931 0
|
关系型数据库 分布式数据库 数据库
PolarDB for PostgreSQL 14:全局索引
PolarDB for PostgreSQL 14 相较于 PostgreSQL 14,提供了更多企业级数据库的特性。本实验将体验其中的全局索引功能。
|
弹性计算 关系型数据库 OLAP
AnalyticDB PostgreSQL版向量索引查询
本案例对比了传统查询和使用向量索引执行查询的执行时间,助您体验使用向量索引查询带来的高效和快捷。

热门文章

最新文章

推荐镜像

更多