背景
物联网, 金融, 社交, 电商, 电力, 游戏等行业. 大量传感器、业务日志、FEED等数据.
因为数据分析、或行业合规, 要求日志类流水类数据需要永久保存
最近的数据需要高效点查, 高效更新, 高速写入
历史的数据需要大范围快速分析计算, 高压缩比
挑战:
1、历史数据量大, 存储耗费巨大
2、无法同时解决高并发写入、更新、点查同时快速分析和高压缩比的问题
PG解决方案:
- WO写优化、RO读优化
- RO(读优化)存储高压缩比
- 向量化计算性能提升一个数量级
- 分区支持行、列混合存储
- 通过parser analyze hook,扩展向量类型,扩展向量算子,基于代价的自动化JIT选择,在同一个实例中支持oltp, olap两种模型.
参考
《PostgreSQL 时序数据库设计最佳实践 - 关联 citus,columnar,partition,timescaledb,压缩,高速写,parallel append 多分区并行查询,分区》
https://github.com/postgrespro/vops
https://github.com/citusdata/citus
https://hub.fastgit.org/citusdata/citus/blob/master/src/backend/columnar/README.md
《PostgreSQL 向量化执行插件(瓦片式实现-vops) 10x提速OLAP》
《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》
