JSONB 压缩版本 ZSON

简介:

标签

PostgreSQL , json , jsonb , zson


背景

json, jsonb是PostgreSQL里面的一种schemaless数据类型,zson是兼容json,jsonb的一种压缩类型,通过训练的方式生成字典,通过字典进行压缩。

通常获得的压缩比比较客观,压缩后可以节约存储空间,节约SHARED BUFFER,提高TPS。

安装

git clone https://github.com/postgrespro/zson  
cd zson  
export PATH=/home/digoal/pgsql/bin:$PATH  
  
make  
make install  
make installcheck  
  
connect to database, create extension  
  
psql db  
create extension zson;  

用法

1 通过训练,构造字典

训练函数接口如下

zson_learn(  
    tables_and_columns text[][],  
    max_examples int default 10000,  
    min_length int default 2,  
    max_length int default 128,  
    min_count int default 2  
)  

需要提供被训练的表,以及JSON字段名

select zson_learn('{{"table1", "col1"}, {"table2", "col2"}}');  

建议使用真实数据进行训练,确保训练得到的字典对实际数据有效。

查看训练好的字典

select * from zson_dict;  

2 使用zson类型

字典训练完成后,写入数据,zson将以字典形式压缩存储。

zson_test=# create table zson_example(x zson);  
CREATE TABLE  
  
zson_test=# insert into zson_example values ('{"aaa": 123}');  
INSERT 0 1  
  
zson_test=# select x -> 'aaa' from zson_example;  
-[ RECORD 1 ]-  
?column? | 123  

字典版本

每次调用zson_learn都会生成新的字典,所有字典都会缓存到内存中。

新写入的zson数据会使用最新版本的字典进行压缩,不影响老的ZSON数据。

使用zson_info可以查看zson值使用的字典版本。

zson_test=# select zson_info(x) from test_compress where id = 1;  
-[ RECORD 1 ]---------------------------------------------------  
zson_info | zson version = 0, dict version = 1, ...  
  
zson_test=# select zson_info(x) from test_compress where id = 2;  
-[ RECORD 1 ]---------------------------------------------------  
zson_info | zson version = 0, dict version = 0, ...  

删除字典

当所有的ZSON都没有使用旧的字典时,才能删除旧字典,否则请不要删除。

delete from zson_dict where dict_id = 0;  

评估是否需要重新训练字典

当发现压缩比升高时,可能需要重新训练字典。

或者根据json数据写入的持续,数据内容的变化等,进行调度。

当数据内容变化很大时,可能需要重新生成字典。

select pg_table_size('tt') / (select count(*) from tt)  

生成新的字典后,通过zson_dict,对比不同版本的字典内容,也能知道新字典是否有必要。(请务必使用真实数据生成字典)

参考

https://github.com/postgrespro/zson

目录
相关文章
|
存储 前端开发 关系型数据库
一站式元数据治理平台——Datahub入门宝典(二)
随着数字化转型的工作推进,数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台,Datahub在近一年的时间里发展迅猛,大有取代老牌元数据管理工具Atlas之势。国内Datahub的资料非常少,大部分公司想使用Datahub作为自己的元数据管理平台,但可参考的资料太少。 所以整理了这份文档供大家学习使用。本文档基于Datahub最新的0.8.20版本,整理自部分官网内容,各种博客及实践过程。
4322 0
一站式元数据治理平台——Datahub入门宝典(二)
|
资源调度
Vue3富文本编辑器wangEditor 5使用总结
Vue3富文本编辑器wangEditor 5使用总结
2190 0
|
4月前
|
弹性计算 运维 安全
阿里云专有网络VPC对接使用完全指南:从基础连接到混合云互联
本文系统讲解阿里云专有网络VPC的对接使用全流程。从VPC核心概念与创建开始,深入剖析CIDR网段规划、交换机多可用区设计、路由表与安全组配置等基础网络构建方法。重点阐述VPC对内互联(VPC对等连接、云企业网CEN)和对外互联(NAT网关公网访问、VPN网关混合云、高速通道专线)的多种对接方案,并提供Terraform与阿里云CLI自动化配置示例。同时涵盖共享VPC多账号管理、PrivateLink私网连接、网络ACL与安全组分层防护等高级特性。最后总结VPC网络监控运维与故障排查方法,通过问答形式巩固核心知识点,帮助读者从零构建企业级云上网络架构。
|
11月前
|
Rust 持续交付 开发者
掌握Rust代码整洁之道(新手也能轻松上手的Rust格式化指南)
本文介绍Rust代码格式化工具rustfmt的使用方法,帮助开发者自动统一代码风格。通过简单命令即可美化单文件或整个项目,支持自定义配置与编辑器集成,提升代码可读性与团队协作效率,是Rust编程中不可或缺的最佳实践。来源:https://www.vpshk.cn/
|
Cloud Native Java 中间件
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
632 0
|
JSON Go 数据处理
Go语言实战案例-读取本地文本文件内容
本案例详细介绍了如何使用 Go 语言读取本地文本文件内容,适合初学者掌握文件输入操作。内容涵盖文件读取的基本方法、错误处理、逐行读取高级用法以及常见问题解决方案,是构建命令行工具和数据处理程序的基础。
|
存储 JavaScript 前端开发
基于 ant-design-vue 和 Vue 3 封装的功能强大的表格组件
VTable 是一个基于 ant-design-vue 和 Vue 3 的多功能表格组件,支持列自定义、排序、本地化存储、行选择等功能。它继承了 Ant-Design-Vue Table 的所有特性并加以扩展,提供开箱即用的高性能体验。示例包括基础表格、可选择表格和自定义列渲染等。
1366 6
|
传感器 缓存 Prometheus
在Linux中,如何进行硬件性能监控?
在Linux中,如何进行硬件性能监控?
|
人工智能 Serverless API
AI时代下的数据信息提取 | 多模态数据信息提取
多模态数据信息提取方案利用先进的大模型技术,支持文本、图像、音频和视频等多种格式文件的信息抽取。该方案通过函数计算FC构建Web服务,接收用户请求并调用视觉和文本模型进行处理,最终返回结果。部署过程简单易上手,适合新手操作,且提供详细的文档和截图指导。用户可通过在线WebUI或API接口实现信息提取,满足不同场景需求。此外,该方案支持批处理模式下的离线作业,大幅提高大规模数据处理效率,降低业务落地成本达50%。
|
消息中间件 Kafka 测试技术
消息队列 MQ 性能大揭秘
本文对比了RabbitMQ、RocketMQ、Kafka和Pulsar四款消息队列的性能。RabbitMQ的吞吐量为万级,延迟在低吞吐量时可低至微秒级;高吞吐量下延迟显著上升。RocketMQ官方宣称支持万亿级吞吐量,实际测试中可达百万级TPS,延迟为毫秒级。Kafka和Pulsar的吞吐量均为百万级,Kafka延迟低至2ms,Pulsar延迟约10ms。总体来看,Kafka在高吞吐量下表现最优,而RabbitMQ适合对速度与可靠性要求高的低吞吐量场景。
1900 0
消息队列 MQ 性能大揭秘