2013-05-05 Created By BaoXinjian
Thanks and Regards
ERP技术讨论群: 288307890技术交流，技术讨论，欢迎加入
Technology Blog Created By Oracle ERP - 鲍新建
PLSQL_海量数据处理系列5_数据压缩
2013-05-05
746
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
2013-05-05 Created By BaoXinjian
Thanks and RegardsERP技术讨论群: 288307890
技术交流，技术讨论，欢迎加入
Technology Blog Created By Oracle ERP - 鲍新建
技术交流，技术讨论，欢迎加入
Technology Blog Created By Oracle ERP - 鲍新建
目录
相关文章
|
6月前
|
SQL
Java
数据库连接
Apache Doris 支持 Arrow Flight SQL 协议，数据传输效率实现百倍飞跃
近年来，随着数据科学、数据湖分析等场景的兴起，对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准，在应对大规模数据读取和传输时显得力不从心，无法满足高性能、低延迟等数据处理需求。为提供更高效的数据传输方案，Apache Doris 在 2.1 版本中基于 Arrow Flight SQL 协议实现了高速数据传输链路，使得数据传输性能实现百倍飞跃。
452
0
0
|
3月前
|
SQL
存储
算法
|
6月前
|
SQL
分布式计算
数据处理
|
6月前
|
存储
缓存
算法
InfluxDB高级特性：数据压缩与存储优化技术详解
【4月更文挑战第30天】InfluxDB，流行的开源时序数据库，采用LSM Tree存储引擎，利用WAL和TSM文件高效存储数据。其高级特性包括数据压缩（Snappy、Gorilla、Delta编码）和存储优化（时间序列分区、数据块合并、删除与归档）。通过选择合适的压缩算法、设置分区策略、定期合并数据块及制定保留策略，可优化InfluxDB性能和存储效率。
1137
0
0
|
存储
运维
算法
GaussDB 技术解读系列：高级压缩之 OLTP 表压缩
这里我们也做了一个标准的 TPCC 的测试评估，基于 GaussDB 单机版本进行选择性压缩。根据 TPCC 的语义，所有已经配送完成的订单就不会再变更，但仍有一定的概率被访问到，这是非常贴近于真实业务场景的访问模型。所以，我们的压缩算法选择了压缩流水类数据，比如订单数据，而一些状态类的数据，比如库存、账户等没有去压缩，在流水数据里，我们也只压缩已经配送完成的订单，不压缩没有配送完成的订单。从最后的结果看，整个压缩之后对于业务的影响在 1.5% 左右。我们相信我们是业内第一个在 150 万 tpmC 性能峰值仍然能够开启压缩并且性能基本不下降的产品。
132
0
0
|
存储
传感器
机器学习/深度学习
TSDB时序数据库时序数据压缩解压技术浅析
目前，物联网、工业互联网、车联网等智能互联技术在各个行业场景下快速普及应用，导致联网传感器、智能设备数量急剧增加，随之而来的海量时序监控数据存储、处理问题，也为时序数据库高效压缩、存储数据能力提出了更高的要求。对于通量愈加庞大的物联网时序大数据存储，尽管标准压缩方法还能发挥其价值，但某些场景对时序数据压缩解压技术效率、性能提出了新的需求。本文介绍了现有的时序数据压缩解压技术，分类介绍了不同算法的特点和优劣势。
272
0
0
|
存储
编解码
监控
InfluxDB数据压缩算法
2864
0
1
|
存储
SQL
容器
列式存储系列（二）: Vertica
本文就 Vertica 的数据模型、存储、执行引擎以及这几个方面与 C-Store 的区别进行了简单的介绍。总的来说，Vertica 是一个纯正的列式存储数据库，为此，Vertica 设计实现了 projection 这一数据模型，并围绕该模型设计实现了一套大数据分析管理引擎。
6489
0
0
|
SQL
存储
数据库
时序数据库连载系列：当SQL遇到时序 TimescaleDB
1.概述
TimescaleDB是Timescale Inc.(成立于2015年)开发的一款号称兼容全SQL的 时序数据库 。它的本质是一个基于 PostgreSQL（以下简称 PG ）的扩展（ Extension ），主打的卖点如下：
全SQL支持
背靠PostgreSQL的高可靠性
时序数据的高写入性能
下文将对TimescaleDB这个产品进行解读。
6689
0
0
|
存储
算法
物联网
深入浅出时序数据库之压缩篇
2184
0
0