《NoSQL权威指南》——2.6 数据仓库和列式数据库

简介:

本节书摘来自异步社区出版社《NoSQL权威指南》一书中的第2章,第2.6节,作者:【美】Joe Celko(乔•塞科) ,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.6 数据仓库和列式数据库

当只涉及少数列时,数据仓库可以将部分工作负载转移到列式数据库,以提高性能。多维数据库(Multidimensional database,MDB)或多维数据集(cube)是支持非常快速访问预先计算的汇总数据的不同的物理结构。当查询请求MDB大部分列的情况下,MDB将执行相当不错。

这些MDB数据库的物理存储是一个规范化的维度模型,通过存储计算结果消除了连接(join)操作。然而,随着列的增加,MDB会变得巨大,并且增长速度会比预期快。MDB中的数据可以使用与列式数据库大致相同的方式进行压缩,所以从多维数据集中提取列的子集相对容易。

对于列式数据库,最佳工作负载是查询,不去访问所用表的所有列就会有更好的性能表现。在这种情况下,少就是多。所需行的字节数越小,其性能就越好。

总结思考

很多重要的工作负载是与列选择相关的,因此可以在这个模型中获得巨大收益。列式数据库在大数据量、大规模扫描以及I/O密集型查询方面有很好的表现。在提供性能优势的同时,它们还具有独特的压缩其数据的能力。

列式数据库已经存在了一段时间,并在自己的优势方面表现非常好。但是,它们在当前市场得到特别的飞跃有两个原因。第一个原因是硬件改善,尤其是SSD,使得主存储和辅助存储的区别不那么明显。当主存储和辅助存储在性能上存在巨大差别时,在辅助存储内压缩和解压缩数据和在辅助存储外压缩和解压数据是开销巨大的。而在SSD中却没有什么差别。第二个因素是更好的算法。不但专门的压缩很不错,而且还有专为列式数据存储设计的并行算法。

相关文章
|
11月前
|
人工智能 运维 NoSQL
云栖大会|AI浪潮下的NoSQL演进:下一代数据库的破局之道
AI浪潮下的NoSQL演进:下一代数据库的破局之道
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
存储 NoSQL 搜索推荐
NoSQL数据库分类概览
以上就是我们的NoSQL数据库奇幻之旅。每一种NoSQL数据库都有自己独特的魅力和专长,择选合适的数据库,就像在魔法世界中挑选最适合自己的魔杖,使你的数据管理变得更加高效和神奇。在当今数据驱动的时代,懂得这些数据库的秘密,就掌握了处理各种数据挑战的关键。
632 61
|
存储 数据采集 NoSQL
什么是数据仓库?数据库与数据仓库有什么关系?
数据仓库与数据库有何区别?数据仓库主要用于存储历史数据,支持企业分析决策;而数据库则负责管理实时业务数据,保障日常运作。两者在数据来源、处理方式、存储结构等方面差异显著,但又相辅相成,共同助力企业高效管理数据、提升运营与决策能力。
|
存储 NoSQL 关系型数据库
【赵渝强老师】什么是NoSQL数据库?
随着大数据技术的兴起,NoSQL数据库(Not Only SQL)得到广泛应用。它不局限于二维表结构,允许数据冗余。常见的NoSQL数据库包括Redis、MongoDB和HBase。Redis是基于内存的高性能数据库,采用单线程模型和多路复用I/O,支持高效的数据结构。MongoDB使用BSON格式存储文档,查询语言强大,类似关系型数据库。HBase基于HDFS,适合数据分析,采用列式存储,支持灵活的列族设计。视频讲解及更多内容见下文。
1084 79
|
存储 SQL JSON
介绍一下RDBMS和NoSQL数据库之间的区别
【10月更文挑战第21天】介绍一下RDBMS和NoSQL数据库之间的区别
656 2
|
存储 SQL NoSQL
数据库技术深度探索:从关系型到NoSQL的演变
【10月更文挑战第21天】数据库技术深度探索:从关系型到NoSQL的演变
487 1
|
存储 NoSQL 搜索推荐
nosql
【10月更文挑战第14天】nosql
385 2
|
NoSQL 前端开发 MongoDB
前端的全栈之路Meteor篇(三):运行在浏览器端的NoSQL数据库副本-MiniMongo介绍及其前后端数据实时同步示例
MiniMongo 是 Meteor 框架中的客户端数据库组件,模拟了 MongoDB 的核心功能,允许前端开发者使用类似 MongoDB 的 API 进行数据操作。通过 Meteor 的数据同步机制,MiniMongo 与服务器端的 MongoDB 实现实时数据同步,确保数据一致性,支持发布/订阅模型和响应式数据源,适用于实时聊天、项目管理和协作工具等应用场景。
666 0