kudu入门_对比|学习笔记

简介: 快速学习kudu入门_对比

开发者学堂课程【2020版大数据实战项目之DMP广告系统(第一阶段)kudu入门_对比】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/676/detail/11753


kudu入门_对比


内容介绍:

一、存储模型

二、性能

三、硬件需求


一、存储模型

1.结构

(1)Kudu 的存储模型是有结构的表

(2)OLTP 中代表性的 MySQL, Oracle 模型是有结构的表,不是关系型数据库。

(3)HBase 是看起来像是表一样的Key-Value 型数据,Key 是 RowKet 和列簇的组合,Value是具体的值。

2.主键

(1)Kudu 采用了Raft协议,所以 Kudu 的表中有唯一主键(本身在协议的内部就会自增一个消息序号,所以Raft是支持全局唯一 ID 的,这在分布式系统中是非常少见的)

(2)关系型数据库也有唯一主键

(3)HBase 的 Rowkey 并不是唯一主键

3.事务支持

(1)Kudu 缺少跨行的 AGID 事务(Kudu 是支持一些事务的,但是跨行的 ACID 做不到,它做不到跨行的要保持原则性一些特性做不到,有事物但没有跨行。)

(2)关系型数据库大多在单机上是可以支持 ACID 事务的(指原则性,一致性这些内容,但是关系型的数据库如果放在分布式环境下也不一定支持 ACID)


二、性能

1.Kudu 的随机读写速度目标是和 HBase 相似。但是这个目标建立在使用 SSD 基础之上

2.Kudu 的批量查询性能目标是比 HDFS 上的 Parquet 慢两倍以内


三、硬件需求

1.Hadoop 的设计理念是尽可能的减少硬件依赖,使用更廉价的机器,配置机械硬盘

2.Kudu 的时代 SSD 已经比较常见了能够做更多的磁盘操作和内存操作

3.Hadoop 不太能发挥比较好的硬件的能力,而 Kudu 为了大内存和 SSD 而设计,所以 Kudu 对硬件的需求会更大一些

Kudu 在随机读写和吞吐量两个方面很好,对于大部分系统是足够用的,kudu 是中间过渡的系统,能做大部分的工作,而对某些工作做的不够好。

相关文章
|
存储 缓存 分布式计算
HBase入门指南
HBase是一个开源的非关系型分布式数据库,设计初衷是为了解决大量结构化数据存储与处理的需求
368 0
HBase入门指南
|
2月前
|
存储 大数据 关系型数据库
HBase系列学习:基础知识
HBase系列学习:基础知识
HBase系列学习:基础知识
|
4月前
|
SQL 分布式计算 Hadoop
Hive基本概念入门
Hive基本概念入门
49 0
|
7月前
|
存储 NoSQL 分布式数据库
【HBase入门与实战】一文搞懂HBase!
该文档介绍了HBase,一种高吞吐量的NoSQL数据库,适合处理大规模数据。HBase具备快速读写、列式存储和天然支持集群部署的特点,常用于高并发场景。NoSQL与关系型数据库的主要区别在于数据模型、查询语言和可伸缩性。HBase的物理架构包括Client、Zookeeper、HMaster和RegionServer,其中RegionServer管理数据存储。HBase的读写流程利用MemStore和Bloom Filter提高效率。此外,文档还提到了HBase的应用,如时间序列数据、消息传递和内容服务。
830 1
【HBase入门与实战】一文搞懂HBase!
|
SQL 存储 分布式计算
Hive概论、架构和基本操作
Apache Spark是一个快速的,多用途的集群计算系统,相对于Hadoop MapReduce将中间结果保存在磁盘中,Spark使用了内存保存中间结果,能在数据尚未写入硬盘时在内存中进行计算,同时Spark提供SQL支持。Hive是建立在Hadoop上的数据仓库基础架构,它提供了一系列的工具,可以存储、查询、分析存储在分布式存储系统中的大规模数据集。Hive定义了简单的类SQL查询语言,通过底层的计算引擎,将SQL转为具体的计算任务进行执行。它将计算分为两个阶段,分别为Map和Reduce。
234 0
|
分布式计算 Hadoop Java
hadoop3自学入门笔记(2)—— HDFS分布式搭建
hadoop3自学入门笔记(2)—— HDFS分布式搭建
160 0
hadoop3自学入门笔记(2)—— HDFS分布式搭建
|
存储 数据挖掘 分布式数据库
kudu入门 _应用场景_kudu|学习笔记
快速学习kudu入门 _应用场景_kudu
124 0
kudu入门 _应用场景_kudu|学习笔记
|
存储 数据可视化 大数据
Kudu入门_应用场景_项目介绍|学习笔记
快速学习Kudu入门_应用场景_项目介绍
133 0
Kudu入门_应用场景_项目介绍|学习笔记
|
SQL 存储 大数据
大数据开发笔记(四):Hive分区详解
在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。
304 0
大数据开发笔记(四):Hive分区详解
|
存储 负载均衡 监控
深入浅出HBase实战
深入浅出HBase实战
328 0
深入浅出HBase实战