了解读写数据流程 | 学习笔记

简介: 快速学习 了解读写数据流程

开发者学堂课程【NoSQL 数据库 Kudu 教程了解读写数据流程学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/723/detail/12914


了解读写数据流程


内容介绍:

一、 Kudu 写流程

二、 Kudu 读流程

三、 Kudu 更新流程

 

一、 Kudu 写流程

Client 请求写数据时,先根据主键从 Master  Server 中获取要访问的目标Tablets ,然后到依次对应的 Tablet 获取数据。要注意, kudu 中需要设定主键,所以它存在主键约束,判断主键是否存在将会显得非常重要,如果一个主键已经存在,当再插入一个相同主键后,就会报错。一个 Tablet 中存在很多个 RowSets ,为了提升性能,要尽可能地减少要扫描的 RowSets 数量。

首先,我们先通过每个 RowSet 中记录的主键的(最大最小)范围,过滤掉一批不存在日标主键的RowSets ,然后在根据 Row Set 中的布隆过滤器,过滤掉确定不存在目标主键的 RowSets ,最后再通过 RowSets 中的 B ﹣树索引,精确定位目标主键是否存在。

如果主健己经存在,则报错(主键重复),否则就进行写数据(写 MemRowSet )

image.png

 

二、 Kudu 读流程

数据读取过程大致如下:先根据要扫描数据的主键范围,定位到目标的 Tablets ,然后读取 Tablets 中的 RowSets

在读取每个 RowSet 时,先根据主键过滤要 scan 范围,然后加载范用内的 base  data , 再找到对应的 delta  stores ,应用所有变更,最后 union MemRowSet 中的内容,返回数据给 Client

image.png

 

三、 kudu 更新流程

数据更新的核心是定位到待更新数据的位置,这块与写入的时候类似,等定位到具体位置后,然后将变更写到对应的 doltn store 中。

image.png

相关文章
|
7月前
|
存储 分布式计算 Java
HDFS的数据读取流程是怎样的?请描述数据读取的过程。
HDFS的数据读取流程是怎样的?请描述数据读取的过程。
108 0
|
自然语言处理 监控 C#
应用程序DDE读组态王的数据
应用程序DDE读组态王的数据
|
缓存 分布式计算 负载均衡
HDFS 的写数据流程分析
HDFS的写数据流程是一道比较常见的面试题,同时梳理了写流程也可以帮助我们更加深入一点的了解 HDFS 的主要原理和各个组件的交互过程
|
存储 分布式计算 安全
HDFS 写数据流程【重点】
HDFS 写数据流程【重点】
158 0
|
消息中间件 RocketMQ 开发者
事务消息的流程分析|学习笔记
快速学习事务消息的流程分析
110 0
事务消息的流程分析|学习笔记
|
开发者
分布式系统功能设计--读取流程 | 学习笔记
快速学习分布式系统功能设计--读取流程
分布式系统功能设计--读取流程 | 学习笔记
|
存储 缓存 块存储
HDFS工作机制和读写流程
HDFS工作机制和读写流程
175 0
HDFS工作机制和读写流程
|
移动开发 Linux Windows
IO流概述分类、字节流写数据、字节流写数据的三种方式及写数据的两个小问题
IO流概述分类、字节流写数据、字节流写数据的三种方式及写数据的两个小问题的简单示例
123 0
IO流概述分类、字节流写数据、字节流写数据的三种方式及写数据的两个小问题
|
网络架构
《在线》| 每天读本书
翻开这本《在线》,我们邀请你与王坚博士一起走进他天马行空、奇思妙想的技术世界。
648 0
|
分布式计算 Hadoop 开发者
HDFS 读数据流程| 学习笔记
快速学习 HDFS 读数据流程
118 0
HDFS 读数据流程| 学习笔记