了解读写数据流程 | 学习笔记

简介: 快速学习 了解读写数据流程

开发者学堂课程【NoSQL 数据库 Kudu 教程了解读写数据流程学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/723/detail/12914


了解读写数据流程


内容介绍:

一、 Kudu 写流程

二、 Kudu 读流程

三、 Kudu 更新流程

 

一、 Kudu 写流程

Client 请求写数据时,先根据主键从 Master  Server 中获取要访问的目标Tablets ,然后到依次对应的 Tablet 获取数据。要注意, kudu 中需要设定主键,所以它存在主键约束,判断主键是否存在将会显得非常重要,如果一个主键已经存在,当再插入一个相同主键后,就会报错。一个 Tablet 中存在很多个 RowSets ,为了提升性能,要尽可能地减少要扫描的 RowSets 数量。

首先,我们先通过每个 RowSet 中记录的主键的(最大最小)范围,过滤掉一批不存在日标主键的RowSets ,然后在根据 Row Set 中的布隆过滤器,过滤掉确定不存在目标主键的 RowSets ,最后再通过 RowSets 中的 B ﹣树索引,精确定位目标主键是否存在。

如果主健己经存在,则报错(主键重复),否则就进行写数据(写 MemRowSet )

image.png

 

二、 Kudu 读流程

数据读取过程大致如下:先根据要扫描数据的主键范围,定位到目标的 Tablets ,然后读取 Tablets 中的 RowSets

在读取每个 RowSet 时,先根据主键过滤要 scan 范围,然后加载范用内的 base  data , 再找到对应的 delta  stores ,应用所有变更,最后 union MemRowSet 中的内容,返回数据给 Client

image.png

 

三、 kudu 更新流程

数据更新的核心是定位到待更新数据的位置,这块与写入的时候类似,等定位到具体位置后,然后将变更写到对应的 doltn store 中。

image.png

相关文章
|
SQL 关系型数据库 MySQL
pt-tools系列:pt-online-schema-change 最佳实践
pt的详细步骤 Step 1: Create the new table. Step 2: Alter the new, empty table. This should be very quick, or die if the user specified a bad alter statement.
5580 0
|
6天前
|
云安全 人工智能 安全
AI被攻击怎么办?
阿里云提供 AI 全栈安全能力,其中对网络攻击的主动识别、智能阻断与快速响应构成其核心防线,依托原生安全防护为客户筑牢免疫屏障。
|
15天前
|
域名解析 人工智能
【实操攻略】手把手教学,免费领取.CN域名
即日起至2025年12月31日,购买万小智AI建站或云·企业官网,每单可免费领1个.CN域名首年!跟我了解领取攻略吧~
|
9天前
|
安全 Java Android开发
深度解析 Android 崩溃捕获原理及从崩溃到归因的闭环实践
崩溃堆栈全是 a.b.c?Native 错误查不到行号?本文详解 Android 崩溃采集全链路原理,教你如何把“天书”变“说明书”。RUM SDK 已支持一键接入。
616 216
|
存储 人工智能 监控
从代码生成到自主决策:打造一个Coding驱动的“自我编程”Agent
本文介绍了一种基于LLM的“自我编程”Agent系统,通过代码驱动实现复杂逻辑。该Agent以Python为执行引擎,结合Py4j实现Java与Python交互,支持多工具调用、记忆分层与上下文工程,具备感知、认知、表达、自我评估等能力模块,目标是打造可进化的“1.5线”智能助手。
857 61
|
7天前
|
人工智能 移动开发 自然语言处理
2025最新HTML静态网页制作工具推荐:10款免费在线生成器小白也能5分钟上手
晓猛团队精选2025年10款真正免费、无需编程的在线HTML建站工具,涵盖AI生成、拖拽编辑、设计稿转代码等多种类型,均支持浏览器直接使用、快速出图与文件导出,特别适合零基础用户快速搭建个人网站、落地页或企业官网。
1294 157
|
5天前
|
编解码 Linux 数据安全/隐私保护
教程分享免费视频压缩软件,免费视频压缩,视频压缩免费,附压缩方法及学习教程
教程分享免费视频压缩软件,免费视频压缩,视频压缩免费,附压缩方法及学习教程
243 138