元数据管理的可扩展性 | 学习笔记

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 快速学习元数据管理的可扩展性

开发者学堂课程【分布式文件存储系统技术及实现:元数据管理的可扩展性 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/368/detail/4386


元数据管理的可扩展性

一、 元数据管理的可扩展性

结合三个系统来讲解,第一个是 HDFS NameNode,首先用户会在一个完整的目录处进行纵向切分,这样的切分翻开之后三个目录之间相互独立没有任何关系,但这时候用户的数据会共享存储节点,就是在 HDFS 里面的 Datenode 节点

如图 Datenode 里面存储了不同划分指数的数据

image.png

这样纵向划分的方法可以有效的进行水平扩展,但同时也会遇到一些问题,比如说在纵向划分的时候相关目录被切分,这是在做重用名命令的时候会遇见问题,同时这样的切分是一种静态切分会导致某些节点间的资源不平衡。

这种架构也是在盘古系统采用的一种方法,但是在盘古系统里这种方法针对数据迁移做了一整个完善的工具,可以做到在不同指数间不影响用户的前提下进行它的移动过程。

下面看一下在 Server 系统中 MDS 的扩展性,在 MDS 里面基于每个指数它都会进行 Root 的统计,这样可以发现,在用户请求的过程中某些目录可能已经成为热点,基于这些统计进行目录处的切分。

image.png

如上图所示,相同颜色的目录树会切分到不同的 mds 上,形成了一个动态切分的过程。

这样做的好处基于 MDS 切分,有效的解决了元数据水平扩展的能力。这种动态分裂的方式看起来很先进但在工业界用的很少,还需一段时间的磨练,使之更加实用。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
数据管理 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第15章数据管理能力成熟度评估篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第15章数据管理能力成熟度评估篇
|
存储 数据采集 安全
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第12章元数据管理篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第12章元数据管理篇
137 0
|
数据采集 存储 数据管理
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 数据管理
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 数据管理
169 0
|
存储 数据管理 大数据
电商项目之数仓的元数据管理讲解|学习笔记
快速学习电商项目之数仓的元数据管理讲解
电商项目之数仓的元数据管理讲解|学习笔记
|
存储 算法 安全
元数据管理的高可用性 | 学习笔记
快速学习元数据管理的高可用性
元数据管理的高可用性 | 学习笔记
|
存储 数据管理 数据挖掘
数据管理--文件管理规范示例|学习笔记
快速学习 数据管理--文件管理规范示例
134 0
数据管理--文件管理规范示例|学习笔记
|
数据管理 大数据 开发者
R 基本数据管理--如何处理缺失值、日期值得使用、数据类型转换|学习笔记
快速学习R 基本数据管理--如何处理缺失值、日期值得使用、数据类型转换
173 0
|
存储 数据管理 Docker
Docker 学习笔记-数据管理
Docker 学习笔记-数据管理
107 0
|
数据管理 大数据 开发者
R 基本数据管理--数据集合并、子集的提取以及随机抽样函数| 学习笔记
快速学习 R 基本数据管理--数据集合并、子集的提取以及随机抽样函数
160 0
|
数据管理 大数据 开发者
R 基本的数据管理--创建变量、变量重编码和重命名| 学习笔记
快速学习 R 基本的数据管理--创建变量、变量重编码和重命名
158 0

热门文章

最新文章