OushuDB 体系架构概览

简介: 图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离,可以独立扩容。在图中有多个OushuDB Master节点。元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segment实现OushuDB的计算。OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。在这个架构下,节点可以动态的加入集群,并且不需要数据重新分布。当一个节点加入集群时,他会向OushuDB Master节点发送心

图1给出了一个典型的OushuDB集群的主要组件。计算部分和存储部分完全分离,可以独立扩容。在图中有多个OushuDB Master节点。元数据管理服务和资源管理服务位于OushuDB Master内部。其他节点为Slave节点。每个Slave节点上安装有一个OushuDB Segment。Segment实现OushuDB的计算。OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。在这个架构下,节点可以动态的加入集群,并且不需要数据重新分布。当一个节点加入集群时,他会向OushuDB Master节点发送心跳,然后就可以接收未来查询了。

image.png
图1

在OushuDB master节点内部有如下几个重要组件:查询解析器(Parser/Analyzer),优化器,资源管理器,容错服务,查询派遣器,元数据服务。在查询执行时,针对一个查询,弹性执行引擎会启动多个虚拟Segment同时执行查询,节点间数据交换通过Interconnect(高速互联网络)进行。如果一个查询启动了1000个虚拟Segment,意思是这个查询被均匀的分成了1000份任务,这些任务会并行执行。所以说虚拟Segment数其实表明了查询的并行度。查询的并行度是由弹性执行引擎根据查询大小以及当前资源使用情况动态确定的。下面我逐个来解释这些组件的作用以及它们之间的关系:
● 查询解析器:负责解析查询,并检查语法及语义。最终生成查询树传递给优化器。
● 优化器:负责接受查询树,生成查询计划。针对一个查询,可能有数亿个可能的等价的查询计划,但执行性能差别很大。优化器的作用是找出优化的查询计划。
● 资源管理器:资源管理器负责整个集群的资源管理。资源管理器需要在并发的查询之间分配资源,并保证查询不使用超过分配给该查询的资源,否则查询之间会相互影响,可能导致系统整体不可用。
● 元数据缓存:用于OushuDB确定哪些Segment扫描表的哪些部分。OushuDB需要把计算派遣到数据所在的地方,所以我们需要匹配计算和数据的局部性。这些需要底层存储数据(比如HDFS块,Magma Range等)的位置信息。位置信息一般在底层存储中,每个查询都访问底层存储中的元数据,会形成瓶颈。所以我们在OushuDB Master节点上建立了元数据缓存。
● 容错服务:负责检测哪些节点可用,哪些节点不可用。不可用的机器会被排除出资源池。
● 查询派遣器:优化器优化完查询以后,查询派遣器派遣计划到各个节点上执行,并协调查询执行的整个过程。查询派遣器是整个并行系统的粘合剂。
● 元数据服务:负责存储OushuDB的各种元数据,包括数据库和表信息,以及访问权限信息等。另外,元数据服务也是实现分布式事务的关键。
● 高速互联网络:负责在节点之间传输数据。使用软件实现,基于UDP协议。UDP协议无需建立连接,从而可以避免TCP高并发连接数的限制。

目录
相关文章
|
存储 Oracle 关系型数据库
PostgreSQL体系架构介绍
PostgreSQL体系架构介绍
1120 0
PostgreSQL体系架构介绍
|
存储 安全 大数据
谈谈如何构建现代数据体系架构(数据湖+数据仓库)
如何构建当前企业数据体系架构呢?其实与许多其他技术一样,它实际上取决于企业要实现目标。
谈谈如何构建现代数据体系架构(数据湖+数据仓库)
|
存储 Kubernetes 监控
kubernete架构体系介绍
kubernete架构体系介绍
235 1
kubernete架构体系介绍
|
SQL 存储 缓存
一图搞定MySQL体系架构
要了解mysql的运行机制,那么首先要对mysql的体系结构有一定的了解。
1058 0
一图搞定MySQL体系架构
|
分布式数据库 Hbase
《阿里云HBase产品体系架构及特性解析》电子版地址
阿里云HBase产品体系架构及特性解析
124 0
《阿里云HBase产品体系架构及特性解析》电子版地址
|
缓存 监控 DataWorks
巧用API网关构建大型应用体系架构
近期阿里云重磅发布了BizWorks一体化的云原生应用的开发和运营平台,内置阿里巴巴业务中台构建的最佳技术实践。它已经将API网关作为关键组件融入其中,并且基于API网关为用户提供能力开放平台。那么API网关是如何在BizWorks中起到作用?API网关在实际业务中又起到怎样帮助?本文就此展开详细说明。
巧用API网关构建大型应用体系架构
|
运维 搜索推荐 Oracle
分布式数据库系统的分类及体系架构 | 学习笔记
快速学习 分布式数据库系统的分类及体系架构
546 0
分布式数据库系统的分类及体系架构 | 学习笔记
|
运维
《云架构下的运维体系构建 -于龙水》电子版地址
云架构下的运维体系构建 -于龙水
128 0
《云架构下的运维体系构建 -于龙水》电子版地址
|
架构师 Linux Anolis
本周预告:资深架构师解读多架构体系下的内核与系统开发等技术演讲 | 第47-48期
今天下午4点,讲师带我们了解多架构体系下的内核完善与系统底层适配实践。
本周预告:资深架构师解读多架构体系下的内核与系统开发等技术演讲 | 第47-48期

热门文章

最新文章