分布式执行模型

简介: 分布式执行模型

  分布式执行模型

  Hologres 是能够弹性无限水平扩展数据量和计算能力的系统,需要能够支持高效的分布式查询。

  Hologres 查询引擎执行的是由优化器生成的分布式执行计划。执行计划由算子组成。因为 Hologres 的一个表的数据会根据 Distribution Key 分布在多个 Shard 上,每个 Shard 内又可以包含很多 Segment,执行计划也会反映这样的结构,并分布到数据所在的节点去执行。每个Table Shard 会被加载到一个计算节点,数据会被缓存到这个节点的内存和本地存储。因为是存储计算分离的架构,如果一个节点出错,其服务的 Shard 可以被重新加载到任意一个计算节点,只是相当于清空了缓存。

  例如一个比较简单的查询。

  select key, count(value) as total from table1 group by key order by total desc limit 100。

  如果是单机数据库,可以用这样的执行计划。如果数据和计算分布在多个节点上,就需要更复杂的执行计划。

  在分布式表上,为了更高效地执行,尽量减少数据传输,可以把执行计划分为不同片段(Fragment)分布到相应节点执行,并且把一些操作下推来减少 Fragment 输出的数据。

目录
相关文章
|
7月前
|
消息中间件 存储 中间件
常用本地事务和分布式事务解决方案模型 2
常用本地事务和分布式事务解决方案模型
48 1
|
7月前
|
算法 关系型数据库 API
常用本地事务和分布式事务解决方案模型 1
常用本地事务和分布式事务解决方案模型
42 1
|
8月前
|
存储 机器学习/深度学习 负载均衡
清华发布SmartMoE:一键实现高性能MoE稀疏大模型分布式训练
清华发布SmartMoE:一键实现高性能MoE稀疏大模型分布式训练
715 0
|
11月前
|
人工智能 自然语言处理 达摩院
达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-SPACE:打造分布式对话智能
达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-SPACE:打造分布式对话智能
523 0
达摩院智能对话技术升级-更人类,更温暖-通义对话大模型SPACE加持下的新一代对话智能-SPACE:打造分布式对话智能
|
SQL 缓存 算法
香,聊聊TiDB的分布式事务模型
香,聊聊TiDB的分布式事务模型
337 0
香,聊聊TiDB的分布式事务模型
|
存储 Java 中间件
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南
754 1
【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南
|
23天前
|
并行计算 PyTorch Docker
LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是微调工具,包含Dockerfile和train.sh脚本,适用于多卡训练。Dockerfile基于nvidia/cuda:12.1.0镜像,安装Python 3.10、PyTorch 2.2.0、transformers等库。train.sh运行Docker容器,使用accelerate launch进行训练,参数包括模型路径、学习率、优化器设置等。注意使用--shm-size 32G --gpus all,并可选启用unsloth加速。默认配置文件设定了分布式训练和混合精度BF16。
115 1
|
9月前
|
安全 数据挖掘 新能源
考虑极端天气线路脆弱性的配电网分布式电源配置优化模型【IEEE33节点】(Matlab代码实现)
考虑极端天气线路脆弱性的配电网分布式电源配置优化模型【IEEE33节点】(Matlab代码实现)
|
5月前
|
并行计算 PyTorch 算法框架/工具
Pytorch:模型的保存/加载、并行化、分布式
Pytorch:模型的保存/加载、并行化、分布式
87 0
|
8月前
|
安全 调度
含分布式电源的配电网日前两阶段优化调度模型(Matlab代码实现)
含分布式电源的配电网日前两阶段优化调度模型(Matlab代码实现)

热门文章

最新文章