05 分布式系统概述

简介: 05 分布式系统概述

由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解Hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念。

分布式软件系统(Distributed Software Systems)

该软件系统会划分成多个子系统或模块,各自运行在不同的机器上,子系统或模块之间通过网络通信进行协作,实现最终的整体功能

比如:分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。

分布式软件系统举例:solrcloud

A.一个solrcloud集群通常有多台solr服务器

B.每一个solr服务器节点负责存储整个索引库的若干个shard(数据分片)

C.每一个shard又有多台服务器存放若干个副本互为主备用

D.索引的建立和查询会在整个集群的各个节点上并发执行

E.solrcloud集群作为整体对外服务,而其内部细节可对客户端透明

总结:利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。

分布式应用系统模拟开发

需求: 可以实现由主节点将运算任务发往从节点,并将各从节点上的任务启动;

程序清单:

  • AppMaster
  • AppSlave/APPSlaveThread
  • Task

程序运行逻辑流程:

目录
相关文章
|
2月前
|
SQL 存储 网络协议
分布式的概述
分布式的概述
|
5月前
|
存储 关系型数据库 MySQL
深入OceanBase内部机制:高性能分布式(实时HTAP)关系数据库概述
深入OceanBase内部机制:高性能分布式(实时HTAP)关系数据库概述
|
6月前
|
存储 运维 分布式计算
分布式云容器平台ACK One概述
分布式云容器平台ACK One概述
106 2
|
存储 算法 网络协议
分布式组件 ZooKeeper 介绍、术语概述以及集群搭建篇
分布式组件 ZooKeeper 介绍、术语概述以及集群搭建篇
116 0
|
6月前
|
Java API
分布式锁【分布式锁概述、业务介绍、创建SpringBoot项目】(一)-全面详解(学习总结---从入门到深化)
分布式锁【分布式锁概述、业务介绍、创建SpringBoot项目】(一)-全面详解(学习总结---从入门到深化)
52 0
|
分布式计算 数据挖掘 大数据
分布式计算概述
分布式计算概述
102 0
|
应用服务中间件 nginx
65分布式电商项目 - nginx配置虚拟主机概述
65分布式电商项目 - nginx配置虚拟主机概述
68 0
|
机器学习/深度学习 并行计算 算法
PyTorch并行与分布式(一)概述
PyTorch并行与分布式(一)概述
200 0
|
存储 运维 Kubernetes
分布式开源存储架构Ceph概述
k8s的后端存储中ceph应用较为广泛,当前的存储市场仍然是由一些行业巨头垄断,但在开源市场还是有一些不错的分布式存储,其中包括了Ceph、Swift、sheepdog、glusterfs等
959 0
|
存储 安全 Java
分布式微服务学习总结——分布式微服务概述
分布式微服务学习总结——分布式微服务概述
分布式微服务学习总结——分布式微服务概述

热门文章

最新文章