「分布式理论 - 现代架构基石」

简介: 「分布式理论 - 现代架构基石」

分布式概述:

什么是分布式?

分布式系统是计算机程序的集合,这些程序利用跨多个独立计算节
点的计算资源来实现共同的目标。可以分为分布式计算、分布式存储、分布式数据库等。

优势:

1.去中心化
2.低成本
3.弹性
4.资源共享
5.可靠性高

挑战:

1.普遍的节点故障
2.不可靠的网络
3.异构的机器与硬件环境
4.安全

常见的分布式系统

1.Google File System(GFS):google分布式文件系统:
分布式存储
2.Ceph:统一的分布式存储系统
3.Hadoop HDFS:基于GFS架构的开源分布式文件系统

4.Zookeeper:高可用的分布式数据管理与系统协调框架
分布式数据库
1.Google Spanner:googlei可扩展的、全球分布式的数据库
2.TDB:开源分布式关系型数据库
3.HBase:开源Nosql数据库
4.MongoDB:文档数据库

分布式计算:
1.Hadoop:基于MapReduce分布式计算框架
2.Spark:在Hadoop:基础之上,使用内存来存储数据
3.YARN:分布式资源调度

故障模型

·Byzantine failure:节点可以任意篡改发送给其他节点的数据

·Authentication detectable byzantine failure (ADB):
Byzantine failuref的特例;节点可以篡改数据,但不能
伪造其他节点的数据

·Performance failure:节点未在特定时间段内收到数
据,即时间太早或太晚

·Omission failure:节点收到数据的时间无限晚,即收
不到数据

·Crash failure:在omission failure的基础上,增加了
节点停止响应的假设,也即持续性地omission failure

·Fail-stop failure:在Crash failurel的基础上增加了错
误可检测的假设

cap理论

C (Consistence):
一致性,指数据在多个副本之间能够保持一致的特性(严格的一致性)

A (Availability):
可用性,指系统提供的服务必须一直处于可用的状态,每次请求都能获取到非错的响应一但是不
保证获取的数据为最新数据。

P (Network partitioning:
分区容错性,分布式系统在遇到任何网络分区故障的时候,仍然能够对外提供满足一致性和可用性
的服务,除非整个网络环境都发生了故障。

CA:放弃分区容错性,加强一致性和可用性,其实就是传统的单机数据库的选
择

AP:放弃一致性(这里说的一致性是强一致性),追求分区容错性和可用性,
例如一些注重用户体验的系统

CP:放弃可用性,追求一致性和分区容错性,例如与钱财安全相关的系统

acid理论:

事务是数据库系统中非常重要的概念,它是数据库管理系统执行过程中的一个逻辑单元,它能够保证一个事务中的所有操作要
么全部执行,要么全都不执行。
数据库事务拥有四个特性ACID,即分别是原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(
Durability)
原子性(A):原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚。

一致性(C):一致性是指事务必须使数据库从一个一致性状态变换到另一个一致性状态,也就是说一个事务执行之前和执行之后都必须处于一致性状态

隔离性(I):隔离性是当多个用户并发访问数据库时,数据库为每一个用户开启的事务,不能被其他事务的操作所干扰,多个并发事务之间要相互隔离

持久性(D):持久性是指一个事务一旦被提交了,那么对数据库中的数据的改变就是永久性的,即便是在数据库系统遇到做障的情积下地不△手失提衣事多的提作
相关文章
|
16天前
|
Cloud Native 物联网 持续交付
云原生架构:构建现代应用的基石
随着数字化转型的深入,企业对软件开发的速度和灵活性提出了更高的要求。云原生架构作为一种新兴的技术范式,以其独特的优势,正在成为现代应用开发的主流选择。本文将探讨云原生架构的核心概念、关键技术以及实践应用,帮助读者理解如何利用云原生技术构建高效、可扩展的现代应用。
48 1
|
1月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
1月前
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
|
1月前
|
存储 JSON 数据库
Elasticsearch 分布式架构解析
【9月更文第2天】Elasticsearch 是一个分布式的搜索和分析引擎,以其高可扩展性和实时性著称。它基于 Lucene 开发,但提供了更高级别的抽象,使得开发者能够轻松地构建复杂的搜索应用。本文将深入探讨 Elasticsearch 的分布式存储和检索机制,解释其背后的原理及其优势。
141 5
|
1天前
|
存储 监控 前端开发
掌握微前端架构:构建未来前端应用的基石
【10月更文挑战第12天】随着前端技术的发展,传统的单体应用架构已无法满足现代应用的需求。微前端架构通过将大型应用拆分为独立的小模块,提供了更高的灵活性、可维护性和快速迭代能力。本文介绍了微前端架构的概念、核心优势及实施步骤,并探讨了其在复杂应用中的应用及实战技巧。
|
18小时前
|
消息中间件 关系型数据库 Java
‘分布式事务‘ 圣经:从入门到精通,架构师尼恩最新、最全详解 (50+图文4万字全面总结 )
本文 是 基于尼恩之前写的一篇 分布式事务的文章 升级而来 , 尼恩之前写的 分布式事务的文章, 在全网阅读量 100万次以上 , 被很多培训机构 作为 顶级教程。 此文修改了 老版本的 一个大bug , 大家不要再看老版本啦。
|
4天前
|
存储 安全 API
单元化架构,分布式系统的新王!
【10月更文挑战第9天】
45 0
单元化架构,分布式系统的新王!
|
6天前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
11 1
|
27天前
|
运维 Cloud Native 持续交付
云原生架构:构建未来应用的基石
本文将深入探讨云原生架构的核心概念、主要优势以及实际应用案例,揭示其在现代IT领域的重要性。通过详细解析云原生技术的各个方面,帮助读者更好地理解和应用这一前沿技术。
|
11天前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
33 0