• 用大白话聊聊分布式系统

    在设计分布式计算时,我们分布式计算可以采用 MapReduce、Apache Hadoop、Apache Spark 等。在大数据和分布式存储方面,我们可以选择 Apache HBase、Apache Cassandra、Memcached、Redis、MongoDB等。在分布式监控...
    文章 2017-03-05 5933浏览量
  • 一文读懂分布式架构知识体系(内含超全核心知识大图)

    分布式计算系统构建在分布式存储的基础上,充分发挥分布式系统的数据冗余灾备,多副本高效获取数据的特性,进而并行计算,把原本需要长时间计算的任务拆分成多个任务并行处理,从而提高了计算效率。分布式计算系统在...
    文章 2019-10-16 6301浏览量
  • 带你读《存储漫谈Ceph原理与实践》第一章分布式存储...

    分布式存储系统的分区容错性可保证存储集群因为故障而被分解为多个部分之后&xff0c;存储系统整体仍然能够正常对外提供服务&xff0c;软件层面的自动容错&xff0c;可保证存储集群的数据一致性&xff0c;互联网公司可最大限度...
    文章 2021-10-18 14浏览量
  • 什么是分布式系统,这么讲不信你不会

    在很多文章中,主要讲分布式系统分为分布式计算(computation)与分布式存储(storage)。计算与存储是相辅相成的,计算需要数据,要么来自实时数据(流数据),要么来自存储的数据;而计算的结果也是需要存储的。在...
    文章 2019-12-03 1639浏览量
  • 分布式计算编程模型之 RPC

    而在分布式计算中,相互独立的组件可能会产生故障,并且故障可能是局部的。舒适感胜于正确性 在文章的开头部分曾经提到了Vinoski对于RPC的批评,他认为选择RPC的唯一原因在于开发者的舒适感。在提出这一说法几年之后...
    文章 2017-06-08 1611浏览量
  • 对于分布式存储的若干看法

    Q:另外,对于不同的实现方案,分布式存储系统的性能是可以直接测试的,但理论可用性、数据可靠性的计算方式是不同的。UOS Cloud现在是Ceph方案,你们是怎么做这个计算的?实际上这个计算是需要依赖于存储系统本身的,...
    文章 2017-08-02 1307浏览量
  • (四):C++分布式实时应用框架——状态中心模块

    另一个模块是运行于分布式系统各个节点上的状态中心代理(SmartAgent),SmartAgent主要负责上面提到的分布式系统的功能性问题,包括:从DSCC上获取节点间通讯关系,建立分布式集群的通讯连接,并实时接受变更,动态地...
    文章 2017-12-14 1127浏览量
  • 分布式系统的烦恼-《Designing Data-Intensive ...

    这种故障的不确定性,使得分布式系统的变得复杂而脆弱。一个系统越大,它的组件就越有可能出现故障。在一个有成千上万个节点的系统中,某些东西总是会出现故障。而错误处理策略仅仅是简单的放弃的话,一个大系统可能...
    文章 2018-02-15 1060浏览量
  • 分布式系统简介

    地域上的可扩展性问题,难以对现有的为局域网设计的分布式系统进行扩展的主要原因之一是这些系统基于同步通信。请求服务的以防(一般称为客户)在得到回应前是处于阻塞状态的。这种方法通常适用于局域网,而在广域...
    文章 2016-06-10 763浏览量
  • 分布式存储系统基础

    系统的可扩展性(scalability)指分布式存储系统通过扩展集群服务器规模来提高系统存储容量、计算量和性能的能力。随着业务的发展,对底层存储系统的性能需求不断增加,比较好的方式就是通过自动增加服务器提高系统的...
    文章 2017-08-09 1647浏览量
  • CIO:互联网IT系统和传统企业IT系统的异同

    就是分布式系统的架构 – 将任务分解交由每个小计算单元进行分布式的并行处理,充分利用每个单元的计算和存储能力,理论上性能可以无限线性扩展,任何一个节点的故障不影响整个系统的运行,整个系统没有单点故障。...
    文章 2017-07-07 1293浏览量
  • 架构选型必读:集中式与分布式全方位优劣对比

    通过上述对集中式和分布式架构在业务支撑、一致性/可用性、运维成本/故障恢复三个方面的分析发现,分布式架构在经济性、安全自主、灵活性、可伸缩性等方面有明显优势,随着金融系统需要处理的交易量与数据量越来越大...
    文章 2018-06-15 3247浏览量
  • 《中国人工智能学会通讯》——10.18 研究进展

    另一方面,针对计算对系统的性能影响问题,文献[28-30]分别建立了分布式计算系统模型,用以实现计算任务的高效执行。虽然上述建模工作为认知复杂网络化系统提供了基础,但到目前为止,从融合通信与计算的角度进行...
    文章 2017-09-04 1749浏览量
  • 五分钟了解一致性的分类及其理论

    节点故障则是分布式环境下另一个比较常见的问题,指的是组成分布式系统的服务器节点出现的宕机或"僵死"现象,通常根据经验来说,每个节点都有可能出现故障,并且每天都在发生。CAP理论 一个经典的分布式系统理论。...
    文章 2017-03-27 791浏览量
  • 分布式事务及其一致性协议

    (3)分区容错性:分布式系统在遇到任何网络分区故障时,都需要能够保证一致性和可用性,除非整个网络都发生了故障。2.BASE理论 BASE理论指的是Basically Avaliable(基本可用)、Soft state(软状态)和Eventually ...
    文章 1970-01-01 602浏览量
  • 分布式系统:概念与设计》一1.5 挑战

    分布式系统故障是部分的,也就是说,有些组件出了故障而有些组件运行正常。因此故障的处理相当困难。本书将讨论下列处理故障的技术:检测故障:有些故障能被检测到。例如,校验和可用于检测消息或文件中出错的数据...
    文章 2017-08-01 1152浏览量
  • 阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的...

    OSS 是分布式存储,由多台服务器组成,采用内部网络将多台服务器连通起来,通过数据中心的机柜级交换机、机柜间交换机、机房间交换机的分层设计实现冗余,即使某台网络设备故障系统仍然能够正常工作。服务器。OSS ...
    文章 2020-06-17 385浏览量
  • 分布式与集群的联系与区别

    (这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型)而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,1小时后,10个任务同时...
    文章 2019-08-13 824浏览量
  • 软件定义存储之演进:是改变数据中心的洪荒之力?

    为了节省成本,目前多数商用分布式存储系统并没有采用双冗余部件,而是通过软件,在上层源头上将数据复制成两份或者多份副本,当由于任何原因导致其中一份副本无法访问时,系统可以转为访问其他副本。方便部署 传统...
    文章 2017-08-01 1418浏览量
  • 伏羲—阿里云分布式调度系统

    大数据计算就是将原来一台台的服务器通过网络连接起来成为一个整体,对外提供体验一致的计算功能,即分布式计算。点击查看回顾视频 伏羲系统架构 分布式调度系统需要解决两个问题: 任务调度:如何将海量数据分片,...
    文章 2016-12-21 17878浏览量
  • 解析阿里云分布式调度系统伏羲

    分布式系统当中通常有多个用户在执行自己的计算任务,多个任务之间需要互相隔离、互相不影响。飞天伏羲实现了全链路的访问控制,采用了两种访问控制进行安全的验证,一种是Capability,它是指通信的双方基于私钥...
    文章 2017-03-21 9345浏览量
  • 分布式与集群的区别

    (这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型) 而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。假设有10个任务同时到达,10个服务器将同时工作,10小后,10个任务同时...
    文章 2016-05-14 4460浏览量
  • 阿里大数据运维新成员——24小时待命!...

    大数据计算平台底层都是分布式系统,从纵向看,软件栈上涉及自下而上有硬件、操作系统分布式存储、分布式调度、分布式锁、Runtime、API Server等极其复杂的模型;从横向上看,数据的采集、传输、在线计算、离线...
    文章 2019-03-27 1775浏览量
  • 学习分布式不得不会的ACP理论

    之后,CAP理论正式成为分布式计算领域的公认定理。无论你是一个系统架构师,还是一个普通开发,当你开发或者设计一个分布式系统的时候,CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论,如何...
    文章 2018-07-21 2301浏览量
  • OceanBase CTO 杨传辉:下一代企业级分布式数据库的...

    如果系统的目标是成为世界级的企业级分布式数据库&xff0c;那么&xff0c;架构设计之初就必须把追求极致性能作为一个必选项&xff0c;这将从根本上改变企业级分布式数据库的设计。回顾一下三代分布式数据库&xff1a;为了解决可...
    文章 2021-05-08 386浏览量
  • 为何HDFS是大数据分析的软肋

    分布式文件系统是大型分析非常重要的一环。即使你是在使用Spark,你仍然需要将大量的数据快速的存入内存,所以文件系统一定要可以是高速率的。但是,HDFS并不像它标榜的那样好,它是大数据分析的薄弱环节。什么是...
    文章 2017-08-01 967浏览量
  • HBase可用性分析与高可用实践

    分区容错性指分布式系统在遇到某节点或网络分区故障的时候,仍然能够对外提供满足一致性和可用性的服务。而CAP定理证明,一个分布式系统最多只能同时满足这三项中的两项。由于分布式系统中必然存在网络分区,所以...
    文章 2020-04-27 694浏览量
  • 深度解读|阿里云新一代关系型数据库 PolarDB

    阿里云 PolarDB 和 Amazon Aurora 的一个共同设计哲学就是,放弃了通用分布式数据库 OLTP 多路并发写的支持,采用一写多读的架构设计,简化了分布式系统难以兼顾的理论模型,又能满足绝大多数 OLTP 的应用场景和性能...
    文章 2017-09-30 4756浏览量
  • 100个为什么让你了解分布式光伏发电

    分布式光伏系统并网需考虑安全、光伏配置、计量和结算方面的问题,在安全方面并网点开关是否符合安全要求、设备在电网异常或故障时的安全性能否在电网停电时可靠断开以保证人身安全。在光伏配置方面光伏容量的配置、...
    文章 2017-07-03 2376浏览量
  • 分布式系统:概念与设计》一2.4.2 故障模型

    分布式系统中,进程和通信通道都有可能出故障,即它们可能偏离被认为是正确或所期望的行为。故障模型定义了故障可能发生的方式,以便理解故障所产生的影响。Hadzilacos和Toueg[1994]提供了一种分类法,用于区分...
    文章 2017-08-01 1111浏览量
1 2 3 4 ... 46 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化