• 从 Elasticsearch 来看分布式系统架构设计

    为了实现这个目的,一种思路是底层存储层使用共享存储,每个 Shard 只需要连接到一个分布式文件系统中的一个目录/文件即可,Shard 中不含有数据,只含有计算部分。相当于每个 Node 中只负责计算部分,存储部分放在...
    文章 2018-03-30 5519浏览量
  • 架构选型必读:集中式与分布式全方位优劣对比

    架构设计来看,集中系统的计算、存储都在一套硬件体系内,无需面对网络分区(网络无法连接)问题,能很容易实现高一致性,并通过存储的冗余和软硬件结合的高度优化,达到了较高的可靠性。但在可用性方面,由于...
    文章 2018-06-15 3189浏览量
  • 分布式系统架构技术分析(一)

    程序运行过程中的并发性操作是非常常见的行为,例如同一个分布式系统的多个节点,可能会并发地操作一些共享的资源,诸如数据库或分布式存储等,如何准确并高效地协调分布式并发操作也成为了分布式系统架构与设计中...
    文章 2019-08-03 1213浏览量
  • 女娲:阿里云分布式一致性协同服务架构详解

    在飞天系统的架构上,飞天的分布式存储系统——盘古和分布式资源调度系统——伏羲直接支撑着ECS、OSS、TableStore等上层的云产品。而女娲作为提供分布式协同服务的基础模块,直接支持着盘古和伏羲模块。此外,因为对...
    文章 2016-12-02 19779浏览量
  • 9种高性能可用高并发的技术架构

    分布式数据和存储:大型网站需要处理以P为单位的海量数据,单台计算机无法提供如此大的存储空间,这些数据库需要分布式存储。分布式计算:目前网站普遍使用Hadoop和MapReduce分布式计算框架进行此类批处理计算,其...
    文章 2017-11-30 2097浏览量
  • 云原生数据库如何打造业务弹性

    从传统应用的业务架构到互联网分布式的应用架构,在方方面面都发生了变化。从资源层,到数据层,中间件,应用的发布封装以及应用的框架,开发运维的角度都在发生了互联网分布式变迁。资源层:传统应用会使用X86,小...
    文章 2018-10-18 2726浏览量
  • Hadoop学习路径

    分布式存储HDFS,了解HDFS架构,HDFS的存储机制,各节点协作关系需理解清楚。1.5、Yarn 分布式资源管理Yarn,熟悉Yarn架构,以及如何进行资源管理的机制。1.6、MapReduce 分布式计算MapReduce,对MapReduce底层架构...
    文章 2018-05-04 1504浏览量
  • 新金融分布式架构之SOFAStack解决方案

    分布式存储技术在某些程度上可以替代EMC的存储。它最大的特点就是高可用性,高可扩展性和高数据可靠性。其典型的开源产品有Google FS,HDFS,CephFS,GlusterFS。3.金融场景为什么要考虑使用新架构?除了上文提到的...
    文章 2020-06-10 1531浏览量
  • MySQL基础篇(05):逻辑架构图解和InnoDB存储引擎详解

    该版本下默认的存储引擎是:InnoDB,功能最为丰富和强大,支持事务,分布式事务,事务保存点。三、常见存储引擎 1、InnoDB引擎 (1)、基本描述 InnoDB引擎是MySQL默认的事务型引擎,使用非常广泛,极擅长处理短期事务...
    文章 2020-03-02 1197浏览量
  • OceanBase存储系统架构的演进历程及工程实践

    作为一位架构师,在设计系统的分布式存储架构时,需要关注哪些方面呢?或者我们换句话说,对于客户来说,一个理想中的分布式存储产品应该具有哪些特性呢?我们认为完善的分布式存储架构应该关注这五个方面: 扩展性...
    文章 2019-11-25 2917浏览量
  • 带你读《对象存储实战指南》前言

    本书从分布式 存储基础架构入手&xff0c;结合技术 原理和产品实践展开讨论&xff0c;并从入门和 使用维度深入介绍对象 存储服务的应用实 战。全书分为三篇&xff1a;第一篇&xff0c;基础与原理&xff0c;从存储技术发展历史切入&...
    文章 2021-10-13 12浏览量
  • 基于glusterfs和gearman的离线任务运算分布式化方案...

    分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模 式。一个典型的网络可能包括多个...
    文章 2017-11-15 1202浏览量
  • 数据库架构演变过程

    进行了分库分表后,随之而来的问题也就出现了,那就是ID的问题和分布式事务的问题,分布式ID和分布式事务在MyCAT中都有相应的解决方案,我们在MyCAT中进行配置就可以了。如果想要深入学习,请关注《JAVA架构师成长...
    文章 2019-10-31 1135浏览量
  • 基于SOA的高并发和高可用分布式系统架构和组件详解

    这种传统的架构模式带了了多人团队合作、代码更新和维护、持续部署方面的困难,更重要的是,这种架构无法支持互联网行业对高并发的需求。下图为一个典型商城应用的单体架构及其SSM实现架构: 关于单体应用的更多...
    文章 2018-11-12 2207浏览量
  • 什么是分布式系统,这么讲不信你不会

    虽然本人在前面也写过好几篇分布式系统相关的文章,主要包括CAP理论、分布式存储与分布式事务,但对于分布式系统,并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议,很多人也说,分布式系统是...
    文章 2019-12-03 1625浏览量
  • 《大数据管理概论》一3.3 基于新型存储的大数据管理

    大数据存储通常采用分布式异构存储策略,但传统的分布式存储策略通常采用基于副本的方式。引入了多样化的新型存储介质后,需要设计新的数据分配算法,使数据分布在合适的新型存储介质上,从而加快数据的访问性能。...
    文章 2017-05-02 1625浏览量
  • 《VMware vCAT权威指南:成功构建云环境的核心技术和...

    单一站点可以看作任何部署组件之间的连接延迟时间(RTT)为20毫秒(或者更少)的本地或者分布式IT部署。这并不是提出带宽需求,因为带宽更多的是最终用户体验角度的问题,而非功能角度的问题。我们假定MAN方案中的...
    文章 2017-07-03 1172浏览量
  • 如何实现多控缓存一致性?看浪潮高端存储

    比如,多核心多CPU体系中的分布式L1/2/3缓存的一致性管理,而随着从SMP到NUMA的演进,NUMA架构下的分布式缓存管理更是增加了CPU内硬件的复杂度。在存储领域,全对称多活多控制器存储系统从一开始便普遍使用集中式的...
    文章 2017-08-01 1264浏览量
  • 分布式数据库选型——数据水平拆分方案

    比如说在分布式数据库中间件架构里,数据存储的节点是实例,数据分区的粒度是分表(物理表),中间还有一层分库的维度。分布式数据库实例:总物理实例数:总物理分库数:总物理分表数=1:M:N:X。X是分区的数量,N 是...
    文章 2019-06-19 20609浏览量
  • 分布式数据库选型——数据水平拆分方案

    比如说在分布式数据库中间件架构里,数据存储的节点是实例,数据分区的粒度是分表(物理表),中间还有一层分库的维度。分布式数据库实例:总物理实例数:总物理分库数:总物理分表数=1:M:N:X。X是分区的数量,N 是...
    文章 2019-08-08 2645浏览量
  • 学术界关于HBase在物联网/车联网/互联网/金融/高能...

    作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理。基于 HBase 的互联网电视运营...
    文章 2018-11-05 1337浏览量
  • 存储设备与分布式存储的选择

    反之就越需要进行分布式存储。如北京有8个区。建立视频监控系统时,可以每个区域先集中,再汇聚到总中心,如应急指挥中心。视频监控存储采购需要注意的问题因为监控是一个视频应用类系统,具有和其它系统不同的访问...
    文章 2017-07-03 1219浏览量
  • 学术界关于HBase在物联网/车联网/互联网/金融/高能...

    作为依赖于HDFS分布式存储架构的新型NoSQL数据库,HBase不仅能满足高效的结构化数据存储,并通过Mapreduce实现高效处理,还能存储非结构化数据,为海量数据提供相对灵活的信息存储管理。基于 HBase 的互联网电视运营...
    文章 2017-09-22 8143浏览量
  • 如何集成云层与本地存储

    这个采纳不见得一定是完整的迁移到云端,而更可能是采用一个混合形式的存储架构。对于大多数组织(至少在接下来几年内)来说,最佳的组合将在包括一些本地存储基础架构的同时与最有意义的与云分层整合。要构建混合云...
    文章 2017-08-02 1989浏览量
  • hadoop体系结构杂谈

    今天跟一个朋友在讨论hadoop体系架构,从当下流行的Hadoop+HDFS+MapReduce+Hbase+Pig+Hive+Spark+Storm开始一直讲到HDFS的底层实现,MapReduce的模型计算,到一个云盘如何实现,再到Google分布式史上那最伟大的三篇...
    文章 2018-01-22 1556浏览量
  • MySQL数据库的几种常见高可用方案

    SAN的概念是允许存储设备和处理器(服务器)之间建立直接的高速网络(与LAN相比)连接,通过这种连接实现数据的集中式存储。常用架构如下: 使用共享存储时,MySQL服务器能够正常挂载文件系统并操作,如果主库发生宕机,...
    文章 2017-04-25 12736浏览量
  • 分布式架构全方位立体无死角解析

    分布式存储中一般一份数据至少会有三个副本,允许不同节点间副本同步的延时就是软状态的体现。最终一致性(Eventual Consistency):最终一致性是指系统中的所有数据副本经过一定时间后,最终能够达到一致的状态。弱...
    文章 2019-10-12 6374浏览量
  • 达摩院首席数据库科学家李飞飞:云原生新战场,我们...

    也就是说数据库底层可能是分布式存储,通过利用 RDMA 这样的快速网络让上层的数据库内核看起来像是在使用本地的磁盘,但实际上是分布式存储。上面可以有多个独立计算节点,一般是一写多读,但是也可以做多写多读,这...
    文章 2019-05-28 11532浏览量
  • 结构化数据存储,如何设计才能满足需求?

    数据系统的核心组件包含数据管道、分布式存储和分布式计算,数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职,组件与组件之间进行上下游的数据交换,而不同模块的选择和组合是架构师面临的最大的...
    文章 2019-09-04 4207浏览量
  • 新一代Hologres实时数仓大揭秘

    分布式存储中,常用的架构有如下三种:Shared Disk/Storage:就是在存储集群上挂载了很多磁盘,每个计算节点都可以直接访问这些共享盘;Shared Nothing:架构就是每个计算节点自己挂载存储,节点之间可以通信,但是...
    文章 2021-04-09 546浏览量
1 2 3 4 ... 59 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化