• 表格存储如何实现高可靠和高可用

    盘古是阿里自研的一款先进的分布式存储系统,分布式存储是一种共享存储,Table Worker的任意一个节点都可以访问盘古中的任意一个文件。同时,这也是一种存储与计算分离的架构。数据高可靠 盘古专注于解决好分布式...
    文章 2017-11-08 7511浏览量
  • 什么分布式系统,这么讲不信你不会

    虽然本人在前面也写过好几篇分布式系统相关的文章,主要包括CAP理论、分布式存储与分布式事务,但对于分布式系统,并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议,很多人也说,分布式系统是...
    文章 2019-12-03 1639浏览量
  • 分布式存储大行其道 浪潮AS13000何以“木秀于林”?

    就拿北京一些政府部门来说吧,各个区域受限于地理位置、网络条件、机房承重、空调设计等问题,建立集中式的存储基础设施,就不如在各个区先建立分布式存储系统,再汇总到总中心。大有不同,分布式存储不仅要看“颜值...
    文章 2017-08-09 1580浏览量
  • 说说分布式文件存储系统

    即客户端如何根据文件名快速查找到数据的位置并获取到文件内容,目前接触到分布式存储系统在解决数据定位问题上,有两种方式。一种可以称作为计算方式,即最常见的hash算法定位,另外一种可称为查询时,将映射关系...
    文章 2017-08-02 2460浏览量
  • Torus登场:CoreOS打造的新一代分布式存储系统

    本文讲的是Torus登场:CoreOS打造的新一代分布式存储系统,【编者的话】最近CoreOS推出来重量级产品Torus,专门为容器集群量身打造的分布式存储系统,可以为通过Kubernetes编排和管理的容器集群提供可靠可扩展的存储...
    文章 2017-09-21 1323浏览量
  • 用大白话聊聊分布式系统

    在大数据和分布式存储方面,我们可以选择 Apache HBase、Apache Cassandra、Memcached、Redis、MongoDB等。在分布式监控方面,常用的技术包括Nagios、Zabbix、Consul、ZooKeeper等。当然,本文也只是抛砖引玉,不...
    文章 2017-03-05 5933浏览量
  • Hadoop HDFS概念学习系列之HDFS Block(八)

    这里之所以提到简化,是因为这是所有系统的追求,而对故障出现频繁和种类繁多的分布式系统来说,简化就显得尤为重要。在HDFS中块的大小固定,这样它就简化了存储系统的管理,特别是元数据信息可以和文件块内容分开...
    文章 2017-11-21 1187浏览量
  • POLARDB云数据库分布式存储引擎揭秘

    怎么去做一个高性能的分布式存储系统,同时让它稳定,我们为什么不用已有分布式存储系统,因为我们要在稳定系统和存储系统当中加入对数据库的理解优化,让它成为一个为数据库定制和优化的智能存储。我们过去单机做...
    文章 2017-10-27 4130浏览量
  • 架构选型必读:集中式与分布式全方位优劣对比

    通过上述对集中式和分布式架构在业务支撑、一致性/可用性、运维成本/故障恢复三个方面的分析发现,分布式架构在经济性、安全自主、灵活性、可伸缩性等方面有明显优势,随着金融系统需要处理的交易量与数据量越来越大...
    文章 2018-06-15 3247浏览量
  • POLARDB云数据库分布式存储引擎揭秘,POLARDB和MySql 5...

    怎么去做一个高性能的分布式存储系统,同时让它稳定,我们为什么不用已有分布式存储系统,因为我们要在稳定系统和存储系统当中加入对数据库的理解优化,让它成为一个为数据库定制和优化的智能存储。我们过去单机做...
    文章 2018-07-19 2733浏览量
  • HBase的引出

    因此必然出现子网络,而对于分布式系统而言,网络问题又是一个必定会出现的异常情况,因此分区容错性也就成为了一个分布式系统必须需要面对和解决的问题,因此应该在C一致性和A可用性之间寻求平衡 BASE理论 基本可用...
    文章 2018-11-30 1313浏览量
  • 为何HDFS是大数据分析的软肋

    比起你曾经处理的任何文件系统分布式存储HDFS周围的工具是一种较差。基于Java的文件系统只能搭上IT人员最喜爱的POSIX工具的末班车。你尝试过NFS挂载HDFS吗?其它的HDFS工具的安装也是非常复杂的。相反的,如果你...
    文章 2017-08-01 967浏览量
  • OceanBase存储系统架构的演进历程及工程实践

    扩展性:扩展性可谓是分布式存储有别于单机存储的重要特征,分布式存储的扩展性远远好于单机存储,但是不同分布式存储系统的扩展性之间仍然有着非常大的差异。某些分布式系统在几十个节点的量级上可能运行的很好,...
    文章 2019-11-25 2969浏览量
  • 100个为什么让你了解分布式光伏发电

    电网停电后,分布式光伏发电系统一般都会退出运行,不能正常发电,但在某些极端情况下可能会出现孤岛现象,即电网停电后分布式发电系统仍然带着部分负荷继续运行,影响检修人员人身安全,并存在陨坏家用电器及电网...
    文章 2017-07-03 2376浏览量
  • HBase可用性分析与高可用实践

    HBase作为一个分布式存储的数据库,它是如何保证可用性的呢?对于分布式系统的CAP问题,它是如何权衡的呢?最重要的是,我们在生产实践中,又应该如何保证HBase服务的高可用呢?下面我们来仔细分析一下。1.什么是...
    文章 2020-04-27 694浏览量
  • 表格存储如何实现跨区域的容灾

    下图是表格存储的一个架构图,表格存储的服务层下面有个分布式存储系统盘古,我们依赖盘古的多副本强一致来保障数据可靠性。盘古已经具备了将多个副本分布在不同可用区的能力,具体来说我们使用了3个副本,这3个副本...
    文章 2017-11-08 6236浏览量
  • 【独家】一文读懂非关系型数据库(NoSQL)

    由于NoSQL的基本需求就是支持分布式存储,严格一致性与可用性需要互相取舍,由此延伸出了CAP理论来定义分布式存储遇到的问题。CAP理论告诉我们:一个分布式系统不可能同时满足一致性(C:Consistency)、可用性(A:...
    文章 2017-05-01 1972浏览量
  • 科技云报道:QingStor NeonSAN:我不是一夜成名,我...

    一直以来,主流的企业级存储仍是以集中式为主,直到2010年之后出现了云计算,分布式存储才真正迎来了发展的春天。云计算的服务形态都起源于互联网公司,云计算架构自然要顺应互联网业务特点,这样的架构与传统IT架构...
    文章 2020-04-28 644浏览量
  • net 大型分布式电子商务架构说明

    以上这些仅仅是目前公司根据业务发展需要使用的一些基础服务,当然很多公司也根据自身的业务需求使用分布式存储,分布式搜索引擎等,也根据自身对基础服务的可靠性要求,稳定性要求选择不同的开源基础服务框架...
    文章 2017-06-05 1741浏览量
  • 《Akka应用模式:分布式应用程序设计实践指南》读书...

    基于Akka或其他方式的分布式系统一般都会将入口点周围的计时器包裹到系统中,用来记录操作开始和结束的时间,计算差异值,然后存储。但需要特别说明的是,一定要注意时间字段获取的准确性!通常情况下,分布式节点的...
    文章 2018-06-14 1734浏览量
  • 分布式系统解决之道:目录、消息队列、事务系统及其他

    要在分布式系统上解决事务问题,必须具备两个核心工具:一个是稳定的状态存储系统;另外一个是方便可靠的广播系统。事务中任何一步的状态,都必须在整个集群中可见,并且还要有容灾的能力。这个需求,一般还是由集群...
    文章 2017-05-11 1631浏览量
  • Rook:基于Ceph的Kubernetes存储解决方案

    如果以前玩过Ceph集群,肯定深知维护Ceph集群的复杂性,Rook就是为此而生,使用Kubernetes分布式平台简化大量针对Ceph存储的操作和维护工作。Rook通过一个操作器(operator)完成后续操作,只需要定义需要的状态就...
    文章 2018-12-18 2476浏览量
  • 阿里云文件存储(NAS)助力业务系统承载双十一尖峰...

    阿里云文件存储是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统,其架构设计如图1所示。图1:阿里云文件存储架构 整个技术栈分五层,第一层是各类计算节点(比如ECS、Docker、GPU等)不同操作系统使用...
    文章 2018-11-27 2063浏览量
  • HDFS追本溯源:体系架构详解

    关于HA和Federation的内容,请参考博文《HDFS HA:高可靠性分布式存储系统解决方案的历史演进》。本文仅仅涉及Secondary NameNode(SNN)。在一个HDFS中,有一个NN,一个SNN和众多的DN,在大型的集群中可能有...
    文章 2014-04-11 2091浏览量
  • 分布式系统,你真的了解吗?

    如何让分布式系统,在各种可能随时出现故障的情况下,尽量的自动维护和维持对外服务,成为了编写程序就要考虑的问题。由于要考虑到这种故障的情况,所以我们在设计架构的时候,也要有意识的预设一些冗余、自我维护的...
    文章 2017-08-01 1131浏览量
  • 《大型网站系统与Java中间件》读书笔记(上)

    在数据存储方面,除了关系型数据库之外,如果有别的业务场景,可能还需要引入分布式存储系统 分布式文件系统 分布式Key-Value系统 分布式数据库 数据库问题解决之后,应用也面临着挑战(应用的功能越做越多,应用...
    文章 2019-06-10 4918浏览量
  • 什么要关注Ceph?就因为OpenStack社区重视它吗?

    一般而言,一个大规模分布式存储系统,必须要能够解决两个最基本的问题: 一是“我应该把数据写入到什么地方”。对于一个存储系统,当用户提交需要写入的数据时,系统必须迅速决策,为数据分配一个存储位置和空间。...
    文章 2017-08-02 1206浏览量
  • LinkedIn 开源其分布式对象存储系统 Ambry

    日前,LinkedIn在Github上基于Apache 2许可证协议开源了其分布式对象存储系统Ambry。Ambry是一个是不可变对象的存储系统,非常易于扩展,它能够存储KB到GB大小的不可变对象,并且能够实现高吞吐和低延迟,该系统支持...
    文章 2017-07-03 1955浏览量
  • 浅析Ceph技术概况及其设计思想

    一般而言,一个大规模分布式存储系统,必须要能够解决两个最基本的问题: 一是“我应该把数据写入到什么地方”。对于一个存储系统,当用户提交需要写入的数据时,系统必须迅速决策,为数据分配一个存储位置和空间。...
    文章 2017-08-02 1316浏览量
  • 分布式文件系统GlusterFS

    在为如Amazon EC 2这样追求极端高可用性的云基础设施打造存储系统时,最大的挑战之一就是我们真的需要 将自己的灾难恢复规划引入其中。尽管Amazon为其以对象为基础的S3存储平台提供了强大的可用性支持,它仍然无法...
    文章 2014-11-19 1060浏览量
1 2 3 4 ... 26 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化