• HDFS简单入门

    经过协调校验,无论是传输错误,I/O错误,还是个别服务器宕机,整个系统里的文件是完整的 分布后的文件系统有个无法回避的问题,因为文件不在一个磁盘导致读取访问操作的延时,这个是HDFS现在遇到的主要问题。现阶段...
    文章 2016-04-21 4343浏览量
  • 关于Redis的几件小事|高并发和高可用

    有了min-slaves-max-lag这个配置,就可以确保说,一旦slave复制数据和ack延时太长,就认为可能master宕机后损失的数据太多了,那么就拒绝写请求,这样可以把master宕机时由于部分数据未同步到slave导致的数据丢失...
    文章 2019-07-23 1019浏览量
  • 深刻理解HDFS工作机制

    细节:HDFS不适合存储小文件的原因,每个文件都会产生元信息,当小文件多了之后元信息也就多了,对namenode会造成压力。2.对三种存储机制的进一步解释 内存元数据就是当前namenode正在使用的元数据,是存储在内存中...
    文章 2017-08-01 982浏览量
  • 如何设计并实现一个通用的应用运维管控平台

    物理机文件中需要管理的文件列表,可以通过Agent汇报到配置管理系统中,用户选择文件分发的时候,可以选择配置管理系统中的点对点大文件传输功能,配置管理系统中可以自动选择传输源,针对被传输物理机的个数,实现...
    文章 2017-08-01 1415浏览量
  • HDFS源码分析之FSImage文件内容(一)总体格式

    它的作用不言而喻,在HA出现之前,NameNode因为各种原因宕机后,若要恢复或在其他机器上重启NameNode,重新组织元数据,就需要加载对应的FSImage文件、FSEditLog文件,并在内存中重做FSEditLog文件中的事务条目。...
    文章 2016-04-29 1253浏览量
  • 一文看懂 kafka 机制

    或选择第一个“活”过来的Replica(不一定是ISR中的)作为Leader),这个broker宕机的事情,kafka controller也会通知zookeeper,zookeeper就会通知其他的kafka broker。如果这个kafka broker controller宕机了,在...
    文章 2018-07-09 8338浏览量
  • 关于redis的几件小事(五)redis保证高并发以及高可用

    任何一个实例宕机&xff0c;自动会进行主备切换。下面详细介绍一.redis如何通过读写分离来承载读请求QPS超过10万&43;xff1f;1.redis高并发跟整个系统高并发的关系redis要搞高并发&xff0c;那就要把底层的缓存搞好&xff0c;让...
    文章 2022-11-13 7浏览量
  • 搞懂分布式技术21:浅谈分布式消息技术 Kafka

    这样就避免了部分数据被写进了Leader,还没来得及被任何Follower复制就宕机了,而造成数据丢失(Consumer无法消费这些数据)。而对于Producer而言,它可以选择是否等待消息commit。这种机制确保了只要ISR有一个或...
    文章 2018-07-05 1505浏览量
  • 浅析HDFS架构和设计

    找到问题所在,进行修复(比如修复宕机的datanode)。或者可以手动强行退出安全模式(没有真正解决问题):hdfs namenode-safemode leave。在hdfs集群正常冷启动时,namenode也会在safemode状态下维持相当长的一段...
    文章 2019-07-18 847浏览量
  • 扶凯:海量视频和用户时代的CDN

    并且当机器出现宕机时可在4层路由上就迅速屏蔽宕机信息。每一台机器分为两个部分:控制部分与OCT的Cache软件。控制部分进行逻辑处理以对CDN公司的海量客户控制管理和功能逻辑处理,例如请求过来以后是从路径中一部分...
    文章 2018-08-24 1451浏览量
  • 【Kafka】(十)Kafka 如何实现高吞吐量

    当发生宕机而数据未同步到硬盘时&xff0c;数据会丢失&xff0c;Kafka提供了produce.type参数来控制是否主动的进行刷新&xff0c;如果kafka写入到mmp后立即flush再返回给生产者则为同步模式&xff0c;反之为异步模式。2.零拷贝在...
    文章 2022-06-11 95浏览量
  • Hadoop生态之Flume

    因此在程序关闭或机器宕机的情况下不会丢失数据。3.5 Event传输单元,Flume 数据传输的基本单元,以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 Body 两部分组成,Header 用来存放该 event 的一些属性...
    文章 2022-09-04 24浏览量
  • 大规模分布式系统问题集及解决方案(学习)

    为了避免单点问题,slave应该具备识别master宕机的能力。异步模式下,master本身就是单点(slave节点需要连接master,交换状态),master宕机,slave可知。强同步模式下,master和slave地位平等,区别只在于master提供...
    文章 2017-11-12 928浏览量
  • 第九章:Redis replication 主从复制

    当master宕机的复制安全 在使用Redis复制的设置中,强烈建议在主服务器和从服务器中启用持久性。如果这种情况不可行,例如由于磁盘速度非常慢导致的延迟问题,则应配置实例以避免重新启动后自动重新启动。为了更好地...
    文章 2018-01-31 893浏览量
  • 如何实现文件增量同步——算法

    1.A机器为线上运营的机器,现在需要一台备份的机器B,当A发生宕机的时候,或者硬盘损坏等各种认为非人为原因导致数据不可用时,可以很快从B恢复 2.SVN这样的应用场景,不需要每次修改都向服务器发送并替换掉一个文件...
    文章 2018-03-09 997浏览量
  • 如何实现文件增量同步——算法

    1.A机器为线上运营的机器,现在需要一台备份的机器B,当A发生宕机的时候,或者硬盘损坏等各种认为非人为原因导致数据不可用时,可以很快从B恢复 2.SVN这样的应用场景,不需要每次修改都向服务器发送并替换掉一个文件...
    文章 2018-03-09 1053浏览量
  • Heartbeat使用梳理

    应用服务故障则不会产生切换,可以通过服务宕机把heartbeat服务停掉。heartbeat的心跳连接 高可用集群是指一组通过硬件和软件连接起来的独立计算机,它们在用户面前表现为一个单一系统,在这样的一组计算机系统内部...
    文章 2017-10-31 928浏览量
  • Redis持久化存储详解(一)

    理论上只有在系统突然宕机的情况下丢失1秒的数据. 文件重载 1.为什么要文件文件重载操作?由于aof采用的是日志追加,我们redis命令不断的写入,aof文件的体积也也会不断的增加.因此redis引入了aof重写机制达到减小...
    文章 2019-03-12 1336浏览量
  • 高可用之2——存储b

    曾经碰到过这样的问题,比如有人问,我们有一个磁盘阵列,连到了两个主机上,我们划分了一个lun给两个主机,然后我们想,先在操作系统将磁盘分为两个区,让两个主机分别使用两个分区,然后再出现某一台主机宕机之后...
    文章 2012-06-02 1432浏览量
  • 嗖嗖嗖,想了解一致性Hash,看这一篇就可以了

    但还是是有宕机的可能&xff0c;即使没有宕机也有缩容的需求。不管是宕机和缩容都可以归结为服务节点删除的情况&xff0c;下面分析下服务节点删除对负载均衡哈希值的影响。同理&xff0c;面对服务器节点减少&xff0c;仍要面对...
    文章 2022-05-17 67浏览量
  • 【2022持续更新】大数据最全知识点整理-HBase篇

    作用1)合并文件2)清除删除、过期、多余版本的数据3)提高读写数据的效率HBase中实现了两种compaction的方式:minor(小合并)Minor操作只用来做部分文件的合并操作以及超过生存时间TTL的数据,删除标记数据、多版本...
    文章 2022-05-30 84浏览量
  • RabbitMQ 高可用之镜像队列

    简单总结下:镜像队列是用于节点之间同步消息的机制,避免某个节点宕机而导致的服务不可用或消息丢失,且针对排他性队列设置是无效的。另外很重要的一点,镜像队列机制不是负载均衡。文章来源:...
    文章 2018-12-28 2435浏览量
  • Linux 系统下双HA的实现

    此时,假设由于某些意外原因(手动停止主节点服务器的heartbeat服务),主节点服务器突然宕机了。再来刷新客户端的浏览器,会发现主页内容变成了备节点服务器(这里为了区分客户端访问的是不同的服务器,主备节点...
    文章 2017-11-29 1204浏览量
  • 消息中间件kafka+zookeeper集群部署、测试与应用

    A系统向B系统发送一个业务处理请求,因为某些原因(断电、宕机。B业务系统挂机了,A系统发起的请求处理失败;前端应用并发量过大,部分请求丢失或后端业务系统卡死。这个时候,消息中间件就派上用场了-提升系统稳定...
    文章 2017-12-20 1932浏览量
  • kafka数据可靠性深度解读

    而异步复制方式下,follower异步的从leader复制数据,数据只要被leader写入log就被认为已经commit,这种情况下如果follower都还没有复制完,落后于leader时,突然leader宕机,则会丢失数据。而Kafka的这种使用ISR的...
    文章 2017-10-02 933浏览量
  • 灾难恢复受热捧 虚拟化托管服务成趋势

    几年前,如果企业发生系统宕机或者数据丢失,企业很可能好几天业务运作都被延迟;如今,发生这种情况很可能意味着业务瘫痪。可能这能够解释为什么企业将提高在业务连续性和灾难恢复(BC/DR)上的投入。市场研究公司...
    文章 2017-08-09 1429浏览量
  • 独家|一文读懂Hadoop(二)HDFS(上)

    如果Namenode在文件关闭前宕机了,则该文件将丢失。上述方法是对在HDFS上运行的目标应用进行认真考虑后得到的结果。这些应用需要进行文件的流式写入。如果不采用客户端缓存,由于网络速度和网络堵塞会对吞估量造成...
    文章 2017-08-01 1695浏览量
  • 【MOS】RAC 环境中 gc block lost 和私网通信性能问题...

    描述:坏掉的网线连接,错误的电缆,制作粗糙的电缆,过于冗长和错误的端口分配,有问题的交换都会导致低下的传输率,块损坏,数据包丢失和性能问题。 解决:敦促网络供应商对网络进行检查,更换...
    文章 2017-06-24 1838浏览量
  • kafka数据可靠性深度解读

    而异步复制方式下,follower异步的从leader复制数据,数据只要被leader写入log就被认为已经commit,这种情况下如果follower都还没有复制完,落后于leader时,突然leader宕机,则会丢失数据。而Kafka的这种使用ISR的...
    文章 2017-05-02 1172浏览量
  • 如何实现文件增量同步——算法

    1.A机器为线上运营的机器,现在需要一台备份的机器B,当A发生宕机的时候,或者硬盘损坏等各种认为非人为原因导致数据不可用时,可以很快从B恢复 2.SVN这样的应用场景,不需要每次修改都向服务器发送并替换掉一个文件...
    文章 2018-04-08 7898浏览量
1 2 3 4 ... 13 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化