• HDFS简单入门

    经过协调校验,无论是传输错误,I/O错误,还是个别服务器宕机,整个系统里的文件是完整的 分布后的文件系统有个无法回避的问题,因为文件不在一个磁盘导致读取访问操作的延时,这个是HDFS现在遇到的主要问题。现阶段...
    文章 2016-04-21 4145浏览量
  • 关于Redis的几件小事|高并发和高可用

    有了min-slaves-max-lag这个配置,就可以确保说,一旦slave复制数据和ack延时太长,就认为可能master宕机后损失的数据太多了,那么就拒绝写请求,这样可以把master宕机时由于部分数据未同步到slave导致的数据丢失...
    文章 2019-07-23 972浏览量
  • HDFS源码分析之FSImage文件内容(一)总体格式

    它的作用不言而喻,在HA出现之前,NameNode因为各种原因宕机后,若要恢复或在其他机器上重启NameNode,重新组织元数据,就需要加载对应的FSImage文件、FSEditLog文件,并在内存中重做FSEditLog文件中的事务条目。...
    文章 2016-04-29 1031浏览量
  • 一文看懂 kafka 机制

    或选择第一个“活”过来的Replica(不一定是ISR中的)作为Leader),这个broker宕机的事情,kafka controller也会通知zookeeper,zookeeper就会通知其他的kafka broker。如果这个kafka broker controller宕机了,在...
    文章 2018-07-09 7665浏览量
  • 浅析HDFS架构和设计

    找到问题所在,进行修复(比如修复宕机的datanode)。或者可以手动强行退出安全模式(没有真正解决问题):hdfs namenode-safemode leave。在hdfs集群正常冷启动时,namenode也会在safemode状态下维持相当长的一段...
    文章 2019-07-18 756浏览量
  • 扶凯:海量视频和用户时代的CDN

    并且当机器出现宕机时可在4层路由上就迅速屏蔽宕机信息。每一台机器分为两个部分:控制部分与OCT的Cache软件。控制部分进行逻辑处理以对CDN公司的海量客户控制管理和功能逻辑处理,例如请求过来以后是从路径中一部分...
    文章 2018-08-24 1384浏览量
  • 第九章:Redis replication 主从复制

    当master宕机的复制安全 在使用Redis复制的设置中,强烈建议在主服务器和从服务器中启用持久性。如果这种情况不可行,例如由于磁盘速度非常慢导致的延迟问题,则应配置实例以避免重新启动后自动重新启动。为了更好地...
    文章 2018-01-31 811浏览量
  • 如何实现文件增量同步——算法

    1.A机器为线上运营的机器,现在需要一台备份的机器B,当A发生宕机的时候,或者硬盘损坏等各种认为非人为原因导致数据不可用时,可以很快从B恢复 2.SVN这样的应用场景,不需要每次修改都向服务器发送并替换掉一个文件...
    文章 2018-03-09 898浏览量
  • Redis持久化存储详解(一)

    理论上只有在系统突然宕机的情况下丢失1秒的数据. 文件重载 1.为什么要文件文件重载操作?由于aof采用的是日志追加,我们redis命令不断的写入,aof文件的体积也也会不断的增加.因此redis引入了aof重写机制达到减小...
    文章 2019-03-12 1228浏览量
  • 高可用之2——存储b

    曾经碰到过这样的问题,比如有人问,我们有一个磁盘阵列,连到了两个主机上,我们划分了一个lun给两个主机,然后我们想,先在操作系统将磁盘分为两个区,让两个主机分别使用两个分区,然后再出现某一台主机宕机之后...
    文章 2012-06-02 1340浏览量
  • RabbitMQ 高可用之镜像队列

    简单总结下:镜像队列是用于节点之间同步消息的机制,避免某个节点宕机而导致的服务不可用或消息丢失,且针对排他性队列设置是无效的。另外很重要的一点,镜像队列机制不是负载均衡。文章来源:...
    文章 2018-12-28 2251浏览量
  • 独家|一文读懂Hadoop(二)HDFS(上)

    如果Namenode在文件关闭前宕机了,则该文件将丢失。上述方法是对在HDFS上运行的目标应用进行认真考虑后得到的结果。这些应用需要进行文件的流式写入。如果不采用客户端缓存,由于网络速度和网络堵塞会对吞估量造成...
    文章 2017-08-01 1490浏览量
  • 如何实现文件增量同步——算法

    1.A机器为线上运营的机器,现在需要一台备份的机器B,当A发生宕机的时候,或者硬盘损坏等各种认为非人为原因导致数据不可用时,可以很快从B恢复 2.SVN这样的应用场景,不需要每次修改都向服务器发送并替换掉一个文件...
    文章 2018-04-08 7606浏览量
  • 《叶问》第1期

    1、人为原因导致从库与主库数据不一致(从库写入)2、主从复制过程中,主库异常宕机3、设置了ignore/do/rewrite等replication等规则4、binlog非row格式5、异步复制本身不保证,半同步存在提交读的问题,增强半同步...
    文章 2018-11-29 1380浏览量
  • 《Hadoop与大数据挖掘》——第2章 大数据存储与运算...

    它是一个通常在HDFS架构中单独机器上运行的组件,负责管理文件系统名称空间和控制外部客户机的访问。NameNode决定是否将文件映射到DataNode上的复制块上。对于最常见的3个复制块,第一个复制块存储在同一机架的不同...
    文章 2017-07-03 2175浏览量
  • HDFS追本溯源:租约,读写过程的容错处理及NN的主要...

    如果 Namenode 在文件关闭前宕机了,则该文件将丢失。整个写流程如下:第一步,客户端调用DistributedFileSystem的create()方法,开始创建新文件:DistributedFileSystem创建DFSOutputStream,产生一个RPC调用,让...
    文章 2014-05-01 2789浏览量
  • 万字总结,终于有人把 Redis 持久化说明白了

    文件重写之所以能够压缩AOF文件原因在于: 过期的数据不再写入文件无效的命令不再写入文件:如有些数据被重复设值(set mykey v1,set mykey v2)、有些数据被删除了(sadd myset v1,del myset)等等多条命令可以合并为...
    文章 2020-04-11 1258浏览量
  • 揭开数据库RPO等于0的秘密(下)

    OceanBase节点宕机后,该节点上可能有部分数据(分区)的访问会受影响,但OceanBase集群会很快恢复这些分区的访问。这是OceanBase的可用性特性,不是本文重点这里就不展开。这里接着分析这个宕掉的节点起来后的恢复...
    文章 2019-03-06 1783浏览量
  • 消息中间件面试题31道RabbitMQ+ActiveMQ+Kafka

    设置 2G 左右的持久化文件限制,大量生产持久化消息直到文件达到最大限制,此时生产者阻塞,但消费者可正常连接并消费消息,等消息消费掉一部分文件删除又腾出空间之后,生产者又可继续发送消息,服务自动恢复正常...
    文章 2019-07-26 3004浏览量
  • hadoop中NameNode、DataNode、Secondary、NameNode、...

    12.每个TaskTracker产生多个java 虚拟(JVM)的原因是什么?概述:Hadoop是一个能够对大量数据进行分布式处理的软件框架,实现了Google的MapReduce编程模型和框架,能够把应用程序分割成许多的 小的工作单元,并把...
    文章 2017-11-17 933浏览量
  • 双 11 猫晚直播:看阿里文娱如何“擒住”高并发、多...

    由于双路摄像机的流,同通过不同的编码器、链路上传到云的,会存在进度不一致的问题。用户切换过程就会出现画面或声音回跳的问题,例如明星唱了一句歌词,切换后可能由于画面 回跳导致又唱了一遍,造成用户体验的...
    文章 2020-05-27 571浏览量
  • 轻松搞定RocketMQ入门

    优点:可以利用DMA方式,消耗CPU资源少,大块文件传输效率高,无内存安全新问题 缺点:小块文件效率低于mmap方式,只能是BIO方式传输,不能使用NIO (2)数据存储结构 RocketMQ关键特性 1.单机支持1W以上的持久化队...
    文章 2018-08-10 28825浏览量
  • CPU静默数据错误:存储系统数据不丢不错的设计思考

    在某些情况下硬件能检测错误但是无法校正,并且这些错误要对用户可见,典型如宕机崩溃。静默数据错误。此类错误既没有被硬件检测到,也没有被通知给操作系统,但是数据就是被 CPU 写到了内存,从而无法知道它是错误...
    文章 2021-07-01 3042浏览量
  • 云上数据库容灾解决方案

    容灾技术是系统的高可用性技术的一个组成部分,容灾系统更加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。目前常见的容灾方案基本上模式比较简单: 1、数据库冷...
    文章 2018-02-24 13166浏览量
  • 云上数据库容灾解决方案

    容灾技术是系统的高可用性技术的一个组成部分,容灾系统更加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。目前常见的容灾方案基本上模式比较简单: 1、数据库冷...
    文章 2018-10-15 1616浏览量
  • 【双11背后的技术】万亿交易量级下的秒级监控

    过程依然非常简单,而且从理论上是可证的,无论怎么重启宕机,都可以确保数据不丢,只不过可能会稍有延迟(因为部分任务要重新做)。2.3.2.2.4 输入共享 在用户实际使用SunFire的过程中,常常会有这样的情况:用户...
    文章 2017-01-12 5487浏览量
  • Redis持久化:RDB和AOF配置和对比

    服务器宕机的恢复数据&xff08;主从复制&xff09;主从复制优点及应用场景6.其他config相关命令1.前言Redis的高性能是由于其将所有数据都存储在了内存中&xff0c;为了使Redis在重启之后仍能保证数据不丢失&xff0c;需要将数据...
    文章 2021-09-11 2193浏览量
  • DNS配置必备知识:DNS配置

    DNS从服务器的配置详解一、DNS从服务器的作用 DNS从服务器也叫辅服DNS服务器,如果网络上某个节点只有一台DNS服务器的话,首先服务器的抗压能力是有限的,当压力达到一定的程度,服务器就会宕机罢工,其次如果这台...
    文章 2020-02-20 298浏览量
  • 《Spark大数据分析:核心概念、技术及实践》大数据...

    把一个文件分布到多台机器上会增加集群中某台机器宕机文件不可用的风险。HDFS通过复制每个文件块到多台机器来降低这个风险。默认的复制因子是3。这样一来,即使一两台机器宕机文件也照样可读。HDFS基于通常机器...
    文章 2017-05-19 3937浏览量
  • Mysql13 复制2

    主库意外宕机 如果没有设置sync_binlog,那么有一定的可能崩溃前几个二进制日志没有刷进磁盘。重启之后备库线程再次连上来。主库会告诉他偏移量不存在。解决方式是,让备库从下一个二进制日志的开头读,然后用工具...
    文章 2015-09-14 1301浏览量
1 2 3 4 5 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化