• 应用开发实践之关系型数据库(以MySql为例)小结

    主要是一写多读的架构,在主库挂掉的场景下有可能需要考虑使用paxos算法来决定新的主库。在做读写分离前,可以先考虑缓存是否能解决当前场景的问题。五、运维 binlog记录DB操作(不含查询)及其他执行信息的二进制...
    文章 2020-05-05 636浏览量
  • 海量存储系列之三

    我个人认为,应该建立的是以user_id作为前导列,性别作为辅助列的索引,在大量单值查询时会有优势。理由如下 1.假定总数据量为N,user_id的区分度为N/10000 而性别的区分度为N/4 那么如果以user_id作为前导列,性别...
    文章 2017-05-02 1015浏览量
  • Facebook TSDB论文翻译

    Facebook的数据仓库解决方案Hive也存在问题,它比ODS的查询延时还要高几个数量级,而查询的延时和效率恰恰是我们关心的。接下来我们将注意力放在了内存级的缓存上。ODS先前使用了一个简单的read-through cache读取...
    文章 2017-08-18 2178浏览量
  • gig:自带负载均衡和降级功能的高可用RPC解决方案

    在线查询系统中,业务逻辑将服务划分为树状结构,每个节点通过水平扩展增加自身服务能力,最终形成下图所示拓扑结构:当一次查询从某一入口进入系统后,自上而下查询各个服务,每个服务又有多个节点可供选择,简单...
    文章 2018-01-30 5328浏览量
  • 12306的西天取经路-春节抢票与PostgreSQL数据库设计...

    想像一下几亿人(其实不用这么多,可能几十万就够了)来查询余票,即使机器没挂掉,也会把所有机器的资源跑满,CPU产生的热量,可能几分钟就能把鸡蛋煮熟咯。为了减少实时查询余票的开销,通常会分时进行统计,更新...
    文章 2016-12-12 25472浏览量
  • 2019年常见Elasticsearch 面试题答案详细解析(下)

    (2)分析:找到与查询最匹配的十个文档是一回事。但是如果面对的是十亿行日志,又该如何解读呢?Elasticsearch 聚合让您能够从大处着眼,探索数据的趋势和模式。(3)速度:Elasticsearch 很快。真的,真的很快。...
    文章 2019-12-26 2314浏览量
  • MongoDB日志浅析

      如果某个备份节点由于某些原因挂了,但它重新启动后,就会自动从oplog中最后一个操作开始进行同步。由于复制操作的过程是复制数据再写入oplog,所以备份节点可能会在已经同步过的数据上再次执行复制操作。MongoDB...
    文章 2019-09-01 2331浏览量
  • 分析网络超时问题的最佳实践

    这类问题很常见的原因是Redis慢查询,用户自查了Redis的大key和慢查询情况,没有发现时间特别长的查询。所以需要在网络层面进一步确认。根据基本思路,先从监控中查看ECS实例及链路有没有丢包。结果发现并没有能和...
    文章 2019-05-13 7131浏览量
  • 分析网络超时问题的最佳实践

    这类问题很常见的原因是Redis慢查询,用户自查了Redis的大key和慢查询情况,没有发现时间特别长的查询。所以需要在网络层面进一步确认。根据基本思路,先从监控中查看ECS实例及链路有没有丢包。结果发现并没有能和...
    文章 2020-03-31 233浏览量
  • Flink原理与实现:详解Flink中的状态管理

    也就是说,如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义上(at least once,exactly once),Flink引入了state和checkpoint。首先区分一下两个...
    文章 2017-10-19 19328浏览量
  • Flink在快手的应用实践与技术演进之路

    如上图,不限速情况下 State 持续增大,最终作业挂掉。使用限速策略后,最开始 State 有缓慢上升,但是 State 大小可控,最终能平稳追上最新数据,并 State 持续在 40 G 左右。JobManager稳定性 关于JobManager稳定...
    文章 2019-07-26 1224浏览量
  • 全方位 Logtail 状态监控

    在默认情况下,Logtail 采用的是 daemon/worker 的双进程模式,daemon 进程逻辑简单,一般不会出现错误,所以在 worker 进程挂掉之后,它能够重新拉起新的 worker 进程。因此,对 Logtail 自身状态的监控也就转化为...
    文章 2019-02-25 7516浏览量
  • 日均处理万亿数据!Flink在快手的应用实践与技术演进...

    如上图,不限速情况下State 持续增大,最终作业挂掉。使用限速策略后,最开始 State 有缓慢上升,但是 State 大小可控,最终能平稳追上最新数据,并 State 持续在 40 G 左右。2.2 JobManager 稳定性 关于 JobManager...
    文章 2019-07-17 6342浏览量
  • 日均处理万亿数据!Flink在快手的应用实践与技术演进...

    如上图,不限速情况下State 持续增大,最终作业挂掉。使用限速策略后,最开始 State 有缓慢上升,但是 State 大小可控,最终能平稳追上最新数据,并 State 持续在 40 G 左右。2.2 JobManager 稳定性 关于 JobManager...
    文章 2019-08-03 3352浏览量
  • 从JAVA多线程理解到集群分布式和网络设计的浅析

    就我个人的经验来说还没遇到过,但并非绝不可能,我想在常规的同一个JVM内部操作的线程会死掉的概率只有系统挂掉,不然SUN的java虚拟机也太不让人信任了;至少从这一点上我们可以决定在绝大部分情况下线程阻塞的主要...
    文章 2011-04-29 1909浏览量
  • 20 万网络节点背后的数据创新应用

    给大家分享一个最近的真实案例,2018年春节前的最后一个周末2月10号凌晨6点29分,已有同学休假回家,大部分人还在被窝里熟睡的时候,深圳某个机房的机架电。直到7点20分,负责机房的同学才告诉我们机房的温度异常...
    文章 2018-08-02 1078浏览量
  • Apache Spark技术实战(四)spark-submit常见问题及其...

    可以在addContactPoint的参数中设定多个节点的地址,这样可以防止某一节点挂掉,无法获取集群信息的情况发生。session是线程安全的,在不同的线程使用同一个session是没有问题的,建议针对一个keySpace只使用一个...
    文章 2016-09-14 4223浏览量
  • mysql体系结构

    重做日志文件:实例和介质失败,重做日志文件就能派上用场,如数据库电,InnoDB存储引擎会使用重做日志恢复到电前的时刻,以此来保证数据的完整性。参数innodb_log_file_size指定了重做日志文件的大小;innodb_...
    文章 2012-09-14 1504浏览量
  • TokuDB索引结构-Fractal Tree

    Insert_into_postion:在locate_position返回的位置进行插入操作,如果当前leaf节点存储的key个数超过预定义的最大可能会引起split操作,坏的情况是引起从leaf节点到root节点的split。Fractal Free把每个操作都...
    文章 2016-12-20 1578浏览量
  • MySQL·TokuDB·TokuDB索引结构-Fractal Tree

    Insert_into_postion:在locate_position返回的位置进行插入操作,如果当前leaf节点存储的key个数超过预定义的最大可能会引起split操作,坏的情况是引起从leaf节点到root节点的split。Fractal Free把每个操作都...
    文章 2016-04-21 2659浏览量
  • MySQL·TokuDB·TokuDB索引结构-Fractal Tree

    Insert_into_postion:在locate_position返回的位置进行插入操作,如果当前leaf节点存储的key个数超过预定义的最大可能会引起split操作,坏的情况是引起从leaf节点到root节点的split。Fractal Free把每个操作都...
    文章 2016-05-23 2835浏览量
  • 单线程你别阻塞,Redis时延问题分析及应对

    但公司的虚拟化一般是成套上线的,不会因为我们个别服务器的原因而变更,如果面对的只有Xen,只能想想如何用好它;杜绝新进程的产生,不使用持久化,不在主结点上提供查询;实现起来有以下方案:1)只用单机,不开...
    文章 2017-11-08 1124浏览量
  • Android-面试中遇到的问题总结(一)

    如果不断的使锁屏界面显示和消失,则最终会由于大量的LockScreen对象没有办法被回收而引起OutOfMemory,使得system_process 进程挂掉。6.集合中对象没清理造成的内存泄漏 我们通常把一些对象的引用加入到了集合中,当...
    文章 2017-02-22 1056浏览量
  • 【双11背后的技术】万亿交易量级下的秒级监控

    监督主要通过监听Terminated事件实现,Terminated事件会在下游挂掉(不论是该协程挂掉还是所在的机器挂掉或是断网等)的时候发送给上游。由于拓扑是提前生成好且具备完备的描述信息,因此每个角色都可以根据拓扑的信息...
    文章 2017-01-12 5498浏览量
  • 分布式系统架构,回顾2020年常见面试知识点梳理(每次...

    一个可靠安全的系统,肯定要考虑数据的可靠性,尤其对于内存为主的 Redis,就要考虑一旦服务器挂掉,启动之后,如何恢复数据的问题,也就是说数据如何持久化的问题。AOF 就是备份操作记录。AOF 由于是备份操作命令,...
    文章 2020-12-30 230浏览量
  • 流量暴增,掌门教育如何基于 Spring Cloud Alibaba ...

    当一台或者几台同步服务器挂掉后,采用 Zookeeper 临时节点的 Watch 机制监听同步服务器挂掉情况,通知剩余同步服务器执行 reHash,挂掉服务的工作由剩余的同步服务器来承担。通过一致性 Hash 实现被同步的业务服务...
    文章 2020-09-10 733浏览量
  • 云时代下的数据库存储——运筹帷幄的阿里云数据库...

    另外两个备节点依然从主节点上去同步数据,跟之前所不同的是一旦三个机房的其中一个出现了非常严重的自然灾害导致整个机房挂掉之后,MongoDB目前所支持的一个HA高可用系统会直接将应用流量从挂掉的实例切换到另外两...
    文章 2018-01-28 6621浏览量
  • 如何做到全年配送 0 故障?盒马揭秘 12个关键技术

    metaq堆积一般是由于业务系统自身处理失败引起的,少部分原因是metaq的服务端问题导致部分通道无法消费,metaq平台可配置消费堆积监控,默认1万条,重要业务可设置相对较少的堆积条数,比如设置1000条上限左右。...
    文章 2020-02-18 671浏览量
  • 【重新发现PG之美】-系列视频

    异步消息的优势:1、通过规则过滤不需要写入的正常数据,由于业务正常数据通常占比在99%以上,从而大幅减轻写入量.2、传统的利用定时器查询所有数据去发现问题,还需要在时间、VAL、SID等层面去建立索引,消耗大量存储,...
    文章 2021-10-09 33浏览量
  • 面试官:你对Redis缓存了解吗?面对这11道面试题你...

    判断是否包含某个 sismember mySet 3 删除某个/些元素 srem mySet 1 srem mySet 2 4 查看元素个数 scard mySet 随机删除一个元素 spop mySet 操作多个 set- 将一个 set 的元素移动到另外一个 set smove yourSet ...
    文章 2020-05-06 1348浏览量
1 2 3 4 5 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化