• MySQL 入门(1):查询和更新的内部实现

    当设置参数为2时,则在事务提交时只做 write 操作,只保证将redo log buffer写到系统的页面缓存中,不进行fsync操作,因此如果MySQL数据库宕机时,不会丢失事务,但操作系统宕机则可能丢失事务。当设置参数为0时,...
    文章 2020-04-30 288浏览量
  • vmcore自动分析工具

    提取vmcore中宕机原因的特征,从而实现后续对大量的vmcore文件进行相似度分析,识别相同问题的vmcore的目标。3)考虑是否可以将机器学习引入到vmcore;将机器学习用于提取vmcore特征、训练vmcore特征匹配模型可能是...
    文章 2019-09-29 2430浏览量
  • 作为数据库核心成员,如何让淘宝不卡顿?

    极好的应对了服务器宕机的场景。很好的支持后期服务器扩容。在引入虚拟节点后:能很好的平衡各节点的数据分布。由于一致性哈希算法的优势,此算法几乎是所有分布式场景下使用的方案,包括mysql的分布式、redis的分布...
    文章 2020-09-24 3586浏览量
  • 使用DLA SQL(兼容Presto)CU版分析HDFS数据

    如果因为CPU/内存或者底层物理机的原因导致Coordinator不可用,会导致整个集群不可用,从而影响用户的使用,DLA SQL内置了多Coordinator HA,当一个Coordinator宕机,另外一个Coordinator会自动接管,保证整个集群的...
    文章 2020-09-14 724浏览量
  • 400+节点的 Elasticsearch 集群运维

    不幸的是,当集群宕机的时候,不到三分之一的查询能成功完成。我们相信测试本身导致了集群宕机。—— 摘录自使用真实查询在新ES集群平台上的第一次性能测试 为了控制查询执行过程,我们开发了一个插件,实现了一系列...
    文章 2019-04-18 1787浏览量
  • 400+节点的 Elasticsearch 集群运维

    不幸的是,当集群宕机的时候,不到三分之一的查询能成功完成。我们相信测试本身导致了集群宕机。—— 摘录自使用真实查询在新ES集群平台上的第一次性能测试 为了控制查询执行过程,我们开发了一个插件,实现了一系列...
    文章 2019-03-12 980浏览量
  • 阿里云数据库掌门人李飞飞:分布式+云原生是下一代...

    从首次双十一的开场即宕机到现在能够撑起超过2000亿元的交易规模,阿里云的技术能力已经突飞猛进,希望未来能够与生态伙伴共同服务客户,实现共建共赢。戳这里 双十二返场优惠,POLARDB新购一年低至5折!...
    文章 2019-12-12 968浏览量
  • 【转载】低成本和高性能的MySQL云数据库的实现淘宝 ...

    首先,proxy服务器会对用户传入的SQL语句进行语法分析,抽取出重写和分发SQL语句所需要的信息,例如SQL语句操作的表名,插入语句中每条记录里partition key所对应的值(必须包含该值),查询语句中的where子句中的...
    文章 2016-05-11 3627浏览量
  • MySQL升级最佳实践

    对于小的系统来说是直接进行升级,这样会造成宕机或造成其他的危险,使用LVM进行快照的话,可以很快的进行rollback。对于使用shards 的环境:挨个对mysql进行升级 将危险降到最低;使用replication 方式的升级方式是...
    文章 2017-11-26 681浏览量
  • MySQL升级最佳实践

    对于小的系统来说是直接进行升级,这样会造成宕机或造成其他的危险,使用LVM进行快照的话,可以很快的进行rollback。对于使用shards 的环境:挨个对mysql进行升级 将危险降到最低;使用replication 方式的升级方式是...
    文章 2017-11-26 796浏览量
  • TIDB分布式数据库在360金融中的应用

    TIKV有副本机制,默认保存三副本,某台机器宕机不会出现数据丢失的情况。事务NOSQL有个弊端就是追求了可扩展性而放弃了强一致性,以牺牲数据的准确性换来高性能。而TIDB创立之初就否定了这种思路,TIDB创始人说:...
    文章 2018-12-11 5791浏览量
  • 开源大数据引擎:Greenplum 数据库架构分析

    扩展过程中,业务可以继续运行,不需要宕机。任务管理是指对资源的管理和使用情况的管理。产品特性 数据加载在后面会专门介绍。数据联邦是比较有意思的,最近“数据湖泊”这个词非常火热,数据湖泊的目的是不需再对...
    文章 2017-07-04 3333浏览量
  • 一文详解大规模数据计算处理原理及操作重点

    这样当有磁盘损坏或者某个DataNode服务器宕机导致其存储的block不能访问的时候,Client会查找其备份的block进行访问。block多份复制存储如下图所示: HDFS的block复制备份策略 对于文件/users/sameerp/data/part-0,...
    文章 2018-08-08 1610浏览量
  • 云原生数据湖分析DLA 2020年年度总结

    实现被动宕机时从之前3分钟到3秒内快速恢复&xff0c;主动业务发布时只中断1次连接、并在1s左右迅速实现连接切换等能力&xff1b;Multi-Master实现Coordinator和Worker的优雅关闭&xff0c;关闭时会等待所有SQL执行完&xff0c;...
    文章 2021-03-11 585浏览量
  • 朱晔的互联网架构实践心得S1E5:不断耕耘的基础中间件

    而且确保数据的收集不会影响到主业务,收集服务端宕机的情况下业务不影响。调用跟踪。涉及到服务调用、缓存调用、数据库调用,MQ调用,不仅仅可以以树的形式呈现每次调用的类型、耗时、结果,还可以呈现完整的根,也...
    文章 2018-09-15 1317浏览量
  • ElasticSearch基本原理和分布式文件系统

    (5)3台机器下,9个shard(3 primary,6 replica),资源更少,但是容错性更好,最多容纳2台机器宕机,6个shard只能容纳0台机器宕机 (6)这里的这些知识点,你综合起来看,就是说,一方面告诉你扩容的原理,怎么扩...
    文章 2017-11-12 3856浏览量
  • 如何用好云原生数据湖?

    再加上空间开销大的原因,用户一般都只能关闭Eventlog。(3)Replay效率差,延迟高 HistoryServer采用后台Replay Eventlog的方式还原Spark UI,相当于把Spark引擎的事件全部重放一遍,开销大,会有延迟。特别是作业...
    文章 2020-10-26 4789浏览量
  • 全方位 Logtail 状态监控

    日志服务提供大规模日志实时查询与分析能力(LogSearch/Analytics,简称查询分析),该功能提供了简单的查询语法并复合上了符合 SQL92 标准的分析语法,因此,我们可以像操作关系数据库那样通过 SQL 来对数据进行...
    文章 2019-02-25 7516浏览量
  • [转载]聊聊Greenplum的那些事

    这也是我们在用户选型时,通常建议用户考察一下底层的技术支撑是不是有好的组织和社区支持的原因,如果缺乏这方面的有力支持或独自闭门造轮,那就有理由为那个车的前途感到担忧,一个简单判断的标准就是看看底下那个...
    文章 2016-07-11 7151浏览量
  • 《精通软件性能测试与LoadRunner最佳实战》—第1章1.6...

    由于语法或环境的限制,有些原因和结果的组合情况是不可能出现的。为表明这些特定的情况,在因果图上使用若干标准的符号标明约束条件。(4)把因果图转换成判定表。(5)为判定表中的每一列设计测试用例。下面我们列...
    文章 2017-05-02 2152浏览量
  • Python Weekly 419

    这篇文章描述了 Haptik 是怎么在 0 宕机的情况下完成整个 Python2 到 Python3 代码迁移的工程。《Python 终极指南》中的分割和对抗算法 https://skerritt.blog/divide-and-conquer-algorithms/ 一个很容易理解的分割...
    文章 2019-12-12 4962浏览量
  • 蚂蚁金服自研数据库OceanBase如何登顶TPC-C

    第二个阶段称为现场预审计,美国的审计员来到蚂蚁金服杭州总部,和 OceanBase 团队成员一起完成功能测试、ACID 测试、性能测试、宕机测试、架构和代码 Review、性能成本计算等全部过程。当时在这个过程中发现了一些...
    文章 2019-10-05 5886浏览量
  • 突破关系型数据库桎梏:云原生数据库中间件核心剖析

    使用多主多从的方式,不但能够提升系统的吞吐量,还能够提升系统的可用性,可以达到在任何一个数据库宕机,甚至磁盘物理损坏的情况下仍然不影响系统的正常运行。读写分离本质上是数据分片的一种。与将数据根据分片键...
    文章 2018-11-07 1896浏览量
  • 含PPT下载|李飞飞:如何看待数据库的未来?

    此外,还有读和写的冲突问题,比如在数据库里做批量写入的时候系统宕机,应该考虑如何让系统自动恢复。为解决以上的问题,数据库系统提出了一个核心概念——事务。简单而言,事务就是一系列动作可以被看作一个整体,...
    文章 2020-02-25 8192浏览量
  • 滴滴基于 Flink 的实时数仓建设实践

    现阶段我们要建设实时数仓的主要原因是: 公司业务对于数据的实时性越来越迫切,需要有实时数据来辅助完成决策 实时数据建设没有规范,数据可用性较差,无法形成数仓体系,资源大量浪费 数据平台工具对整体实时开发...
    文章 2020-09-02 4939浏览量
  • 云栖干货回顾|云原生数据库POLARDB专场“硬核”解析

    POLARDB采用计算与存储分离的架构,数据节点是无状态的,因此一旦发生宕机可以随时进行迁移。对于企业级数据库而言,一般会从可靠性、可用性、性能、弹性、成本和易用性这六个方面进行评价。在可靠性方面,POLARDB...
    文章 2019-10-08 9943浏览量
  • 从Log4j迁移到LogBack的理由

    所以,如果一个文件服务器临时宕机,你再也不需要重启你的应用,而日志功能就能正常工作。当文件服务器恢复工作,logback相关的appender就会透明地和快速的从上一个错误中恢复。自动清除旧的日志归档文件 通过设置...
    文章 2014-11-16 724浏览量
  • 浅析HDFS架构和设计

    找到问题所在,进行修复(比如修复宕机的datanode)。或者可以手动强行退出安全模式(没有真正解决问题):hdfs namenode-safemode leave。在hdfs集群正常冷启动时,namenode也会在safemode状态下维持相当长的一段...
    文章 2019-07-18 758浏览量
  • 初探MongoDB

      在MongoDB实例异常宕机后,重启mongod实例,MongoDB自动重做(redo)所有的Journal Files,在还原Journal Files期间,MongoDB数据库是无法访问的。四、MongoDB相关参数 4.1 WiredTiger参数设置 mongod ...
    文章 2019-08-24 954浏览量
  • PolarDB-X 的诞生和发展

    数据库的宕机恢复、事务 Lock 机制基本已经成型&xff0c;除此以外在系统层面已经在考虑平衡生成 Codegen 的 CPU 开销和带来的加速&xff0c;有了分层的 B 树做存储和索引的概念。经过一段时间的发展后&xff0c;关系数据库...
    文章 2021-09-03 87浏览量
1 2 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化