• 海量存储系列十五

    那么,假定有五个节点,任意两个挂掉,哪怕挂掉的里面有主节点,这时候也只需要从新从余下的三个里面选出那个id号最大的节点作为主节点,数据就一定是最新的。当然,leader election是paxos协议的核心,对这块感兴趣...
    文章 2017-05-02 1165浏览量
  • MYSQL数据丢失讨论

    如果你有从数据库新建一直到数据挂掉的所有redo,那么你可以将数据完完整整的重新build出来。但是这样的话,速度肯定很慢。所以一般每隔一段时间,数据库会做一个checkpoint的操作,做checkpoint的目的就是为了让...
    文章 2017-05-02 2208浏览量
  • RocketMQ 在平安银行的实践和应用

    在 4.3 版本还未提供事务处理能力前,我们在本地数据库里去建一张消息表,数据库更改数据状态的时候,会同步将数据写入消息表。若发送失败,则进行补偿。并在客户端里进行封装。D.实现统一的消息者幂等处理。E.添加...
    文章 2019-03-08 3736浏览量
  • RocketMQ 在平安银行的应用和实践

    在 4.3 版本还未提供事务处理能力前,我们在本地数据库里去建一张消息表,数据库更改数据状态的时候,会同步将数据写入消息表。若发送失败,则进行补偿。并在客户端里进行封装。D.实现统一的消息者幂等处理。E.添加...
    文章 2019-02-27 2287浏览量
  • Greenplum在企业生产中的最佳实践(上)

    相比传统单机版的Oracle和MySQL,它的特点是使用比较多的服务器做海量数据处理。一般在企业客户中,把X86服务器采集过来后会做上机安装,如果企业使用的集群规模比较大,比如国内客户最大的有将近128个节点,数据量...
    文章 2017-07-29 4695浏览量
  • 阳振坤:数据库天然选择了计算机,但计算机天然并不...

    无论是主库备库不一致,还是分布式数据库的缺失,根本的原因是传统关系数据库自身高可用的缺失,即今天的传统关系数据库都是通过外部硬件来保证可用性,而没有从数据库系统内部来解决问题。OceanBase的目标:十倍性...
    文章 2018-06-29 6250浏览量
  • 重新定义数据库的时刻,阿里云数据库专家带你了解...

    但是,时间上,多个交换机全部挂掉的几率非常小,相反,几台机器出问题的概率非常大,所以应该着重于解决常见问题,之后使得C和A无限逼近。下面介绍客户发生的变化,如下图所示。客户对数据库的需求正不断演变,首先...
    文章 2018-05-23 3161浏览量
  • 银行爱“IOE”爱得有多深

    这也是我前一个回答中说到对于银行核心来看,EMC是最容易被换掉的原因:一看国际技术测评,二来国内市场真实状况。别的国内公司,或许会在某些局部市场有一定的市场占有率。但目前,最有希望替换IOE的,还是华为。...
    文章 2017-05-02 1473浏览量
  • 20 万网络节点背后的数据创新应用

    也就是说,我们对一个业务的支持,之前需要专业的开发大数据开发同学一周时间完成开发,现在减少到产品开发同学半小时完成业务监控的数据处理配置。这里有几个比较有特色的点:一个是消息队列,我们之前用Kafka,...
    文章 2018-08-02 1078浏览量
  • 解读数据传输DTS技术架构及最佳实践

    这时候就会涉及到一些问题,比如断点是如何解决的,另外如果表在全量迁移的过程中挂掉了,是否能连接起来之后从挂掉的地方继续运行,这样尽可能节约时间和计算成本,除此之外还会涉及到无主键表所造成的困难,而这些...
    文章 2017-09-01 11088浏览量
  • 如何设计财务对账系统 —— 从0到1搭建对账中心实战

    所以我们首相要将来自支付宝、微信、银行系统、银联、paypal等三方机构的账单数据统一口径&xff0c;使数据可读&xff0c;可对比。这个过程我们叫账单数据标准化。4.账单核对&xff08;账单核对模块&xff09;这一步大家一定要...
    文章 2021-07-16 119浏览量
  • Greenplum在企业生产中的最佳实践(下)

    对于GP来说,当master节点挂掉之后,切换动作虽然非常快,但是还是需要人工去做这样的触发的动作。我们在真实的企业里面,建议切换master的时候,一般情况下还是要看一下,你要确定一下元数据有没有同步。另外,要看...
    文章 2017-08-02 3110浏览量
  • OceanBase数据库创始人阳振坤分享征战6088万tpmC的...

    其实,无论是主库备库不一致还是分布式事务的缺陷,根本的原因是传统关系数据库软件自身高可用的缺失,即传统关系数据库都是通过外部硬件来保证可用性,而没有从数据库系统内部来解决问题。OceanBase征战TPC-C的艰辛...
    文章 2019-10-23 3911浏览量
  • 创造了中国自己的数据库OceanBase

    陈萌萌对于“单机”的视角有一个形象的比喻:就像今天使用PC服务器,要担心如果突然某台PC服务器挂掉了、甚至机房本身遭遇地震、火灾等极端情况,如何保障数据访问的稳定性。由于是完全基于PC服务器架构,OceanBase...
    文章 2018-03-26 7702浏览量
  • 掌门教育微服务体系 Solar|阿里巴巴 Nacos 企业级落地...

    折腾了这么几次后,发现同步业务服务列表是持久化在数据库,同步服务器挂掉后 reHash 通知机制是由 Zookeeper 来负责,两者能否可以合并到一个中间件上以降低成本?于是我们想到了 Etcd 方案,即通过它实现同步业务...
    文章 2020-08-03 1060浏览量
  • 从需求出发来看关系模型与非关系模型-时代的变革

    而现在,一个应用就有100多台库,假设一个在一年内挂掉的概率是1%,那么如果他们都是独立事件,100台里挂掉1台的概率是63%。扩容也是问题,怎么扩,如何扩,都是需要解决的问题。啊!好痛好痛,另一条腿也中了一箭!...
    文章 2016-04-08 1345浏览量
  • 掌门教育微服务体系 Solar|阿里巴巴 Nacos 企业级落地...

    折腾了这么几次后,发现同步业务服务列表是持久化在数据库,同步服务器挂掉后 reHash 通知机制是由 Zookeeper 来负责,两者能否可以合并到一个中间件上以降低成本?于是我们想到了 Etcd 方案,即通过它实现同步业务...
    文章 2020-08-03 436浏览量
  • 分布式数据库选型——数据水平拆分方案

    这个方案优点是保障了数据在多个副本中存在,高可用时有候选副本,也不用担心挂掉一个备副本会影响主副本。它的缺点是不能自动知道哪个候选副本拥有主副本最新最全的数据,也不强制要求两个备副本都要拥有全部数据。...
    文章 2019-08-08 2655浏览量
  • 分布式数据库选型——数据水平拆分方案

    这个方案优点是保障了数据在多个副本中存在,高可用时有候选副本,也不用担心挂掉一个备副本会影响主副本。它的缺点是不能自动知道哪个候选副本拥有主副本最新最全的数据,也不强制要求两个备副本都要拥有全部数据。...
    文章 2019-06-19 20613浏览量
  • 万级TPS亿级流水-中台账户系统架构设计

    DB就会有热点行问题,由于 行锁 关系并发一大肯定大量超时、_RT突增_、DB活跃线程 增加等一系列问题,最终DB会被拖。账户类系统有一个特点,原账户的扣减可以实时处理,目标账户可以异步处理,我们可以将转账动作...
    文章 2020-06-20 330浏览量
  • 菜鸟积分系统稳定性建设-分库分表&百亿级数据迁移

    进行校验需要注意:校验任务注意不要影响线上运行的服务,通常校验任务会写很多批查询的语句,会出现批量扫表的情况,如果代码没有写好很容易导致数据挂掉。对账标准:target数据库和source数据库中数据保持一致...
    文章 2021-09-13 570浏览量
  • 支付系统的防重设计

    需要动态将上笔支付订单快速置为实效的原因在于,我们需要在内部设定一个逻辑:“如果支付订单处于实效状态并在后面接收到了第三方支付成功的回调,则需要系统自动发起该笔支付订单的原路退款逻辑,并确保该笔订单...
    文章 2018-09-06 4959浏览量
  • 蚂蚁金服资深总监韩鸿源:企业级数据库平台的持续与...

    首先,分布式已经是不可避免的潮流,这个里面有几方面的原因。单一的大服务器加存储的方式扩展能力有限,无法支持企业的持续向前发展。在今天的云环境里面,大家可以看一下市场上不管是哪一家主流的云供应商,现在...
    文章 2019-11-28 572浏览量
  • 蚂蚁金服资深总监韩鸿源:企业级数据库平台的持续与...

    首先,分布式已经是不可避免的潮流,这个里面有几方面的原因。单一的大服务器加存储的方式扩展能力有限,无法支持企业的持续向前发展。在今天的云环境里面,大家可以看一下市场上不管是哪一家主流的云供应商,现在...
    文章 2019-12-03 1392浏览量
  • 数据库与存储系统

    根据与许多客户的沟通,客户往往最容易忽略掉的环节就是存储系统,而存储系统里面,文件系统被关注是最少的。本次技术分享的关注点就是存放数据库的文件系统,将简单描述文件系统及其缓存大概的架构,基本的工作原理...
    文章 2017-05-02 1739浏览量
  • 中华万年历CTO杭建:Java后端技术概览(赠书福利)

    此外,这里需要补充的是为了保证同等角色的服务的高可用,如LVS经常作为流量的入口,因此会部署多个LVS结点互为主备防止一个挂掉的时候造成服务不可用。而实现互为主备的技术目前用的最多的就是Keepalived。虚拟化:...
    文章 2018-05-16 2447浏览量
  • 互联网公司的风险控制

    非实时风控处理流程,通过大数据的方式研判一些订单是否有问题,或者看是不是有漏掉的数据,或者帮一个特定的用户建模,都是非实时风控做的一些事情,出来的结果会人工看这些订单是不是有问题。在我们企业当中,如果...
    文章 2017-07-03 4755浏览量
  • 激活数据:平安会成为金融界的天猫

    他对互联网与社交的热忱让吴世雄感到惊讶,而他吸引吴世雄加入这家陌生金融企业的原因很简单——“平安拥有保险、银行、投资三大板块共8000万实名用户”。吴世雄认为马明哲的个性也很吸引他,“这么大的公司,全球...
    文章 2017-04-03 1426浏览量
  • 区块链正在颠覆华尔街|钛媒体深度

    链得得整理了CBInsight上的一些研究数据和结论,本文将深入探讨区块链可能怎样颠覆传统银行业,同时通过技术实现一些新的商业模式。支付 目前我们还需要一套陈旧的系统支持全球数以万亿美元资金流动,这套系统不但...
    文章 2018-04-13 1170浏览量
  • Seata 长事务解决方案 Saga 模式|SOFAChannel#10 回顾

    BASE 的系统倾向于设计出更加有弹力的系统,在短时间内,就算是有数据不同步的风险,我们也应该允许新的交易可以发生,而后面我们在业务上将可能出现问题的事务通过补偿的方式处理掉,以保证最终的一致性。...
    文章 2020-01-19 777浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化