分布式选择算法常见故障

  • MySQL数据库的几种常见高可用方案

    随着人们对数据一致性的要求不断的提高,越来越多的方法被尝试用来解决分布式数据一致性的问题,如MySQL自身的优化、MySQL集群架构的优化、Paxos、Raft、2PC算法的引入等等,本文介绍MySQL数据库的几种常见高可用方案。 一、概述 我们在考虑MySQL数据库的高可用的架构时,主要要考虑...

    文章 云市场转载 2017-04-25 12042浏览量

  • 双12根本不在话下,阿里首次揭秘扛过双11的千亿级特征分布式机器学习平台XPS

    阿里巴巴电商平台有上亿的用户和产品,每天产生百亿规模的用户反馈数据。比如淘宝首页的猜你喜欢场景,每天就有100亿规模的用户行为数据。如此超大规模的训练数据,给分布式机器学习带来了巨大的挑战,也引入了有趣的研究问题。2017年,阿里巴巴推荐算法团队和计算平台PAI团队合作打造了eXtreme Par...

    文章 技术小能手 2017-12-13 2835浏览量

  • ZooKeeper分布式架构实战系列(01):ZooKeeper概念、功能、架构、与使用场景和面试题

    ZooKeeper是分布式协调服务,开源分布式架构领域不可或缺的技术组件,使用非常的广泛,我们在一些分布式架构的文章中经常看到。比如常见的Hadoop大数据架构,阿里巴巴的Dubbo分布式架构,Spring Cloud微服务架构等都有涉及。BAT名企面试中也是经常作为考点。重要性不言而喻,作为互联...

    文章 徐雷frank 2019-03-31 1983浏览量

  • 阿里云试用中心,为您提供0门槛上云实践机会!

    0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!

    广告

  • 双12根本不在话下,阿里首次揭秘扛过双11的千亿级特征分布式机器学习平台XPS

    阿里巴巴电商平台有上亿的用户和产品,每天产生百亿规模的用户反馈数据。比如淘宝首页的猜你喜欢场景,每天就有100亿规模的用户行为数据。如此超大规模的训练数据,给分布式机器学习带来了巨大的挑战,也引入了有趣的研究问题。 2017年,阿里巴巴推荐算法团队和计算平台PAI团队合作打造了eXtreme Pa...

    文章 淘系技术 2017-12-13 1929浏览量

  • 如何解决大规模机器学习的三大痛点?

    2017年,阿里巴巴推荐算法团队和计算平台PAI团队合作打造了eXtreme Parameter Sever (XPS) 机器学习平台,其中eXtreme寓意为“追求极致”, 体现我们希望设计具有极致性能和效果的机器学习平台的愿景。XPS平台已经广泛全流量运行在手机淘宝的猜你喜欢、生活研究所、飞猪...

    文章 技术小能手 2017-12-14 4217浏览量

  • 架构设计 | 分布式事务①概念简介和基础理论

    一、分布式事务简介 1、转账经典案例 跨地区和机构的转账的业务在实际生活中非常常见,基础流程如下: 账户01通过一系列服务和支付的流程,把钱转入账户02,在这一过程中,如果账户01出现出账成功,但是账户02没有入账,这就导致数据不一致,违反了基本的事务原则。基于数据归属在不同服务和不同的数据库中...

    文章 知了一笑 2020-07-09 67浏览量

  • 分布式系统架构技术分析(一)

    原创声明:本文系作者原创,谢绝个人、媒体、公众号或网站未经授权转载,违者追究其法律责任。 在 20 世纪 60 年代,大型主机凭借其超强的计算和 IO 处理能力以及在稳定性和安全性方面的卓越表现,在很长的一段时间里引领了计算机行业的发展。随着大型主机的发展,集中式的计算机系统架构也成为了主流。随...

    文章 初商 2019-08-03 932浏览量

  • 关于负载均衡的一切:总结与思考

    古人云,不患寡而患不均。 在计算机的世界,这就是大家耳熟能详的负载均衡(load balancing),所谓负载均衡,就是说如果一组计算机节点(或者一组进程)提供相同的(同质的)服务,那么对服务的请求就应该均匀的分摊到这些节点上。负载均衡的前提一定是“provide a single Inter...

    文章 java填坑路 2018-10-07 766浏览量

  • 从分布式一致性算法到区块链共识机制

    引言 分布式一致性是一个很“古典”的话题,即在分布式系统中,如何保证系统内的各个节点之间数据的一致性或能够就某个提案达成一致。这个问题想必对于很多技术同学而言并不陌生,几乎在所有的分布式系统中都会遇到,比如hdfs、mq、zookeeper、kafka、redis、elasticsearch等。然...

    文章 海阔 山遥 2019-05-13 2045浏览量

  • 浅析数据一致性

    什么是数据一致性?   在数据有多分副本的情况下,如果网络、服务器或者软件出现故障,会导致部分副本写入成功,部分副本写入失败。这就造成各个副本之间的数据不一致,数据内容冲突。 实践中,导致数据不一致的情况有很多种,表现样式也多种多样,比如数据更新返回操作失败,事实上数据在存储服务器已经更新成功。...

    文章 朱小厮 2016-02-19 926浏览量

  • 女娲:阿里云分布式一致性协同服务架构详解

    摘要:在11月24日阿里云·云栖社区组织的飞天系列培训上,来自阿里云女娲团队的存储专家朱云锋分享了《女娲:阿里云高性能、高可扩展的分布式一致性协同服务》。 他的演讲内容主要分为四个方面:分布式协同服务背景、女娲服务架构以及技术演进、典型女娲服务应用场景分享、全球化架构下的女娲进化,下面是本次分享内...

    文章 场景研读 2016-12-02 18746浏览量

  • 架构选型必读:集中式与分布式全方位优劣对比

    应用现状比较 由于历史原因,集中式架构多用于传统银行、电信等行业。主机资源集中在大型主机或小型机上。集中式架构下,包括操作系统、中间件、数据库等“基础软件” 均为闭源商用系统。集中式架构的典型案例是 IOE(IBM、 Oracle、EMC)提供的计算设备、数据库技术和存储设备共同组成的系统。 近年...

    文章 技术小能手 2018-06-15 2821浏览量

  • 《分布式系统:概念与设计》一1.5 挑战

    1.5 挑战 1.2节的例子试图说明分布式系统的范围,并提出在设计中出现的问题。在许多系统中,遇到了重大的挑战并且已经得到解决。随着分布式系统的应用范围和规模的扩展,可能会遇到相同的和其他的挑战。本节我们描述主要的挑战。 1.5.1 异构性 互联网使得用户能在大量异构计算机和网络上访问服务和运行应...

    文章 华章计算机 2017-08-01 1002浏览量

  • 从零开始入门 K8s | 手把手带你理解 etcd

    作者 | 曾凡松(逐灵) 阿里云容器平台高级技术专家 本文整理自《CNCF x Alibaba 云原生技术公开课》第 16 讲。 更多云原生技术资讯可关注阿里巴巴云原生技术圈。 导读:etcd 是用于共享配置和服务发现的分布式、一致性的 KV 存储系统。本文从 etcd 项目发展所经历的几个重要时...

    文章 阿里巴巴云原生小助手 2019-12-10 819浏览量

  • 合辑 | 数据库学习不可不知的开发者词条汇总(三)

    点击查看:数据库学习不可不知的开发者词条汇总(一)点击查看:数据库学习不可不知的开发者词条汇总(二) 69、用户定义函数(UDF)用户定义函数(UDF) 由一个或多个SQL语句组成的子程序,可用于封装代码以便重新使用。通常情况下不将用户限制在定义为SQL语言一部分的内置函数上,而是允许用户创建自己...

    文章 被纵养的懒猫 2020-02-24 251浏览量

  • DTCC 2019 | 深度解码阿里数据库实现 数据库内核——基于HLC的分布式事务实现深度剖析

    摘要: 分布式事务是分布式数据库最难攻克的技术之一,分布式事务为分布式数据库提供一致性数据访问的支持,保证全局读写原子性和隔离性,提供一体化分布式数据库的用户体验。本文主要分享分布式数据库中的时钟解决方案及分布式事务管理技术方案。混合逻辑时钟(HLC)可以实现本地获取,避免了中心时钟的性能瓶颈和单...

    文章 七幕 2019-05-24 6701浏览量

  • 《大数据架构和算法实现之路:电商系统的技术实战》——1.5 相关软件:R和Mahout

    本节书摘来自华章计算机《大数据架构和算法实现之路:电商系统的技术实战》一书中的第1章,第1.5节,作者 黄 申,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.5 相关软件:R和Mahout 了解了机器学习和分类的基本知识之后,你会发现相关算法本身的实现也是需要大量的专业知识的,开发的...

    文章 华章计算机 2017-05-02 1440浏览量

  • Java工程师成神之路(2019正式版)

    主要版本 更新时间 备注 v1.0 2015-08-01 首次发布 v1.1 2018-03-12 增加新技术知识、完善知识体系 v2.0 2019-02-19 结构调整,更适合从入门到精通;进一步完善知识体系; 新技术补充; 一、基础篇 面向对象 什么是面向对象 面向对象、面...

    文章 Hollis 2019-02-21 3595浏览量

  • SOFAJRaft 优先级选举剖析 | SOFAJRaft 特性解析

    SOFAStack(Scalable Open Financial Architecture Stack) 是蚂蚁金服自主研发的金融级云原生架构,包含了构建金融级云原生架构所需的各个组件,是在金融场景里锤炼出来的最佳实践。 SOFAJRaft 是一个基于 Raft 一致性算法的生产级高性能 Ja...

    文章 花肉酱 2020-05-07 58浏览量

  • 阿里云对象存储 OSS 发布全球第一可用性 SLA 背后的技术体系

    一、概述2020年6月,阿里云对象存储 OSS 通过十年积累的技术红利,将可用性 SLA(Service Level Agreement) 提升 10 倍,做到了全球第一的核心竞争力,是其他的云厂家的 10~20 倍,如下图所示。其中, OSS 的标准型(同城冗余)存储,SLA 从 99.95% ...

    文章 阿里巴巴存储技术 2020-06-17 169浏览量

  • 负载均衡技术概述

    图片来自网络,转载自http://www.cnblogs.com/xybaby/p/7867735.html,但内容有修改 常见互联网分布式架构如上,分为客户端层、反向代理nginx层、站点层、服务层、数据层。可以看到,每一个下游都有多个上游调用,只需要做到,每一个上游都均匀访问每一个下游,就能实...

    文章 技术小甜 2017-11-16 976浏览量

  • 负载均衡技术概述

    图片来自网络,转载自http://www.cnblogs.com/xybaby/p/7867735.html,但内容有修改 常见互联网分布式架构如上,分为客户端层、反向代理nginx层、站点层、服务层、数据层。可以看到,每一个下游都有多个上游调用,只需要做到,每一个上游都均匀访问每一个下游,就能实...

    文章 技术小甜 2017-11-15 671浏览量

  • 架构设计:分布式服务,库表拆分模式详解

    一、服务间隔离 1、分布式结构 分布式系统架构的明显特点,就是按照业务系统的功能,拆分成各种服务,每个服务下面都有自己独立的数据库,以此降低业务间的耦合度,隔离不同的数据库保证系统最大的稳定性等。 例如上图是电商系统中经典的业务场景,订单-仓储-物流的服务模式,不同服务提供不同的应用场景,服务间...

    文章 知了一笑 2020-06-30 253浏览量

  • 【区块链之技术进阶】掰一掰区块链共识机制与分布式一致性算法

    咱们在之前的很多篇文章里简单地提起了“共识算法”以及“共识攻击”,大家应该对于我们之前提到的“共识攻击”印象还比较深刻吧,对的,就是我们所说的这和公司占有股份一个道理,当你占有整个公司“51%”的股份时,那就是控股了,岂不是可以为所欲为了呢?在区块链技术这也一样,咱们都知道区块链记账以后是不可以篡...

    文章 枯叶子 2016-09-10 24533浏览量

  • 首度公开!OceanBase存储系统架构的演进历程及工程实践

    OB君:作为一款100%自研的分布式数据库,OceanBase历经了近十年的发展历程。近十年来,OceanBase的存储架构经历了多次演进,以解决业务越来越复杂苛刻的存储需求。本文整理自赵裕众(花名陈群)在2019 SACC中国系统架构师大会中的演讲。 随着用户数据量的不断增长,基于传统共享存储的...

    文章 荔子liqi 2019-11-25 2590浏览量

  • 收藏!一张图帮你快速建立大数据知识体系

    前言 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”数据,让一切有迹可循,让一切有源可溯。我们每天都在产生数据,创造大数据和使用大数据...

    文章 茶什i 2020-06-11 8817浏览量

  • 万亿级数据洪峰下的分布式消息引擎

    前言 通过简单回顾阿里中间件(Aliware)消息引擎的发展史,本文开篇于双11消息引擎面临的低延迟挑战,通过经典的应用场景阐述可能会面临的问题 - 响应慢,雪崩,用户体验差,继而交易下跌。为了应对这些不可控的洪峰数据,中间件团队通过大量研究和实践,推出了低延迟高可用解决方案,在分布式存储领域具有...

    文章 中间件小哥 2017-02-07 6653浏览量

  • 2.0 解析系列 | OceanBase负载均衡的魅力

    引言随着互联网业务的普及,海量数据的存储和访问成了应用架构设计常见的问题。业务高峰期,应用几百万几千万的请求落在数据库上时,数据库如何保持稳定和扩展性?通过数据拆分,加上负载均衡设计是首选方法。本文总结了关系数据库在负载均衡方面的架构经验,进而介绍OceanBase分布式数据库的负载均衡的独特魅力...

    文章 mq4096 2018-10-23 2667浏览量

  • 闲鱼神探——线上问题定位与快速解决

    作者:闲鱼技术-迎墨 神探产品定位 神探是一款面向服务端稳定性问题自动定位并辅助快速解决故障的线上排查工具。软件工程领域存在一个共识:维护代码所花费的时间要远多于写代码。而整个代码维护过程中,最惊心动魄与扣人心弦的部分,莫过于问题排查,线上问题持续发生,带来的问题,一方面是大量时间投入和繁复操作,...

    文章 闲鱼技术 2020-07-28 732浏览量

  • 如何设计和实现自适应的负载均衡

    本文是第五届中间件性能挑战赛的赛题解析,参与比赛,赢取最高10万元奖金。 在现代分布式应用中,服务请求是由物理机或虚拟机组成的 server 池进行处理的。 通常,server 池规模巨大且服务容量各不相同,受网络、内存、CPU、下游服务等各种因素影响,一个 server 的服务容量始终处于动态变...

    文章 中间件小哥 2019-06-13 2977浏览量

1 2 3 4 ... 9 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板