阿里10年分布式技术沉淀:阿里高可用体系核心缔造者、全链路压测创始人告诉你!

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 7月27日,云栖社区、阿里中间件将举办首届阿里巴巴中间件技术峰会,揭秘阿里10年分布式技术干货。本次活动看点十足,大咖齐聚、纯正干货,本文给大家做下详解介绍,相信看后定会让你动心!

7月27日,云栖社区、阿里中间件将举办首届阿里巴巴中间件技术峰会,揭秘阿里10年分布式技术干货。目前活动官网已上线:https://yq.aliyun.com/promotion/262点击报名

本次活动看点十足,大咖齐聚、纯正干货,下面给大家做下详解介绍,相信看后定会让你动心!


议题详情

  • 双11核武器全链路压测——张军 / 阿里巴巴中间件高级技术专家
阿里巴巴双11备战期间,保障系统稳定性最大的难题在于容量规划,而容量规划最大的难题在于准确评估从用户登录到完成购买的整个链条中,核心页面和交易支付的实际承载能力。全链路压测的诞生改变了这一现状,通过对双11进行模拟,支持线上不影响正常用户访问的集群读写压测,获得最真实的线上承载能力数据。全链路压测开启了大促稳定性保障的新纪元,被誉为备战核武器。

听众收益:

  1. 阿里为什么要做全链路压测,全链路压测解决什么问题;
  2. 全链路压测的核心流程和实现机制;
  3. 全链路压测给双11系统稳定性带来的改变和价值;
  • AliSQL:引领开源技术变革之路——何登成 / 阿里巴巴数据库资深技术专家
AliSQL,阿里巴巴的开源MySQL分支,从2010年开始研发,至今已经走过了7个年头,成功支持了历年阿里双11购物狂欢节、蚂蚁新春红包的大促活动。在阿里巴巴业务飞速发展的驱动下,相对于开源MySQL,AliSQL在性能优化、功能增强、可运维性提升等方面都做了大量改进。2016年我们在Percona Live上完成分享后,Percona首席布道师Colin Charles听完后大加赞赏。而从2016年初开始,AliSQL的发展在原有基础上更进一步,一举推出了多个创新性的产品和功能:高性能访问接口X-KV,高性能可全球化部署的AliSQL多副本强一致集群X-Cluster,融合了RocksDB存储引擎的AliSQL(RocksDB)等等。
听众收益:
  1. 简单总结分享AliSQL从2010年到2015年这段时间的性能优化、功能增强和可运维性提升
  2. 重点分享AliSQL在最近两年的技术和产品突破:X-KV、X-Cluster、AliSQL(RocksDB)。分享我们为什么会做X-KV接口?我们在技术上做了什么,使得X-Cluster相对于MySQL官方的Group Replication有着近5倍的性能提升?等
  3. 总结我们的分享,简单探讨阿里数据库未来发展的一些规划。
  • 阿里巴巴海量数据场景下的OLAP解决方案——焦方飞 / 阿里巴巴中间件技术专家
针对阿里巴巴集团海量数据环境下准实时多维ad-hoc查询以及存储成本高的问题,中间件团队研发了两款数据库产品:
  1. HiStore(高性能OLAP列式存储数据库):作为阿里巴巴集团规模最大的OLAP列式存储数据库,是一款分布式低成本分析型OLAP数据库产品, 它基于独特的知识网格技术,有效的解决了海量数据存储的成本问题,以及在百亿数据场景下支持实时高效的多维度ad-hoc查询。HiStore在阿里内部已经应用于多个核心应用,也应用于很多外部用户,场景包括数据仓库、商业智能、用户画像、报表分析、物联网等等,无论成本、性能、稳定性都表现完美。
  2. HiTSDB(时间序列数据库):是一种高性能、低成本、稳定可靠的在线时序数据库服务。HiTSDB 广泛应用于物联网、工业制造、电力、化工以及IT运维等行业海量设备数据实时运行监测、趋势展现分析、故障诊断、业务预研等场景。HiTSDB 提供百万级时序数据别秒级写入、高压缩比低成本存储、预降精度、插值、多维聚合计算、查询结果可视化等功能,解决由于设备采集点数量巨大、数据采集频率高,造成的存储成本高、写入和查询分析效率低的问题。
听众收益:
1.如果你对海量数据OLAP领域感兴趣,并希望需求在数据仓库、商业智能、用户画像、报表分析、物联网等领域寻找高效的存储解决方案,而且对海量数据下的存储成本感到头痛,HiStore将会使你受益匪浅。
2.如果你对时间序列数据领域感兴趣,并且对监控领域、IoT物联网等领域的metrics指标、海量设备数据等与时间相关的数据存储和高效分析感兴趣,那HiTSDB将是你不二的选择。
  • 双11高可用架构演进之路——周洋 / 阿里巴巴中间件技术专家
阿里从09年开始做双11,日交易额从09年的5.9亿涨到15年的912亿,订单创建峰值从400涨到14万每秒,规模增长上百倍,系统的复杂度更是以指数级攀升,面对业界前所未有的挑战,技术团队走上了自主创新的道路,建设了大量高可用性技术产品,经历了几个阶段的技术架构演进。

听众收益:
1.阿里历届双11的技术架构演进。
2.高可用技术产品发展之路。
3.双11保障的最佳实践。

  • 万亿级数据洪峰下的消息引擎——冯嘉 / 阿里巴巴中间件架构师
2016年,阿里巴巴将自主研发的第三代分布式消息引擎RocketMQ捐赠给Apache软件基金会。作为近些年双十一大促核心基础产品,它的架构演进是怎么样的?面对双十一万亿级洪峰,它是如何保证稳定性和可用性的,都有哪些借鉴思想?面对分布式经典问题 - 慢请求,它是如何做到99.996%的延迟落在了10ms以内,而99.6%的延迟在1ms以内的?进入Apache后,我们是如何发展社区的,下一代消息规划是什么样的?本次分享将为大家带来分布式消息引擎在存储上的低延迟优化分享,高吞吐的性能优化以及Apache社区发展动态。

听众收益:
1.了解双十一海量分布式消息引擎背后的设计哲学。

  1. 了解万亿级数据洪峰下分布式系统的高可靠,高可用建设之道。
  2. 了解Apache RocketMQ的发展规划、生态建设,下一代消息规范演进等。
  • 微服务架构上云的最佳实践——李颜良 / 阿里巴巴中间件技术专家
EDAS 诞生两年多以来,接触了上千的客户;在帮助传统企业向互联网转型的过程中,积累了大量微服务实践的经验;在我们接触的研发团队中,有一些问题是由于开发环境或者开发模式的转变而带来的。
这一次分享围绕着微服务上云的场景,跟大家分享几个典型的案例;跟大家探讨如何避免类似的场景在自身的研发团队中发生。

听众收益:

  1. 如果您是涉足微服务领域不太久的同学,通过这次分享可以解开部分疑惑如:如何对服务进行重构、拆分。
  2. 如果您的服务即将上云,这次分享会告诉您服务上云时一些典型的容易踩到的坑。
  3. 如果您是微服务领域的老司机,这次分享的案例或许能让你有种似曾相似的感觉
  • 分布式数据库:从线性扩展谈分布式JOIN——孙梦石 / 阿里巴巴数据库技术专家
分布式JOIN,在分布式数据库中是一个很常见的需求,但分布式JOIN绝非只是一个词,他有很多的策略、很多的变种。那么如何评价一个分布式JOIN是否适合去做,是大家学习DRDS等分布式数据库一个重要的课题。
我们会从使用DRDS等分布式数据库的最原始的初衷,实现系统的线性扩展说起,来为大家分析分布式JOIN到底是怎么一回事。

听众能够了解到以下为:
1.什么样的分布式数据库设计,才能做到线性扩展;
2.分布式JOIN是怎么一回事,有哪些种类,适合什么场景;
3.与分布式JOIN非常相关的一个东西,分布式索引应该如何设计。

  • 阿里电商架构演变之路——谢吉宝 / 阿里巴巴中间件高级技术专家
阿里巴巴是全球规模最大的电子商务平台,也是国内互联网业界最早实践SOA理念的公司之一。依托于其所带来的巨大流量和海量数据,以及对于电子商务平台固有的稳定性要求,使得团队有机会去面对一个又一个技术难题,创造一个又一个技术奇迹。从一个初创型业务,到一个高速发展型业务,再到一整个生态体系。阿里的技术体系架构经历了无数严酷的考验:去IOE,双11,异地容灾。在这个topic中,让我们一起温故知新,看看阿里电商架构演变历程。

听众受益:

  1. 了解阿里巴巴核心架构的演变历程;
  2. 了解阿里中间件的发展历程;

嘉宾简介

TB169syRVXXXXcxaXXXXXXXXXXX-365-365.png


焦方飞,阿里巴巴中间件技术专家,9年技术开发和系统架构经验,2014年加入阿里巴巴中间件团队,从事分布式服务框架、分布式链路跟踪系统的研发和架构演进工作,多次参与双11关键服务的保障工作,随后从事OLAP数据库领域的研发和推广工作,从无到有见证了阿里巴巴海量数据OLAP场景下以及时序数据场景下新产品的诞生和成功,完美的解决了集团海量数据存储成本高、查询性能不足的问题。

TB1aoRXSXXXXXcFXXXXXXXXXXXX-227-227.png


李颜良,阿里巴巴中间件技术专家,EDAS团队技术专家,近十年的软件开发经验,先后参与过外企、中大型互联网企业团队、创业团队的研发,在服务化领域积累了大量的实战经验;目前参与企业级分布式应用服务 EDAS 的核心研发,致力将 EDAS 打造为微服务领域的超级 PaaS 平台。

TB1N8lkSXXXXXXSXXXXXXXXXXXX-500-500.png


周洋,阿里巴巴中间件技术专家,8年技术研发和架构经验,全程参与阿里高可用体系的建设和演进,主导了阿里巴巴强弱依赖治理、灰度发布、线上故障演练等多款高可用产品的研发和落地。深度参与大促、常态稳定性保障工作,积累丰富架构和稳定性经验。2015 年作为共享事业部的大促PM,负责大促和常态稳定性的保障工作。目前主要工作在高可用产品体系云化输出和集团常态化稳定性保障方面。

TB1Vu7RRVXXXXcaXFXXXXXXXXXX-315-315.jpg


孙梦石,阿里巴巴数据库技术专家,分布式关系型数据库服务DRDS与TDDL负责人,从0开始设计并开发了分布式数据库DRDS,在分布式系统架构设计、分布式数据库使用及优化,都有很多的经验。参与淘宝每年的双十一,成功支持虾米、优酷等子公司使用DRDS,融入阿里技术体系,支持云上众多用户实现数据库的线性扩展。

TB1.UIVRVXXXXaZXFXXXXXXXXXX-300-300.jpg


谢吉宝,阿里巴巴中间件高级技术专家,2010年加入阿里巴巴集团,10余年技术研发和系统架构经验。2012年加入中间件技术部高可用架构团队,一直从事高可用建设相关工作,主导设计了灰度发布系统、共享服务化平台、中间件运维平台、建站平台以及异地多活的架构演进。见证了阿里巴巴的高可用产品体系从1.0到3.0的整个发展历程,积累了丰富的架构和稳定性经验,多次参与双11负责稳定性保障工作,目前负责阿里异地多活和同城双活的高可用体系建设和中间件的DevOps。

TB1LiM7RVXXXXaTXpXXXXXXXXXX-300-300.jpg


张军,阿里巴巴中间件高级技术专家,阿里高可用体系核心缔造者,全链路压测创始人,具备多年的大型ERP软件、金融领域和电商领域的高可用架构经验,11年加入阿里巴巴中间件&高可用架构团队,在高可用领域积累了丰富的实战经验。领导设计和建设了阿里的容量规划体系、全链路压测体系、限流降级体系、开关预案体系、流量调度体系等众多高可用架构基础设施,成为阿里双11大促备战必不可少的核心利器,为阿里数十个业务单元,上千个系统提供高可用的基础技术支撑。

TB1phIURVXXXXbaXFXXXXXXXXXX-500-500.jpg


何登成,
资深数据库内核研发专家,从04年开始从事数据库内核研发达10+年以上。先后参与并主导过国产神舟Oscar数据库,网易自研存储引擎NTSE/TNT等数据库产品的研发。同时也作为数据库总负责人参与了多年阿里巴巴双11购物狂欢节,蚂蚁新春红包的备战保障工作。有着丰富的数据库内核研发经验和数据库应用架构经验。目前为阿里巴巴数据库内核研发团队负责人,主导AliSQL的产品研发(AliSQL:开源MySQL的阿里分支)以及下一代数据库系统的规划和研发工作。工作之余,喜欢通过微博平台(微博账号:何_登成)跟大家交流探讨数据库技术以及高性能、分布式、软硬件结合等技术。

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
|
8天前
|
监控 数据可视化 Java
【JAVA】分布式链路追踪技术概论
【JAVA】分布式链路追踪技术概论
18 2
|
1月前
|
消息中间件 分布式计算 中间件
秀出天际!阿里甩出的988页分布式微服务架构进阶神仙手册我粉了
秀出天际!阿里甩出的988页分布式微服务架构进阶神仙手册我粉了
|
8天前
|
存储 大数据 Linux
【大数据】GFS,大数据技术的基石,分布式文件系统的鼻祖
【大数据】GFS,大数据技术的基石,分布式文件系统的鼻祖
23 0
|
8天前
|
存储 消息中间件 Java
【分布式链路追踪技术】sleuth+zipkin
【分布式链路追踪技术】sleuth+zipkin
16 1
|
9天前
|
存储 Kubernetes 监控
etcd:分布式键值存储系统技术
`etcd` 是一个用于共享配置和服务发现的高度可用键值存储系统,基于Raft算法保证数据一致性。它提供HTTP/GRPC API,常用于服务发现、配置共享和分布式锁。etcd集群包含多个节点,每个节点可为领导者或跟随者。在Kubernetes中,etcd存储集群状态,其稳定性和一致性至关重要。维护etcd涉及备份、状态监控、日志审计和安全措施。
17 2
|
10天前
|
供应链 物联网 分布式数据库
区块链技术作为一种新兴的分布式数据库技术,正逐渐改变着我们的生产和生活方式。而智能合约作为区块链技术的重要应用之一
【6月更文挑战第10天】本文探讨了区块链技术与智能合约的界限及其带来的挑战。区块链,以其不可篡改性和安全性,已广泛应用于金融、供应链和物联网等领域。智能合约作为区块链的关键应用,实现了自动、安全和不可篡改的合约执行。然而,技术上的扩展性、性能问题和安全漏洞,以及法律监管的困境,构成了当前的主要挑战。尽管如此,随着技术进步和应用场景的拓宽,区块链与智能合约有望在未来发挥更大潜力。
48 0
|
15天前
|
监控 NoSQL 数据建模
使用Apache Cassandra进行分布式数据库管理的技术实践
【6月更文挑战第5天】本文探讨了使用Apache Cassandra进行分布式数据库管理的技术实践。Cassandra是一款高性能、可扩展的NoSQL数据库,适合大规模、高并发场景。文章介绍了其高可扩展性、高性能、高可用性和灵活数据模型等核心特性,并详细阐述了环境准备、安装配置、数据建模与查询以及性能优化与监控的步骤。通过本文,读者可掌握Cassandra的运用,适应不断增长的数据需求。
|
16天前
|
存储 分布式计算 Hadoop
使用Apache Hadoop进行分布式计算的技术详解
【6月更文挑战第4天】Apache Hadoop是一个分布式系统框架,应对大数据处理需求。它包括HDFS(分布式文件系统)和MapReduce编程模型。Hadoop架构由HDFS、YARN(资源管理器)、MapReduce及通用库组成。通过环境搭建、编写MapReduce程序,可实现分布式计算。例如,WordCount程序用于统计单词频率。优化HDFS和MapReduce性能,结合Hadoop生态系统工具,能提升整体效率。随着技术发展,Hadoop在大数据领域将持续发挥关键作用。
|
29天前
|
消息中间件 存储 Java
Java分布式技术面试总结(全面,实时更新)
Java分布式技术面试总结(全面,实时更新)
|
1月前
|
监控 数据可视化 Java
【JAVA】分布式链路追踪技术概论
skywalking拥有更加的强大和细粒度的图形监控界面。
34 2