支付宝OceanBase二刷TPC-C,创纪录的7亿tpmC从何而来?

简介: 5月20日,蚂蚁金服自主研发的分布式关系数据库OceanBase,以7.07亿tpmC的在线事务处理性能,打破了自己在去年创造的6088万tpmC的TPC-C世界纪录。

5月20日,国际事务处理性能委员TPC组织的官网显示,蚂蚁金服100%自主研发的分布式关系数据库OceanBase,以7.07亿(707,351,007)tpmC的在线事务处理性能,打破了OceanBase自己在2019年10月创造的6088万(60,880,800)tpmC的TPC-C世界纪录。

TPC-C是全球最具公信力的联机交易处理数据库的功能与性能结合的测试标准。通俗来讲,TPC-C测试是对于商业数据库想要证明自身实力的一个硬性门槛。

001.png

去年10月份OceanBase登顶TPC-C榜单,虽然成绩已经达到了之前榜首Oracle的两倍,但首次测试尚未充分发挥OceanBase分布式架构的真正实力。经过半年的准备,本次测试使用了1557台数据库服务器,不仅整体性能提升接近线性,单机性能相比一期测试也得到了大幅提升,初步展示了OceanBase作为一款真正的分布式关系数据库的实力。

表格01.png

下面我们对本次OceanBase的TPC-C测试做个简单介绍。

扩展能力

对于任何分布式系统来说,系统整体的水平扩展能力都是最重要的衡量指标之一。具备线性或准线性的水平扩展能力的数据分析(OLAP)的系统,可以说比比皆是;但由于数据库事务所必需的ACID属性非同一般的困难,具备水平扩展能力的交易处理(OLTP)系统,则是凤毛麟角,更不谈线性或准线性性能的水平扩展。而TPC-C benchmark的前提就是通过事务的ACID测试:

1、对于总占比共计88%的“订单创建”和“订单支付”事务,TPC-C标准要求分别约10%和15%的分布式事务,单个事务最多涉及15个节点。因此对于每个分布式数据库节点来说,在TPC-C测试中机器规模越大,每个节点就需要和更多的节点交互形成分布式事务,性能衰减也更大。

2、TPC-C标准里要求“订单创建”、“订单支付”、“订单配送”、“订单查询”事务之间都是可串行化隔离级别(Serializable),这个要求对于分布式关系数据库来说,要在超大规模集群中提供可串行化隔离级别的同时,又要保证高性能和高可用也变得愈发困难。

OceanBase在一期测试时使用了207台数据库服务器,而这次测试的集群规模更是达到1557台,这也是对OceanBase扩展性的一次巨大的考验和挑战。经过一段时间的优化,集群规模从一开始的200台增加到800、1000直到最后的1500多台,整体性能接近线性增长。

单机性能

除了水平扩展能力之外,OceanBase也在不断提升单机性能,包括SQL中缀表达式的计算性能,超大分区表的裁剪性能,存储过程的性能等等。

此外,优化后台资源占用也对性能提升做出了显著贡献。众所周知,OceanBase是基于LSM-Tree架构的,而TPC-C标准中又有一个对LSM-Tree架构数据库不利的限制,就是在要求8小时压测性能抖动不超过2%的前提下,还要每半个小时内完成一次checkpoint。这就意味着后台的compaction动作无时无刻不在发生,并且这次测试中OceanBase还进一步增加了单机数据量,压测期间随机读iops最高峰超过9万多,在这种压力下要让compaction对性能的影响更加平滑、对用户查询影响更小,是个不小的挑战。OceanBase本次测试在之前基础上继续改进分层转储策略和后台io调度策略,最终实现了8小时压测抖动小于1%,并且全程所有数据节点完成了至少23次checkpoint,平均两次checkpoint间隔只有23分钟,整体表现大大好于标准要求。

跟上次benchmark测试相比,这次测试中使用了全新的阿里云ECS规格i2d,单机CPU核数提升了30%(64vCPU->84vCPU,一样的CPU核),而OceanBase平均单机tpmC的提升则达到了50%。因此OceanBase不仅充分发挥了阿里云新ECS规格所带来的硬件红利,而且同等硬件条件下,OceanBase的单机性能也提升了20%。

并行查询

TPC-C虽然是面向OLTP的测试,但是其中的ACID测试流程也包含了大量的全表扫描和分析SQL。而在本次测试时,由于数据库机器规模扩大到1557台且单机仓库数增长到3.6万,总数据规模达到了近6PB,最大单表扫描数据总行数超过20万亿行(TPC-H最大的测试是100TB)。

为了应对如此之大的海量数据查询,OceanBase进一步夯实了已有的并行查询引擎,最终的测试流程中,查询使用的并行度超过4.5万,最大几张表的全表扫描都在分钟级完成,而其它sql基本都能在秒级返回。

更高的性价比

OceanBase做TPC-C测试的初衷并不仅仅是性能的提升,同时也希望在性价比上充分体现分布式数据库的优势。虽然从成本角度看OceanBase基于Paxos有多副本的天然劣势,但是在彻底摆脱了传统高端硬件的限制之后,OceanBase在一期TPC-C测试中更是创新的首次将TPC-C测试全面云化,充分享受虚拟化便利的同时,也将单tpmC成本拉到了比之前Oracle结果还要低的程度,并且OceanBase是在数据多副本的情况下达到这一成绩的,在更低性价比的同时还提供了更高的可靠性。而本次测试中,OceanBase把单个tpmC成本又降低了1/3以上,进一步加强了OceanBase作为云数据库的成本优势。通过两次的TPC-C‘云’测试,我们也能够发现:

  • 全面拥抱云化实现真正的弹性,用户能够快速通过云上ECS弹性扩容,借助OceanBase真正的内置水平扩展能力,让数据库集群快速在线扩容到业务所需的规模,所有新增的资源能够在业务峰值过后,利用OceanBase自身的缩容功能快速释放,大大节省用户成本;
  • OceanBase的高性能完全不依赖高端或专用硬件,两次TPC-C测试OceanBase跟随阿里云升级趋势分别使用了两种不同规格的通用ECS虚拟机。而用户在搭建自己的OceanBase集群时,同样可以丰俭由人,选取适合实际业务情况的硬件配置即可。

    表格02.png

从上表可以看到,TPC-C测试一直以来都是一个比较昂贵的测试,因此之前能够上榜的测试往往是以硬件厂商为主导。而OceanBase借助云测试的特点,将每次TPC-C测试的代价降低了很多,不再需要实际购买相应的硬件资源,这也给其它希望参与评测的数据库提供了借鉴和参考。例如本次测试,虽然从最终FDR可以看到测试的硬件成本约6亿人民币,但这是标准要求公开的3年总持有成本,而实际测试中我们只需要在阿里云上购买相应ECS资源很短的时间,远远低于之前榜单上其它厂商测试的花费。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
负载均衡 Oracle 关系型数据库
7.07亿TPC-C背后的技术突破,OceanBase研究成果入选VLDB
7.07亿TPC-C背后的技术突破,OceanBase研究成果入选VLDB
389 0
7.07亿TPC-C背后的技术突破,OceanBase研究成果入选VLDB
|
SQL 缓存 数据库
使用BenmarkSQL运行TPC-C及查看oceanbase执行计划查看
进行oceanbase数据库TPC-C测试,查看oceanbase的执行计划
303 0
使用BenmarkSQL运行TPC-C及查看oceanbase执行计划查看
|
SQL NoSQL 关系型数据库
阿里云新品发布会周刊第46期 丨 支付宝自研数据库OceanBase通过阿里云向全球开放
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多新品发布会!
3366 0
阿里云新品发布会周刊第46期 丨  支付宝自研数据库OceanBase通过阿里云向全球开放
|
移动开发 运维 容灾
支付宝自研数据库OceanBase亮相云栖大会 发布2.2版本核心特性和全新一体机
金融科技作为我国金融行业数字化转型升级的重要课题,在全球科技盛宴——2020云栖大会上占据了重要一席,由蚂蚁集团OceanBase CEO、金融云总经理杨冰,OceanBase研发总经理杨传辉,金融云产品总监刘昕和mPaaS产品专家杨晓亮等4位技术大咖带来了一场主题为“数字金融源动力”的专场分享,并发布OceanBase完整的平台能力,混合负载引擎,多种容灾方式,以及全新的OceanBase一体机。
支付宝自研数据库OceanBase亮相云栖大会 发布2.2版本核心特性和全新一体机
|
Oracle 架构师 算法
|
SQL NoSQL 关系型数据库
阿里云新品发布会周刊第46期 丨 支付宝自研数据库OceanBase通过阿里云向全球开放
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多新品发布会!
374 0
阿里云新品发布会周刊第46期 丨  支付宝自研数据库OceanBase通过阿里云向全球开放
|
3月前
|
存储 SQL 分布式数据库
OceanBase 入门:分布式数据库的基础概念
【8月更文第31天】在当今的大数据时代,随着业务规模的不断扩大,传统的单机数据库已经难以满足高并发、大数据量的应用需求。分布式数据库应运而生,成为解决这一问题的有效方案之一。本文将介绍一款由阿里巴巴集团自主研发的分布式数据库——OceanBase,并通过一些基础概念和实际代码示例来帮助读者理解其工作原理。
309 0
|
1月前
|
SQL 存储 人工智能
OceanBase CTO杨传辉谈AI时代下数据库技术的创新演进路径!
在「DATA+AI」见解论坛上,OceanBase CTO杨传辉先生分享了AI与数据库技术融合的最新进展。他探讨了AI如何助力数据库技术演进,并介绍了OceanBase一体化数据库的创新。OceanBase通过单机分布式一体化架构,实现了从小规模到大规模的无缝扩展,具备高可用性和高效的数据处理能力。此外,OceanBase还实现了交易处理、分析和AI的一体化,大幅提升了系统的灵活性和性能。杨传辉强调,OceanBase的目标是成为一套能满足80%工作负载需求的系统,推动AI技术在各行各业的广泛应用。关注我们,深入了解AI与大数据的未来!

热门文章

最新文章