“征战”国内企业市场数十年,数据库已经走到分布式叉口

简介: 刚刚过去的 2020,对蚂蚁自研数据库产品 OceanBase 是一个丰收年

刚刚过去的 2020,对蚂蚁自研数据库产品 OceanBase 是一个丰收年。


先是在五月,数据库领域最权威的国际机构国际事务处理性能委员会 TPC 在官网发表了最新的 TPC-C 基准测试结果, OceanBase 以 7.07 亿 tpmC 的在线事务处理性能,打破了自己在 2019 年创造的世界纪录,在国内数据库领域可以说是赚足了眼球。

1.png

一个月后,蚂蚁集团宣布,将自研数据库产品 OceanBase 独立进行公司化运作,成立由蚂蚁 100% 控股的数据库公司—北京奥星贝斯科技有限公司,并由蚂蚁集团 CEO 胡晓明亲自担任董事长。


工商银行,中石化,太平保险,招商证券,广东顺德农商行,浙江移动,山东移动,福建移动,吉林省大数据局,深圳公积金……去年 6 月,OceanBase 独立公司化运作以来,在短短半年时间,已经拿下数十个标杆客户。


OceanBase 为何选择独立运营?这半年多来,市场对这个数据库领域的“新兵”有什么反应?近期,InfoQ 采访了 OceanBase 市场部总经理刘昕,希望能够以一种全新的视角来呈现最全面的 OceanBase。


认认真真做数据


OceanBase 是认认真真在做数据库,不是为了资本炒作的概念,而是真正当成一门生意来做,对客户如此,对内部也是如此。


数据库属于基础设施建设部分,是基础软件中的刚需但又很容易被卡脖子的技术。在 2020 年 6 月科技日报发布了制约我国工业发展的 35 项技术,数据库管理系统即名列其中。


在过去,蚂蚁甚至是阿里都遇到过数据库被卡脖子的痛苦。以淘宝、天猫和支付宝等为代表的互联网业务使得关系数据库的并发访问由几百、几千陡增到百万、千万,数据量的增长也同步加重了数据库的性能负荷,来自于容量和成本的挑战远远高于传统业务场景,而传统关系数据库因为水平扩展能力的缺失以及高昂价格,让业务发展和产品迭代无以为继,只能进行自研,这正是 OceanBase 诞生的背景。


从 2011 年承担淘宝收藏夹这一小功能开始,到成功替代 Oracle 在支付宝交易系统上线,支撑起 12 万笔每秒的交易峰值,2015 年 OceanBase 成为全球首个应用在金融核心业务系统中的分布式关系数据库,2017 年支付宝首次将账务库在内的所有核心数据链搬到 OceanBase 上,创造了 4200 万次 / 秒的数据库处理峰值全新记录,再到 2019 和 2020 两次登顶 TPC-C 榜首,OceanBase 走过了艰难但辉煌的旅程,不仅支持了业务发展,也在世界面前证明了自己。

2.png

不过,作为此前曾服务于淘宝、天猫和支付宝等业务的数据库,大量内部业务不仅彰显了 OceanBase 的价值,更使得它得到了大量的生产考验,极大地促进了 OceanBase 的稳定和成熟。但是,要想进一步受到外界认可为通用数据库,这就需要一个更复杂多变、更庞大的商业场景来进一步历练。而这个因素,就是市场。


让 OceanBase 蜕变为一个有能力服务全行业、服务全社会的通用关系数据库,蚂蚁集团责无旁贷,独立运营,刻不容缓。


生态:面对客户的第一道难题


当 OceanBase 从对内服务的技术变为对外提供服务的角色时,被挑战的第一个问题就是生态。


OceanBase 团队对自己的数据库非常自信,但来自于客户的一个质疑,却成为了团队需要面对的第一道坎。


“我承认 OceanBase 这款数据库很厉害,互联网上最大的交易流量都是在 OceanBase 上跑的。不过这不像 Oracle、MySQL,最初公司里没有人会用啊。”


是的,摆在独立运营的 OceanBase 面前,最紧急的就是生态问题,一款产品再好,也需要有人会用。毕竟使用数据库的是一线技术人员,没有这些使用者,又何来规模化可言。


这是一个非常现实的问题,由于独立运营之前 OceanBase 一直是在为内部提供服务,没有对外开放就难以与外部行业产生技术共鸣,更不要提相关的技术人才。


“为此,OceanBase 投入了巨大的力量在生态层面。”刘昕解释说,OceanBase 的生态分为商业生态、人才生态、开发者生态以及产业链生态这 4 个层面。


产业链生态层面,具体是指行业规范与产业标准,OceanBase 通过与工信部权威机构共同建立分布式数据库的行业标准等方式,来减少上下游能力在数据适配层面上的门槛,引导行业发展的方向。


  • 商业生态层面,商业数据库与开源数据库不同,其要为公司增长负责,因此需要深入到各行各业的真实场景中,形成与各开发商的联合解决方案,这对于完善商业生态来说是重中之重。因为数据库本身是一个被集成的软件,对于企业而言,应用系统背后的数据库是无形的且和业务深度关联的产品,因此数据库需要和应用开发商深度合作以完成联合解决方案,并切实能够解决问题。
  • 人才生态层面,目前 OceanBase 计划在三年内培养五万名分布式数据库的人才,去年 9 月份推出 OceanBase 初级工程师认证,短短两个月时间就有数千人通过了认证。另外长期来看,OceanBase 和华东师范大学、复旦大学、浙江大学、武汉大学等高校都有学研合作,从学生中培养分布式数据库的人才。这种需要花费大量精力以及长期合作的形式,恰恰印证了 OceanBase 对于分布式是未来发展方向的信心。
  • 开发者生态层面,目前 OceanBase 已经对外推出了 OceanBase 开发者版本,开发者可以免费拿到与商业版相似、在笔记本上就可以实现的数据库工具。现在因为疫情的反复,OceanBase 投入了非常多的精力在视频、直播、课程等线上形式,以求尽可能快速触达到广泛的开发者群体。


随后刘昕坦言,OceanBase 成立公司独立运营后,公司内部最大的变化一个是在生态方面强有力的发展,另一个则是公司技术团队的工作习惯变化。


在团队的组织架构层面,公司在规划筹备时就已经发现,由于之前都是服务于内部业务,因此不需要考虑市场、销售、客户等因素,所以公司成立之初基本上是以程序员为主。不过既然决定要做软件生意,在团队生态方面就一定要建制完全。所以 OceanBase 在独立运营之后,以非常快的速度扩充了运营规模,组建了自己的商业化团队。


另一方面,在独立运营了半年多后,这期间所服务的客户比过去几年来所产生的工作强度之和都要大。因为之前都是服务于内部业务,内部相对来说技术需求比较多,并且时间相对充裕,比如双十一的活动形式是怎样的,技术团队提前两三个月就已经知道并开始准备。但是面向外部客户,并不是每个客户都能把技术需求很好的传递过来,因此技术团队的工作节奏与之前相比也变得更加紧凑,并且时间上也相对变得不可控起来。所以对于团队而言,技术团队的变化从之前埋头于代码,现在更多开始向客户支持侧转型,这也从另一个层面代表着公司的转型。


性能:给到客户的核心价值


企业关注的无非是:从 5 秒 1 单到 1 秒千单,从 4 个小时到 6 分钟的进化结果。


数据库作为企业基础设施中的重要组成部分,对于所有用户而言,选择数据库的标准无非就是能否支持高并发、分布式、性能情况、硬件费用成本的高低等等。


但是今天,我们还多了一项所关注的因素,就是未来趋势。目前国内愿意做出改变的企业都相信分布式是未来,国内企业对于“改变”的接受程度较高,且效果明显。集中式架构所带来的效率降低,以及由于业务快速变化与合规要求的矛盾正在越来越明显。


而这种来自于业务上的变化也正在将传统企业与互联网企业更加紧密地联系在一起。传统企业都在做互联网 + 的转型,互联网企业也在结合传统企业能力来做线上 + 线下的转型,这就意味着企业无法使用过去传统集中式的体系来适应这种环境。


若要适应,则必须做出改变。


以中国人保健康为例,保险行业在互联网下的形态就是互联网保险业务。过去人保健康的后台需要离线处理保单,系统效率平均下来每单需要耗费 5 秒的时间。后来开始与支付宝业务进行合作,平台对接后支付宝的流量瞬间冲垮了人保健康传统的集中式系统,同时由于集中式架构横向扩展能力差,难以支撑大数据、人工智能等新兴应用,在业务系统方面则体现为出单时间长、新品上线时间长,服务失效长,带给用户的体验较差。

3.png

因此他们开始寻求改造。在以 OceanBase 为核心运算处理 DB 的新型架构下,目前业务日常出单速率在 3400/min 上下。处理能力也从过去的 5 秒 1 单到现在每秒千单,系统保单的处理速度从 4 个小时缩短为 6 分钟,新产品上线时间缩短 80% 以上,外部渠道的接入效率提升了 6 倍有余,目前已经成为人保健康互联网保险云核心业务系统的数据库。


用全新的容灾思路,找回数据丢失的时间


另外一方面,用户十分在意的就是数据库的灾备问题。


传统的数据库容灾方案一般会部署主备方式工作的两套或多套系统,两地三中心的部署方式在同城的两个机房中部署主备两个系统以及异地一个异步同步的系统来提供数据容灾的体系。这种容灾方式有两个不足,一个是主库的业务可用性和数据保护能力难以兼顾,另一方面业务的恢复时间无法有效保障。


1. 主库的业务可用性和数据保护能力难以兼顾

对于主备这种保护方式而言,数据一致性是确保业务恢复后不造成损失的重要前提。若要保护数据一致性,采用强同步复制方式是可以实现 RPO=0,即可以实现灾难切换后数据无损,切换后立刻开始恢复业务,但这样做会带来另一方面的影响,因为只有当主库和备库同时提交才会被视作为成功,主备之间强依赖于硬件性能和端到端的可用性,对于网络波动和备库故障等所造成的影响会导致主库的性能波动甚至于阻塞,如果因为这些不可控的问题而带来的主库处理阻塞进而影响到正在行进中的业务,这对于企业的关键业务来说是绝对不可接受的。


2. 业务的恢复时间无法有效保障

如果要解决上述的影响,通常会采用异步复制的方式,主库的提交与向备库的同步异步完成,不过这种异步同步是做不到严格的 RPO=0 的,当主库出现问题时,由于可能会缺失部分故障前的数据,恢复过程会非常复杂,这就会拖长业务恢复的时间,不同的应用系统、不同的业务环境,对于数据的敏感度是不同的,体量越大恢复越复杂。比如支付宝这种,一小时的系统不可用,所造成的损失可想而知。这种对于用户和平台来说不可用的时间,是无论如何也弥补不回来的业务损失。


针对这些问题,刘昕解释说,解决上述问题正是分布式数据库的优势所在。Paxos 协议是分布式领域内基于多副本自选主一致性协议的公认标准,OceanBase 数据库正是基于这一协议构建的,因此得以利用原生的多副本特性,只要多数副本确认,事务就可以提交成功,实现对数据 RPO=0 的持续保护,不必担心单个远端机房响应慢的问题,所有组成集群的多副本实质上处于同一个数据库集群中,集群中的分布式事务可以实现多数派强一致提交和主备副本自动切换,通过对数据强一致的充分保障,并且对上层业务保持透明,从而为更低的 RTO 时间提供实现前提。


另外刘昕提到,目前 OceanBase 的灾备能力标准是高于国标灾备等级 6 级的标准,目前 6 级的范围是 RPO 为 0,RTO 数分钟以内。


不断寻找更高的效率,持续突破更快的速度,帮助业务将损失降到最低,弥补对于用户和平台而言那些可能丢失的时间,这就是 OceanBase 的答案。


最后


技术层面,OceanBase 自然是数一数二,不过 OceanBase 生态也并非完美,它也有着自己的不足。


刘昕认为,OceanBase 目前的不足,主要集中在开发者生态和产品行业技术方面。


经过不到一年的发展,尽管目前 OceanBase 已经拥有了数千开发者,但距离大规模扩展还有很长的路要走。另外,当一款产品持续向行业深水区迈进时,会不断发现更多的应用场景、更多的特殊需求以及更多的可能性,而这些都是需要 OceanBase 去服务、去提供的,不过也正是这些不同的诉求,驱使着 OceanBase 需要不断丰富自身技术框架来满足市场。


互联网的海量并发和巨大数据量标志着传统的单机数据库系统走到了尽头,分布式系统成为关系数据库系统的必然选择。经过 OceanBase 以及其它数据库持续不断的市场教育,目前分布式数据库在国内的接受程度已经相当高了,需求方愿意使用分布式数据库,参与分布式生态的共建与打磨的进程中来。需求侧愿意共创,供给侧则愿意持续精进自己的技术能力,国内的数据库市场已经进入到良性发展的状态。


让数据管理和使用更简单,这是 OceanBase 团队的梦想,他们也一直在向着这样的愿景努力。而我们也有理由期待,目前百花齐放的国产数据库市场,正在向着最有未来的方向前进。


受访者介绍:

刘昕,北京奥星贝斯科技有限公司市场部总经理。2011 年加入阿里巴巴,曾负责阿里集团开源项目管理。从 0 到 1 搭建了阿里集团开发运维后端体系、阿里云开发者服务和产品体系。目前负责分布式关系数据库 OceanBase 的市场统筹与管理,以及市场战略的制定。全面主持市场推广、品牌、公关活动、市场合作等工作。

相关文章
|
11天前
|
存储 安全 数据管理
新型数据库技术:基于区块链的分布式数据存储系统
传统数据库系统面临着中心化管理、数据安全性和可信度等方面的挑战。本文介绍了一种基于区块链技术的新型数据库系统,通过分布式存储和去中心化的特性,提高了数据的安全性和可信度,同时实现了高效的数据管理和共享。该系统在多个领域如金融、医疗和物联网等具有广阔的应用前景。
|
14天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
48 2
|
21天前
|
存储 分布式计算 大数据
HBase分布式数据库关键技术与实战:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析了HBase的核心技术,包括数据模型、分布式架构、访问模式和一致性保证,并探讨了其实战应用,如大规模数据存储、实时数据分析及与Hadoop、Spark集成。同时,分享了面试经验,对比了HBase与其他数据库的差异,提出了应对挑战的解决方案,展望了HBase的未来趋势。通过Java API代码示例,帮助读者巩固理解。全面了解和掌握HBase,能为面试和实际工作中的大数据处理提供坚实基础。
34 3
|
3天前
|
存储 负载均衡 Go
【Go 语言专栏】使用 Go 语言实现分布式数据库操作
【4月更文挑战第30天】本文探讨了使用Go语言实现分布式数据库操作,强调其在并发性能、网络编程、语法简洁和跨平台性上的优势。关键技术和步骤包括数据分片、数据同步、负载均衡及故障转移。通过实例分析和挑战解决,展示了Go语言在大规模数据处理中的高效与可靠性,为开发者提供指导。
|
4天前
|
SQL 监控 关系型数据库
TiDB 分布式数据库快速入门详解
这些示例展示了TiDB的一些基本操作。实际使用时,你可能需要根据具体的业务需求和环境进行调整和优化。
|
4天前
|
存储 运维 物联网
【专栏】OceanBase 是一种分布式数据库系统
【4月更文挑战第29天】OceanBase 是一款先进的分布式数据库系统,以其分布式架构、高扩展性、高可用性和强一致性特点,应对大规模数据处理挑战。它支持混合负载,适用于金融、电商和物联网等领域,提供高性能、低成本的解决方案。尽管面临技术复杂性、数据迁移和性能优化等问题,通过合理策略可克服挑战。随着技术发展,OceanBase 在数字化时代将持续发挥关键作用。
|
4天前
|
存储 安全 数据管理
新一代数据库技术:融合区块链与分布式存储的未来趋势
传统数据库技术在数据安全性和分布式处理方面存在局限,而新一代数据库技术正日益融合区块链和分布式存储,为数据管理带来革命性变革。本文探讨了这一趋势的发展方向,以及如何利用新技术实现更高效的数据管理与保护。
|
4天前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用合集之在选择分布式数据库时,主要考虑是什么
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
7天前
|
存储 安全 数据管理
新一代数据库技术:融合区块链的分布式存储系统
传统数据库技术在面对日益增长的数据量和复杂的数据管理需求时显现出局限性。本文介绍了一种新一代数据库技术:融合区块链的分布式存储系统。通过将区块链技术与传统数据库相结合,实现了数据的分布式存储、安全性和透明度,以及去中心化的特性。这一技术的应用将极大地推动数据库系统的发展,为数据管理带来全新的解决方案。
|
7天前
|
存储 安全 数据管理
新一代数据库技术:融合区块链的分布式数据存储系统
传统数据库系统面临着数据安全性、可信度和去中心化等挑战,而区块链技术的兴起为解决这些问题提供了新的思路。本文介绍了一种新一代数据库技术,将区块链技术与传统的分布式数据存储系统相融合,实现了更高水平的数据安全性和可信度,以及去中心化的优势。通过结合区块链的不可篡改性和分布式存储系统的高性能,这一新型数据库技术将在未来的数据管理领域发挥重要作用。