2019,数据库行业迎50年第二次巨变

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 一场数据库的世纪之战,在所难免。

0c97bbe3e566407390a2c027871bff41.jpeg

数据库与中间件和操作系统并列为全球三大基础软件技术,也是企业IT系统必不可少的核心技术,银行、电信、制造、互联网等所有行业都依赖于数据库技术。由于其技术的高难度,数据库长期以来被少数公司控制了绝大部分市场份额。据不同的统计口径,全球数据库市场在300亿美金到600亿美金之间,商用数据库的领导厂商主要是Oracle、微软、IBM和SAP。

自1968年IBM推出了第一代数据库DB1以及1970年IBM工程师Edgar Codd写下了最早的关系型数据模型构想的论文,随后的30年间出现了著名的数据库公司Oracle(1977年成立)、Informix(1980年成立,后被IBM收购)、Sybase(1984年成立,后被SAP收购)、Sybase与微软合作的SQL Server(后由微软接管)等,全球数据库产业在2000年前后进行了第一次大战并主要形成IBM、微软、Oracle三巨头格局。

2000年以后的互联网和云计算技术变革,为数据库技术带来了“釜底抽薪”的底层计算系统变化,导致了以开源、分布式和云计算为主导的新数据库时代。2012年Google发布论文首次对外介绍了自研的具有划时代意义的Spanner全球分布式数据库、2014年AWS推出了云原生关系型数据库Aurora、2017年阿里云推出云原生关系型数据库POLARDB,2018年10月Gartner全球数据库魔力象限的领导者和挑战者象限出现了7强格局:微软、Oracle、SAP、AWS、Google、IBM和阿里云。

2019年3月21日的2019阿里云峰会·北京上,阿里云发布了POLARDB的2.0版本,实现了首次兼容Oracle数据库,可帮助金融、医疗、制造等大型企业在数小时内完成业务迁移。除阿里云外,其它国内云厂商也相继推出了自研的云数据库和分布式数据库产品。2019新年伊始,数据库产业50年的第二次“世界大战”已经硝烟四起。

电商巨头的技术溢出效应

从Gartner的2018全球数据库魔力象限来看,AWS与阿里云是两大电商巨头的对外技术输出平台,AWS与阿里云都推出了种类丰富的数据库产品。而Google虽然是全球互联网技术和云技术的“大牛”,但Google内部技术的对外商用化输出往往晚于市场,Cloud Spanner就是直到2017年才向市场推出。

过去十年,电商巨头的技术溢出效应十分明显。AWS目前已经推出的数据库产品包括Amazon DynamoDB(非关系型文档和键值数据库)、Amazon ElastiCache (提供Redis和Memcached开源分布式缓存数据库) 、Amazon Neptune(图数据库)、Amazon Elastic MapReduce(EMR)Hadoop发行版,以及Amazon Relational Database Service(Amazon RDS,支持Amazon Aurora、MariaDB、Microsoft SQL Server、MySQL、Oracle和PostgreSQL等的云数据库服务)以及云原生数据库Amazon Aurora for MySQL and PostgreSQL等。

而阿里云已经推出的数据库产品包括ApsaraDB for RDS(关系型云数据库服务,支持MySQL即AliSQL、SQL Server、PostgreSQL、Redis等)、PolarDB(云原生数据库,支持MySQL、PostgreSQL、Oracle)、HybridDB for MySQL and PostgreSQL(云数据仓库)、Elastic MapReduce for Hadoop、HiTSDB(时序数据库)、X-DB(分布式数据库)、GraphDB(图数据库)等,此外阿里云Apsara Stack还支持企业本地化私有云部署。

无论是AWS还是阿里云,所提供的数据库及数据服务种类繁多,覆盖了绝大多数用户场景,特别是由于电商交易系统的特殊性,AWS和阿里云等开发了支持数据强一致的交易型分布式数据库,能够满足金融类业务的苛刻需求,而成本则远低于商业数据库。

990208a001ff46b3a49f7640592b8703.jpeg

为什么电商企业如此孜孜不倦的钻研数据库呢?以阿里云为例。阿里最早从淘宝、天猫等电商业务发展起来,当时采用的就是IBM DB2和Oracle商用数据库,支持了早期淘宝、天猫的快速发展,这是阿里数据库发展第一个阶段。到了2011和2012的时候,双11开始上规模,业务高速发展对传统的Oracle企业级数据库解决方案提出了挑战,成本太高是首当其冲的挑战,其次当电商业务逻辑变复杂以后,需要理解Oracle数据库的技术实现,以便从根本上解决业务极限场景的挑战,但无论是请Oracle专家到现场的时间还是成本都无法满足业务要求,阿里巴巴从2012、2013年后就开始大规模使用开源数据库,这是阿里数据库发展的第二阶段。第三个发展阶段就是云时代,阿里云的业务快速发展要求自研云原生数据库,这就是POLARDB的诞生逻辑;以及在阿里集团业务中,传统用中间件进行开源数据库分为分表的解决方案也不能满足业务要求,这就是X-DB的的诞生逻辑。

简单来说,电商企业的技术溢出是被业务倒逼的结果。阿里电商双十一场景,在世界范围内来看都绝无仅有,这也给了中国电商企业登顶全球基础软件技术领导地位的机会。作为全球绝无仅有的高并发挑战,阿里分布式技术经过双十一极限流量洪峰的实战考验,这也是为什么阿里云能够首次代表中国厂商冲入Gartner全球数据库魔力象限。2018年,美国犹他大学计算机系终身正教授、世界级数据库系统专家李飞飞,正式加入阿里巴巴,任数据库产品事业部负责人以及达摩院任数据库首席科学家,他于2018年底入选了2018 ACM杰出科学家。李飞飞门下弟子遍布全球所有顶尖企业的数据库部门,但李飞飞自己却选中了阿里,其主要原因就是阿里的全球独一无二的业务场景。

云厂商集开源技术大成

ae8c269d74274260ba179afe67340796.jpeg

(阿里达摩院数据库首席科学家李飞飞)

2019年是阿里云十周年、AWS进入第13个年头。云厂商对于开源技术的集大成,正在进入全新的阶段。2014年AWS发布Amazon Aurora的时候,当时称性能与商用数据库相当,但成本只有商用数据库的1/10。而2017年阿里云推出POLARDB的时候,在100TB的数据容量上提供了10倍于传统商业数据库的性价比,如今性能达到AWS Aurora的2倍。

不可否认,阿里云的数据库发展离不开Google和AWS等前辈的指引。谷歌最早提出了Spanner,可以实现跨数据中心的数据强一致性,这在当时是跨时代的技术,但谷歌其实是巧妙的利用了原子钟的硬件解决方案;PostgreSQL的XC/XL开源分布式数据库使用的是GTM(Global Transaction Manager)解决方案。阿里云的X-DB则采用了混合逻辑来解决分布式事务处理和查询,已经支持了几乎阿里集团所有海量数据高并发的场景。

如今,阿里云正在把多个领先的数据库技术融合起来,以满足客户的更多、更高需求。云原生数据库POLARDB采用了存储计算分离、软硬件一体化设计,通过高速的RDMA网络提供共享存储的架构,可以快速实现弹性缩扩容,单个实例可扩展到1000核计算能力、同时可以横向扩展到100TB存储空间,满足大规模业务场景的需求,2.0版本则兼容Oracle。据了解,POLARDB与X-DB的优势即将融合成一体,也就是即将推出的POLARDB分布式版本。

即将推出的POLARDB分布式版本是在POLARDB共享存储、一写多读的架构上结合X-DB的核心分布式技术,这样企业就可以利用X-DB的分库分表强一致分布式技术挂起多个POLARDB实例,支持几乎无限的水平规模拓展,满足企业级上百个节点高并发业务需求。POLARDB分布式版本的推出,将用一个通用商业数据库产品来满足公共云上大中小企业的需求以及线下企业级超大规模用户的需求。这款产品最大的好处之一,在于底层接入的不是单节点数据库,而是分布式共享存储且单机支持100T,这样一个200T的数据库只需要两个POLARDB实例即可,大幅降低了跨分区处理的可能性。

POLARDB分布式版本这样一个集大成的通用型全场景覆盖数据库产品,当前阿里云已经储备了足够的技术和实践,现在的主要工作是产品化、标准化,以便能够快速规模化部署。李飞飞认为,阿里巴巴在分布式数据库的某些领域和某些维度上,可能超过像谷歌这样公司在分布式领域的积累,这是因为任何技术都是业务推动衍生出来的,只要有业务场景就能推动其技术从跟随发展到后发领先。

除了分布式和云原生数据库技术外,李飞飞所带领的团队还专注于数据库生态工具库,也就是开发各种辅助工具帮助客户用好数据库。阿里云的一个数据库生态工具就是针对混合数据库和混合云之间的数据迁移工具ADAM,可以大幅减少不同类型数据库和云部署之间数据迁移的各种消耗和对业务的冲击;另一个工具是混合数据库管理,可以管理A/B数据库、云上和云下数据库等混部架构,满足业务对混部数据库的访问和统一控制管理需求。

据了解,阿里云数据库很快将在2019年SIGMOD大会上介绍阿里云双十一场景下的分布式数据库架构。此前,谷歌Spanner、AWS Aurora等都是首先在SIDMOD会议上发布。而阿里云将登陆2019年SIGMOD会议,这也代表了中国技术厂商的成就。

展望未来几年,全球数据库市场将迎来50年的第二次巨变。在2018 Gartner全球数据库魔力象限的7强格局中,AWS、阿里云和Google为开源技术厂商,微软、Oracle和IBM也大举支持开源技术。Gartner预计,开源数据库将在2019年占据20%的数据库市场份额,而到2023年75%的数据库都将登陆云平台。一场数据库的世纪之战,已经在所难免。(文/宁川)

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4月前
|
数据库
数据库第二次作业 表的约束
数据库第二次作业 表的约束
32 0
|
21天前
|
SQL 关系型数据库 MySQL
【揭秘】MySQL binlog日志与GTID:如何让数据库备份恢复变得轻松简单?
【8月更文挑战第22天】MySQL的binlog日志记录数据变更,用于恢复、复制和点恢复;GTID为每笔事务分配唯一ID,简化复制和恢复流程。开启binlog和GTID后,可通过`mysqldump`进行逻辑备份,包含binlog位置信息,或用`xtrabackup`做物理备份。恢复时,使用`mysql`命令执行备份文件,或通过`innobackupex`恢复物理备份。GTID模式下的主从复制配置更简便。
90 2
|
16天前
|
弹性计算 关系型数据库 数据库
手把手带你从自建 MySQL 迁移到云数据库,一步就能脱胎换骨
阿里云瑶池数据库来开课啦!自建数据库迁移至云数据库 RDS原来只要一步操作就能搞定!点击阅读原文完成实验就可获得一本日历哦~
|
19天前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
16天前
|
人工智能 小程序 关系型数据库
【MySQL】黑悟空都掌握的技能,数据库隔离级别全攻略
本文以热门游戏《黑神话:悟空》为契机,深入浅出地解析了数据库事务的四种隔离级别:读未提交、读已提交、可重复读和串行化。通过具体示例,展示了不同隔离级别下的事务行为差异及可能遇到的问题,如脏读、不可重复读和幻读等。此外,还介绍了在MySQL中设置隔离级别的方法,包括全局和会话级别的调整,并通过实操演示了各隔离级别下的具体效果。本文旨在帮助开发者更好地理解和运用事务隔离级别,以提升数据库应用的一致性和性能。
95 2
【MySQL】黑悟空都掌握的技能,数据库隔离级别全攻略
|
22天前
|
数据可视化 关系型数据库 MySQL
Mysql8 如何在 Window11系统下完成跳过密钥校验、完成数据库密码的修改?
这篇文章介绍了如何在Windows 11系统下跳过MySQL 8的密钥校验,并通过命令行修改root用户的密码。
Mysql8 如何在 Window11系统下完成跳过密钥校验、完成数据库密码的修改?
|
19天前
|
SQL 关系型数据库 MySQL
【MySQL 慢查询秘籍】慢SQL无处遁形!实战指南:一步步教你揪出数据库性能杀手!
【8月更文挑战第24天】本文以教程形式深入探讨了MySQL慢SQL查询的分析与优化方法。首先介绍了如何配置MySQL以记录执行时间过长的SQL语句。接着,利用内置工具`mysqlslowlog`及第三方工具`pt-query-digest`对慢查询日志进行了详细分析。通过一个具体示例展示了可能导致性能瓶颈的查询,并提出了相应的优化策略,包括添加索引、缩小查询范围、使用`EXPLAIN`分析执行计划等。掌握这些技巧对于提升MySQL数据库性能具有重要意义。
50 1
|
20天前
|
关系型数据库 MySQL Linux
在Linux中,如何配置数据库服务器(如MySQL或PostgreSQL)?
在Linux中,如何配置数据库服务器(如MySQL或PostgreSQL)?
|
24天前
|
SQL 存储 关系型数据库
数据库-MySQL-01(一)
数据库-MySQL-01(一)
17 4
|
11天前
|
前端开发 C# 设计模式
“深度剖析WPF开发中的设计模式应用:以MVVM为核心,手把手教你重构代码结构,实现软件工程的最佳实践与高效协作”
【8月更文挑战第31天】设计模式是在软件工程中解决常见问题的成熟方案。在WPF开发中,合理应用如MVC、MVVM及工厂模式等能显著提升代码质量和可维护性。本文通过具体案例,详细解析了这些模式的实际应用,特别是MVVM模式如何通过分离UI逻辑与业务逻辑,实现视图与模型的松耦合,从而优化代码结构并提高开发效率。通过示例代码展示了从模型定义、视图模型管理到视图展示的全过程,帮助读者更好地理解并应用这些模式。
27 0