开发者社区> 云迹九州> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

数据库实践如何解决互联网架构转型中的痛点!

简介: 摘要:在2018云栖大会上海峰会中,来自阿里巴巴数据库的高级技术专家王林平为现场的听众带来了题为《互联网架构转型中的数据库实践》的精彩分享。在本次分享中,他重点介绍了互联网发展经历的痛点,数据传输DTS,阿里巴巴数据管理,混合云数据库管理,数据库备份,基于HDM、DBS、DTS的容灾解决方案等。
+关注继续查看

摘要:在2018云栖大会上海峰会中,来自阿里巴巴数据库的高级技术专家王林平为现场的听众带来了题为《互联网架构转型中的数据库实践》的精彩分享。在本次分享中,他重点介绍了互联网发展经历的痛点,数据传输DTS,阿里巴巴数据管理,混合云数据库管理,数据库备份,基于HDM、DBS、DTS的容灾解决方案等。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧
直播视频请点击
PPT下载请点击
以下内容根据现场分享整理而成。

互联网数据库发展经历的痛点

互联网数据库发展过程中,我们在做IT建设的时候都会碰到一些痛点。在这个过程中,如何解决这些痛点非常重要。
第一,许多企业都会面临的数据和业务都会从简单到复杂,数据量由小到大的过程,在这个过程中,数据可能会出现在单一的数据库无法存储的情况,那么这个时候我们如何提升扩展性呢?
第二,我们的业务发展了,数据也发展了,但是人有没有跟上业务发展的节奏呢?
第三,我们的企业在从小到大的过程中多多少少都会有一些核心的数据,比如客户的用户信息,包括一些基础性配置信息。这些信息很多时候是企业里很多部门都能用到的,那么核心数据如何共享呢?
同时,企业在用不同的数据库的过程中,这些数据库之间的数据怎么进行数据交互也是我们面临的一个痛点。
第四,我们的研发人员和控制人员也会随着业务规模的增长不断增加,我们怎样在人员多的时候保证数据的安全和规范性,同时又不影响开发和测试的效率呢?
最后,数据是企业的核心资产,如何提高数据库的容灾能力,保证我们的数据不会因为天灾人祸等丢失?
下面以阿里巴巴整个改造过程中碰到的痛点来介绍一下我们的产品。

_1

上图为阿里巴巴分布式数据库的发展历程。目前阿里巴巴通过分布式数据库解决问题。DRDS产品支持多维度的拆分,比如说我们可以按照交易的ID、客户的ID、按照时间来做拆分。

_2

上图为分布式数据库DRDS的一个典型客户案例,一个电信运营商的案例。它在业务发展的过程中有增速快、扩展性存在瓶颈的痛点。同时,如果客户用传统的方法拆分数据库就面临着应用改造成本高的问题。DRDS提升了存储扩展能力和计算能力,访问应用透明、平滑扩容、透明生配、透明读写分离解决了客户应用改造成本高的问题。

阿里巴巴数据传输

产品有三个核心能力:支持传输同步,支持数据库迁移,支持数据的订阅。可以将数据变化转换成消息发送给下游,下游可以根据这个消息进行应用的电话的消费。

_3

上图为数据传输DTS的架构。在下层我们支持云数据库,包括ECS自建数据库,用户IDC数据库以及集团、蚂蚁。通过产品可以把数据迁移到不同的目标端,同时也支持数据同步订阅。我们可以把数据库的数据转换成文件。

_4

上图为数据传输DTS客户案例。客户面临的主要问题有:本地的Oracle数据库是客户业务的性能瓶颈,活动时,Oracle上的存储过程占用了实例将近80%的CPU。
并且要求在系统持续运行、不停机的情况下将Oracle上业务迁移到阿里云DRDS。
解决方案为:通过DTS搭建Oracle到DRDS实例间的实时同步链路,保证DRDS与Oracle数据实时同步。在DRDS和Oracle实例间的数据保持实时同步后,业务选择任一时刻,将部分流量切换到阿里云上的DRDS。通过DTS,将DTS上产生的业务流量流回Oracle,Oracle和DRDS在业务完成割接期间互为灾备,保证业务连续性。
阿里巴巴数据管理的前世今生。通过信息化统一管理数据库,同时通过非运维操作的规则化,自动化,规则加流畅的自助变更,目前DMS已经在公有云端正式商业化了,同时也支持私有化输出。

混合云数据库管理HDM

_5

上图为混合云数据库管理HDM架构与能力,我们日常运维的工作基本上可以由HDM来解决。HDM的核心能力包括:打通混合云数据库架构,多环境统一管理,自动化运维低成本,容灾切换,快速弹性扩容,一键切换,稳定、容灾、弹性。

_6

上图所示为基于HDM、DBS、DTS的容灾解决方案。最低级的方式就是我们把本地的备份直接的通过拉文件的方式扔到OSS上,当然这样比较低级。第二个就是我们可以通过DBS实时备份上云,备份后也可以通过DBS还原到本地或者RDS上。第三我们通过DTS将云下的数据库同步到云上的RDS。我们云上的RDS跟云下形成一个灾备,也就是说一旦我们本地的IDC无法访问的时候,我们就可以访问云上的RDS来保证业务的持续性。这场景是说我们云下和云上可以实现双向同步。这个双向同步其实可以实现异地多活,就是说我们在A机房有一套数据库,B机房有一套数据库,进行双向同步,这两个双向同步可以支撑IDC访问,云上也可以访问。只要应用端建设的足够好,那么这个双活是可以实现的。同时基于我们的HDM可以打通我们的用户IDC和云上云下,实现数据库的容灾一键切换。

企业级数据库产品架构

_7

刚才跟大家一起分享了几个产品,下面我们来回顾一下这几个产品的一些能力。首先是分布性数据库DRDS。我们可以理解它是一个存储层,来满足数据库的扩展能力。第二个就是我们的数据传输。数据传输实现了数据迁移、同步和订阅的能力,它可以把云外的数据库和云上的数据库打通。同时它不仅限于这些功能,包括我们自己内部。第三是我们的数据管理,可以理解它是一个数据库层面的DevOps,让我们企业的开发人员和测试人员不用进行太多的互动就可以完成数据管理这件事。还有就是我们的数据库备份DBS,来以较低的成本满足企业备份数据的需求。最后就是我们的混合云数据管理HDM,可以打通云上云下的数据库,实现一键容灾切换。

企业级数据库解决方案

除了产品之外,我们还会输出一些解决方案,解决方案是依赖于产品的,给我们广大企业提供一些方案。像研发效率保障和数据安全方案,这个是基于DMS。也就是说我们在输出的时候,我们会帮企业把我们的产品用起来,同时给我们的企业一些建议,比如说我们怎么去做到更高效、更安全、更合规的数据管理体系。第二是DTS。DTS本身具有数据迁移、同步的功能,同时也有订阅功能,那我们会协助企业一起把DTS用起来,能够把数据搬到云上。再就是我们基于HDM、DBS和DTS,会给我们企业输出多层级的容灾解决方案。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
悬赏平台源码,如何实现优质的数据库灾备体系?
悬赏平台源码,如何实现优质的数据库灾备体系?
0 0
云时代数据库从业者的新要求
这是一篇阿里云数据库ACP认证的软文,但是还是非常非常推荐阅读。这个认证很可能会成为国内数据库领域最重要的认证,对很多数据库以及相关技术人员都会有很大的影响。
0 0
杨传辉:深挖 OceanBase 背后的技术逻辑,助力数据库核心系统升级
数据库是信息社会的基础设施,通过开放开源助力数据库技术的快速发展,构建新一代数据基础设施是大势所趋!在“2021云栖大会 . OceanBase 原生分布式数据库论坛” 上,OceanBase CTO 杨传辉为大家带来了一场主题为《OceanBase 一体化架构助力核心系统升级》的演讲。
0 0
电商行业解决方案及数据库搬站最佳实践
该方案适用于新零售领域的电商行业,包括电商公司初创,满足快速搭建平台;以及中型企业应对发展阶段,满足业务快速占领市场。
858 0
饿了么数据库发展中的解决方案
饿了么经过了10年的发展,日订单量从几十万到了千万,数据增长如此之快,数据库管理人员如何保障业务快速发展,实现高可用以及数据安全并且提高运维效率呢?本文中饿了么数据技术部负责人虢国飞就为大家揭晓答案。
2443 0
传统企业数据库上云案例分享
在互联网的浪潮冲击下,很多传统企业都选择上云。阿里云在做基于互联网的分布式应用,因此在传统企业上云的过程中,阿里云也同样面临一些数据库相关的各种冲击和需求。在武汉云栖大会上,阿里云高级产品专家王伟做了名为“传统企业数据库上云案例分享”的精彩演讲。
2215 0
传统数据库“上云”之路
2018云栖大会南京峰会飞天技术汇专场上,阿里云高级产品专家萧少聪从准备、迁移效率和迁移后效果三个方面分享了传统数据库迁移到阿里云数据库及后续使用情况的全链路解决方案,针对主流数据库迁移到阿里云数据库的技术及实施过程进行了详细讲述。
2549 0
直击阿里新一代数据库技术:如何实现极致弹性能力?
张瑞,阿里巴巴研究员,阿里集团数据库技术团队负责人,经历阿里数据库技术变革历程,连续六年作为数据库总负责人参与双11备战工作。今天,我们邀请他来分享新一代数据库技术在双11中的应用。
6956 0
【行业观点】如何为微服务选择正确的数据库
微服务的核心摒弃了传统架构,这使得它在服务之间共享一个单一的数据库。相比于传统的服务架构,微服务架构的每个微服务单元都具有独立、自主、专用的数据存储单元。
1122 0
是如何做到系统无缝迁移的? 褚霸详解阿里云数据库架构演进和实践
阿里云数据库从最初的只支持MySQL,到现在支持关系数据库、NoSQL、HTAP、EMR产品体系,在管控系统和数据链路上做了好几次重大架构迭代,云产品很长的生命周期里面会遇到新老架构共存,做到架构连续和系统无缝迁移是个很大的挑战, 本文将为你分享云数据库架构演进和实践。
4905 0
+关注
云迹九州
行走在路上的小小蚂蚁
文章
问答
文章排行榜
最热
最新
相关电子书
更多
互联网架构转型中的数据库实践
立即下载
传统企业数据库上云实践
立即下载
买单侠数据库架构之路--基于云平台的数据库运维
立即下载