是如何做到系统无缝迁移的? 褚霸详解阿里云数据库架构演进和实践-阿里云开发者社区

开发者社区> 云学习小组> 正文

是如何做到系统无缝迁移的? 褚霸详解阿里云数据库架构演进和实践

简介: 阿里云数据库从最初的只支持MySQL,到现在支持关系数据库、NoSQL、HTAP、EMR产品体系,在管控系统和数据链路上做了好几次重大架构迭代,云产品很长的生命周期里面会遇到新老架构共存,做到架构连续和系统无缝迁移是个很大的挑战, 本文将为你分享云数据库架构演进和实践。
+关注继续查看
摘要:阿里云数据库从最初的只支持MySQL,到现在支持关系数据库、NoSQL、HTAP、EMR产品体系,在管控系统和数据链路上做了好几次重大架构迭代,云产品很长的生命周期里面会遇到新老架构共存,如何做到架构连续和系统无缝迁移是个很大的挑战, 本文将为你分享云数据库架构演进和实践。

以下内容均根据演讲PPT整理而成。

在2016年ArchSummit全球架构师北京峰会上,阿里云研究员余锋,做了题为《云数据库架构演进和实践》的精彩演讲。

个人简介:余锋(花名:褚霸),阿里云研究员,有超过18年的网络和底层系统开发经验,擅长构建大规模集群服务,目前负责阿里云数据库研发和产品体系,在分布式数据库和引擎构建上都有丰富的经验。

本文将从业务概述、架构效率、业务连续和架构演化等4个方面进行分享。
  • 一、业务概述
  • 二、架构效率
  • 三、业务连续
  • 四、架构演化
一、业务概述
目前业界的数据库市场生态,主要还是关系型数据库占的比重最大,其次是NoSQL数据库,其他的各种类型数据库占据大约30%的市场空间。

f628bf3450c0122d614e0fe4f8a6da00db3f8ae8

数据库产品的生态演进过程大致如下图所示,关系型数据库从传统的MySQL、PostgreSQL、SQL Server和PPAS到演进的新的关系型数据库比如说阿里云的OceanBase以及PolarDB等;非关系型的数据库也从原本的Redis、MongoDB、Memcache、HBase到OTS;Search Engine类的产品从Elastic Search到Open Search;ETL则由原本的Hadoop、Greenplum和HAWQ扩展到MaxCompute以及PetaDate;至于中间件和一些工具也存在一些相应的演进产品。

3a761ddaa4df5c487735ffe9252e6042b3b5d73c

阿里云数据库产品的输出方式大致有三种:公有云,专有域和专有云,而这三种输出方式也有适合于自己的目标用户,适用于不同的场景。

3f582aa789d6ab060e621571d69027a342c8282a

阿里云的机房目前分布在世界各地,遍布亚洲、欧洲、美洲以及澳洲,可以为用户提供高效、稳定的云计算与云存储服务。

55d272196bb60157a8214248e35cb42d6761fa7a

阿里云数据团队主要分为三个部分:数据库团队、售后团队以及阿里云的合作伙伴。数据库团队负责制定云数据库以及对云数据库进行优化操作,并且保证云数据库的正常运行;售后团队负责对于用户在购买和使用阿里云数据库之后出现的问题进行处理,包括完善云数据库使用文档,对于用户提交的工单和电话咨询进行回复等;对于合作伙伴而言,数据库团队需要帮助合作伙伴将数据迁移到云数据库上来,并且为他们提供驻场的指导和培训。

41d118d0a36bfd3dcec92c4570af21ccfd883bec

二、架构效率
对于阿里云数据库产品来说,其对于业务的支撑能力是毋庸置疑的,无论是从阿里云机器集群的规模还是性能和成本以及产品的形态的多样化角度来看,阿里云数据库产品都是具有绝对优势的。

b60a2f44a5724f329b254f8639ef9a4d4effeb8c

在另一方面,阿里云的数据库在可运维方面是一个闭环的系统,并且其具有强大的恢复能力;在可服务方面,阿里云数据库也拥有强大的自证清白的能力和审计能力。

ae8f103ac8e5830a38ffc8ce8fa23d75a23b5c48

阿里云数据库产品是支持快速迭代的,其实在设计数据库产品时需要考虑面向未来的架构来支撑产品的快速迭代。数据库的设计需要进行合理的分层抽象设计,努力实现对称性的设计,构造出系统的美感,并且让系统具有可以快速复制的能力,当然设计时需要掌握一个度,不能过度设计以免对于未来的迭代造成不利的影响。

5b4ede92f208aa1546e768208ad4cd757ff6b592

在云数据库设计实践的过程中,开发的组织效率也是一个非常关键而且重要的因素。架构师需要对于中台和流水线进行合理的设计,并且保证接口的稳定易得,可以使用微服务的架构。除此之外,对于开发人员的能力或者素质也要有一个整体的把握。

f0ea3b5c5b247bdabc50485e9eb42f3db571dddb

自省能力也是非常重要的一部分,需要通过自省能力来支撑产品和研发决策。

44088a5f73b6a569ea6ac094636e0d8b2de22ab4

三、业务连续
在对云数据库进行架构设计时需要考虑的一个重要问题就是如何保证业务的连续性。我们设计出的云数据库产品需要具有较高的服务可用性,需要对其进行容灾设计和冗余设计,并且对于突发的情况还需要考虑对服务进行降级。除此之外还需要保证数据的可靠性,需要在设计时考虑校对发现机制并且使数据库具有按时间点进行灾难恢复的能力。

3234ab89905e6144d2fcb5f3b08a08c08bdfb30e

在考虑业务连续性的设计时,还需要考虑到服务等级协议,使得用户得到保护而不单单是平台,并且为用户提供实例维度的体验。另外还需要考虑产品生命周期管理、应急预案以及数据库的灰度能力。

653408c92275a63b03724790291038ba70433e5b


四、架构演化

云数据库的架构演进需要依靠创新能力作为支撑,在架构演化的过程中也需要充分利用技术生态产生的红利。并且在云数据库架构演化的迭代过程中还需要考虑新旧系统的无缝切割以及组织架构更替的平滑过渡。

68b4272dbd88d6ba15d7461ce56d2e13ae7c5aae


版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云计算数据库迁移需要避免的10个错误
云计算数据库迁移需要避免的10个错误139w.com 鼎点网络 数据库专家Chris Foot分享了IT团队在进行云计算数据库迁移时通常会遇到的十个疏忽和错误,并为此提供了如何避免这些错误的建议。
531 0
原win7系统迁移到SSD固态硬盘
应用场景 原先使用的电脑,用起来越来越慢,跟不上速度,买了一块120G的SSD固态硬盘,把原系统迁移到固态硬盘上,提升效率,加快开机速度等。
1101 0
ELK日志分析系统迁移记录
写在开始 阿里云ECS即将到期,由于之前ELK日志分析是在自己的服务器上进行试水,断断续续运行了一年多时间。 今天抽空赶紧把ELK迁移一下,由于Logstash本身就配置于各个系统之中,所以这里只是对Redis、Elasticsearch和Kibana进行了配置,当然还有一些邮件发送的配置。
3419 0
阿里云服务器Linux系统如何安装MySQL数据库?
我之前写过阿里云服务器ECS如何安装宝塔面板 ,安装完宝塔控制面板之后,里面自带有mysql数据库,非常方便······
2317 0
SQL Server - 最佳实践 - SSMS配合BCP迁移SQL Server数据库上阿里云
本文讨论的主题是使用SSMS(SQL Server Management Studio)配合BCP命令行的方式来迁移SQL Server数据库。使用SSMS做数据库结构迁移,使用BCP命令做全量数据迁移,此方案是以本地SQL Server数据库迁移到阿里云RDS SQL Server 2012为例。
3404 0
多可用区部署、生态支持和集群共享,金融核心系统如何实践云数据库OceanBase
8月30日~31日2016蚂蚁金服&阿里云在线金融技术峰会拉开帷幕,阿里云分布式数据库技术组专家谭宇(茂七)带来了“云数据库OceanBase架构演进及在金融核心系统中的实践”的重要演讲。主要从OceanBase的起源开始讲起,进而和大家分享了OceanBase的历程与架构演进,重点介绍了云数据库O
10079 0
首度公开!OceanBase存储系统架构的演进历程及工程实践
OB君:作为一款100%自研的分布式数据库,OceanBase历经了近十年的发展历程。近十年来,OceanBase的存储架构经历了多次演进,以解决业务越来越复杂苛刻的存储需求。本文整理自赵裕众(花名陈群)在2019 SACC中国系统架构师大会中的演讲。
2997 0
阿里云数据库专家田英鹤:云数据库系统容灾架构设计和实战
8月30-31日20:00-21:30,一场别开生面的技术大会—— “蚂蚁金服&阿里云在线金融技术峰会”将在线举办。本次将聚焦数据库、应用架构、移动开发、机器学习等热门领域,帮助金融业技术开发者深入解析互联网应用的前沿应用与技术实践。
4558 0
+关注
云学习小组
一群热爱技术的朋友们在云栖社区组成的学习小组!
138
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载