云上数据库容灾解决方案
容灾的定义
容灾系统是指在相隔较远的异地,建立两套或多套功能相同的IT系统,互相之间可以进行健康状态监视和功能切换,当一处系统因意外(如火灾、地震等)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分,容灾系统更加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。
目前常见的容灾方案基本上模式比较简单:
1、数据库冷备:每天备份一次数据库,保存在磁带或光盘上;
2、双机本地热备:共享磁盘阵列,阵列做RAID(冗余校验),即一份数据存在不同盘阵上并多存几份,保证坏一个盘不影响数据读写;
3、数据库热备:建立数据库灾备中心,与主库实时进行数据同步,同时应用系统保持文件实时同步,保证引用系统版本最新
容灾的类型
业务场景
数据问题导致需要进行数据恢复
起因:
程序Bug,数据被污染;
误操作,数据被删除。
需求:
数据可备份;
数据可恢复。
故障或灾难发生后应用持续可用
起因:
机房发生故障;
城市级别的自然灾害。
需求:
应用具备同城容灾能力;
应用具备异地容灾能力。
传统解决方案
靠底层存储来解决一切问题
容灾的目标
RTO:是一个系统宕了之后多久恢复到应用恢复可用的时间目标
RPO:是一个应用的数据从最后一个备份到灾害事件发生的时间,是应用容许丢失的数据目标,但以时间维度衡量
容灾的演进类型
容灾演进的包涵关系
备份和恢复
实施要点:
1、选择合适的备份方式
2、确保正确的数据保留策略
3、确保数据的安全,包括加密和访问控制
4、周期的进行恢复测试
最小版本
准备工作要点:
1、确保应用系统所需要的软件包在阿里云都具备
2、对于关键的服务器集群创建ROS模板
3、考虑自动化的创建云上的资源
涉及产品:
ECS、RDS、DTS、ROS
最小版本恢复
恢复工作要点:
1、通过ROS模板启动云上的ECS资源
2、升级数据库的规格以适配新增的处理能力要求
3、修改DNS记录指向灾备环境SLB
4、安装和配置不在ROS模板内的系统和应用
涉及产品:
ECS、RDS、DTS、ROS
热备
准备工作要点:
1、创建并维护ROS模板
2、在阿里云ECS上运行最小化版本的应用环境
3、及时同步生产环境的补丁、软件更新以及配置文件到云上的环境
4、考虑自动化创建云上的资源
涉及产品:
SLB、ECS、RDS、DTS、ROS
热备恢复
恢复工作要点:
1、增加ECS服务器的数量应对真正的生产负载(水平扩展)
2、对于无法通过水平扩展的应用,加大ECS的规格,完成负载能力的提升(垂直扩展)
3、修改DNS记录到灾备环境SLB
4、升级数据库的规格以适配新增的应用负载
涉及产品:
SLB、ECS、RDS、ROS
双活
准备工作要点:
1、在云上创建与生产环境一致的应用环境
2、设定DNS的权重,分配流量到两个不同的环境,创建自动failover的流量分配机制
涉及产品:
SLB、ECS、RDS、DTS、ROS
双活恢复
恢复工作要点:
1、手工切换dns记录,或者通过DNS的failover机制自动将所有流量全部切到云上环境
2、切换App服务器的数据库调用到云上本地数据库
3、考虑自动扩展云上环境的规模与规格以适应新增的负载
涉及产品:
SLB、ECS、RDS、ROS
容灾体系建设
同城容灾:同城不同IDC机房之间的断网断电容灾等。
异地容灾:单元或者区域不可用下的服务重路由。中心容灾。
同城容灾
ADHA集群:用于保障同城主备之间的高可用性。
异地容灾
在业务流量切换之前,必须参考异地复制时延;
引入禁写规则,对于之前在源地域的业务用户,进行短时间禁写;
流量切换后,等异地同步时延消除后,放开禁写规则;
基于其它原因,在未消除时延情况下开起的禁写,需要在业务层面引入对帐系统;
基于其它原因,在未消除时延情况下开起的禁写,需要在数据库层面引入安全复制技术(如前镜像匹配)等。
云上异地灾备架构
方案优势:
1、云DNS提供智能解析、方便流量分配或容灾切换。
2、提供VPC之间的高速通道,提供统一发布、部署、配置变更等工作
3、产品化提供OSS不同区域之间的非结构化数据copy
4、通过数据传输服务(DTS)提供不同区域之间的结构化数据同步
数据同步DTS
技术架构
当DTS服务节点/集群/站点出现故障时,传输任务会自动透明的切换至健康的节点/集群/站点,业务无感知
自动断点续传机制,在网络/数据源/DTS组件出现故障时,DTS会记录断点,在从故障恢复后,会从断点开始,继续传输任务
公共云灾备方案-数据备份
云灾备的意义
容灾的分类和选择有很多。在阿里云平台实现容灾,可以实现更细粒度的控制,可以通过更多已经产品化的功能模块实现容灾,提供更好的RPO、RTO,更高的性价比。阿里云的是按需使用的服务,仅仅需要为您正在使用的服务和规模付费,这对容灾一个非常大的优势。
对容灾而言,需要资源时,很重要、要求快速提供,但仅仅是在灾难事件发生时才需要,云恰恰就符合这个特点:
无论你用或者不用,云就在那里。
文章
弹性计算 · 容灾 · 关系型数据库 · 数据库 · RDS
2018-02-24
云上数据库容灾解决方案
容灾的定义
容灾系统是指在相隔较远的异地,建立两套或多套功能相同的IT系统,互相之间可以进行健康状态监视和功能切换,当一处系统因意外(如火灾、地震等)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分,容灾系统更加强调处理外界环境对系统的影响,特别是灾难性事件对整个IT节点的影响,提供节点级别的系统恢复功能。
目前常见的容灾方案基本上模式比较简单:
1、数据库冷备:每天备份一次数据库,保存在磁带或光盘上;
2、双机本地热备:共享磁盘阵列,阵列做RAID(冗余校验),即一份数据存在不同盘阵上并多存几份,保证坏一个盘不影响数据读写;
3、数据库热备:建立数据库灾备中心,与主库实时进行数据同步,同时应用系统保持文件实时同步,保证引用系统版本最新
容灾的类型
业务场景
数据问题导致需要进行数据恢复
起因:
程序Bug,数据被污染;
误操作,数据被删除。
需求:
数据可备份;
数据可恢复。
故障或灾难发生后应用持续可用
起因:
机房发生故障;
城市级别的自然灾害。
需求:
应用具备同城容灾能力;
应用具备异地容灾能力。
传统解决方案
靠底层存储来解决一切问题
容灾的目标
RTO:是一个系统宕了之后多久恢复到应用恢复可用的时间目标
RPO:是一个应用的数据从最后一个备份到灾害事件发生的时间,是应用容许丢失的数据目标,但以时间维度衡量
容灾的演进类型
容灾演进的包涵关系
备份和恢复
实施要点:
1、选择合适的备份方式
2、确保正确的数据保留策略
3、确保数据的安全,包括加密和访问控制
4、周期的进行恢复测试
最小版本
准备工作要点:
1、确保应用系统所需要的软件包在阿里云都具备
2、对于关键的服务器集群创建ROS模板
3、考虑自动化的创建云上的资源
涉及产品:
ECS、RDS、DTS、ROS
最小版本恢复
恢复工作要点:
1、通过ROS模板启动云上的ECS资源
2、升级数据库的规格以适配新增的处理能力要求
3、修改DNS记录指向灾备环境SLB
4、安装和配置不在ROS模板内的系统和应用
涉及产品:
ECS、RDS、DTS、ROS
热备
准备工作要点:
1、创建并维护ROS模板
2、在阿里云ECS上运行最小化版本的应用环境
3、及时同步生产环境的补丁、软件更新以及配置文件到云上的环境
4、考虑自动化创建云上的资源
涉及产品:
SLB、ECS、RDS、DTS、ROS
热备恢复
恢复工作要点:
1、增加ECS服务器的数量应对真正的生产负载(水平扩展)
2、对于无法通过水平扩展的应用,加大ECS的规格,完成负载能力的提升(垂直扩展)
3、修改DNS记录到灾备环境SLB
4、升级数据库的规格以适配新增的应用负载
涉及产品:
SLB、ECS、RDS、ROS
双活
准备工作要点:
1、在云上创建与生产环境一致的应用环境
2、设定DNS的权重,分配流量到两个不同的环境,创建自动failover的流量分配机制
涉及产品:
SLB、ECS、RDS、DTS、ROS
双活恢复
恢复工作要点:
1、手工切换dns记录,或者通过DNS的failover机制自动将所有流量全部切到云上环境
2、切换App服务器的数据库调用到云上本地数据库
3、考虑自动扩展云上环境的规模与规格以适应新增的负载
涉及产品:
SLB、ECS、RDS、ROS
容灾体系建设
同城容灾:同城不同IDC机房之间的断网断电容灾等。
异地容灾:单元或者区域不可用下的服务重路由。中心容灾。
同城容灾
ADHA集群:用于保障同城主备之间的高可用性。
异地容灾
在业务流量切换之前,必须参考异地复制时延;
引入禁写规则,对于之前在源地域的业务用户,进行短时间禁写;
流量切换后,等异地同步时延消除后,放开禁写规则;
基于其它原因,在未消除时延情况下开起的禁写,需要在业务层面引入对帐系统;
基于其它原因,在未消除时延情况下开起的禁写,需要在数据库层面引入安全复制技术(如前镜像匹配)等。
云上异地灾备架构
方案优势:
1、云DNS提供智能解析、方便流量分配或容灾切换。
2、提供VPC之间的高速通道,提供统一发布、部署、配置变更等工作
3、产品化提供OSS不同区域之间的非结构化数据copy
4、通过数据传输服务(DTS)提供不同区域之间的结构化数据同步
数据同步DTS
技术架构
当DTS服务节点/集群/站点出现故障时,传输任务会自动透明的切换至健康的节点/集群/站点,业务无感知
自动断点续传机制,在网络/数据源/DTS组件出现故障时,DTS会记录断点,在从故障恢复后,会从断点开始,继续传输任务
公共云灾备方案-数据备份
云灾备的意义
容灾的分类和选择有很多。在阿里云平台实现容灾,可以实现更细粒度的控制,可以通过更多已经产品化的功能模块实现容灾,提供更好的RPO、RTO,更高的性价比。阿里云的是按需使用的服务,仅仅需要为您正在使用的服务和规模付费,这对容灾一个非常大的优势。
对容灾而言,需要资源时,很重要、要求快速提供,但仅仅是在灾难事件发生时才需要,云恰恰就符合这个特点:
无论你用或者不用,云就在那里。
文章
弹性计算 · 容灾 · 关系型数据库 · 数据库 · RDS
2018-10-15
拔掉数据库的电源会怎样?阿里云数据库新型灾备架构,让云端容灾有“备”无患
拔掉数据库的电源会怎样?
假设我们拔掉数据库的电源会怎样?
在日前举行的阿里云“企业级”云灾备解决方案发布会上,阿里云智能技术战略总监陈绪就来了一场现场“断电”演示,拔掉了数据库的电源。
(直播回放:https://yq.aliyun.com/live/1104/event)
猜猜现场发生了什么?
数据丢失,业务瘫痪,企业资金受损?
企业级云灾备解决方案 实时大屏
上述情况统统没有出现!没有出现任何数据丢失,也没有业务瘫痪,10秒后,上云企业的业务就完全恢复了。
那么这是如何实现的呢?
在会上,阿里云智能数据库产品事业部技术总监天羽为大家全面解析《云时代,数据库新型灾备架构》,详细介绍了在混合云架构下,从异地备份、容灾、双活到统一管理的数据库一站式灾备解决方案。
有了云数据库新型灾备架构,即使断电又何妨?通过阿里云提供的DBS、DTS、HDM等服务,您的企业也可轻松构建灾备体系,做到“有备无患”。
墨菲定律 鸡蛋不能放在一个篮子里
对于每个企业而言,数据库都是其最为核心的资产。但是单点故障是不可避免的,因此为了提升数据安全,需要做的就是数据冗余。
国家对于数据库灾难恢复能力也定义了相应的标准。对于位于等级2~3的一般业务而言,需要每天进行备份;对于位于等级4的重要业务而言,需要每天全量+增量备份;对于等级5的关键业务而言,要求数据丢失不能超过半个小时,并且要求在分钟级别恢复业务;对于位于等级6的核心业务而言,则需要做到数据零丢失。
阿里巴巴数据库从备份到多活的发展经过了以下历程:
2012年之前,阿里巴巴采用的是异地冷备+热备方案,提供只读副本,当时异地冷备和热备可能出现异地延时比较长的问题,导致出现灾难之后敢不敢进行数据库切换成为一个问题,可能现在很多传统企业还在使用该方案。
2013年,阿里巴巴通过数据库实时日志的解析能力实现了同城双活。
2014年,阿里巴巴实现了异地双活。
2015年,阿里巴巴就实现了中美同步以及多个地域、多点写入的数据同步策略。
2016年,阿里巴巴实现了分布式数据强一致的能力以及异地多活能力。
在不断提升阿里巴巴灾备能力的过程中,我们也在阿里云上孵化了数据库备份(DBS)、数据传输(DTS)、混合云数据库管理(HDM),搭建从备份、容灾、双活及混合云统一管理的一站式云灾备解决方案。
对于等级1到等级4的业务而言,可以通过DBS将数据实时备份到阿里云OSS上,该方案具有低成本、秒级RPO的优势;
对于等级5的业务而言,可以通过DTS数据传输服务将本地IDC或者其他云产商的数据库备份到阿里云上去,实现热备或者双活解决方案,实现秒级RPO和秒级RTO。
阿里云数据库新型灾备方案
众所周知,传统灾备解决方案存在成本高昂、实施困难、运维复杂、RTO和RPO无法保障等问题。
阿里云拥有遍布全球安全可靠的数据中心,是企业用户天然的异地灾备中心。阿里云的新型灾备方案可以为您提供低成本、高质量、开箱即用的数据库灾备服务。
1、数据库备份服务DBS数据库备份服务DBS结合阿里云对象存储服务OSS,能够为用户提供秒级RPO以及低成本的特性,并且实现了国家灾备等级4的相应能力。
用户自建的IDC或者来自其他云厂商的数据库可以通过DBS备份到阿里云OSS之上,而且整个备份的实现过程非常简单,只需要打通网络就可以通过DBS实现数据备份到云上,当出现灾难的时候就能够完成云上数据库快速恢复。
除了和云上数据库进行打通之外,对于数据的备份集而言,也可以通过数据湖服务直接进行查询和验证(无需恢复),这也是阿里云特有的能力之一。
阿里云数据库备份服务DBS主要有如下优势:
秒级RPO:因为数据库发生变更的时候,首先会记录日志,再刷新数据。而阿里巴巴沉淀了一整套数据库解析技术,通过这个技术能够实现秒级冷备到阿里云上的能力,并且其冷备数据和在线数据之间仅存在秒级延时。
低成本:借助OSS的能力可以实现对于数据的周期性归档,并且允许数据库只备份核心关注的数据业务表,仅备份有效数据,同时进行加密和压缩。
备份数据可在线读,验证有效性:基于DLA的数据湖能力,备份逻辑数据集允许用户直接进行备份集查询,查询里面的数据内容并且校验其中的数据。基于RDS的能力能够帮助用户在出现灾难时实现数据库的快速恢复。
丰富的备份数据源:阿里云数据库备份服务DBS能够支持非常丰富的数据源,包括Oracle、MySQL、SQLServer、MongoDB以及Redis等。
2、数据库热备以及双活架构DTS
结合DTS和RDS就能够实现云上数据库热备,可以实现国标等级5的灾备能力。无论是将业务中心建立在自建IDC还是其他云厂商上,通过DTS热备到阿里云上,当出现本地IDC出现数据库故障或者误操作的时候,用户就可以一键切换到云热备之上,实现秒级RPO和秒级RTO。
您还可以更进一步,借助DTS和RDS实现多活,除了将业务切换到阿里云上之外,还可以反向建立阿里云到本地IDC数据库的同步链路,从而建立双向同步通道,这样就能够提供异地双活能力,两端都可以进行写入和切换。业务也可以在云上和本地IDC之间进行分流,从而实现就近写入和就近服务的查询能力,同时能够支持实现容灾。
如果采用传统热备方案,将数据热备到云上之后可以支持实现秒级RPO的数据库切换,但是当切换完成之后如果想要去恢复灾备系统,则需要一定的恢复过程,但是当建立了双向同步通道之后,可以很快地切换到阿里云,同时很快地切换回来,因此能够支持企业实现在线的容灾演练。
关于阿里云数据库传输服务DTS:
阿里巴巴在2011年左右开始投入做数据库的日志解析,而DTS除了能够实现日志解析之外,还能够实现高效的数据同步,是阿里巴巴内部实现异地多活的基础设施,也是阿里巴巴的数据从生产到消费的数据流基础设施。
DTS也支持了非常丰富的数据源,包括关系型数据库、NoSQL及大数据等17种数据源,承担了阿里云上的40多万的数据传输任务。
3、基于DMS+HDM的数据库统一管理方案
除了上述的DBS和DTS两款灾备产品之外,当用户使用线下到线上的数据同步或者线下到线上数据热备之后,就会形成一个混合云数据库架构。
阿里云为此提供了一整套数据库混合云统一管理解决方案,该方案沉淀了阿里在脱敏审计、变更管控以及研发协同等多方面的能力。
在混合云上,如果数据库分布在自建的IDC、其他云厂商以及阿里云上,就可以通过阿里云的混合云数据库管理(HDM)进行统一管理,通过One Console实现统一监控、告警、性能优化和风险识别。
了解企业级云灾备解决方案——“十万先行者计划”,请点击:https://promotion.aliyun.com/ntms/act/hclouddr/index.html
相关阅读
阿里云发布企业级云灾备解决方案,十万先行者计划开启普惠灾备专访阿里数据库备份专家 教你Pick最有效的备份系统
限时福利:数据库上云季 低至7折!
数据库上云季开始啦!
全场年付低至7折,还送最高2万元阿里云专家服务代金券,数据库大咖助您无忧上云!
扫描上方二维码或戳 链接均可参加
文章
容灾 · 关系型数据库 · 数据库 · 对象存储 · 数据库管理
2019-06-06
拔掉数据库的电源会怎样?阿里云数据库新型灾备架构,让云端容灾有“备”无患
拔掉数据库的电源会怎样?
假设我们拔掉数据库的电源会怎样?
在日前举行的阿里云“企业级”云灾备解决方案发布会上,阿里云智能技术战略总监陈绪就来了一场现场“断电”演示,拔掉了数据库的电源。
直播回放:https://yq.aliyun.com/live/1104/event
猜猜现场发生了什么?
数据丢失,业务瘫痪,企业资金受损?
企业级云灾备解决方案 实时大屏
上述情况统统没有出现!没有出现任何数据丢失,也没有业务瘫痪,10秒后,上云企业的业务就完全恢复了。
那么这是如何实现的呢?
在会上,阿里云智能数据库产品事业部技术总监天羽为大家全面解析《云时代,数据库新型灾备架构》,详细介绍了在混合云架构下,从异地备份、容灾、双活到统一管理的数据库一站式灾备解决方案。
有了云数据库新型灾备架构,即使断电又何妨?通过阿里云提供的DBS、DTS、HDM等服务,您的企业也可轻松构建灾备体系,做到“有备无患”。
墨菲定律 鸡蛋不能放在一个篮子里
对于每个企业而言,数据库都是其最为核心的资产。但是单点故障是不可避免的,因此为了提升数据安全,需要做的就是数据冗余。
国家对于数据库灾难恢复能力也定义了相应的标准。对于位于等级2~3的一般业务而言,需要每天进行备份;对于位于等级4的重要业务而言,需要每天全量+增量备份;对于等级5的关键业务而言,要求数据丢失不能超过半个小时,并且要求在分钟级别恢复业务;对于位于等级6的核心业务而言,则需要做到数据零丢失。
阿里巴巴数据库从备份到多活的发展经过了以下历程:
2012年之前,阿里巴巴采用的是异地冷备+热备方案,提供只读副本,当时异地冷备和热备可能出现异地延时比较长的问题,导致出现灾难之后敢不敢进行数据库切换成为一个问题,可能现在很多传统企业还在使用该方案。
2013年,阿里巴巴通过数据库实时日志的解析能力实现了同城双活。
2014年,阿里巴巴实现了异地双活。
2015年,阿里巴巴就实现了中美同步以及多个地域、多点写入的数据同步策略。
2016年,阿里巴巴实现了分布式数据强一致的能力以及异地多活能力。
在不断提升阿里巴巴灾备能力的过程中,我们也在阿里云上孵化了数据库备份(DBS)、数据传输(DTS)、混合云数据库管理(HDM),搭建从备份、容灾、双活及混合云统一管理的一站式云灾备解决方案。
对于等级1到等级4的业务而言,可以通过DBS将数据实时备份到阿里云OSS上,该方案具有低成本、秒级RPO的优势;
对于等级5的业务而言,可以通过DTS数据传输服务将本地IDC或者其他云产商的数据库备份到阿里云上去,实现热备或者双活解决方案,实现秒级RPO和秒级RTO。
阿里云数据库新型灾备方案
众所周知,传统灾备解决方案存在成本高昂、实施困难、运维复杂、RTO和RPO无法保障等问题。
阿里云拥有遍布全球安全可靠的数据中心,是企业用户天然的异地灾备中心。阿里云的新型灾备方案可以为您提供低成本、高质量、开箱即用的数据库灾备服务。
1、数据库备份服务DBS
数据库备份服务DBS结合阿里云对象存储服务OSS,能够为用户提供秒级RPO以及低成本的特性,并且实现了国家灾备等级4的相应能力。
用户自建的IDC或者来自其他云厂商的数据库可以通过DBS备份到阿里云OSS之上,而且整个备份的实现过程非常简单,只需要打通网络就可以通过DBS实现数据备份到云上,当出现灾难的时候就能够完成云上数据库快速恢复。
除了和云上数据库进行打通之外,对于数据的备份集而言,也可以通过数据湖服务直接进行查询和验证(无需恢复),这也是阿里云特有的能力之一。
**阿里云数据库备份服务DBS主要有如下优势:**
秒级RPO:因为数据库发生变更的时候,首先会记录日志,再刷新数据。而阿里巴巴沉淀了一整套数据库解析技术,通过这个技术能够实现秒级冷备到阿里云上的能力,并且其冷备数据和在线数据之间仅存在秒级延时。
低成本:借助OSS的能力可以实现对于数据的周期性归档,并且允许数据库只备份核心关注的数据业务表,仅备份有效数据,同时进行加密和压缩。
备份数据可在线读,验证有效性:基于DLA的数据湖能力,备份逻辑数据集允许用户直接进行备份集查询,查询里面的数据内容并且校验其中的数据。基于RDS的能力能够帮助用户在出现灾难时实现数据库的快速恢复。
丰富的备份数据源:阿里云数据库备份服务DBS能够支持非常丰富的数据源,包括Oracle、MySQL、SQLServer、MongoDB以及Redis等。
2、数据库热备以及双活架构DTS
结合DTS和RDS就能够实现云上数据库热备,可以实现国标等级5的灾备能力。无论是将业务中心建立在自建IDC还是其他云厂商上,通过DTS热备到阿里云上,当出现本地IDC出现数据库故障或者误操作的时候,用户就可以一键切换到云热备之上,实现秒级RPO和秒级RTO。
您还可以更进一步,借助DTS和RDS实现多活,除了将业务切换到阿里云上之外,还可以反向建立阿里云到本地IDC数据库的同步链路,从而建立双向同步通道,这样就能够提供异地双活能力,两端都可以进行写入和切换。业务也可以在云上和本地IDC之间进行分流,从而实现就近写入和就近服务的查询能力,同时能够支持实现容灾。
如果采用传统热备方案,将数据热备到云上之后可以支持实现秒级RPO的数据库切换,但是当切换完成之后如果想要去恢复灾备系统,则需要一定的恢复过程,但是当建立了双向同步通道之后,可以很快地切换到阿里云,同时很快地切换回来,因此能够支持企业实现在线的容灾演练。
关于阿里云数据库传输服务DTS:
阿里巴巴在2011年左右开始投入做数据库的日志解析,而DTS除了能够实现日志解析之外,还能够实现高效的数据同步,是阿里巴巴内部实现异地多活的基础设施,也是阿里巴巴的数据从生产到消费的数据流基础设施。
DTS也支持了非常丰富的数据源,包括关系型数据库、NoSQL及大数据等17种数据源,承担了阿里云上的40多万的数据传输任务。
3、基于DMS+HDM的数据库统一管理方案
除了上述的DBS和DTS两款灾备产品之外,当用户使用线下到线上的数据同步或者线下到线上数据热备之后,就会形成一个混合云数据库架构。
阿里云为此提供了一整套数据库混合云统一管理解决方案,该方案沉淀了阿里在脱敏审计、变更管控以及研发协同等多方面的能力。
在混合云上,如果数据库分布在自建的IDC、其他云厂商以及阿里云上,就可以通过阿里云的混合云数据库管理(HDM)进行统一管理,通过One Console实现统一监控、告警、性能优化和风险识别。
了解企业级云灾备解决方案——“十万先行者计划”,请点击:
https://promotion.aliyun.com/ntms/act/hclouddr/index.html
相关阅读
阿里云发布企业级云灾备解决方案,十万先行者计划开启普惠灾备
@CIO,你要的答案明天见!
专访阿里数据库备份专家 教你Pick最有效的备份系统
限时福利:数据库上云季 低至7折!
数据库上云季开始啦!
全场年付低至7折,还送最高2万元阿里云专家服务代金券,数据库大咖助您无忧上云!
扫描下方二维码或戳”阅读原文“均可参加
阿里巴巴数据库技术
微信:alibabadba
分享数据库前沿
解构实战干货
长按二维码关注
文章已于2019-06-05修改阅读原文
文章
数据库 · 容灾 · 关系型数据库 · 对象存储 · 数据库管理
2019-07-28
业务系统同城双区部署方案
业务系统同城双区分为以下3个阶段:
1.同城双活
基于阿里云基础设施,在阿里云的华东2区内跨可用区部署应用,SLB 采用多可用区主备部署,在主 SLB 异常时,备 SLB 会自动升级为主 SLB 提供服务;RDS 采用多可用区主从实例,应用通过域名访问 RDS 实例,主实例提供读写服务,从实例提供读服务,在主实例响应异常时,从实例升级为主实例,主从切换对应用无感知。
异地灾备
在阿里云其它地域(如华东1)部署灾备单元,通过高速通道连接华东2(主单元)与灾备单元,在正常情况下灾备单元不提供服务,通过基于高速通道的 DTS 服务,将数据从 RDS 主实例同步至 RDS 灾备实例。在主单元整体异常时,手工切换 DNS 域名指向,将网络请求导入灾备单元,由灾备单元提供服务。如果主单元不可恢复,将灾备单元升级为主单元,并在其它地域重建灾备单元;如果主单元可以恢复,将灾备单元的数据同步到主单元,重新启用主单元。
数据分区
数据分区属于远期规划,考虑并不完善,仅当抛砖引玉。当数据规模超出单个可用区的承载规模时,可以考虑数据分区。在华东 2 的 2 个可用区分别部署独立服务分区,应用流量根据用户属性流转到不同服务分区,各个服务分区的数据同步到灾备分区中。
【杭州云栖·企业级数据库最佳实践专场】DT时代下 数据库灾备的探索与实践
170余场主题峰会和分论坛完美呈现,上千位分享嘉宾、数万名创新创业导师齐聚一堂,刚刚结束的2018杭州云栖大会让云栖小镇又一次成为探索数字世界的中心。
随着DT时代的到来,企业对数据的依赖程度与日俱增,数据保护早已成为企业的一门必修课。只有拥有先知先觉的防范意识和充分的技术准备,才能“覆巢之下,亦有完卵”。在“企业级数据库最佳实践”专场,灾备相关议题备受关注。本文结合阿里巴巴数据库团队在会上的分享,将详细介绍如何使用数据库云产品组合,搭建符合自身企业发展阶段的灾备方案。
数据是企业重要的生产资料,一旦发生数据丢失,企业就会陷入困境:客户资料、技术文件、财务账目等客户、交易、生产数据可能被破坏得面目全非。概括起来,数据丢失分三个层次:
逻辑错误:包括软件bug、病毒攻击、数据块被破坏等。
物理损坏:包括服务器、磁盘损坏等。
自然灾害:火灾、地震等自然灾害对数据中心的摧毁等。
为了应对数据丢失造成的损失,必须对数据进行灾备保护,并且企业信息化程度越高,相关的数据灾备恢复措施就越重要。
企业级数据库灾备体系
1.1 灾备定义灾备是指容灾+备份:
备份的定义:指用户为应用系统产生的重要数据(或者原有的重要数据信息)制作一份或者多份拷贝,以增强数据的安全。
容灾的定义:指在相隔较远的两地(同城或者异地)建立两套或多套功能相同的IT系统,互相之间可以进行健康状态监视和功能切换。当一处系统因意外(天灾、人祸)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。
1.2 灾备痛点 (1)备份痛点
备份失效
恢复速度慢
恢复有损
异地备份成本高
性价比低
(2)容灾痛点
容灾方案单一,无法满足不同数据级别场景建设
缺少容灾大盘能力,无法对容灾链路监控、故障快速识别
灾备不具备巡检能力
故障恢复成本高,数据校验、比对、订正难以决策
多层容灾工具切换难以协同
预案管控缺失,无法自动化运维
1.3 落地方案企业级数据库灾备体系要以业务需求为导向,基于多种因素考量选择:RPO,RTO,成本,扩展性。还需要覆盖数据库灾备的各种需求:灾备环境搭建、灾备数据同步、灾备监控告警、灾备演练、灾备切换、数据校验及修复等。
企业级数据库灾备核心产品
阿里云产品经多轮迭代具备比较完善的灾备能力,使用以下核心产品可帮助企业应对不同场景及需求的数据库灾备方案设计。
DBS:Database Backup Service,是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护,包括企业数据中心、其他云厂商。DBS提供数据备份和操作恢复的整体方案,具备实时增量备份、精确到秒级的数据恢复能力。在数据库灾备解决方案中可使用阿里云DBS实现各数据库间的数据备份。
DTS:Data Transmission Service,是阿里云提供的一种支持多种数据源之间数据交互的数据流服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输能力。在数据库灾备解决方案中,使用阿里云DTS可实现各数据库间的数据迁移与实时同步,从而为数据库灾备打好最重要的基础。
HDM:Hybrid Cloud Database Management,是混合云数据库管理平台,帮助企业打通混合云数据库架构,提供多环境统一管理、快速弹性、灾备切换的能力。对于混合云灾备场景下,使用阿里云HDM可便捷、快速的将本地IDC的数据同步至云上,并进行灾备切换演练,故障发生时可通过HDM进行灾备切换,保障数据库的可用性。在灾备场景下,建议可搭配阿里云其他产品,例如DRDS、OSS,这些产品经阿里内外部验证,均具有较高可靠性并可在灾备场景下灵活应用。
典型应用场景
3.1 实时备份当用户对数据备份要求较高时,比如需要连续实时备份,且备份过程中不影响业务运行,此时可购置阿里云数据库备份DBS服务,实现数据库的热备份,DBS可实现数据实时增量备份、精确到秒级的数据恢复能力。解决方案架构示例如下:
架构设计说明:
• 关键部件部署:
在用户本地部署有两套数据库:生产数据库和恢复库,分别用于生产数据的存储、故障后数据恢复。
在阿里云的两个区域(例如:华南1、华北1)分别购置存储服务,例如OSS对象存储或者NAS文件存储。
购置阿里云的DBS服务,用于用户本地数据库实时热备份至云上存储。
• 云下生产数据备份至云上:(可通过以下两种方案中的任意一种将云下生产数据备份至云上)
用户可在本地再部署一套存储,将生产数据先备份至本地IDC的存储,再通过本地IDC存储灾备拷贝至云上存储。
用户本地的生产数据库与云上存储之间通过阿里云DBS,将生产数据库中的数据直接热备份至云上两个区域的存储中。
• 数据恢复:
如果用户本地IDC的生产数据库发生故障,但本地IDC的存储运行正常,可通过本地IDC的 存储将数据恢复至本地IDC的恢复库。
如果用户本地IDC的生产数据库和存储均发生故障,或没有部署本地存储,则可通过DBS将云上存储将数据恢复至本地恢复库。
• 架构特点:
优点:技术要求高、一致性好,恢复时间短。
缺点:RTO随着数据库是来大小而变化。
应用场景:比较成熟的备份手段,适用于大部分的关系型数据库。
3.2 异地多活无论弹性容灾上云、容灾双活/多活,还是两地三中心,用户都可以在企业级数据库灾备体系中找到解决方案,接下来以异地多活场景为例介绍解决方案。在用户业务多点写入场景下,如何具备数据级异地双活,如何支持一键切换至另一个机房,实现灵活的弹上弹下和未来的线性扩展。
部署架构
应用配合进行单元化改造
通过 DTS 实现两地/多地的数据库的双向同步,解决同城单点问题
通过 HDM 实现双活/多活架构的监控和管理,并提供计划内/计划外切换的能力
双数据中心支持读写分离,本地用户就近读取
新产品:数据库备份DBS
数据库备份DBS作为数据库上云备份通道,与对象存储OSS构建云数据库备份解决方案,仅需5分钟即可实现秒级RPO(Recovery Point Objective恢复点目标,通俗理解是当数据库故障时,允许丢失多长时间数据,RPO越小越好)的实时备份。
数据库备份DBS提供备份服务,在整个备份过程是无锁的,不会阻塞数据库上业务请求;用户可以选择整个实例备份,也可以选择只备份一张表;一旦发生误操作情况时,用户都可以通过DBS进行任意时间点恢复,将整个实例或一张表的数据恢复到误操作前1秒;DBS提供多种规格,可以满足几百MB到几百GB的数据库备份。
目前,数据库备份DBS提供的备份系统时刻被海量用户验证,产品不仅拥有实时备份、秒级RPO的能力,同时还具备表级恢复能力,帮助用户只恢复有价值的数据,RTO可降到分钟级。
值得一提的是,实时备份经历了历年双11的考验,接下来,数据库恢复DBS将会提供在线查询能力,用户无需等待数据恢复过程,备份任务完成后在查询窗口上可以通过SQL立刻查询备份数据,用户还可以将查询结果导出Excel、Word等通用格式,用于数据分析,也可以生成Insert、Replace语句,用于数据订正。
相关阅读:5分钟了解DBSDTS: 数据同步功能全网降价,最低只需400元/月HDM: 3分钟统一监控云下和云上的数据库
文章
存储 · 容灾 · 数据库 · 对象存储 · 数据库管理
2018-10-02
云迁移-笔记
迁云的背景
更多的访问基础设施更高的伸缩性
云架构
入口SLB
OLTP业务支持
Query查询服务
OLAP决策分析
架构更细分
内容媒体
web应用托管
web日志分析
客户IDC应用系统的灾备
故障恢复和高可用
迁云基本方案
迁云流程
系统评估和需求分析
系统技术分析
系统能力分析
数据库分析
上云方案设计
应用层上云
数据层上云
上云迁移
计划排期
应用改造
数据库迁移/改造
迭代验证
系统试运行和转生产
系统验证
性能验证
用户使用与反馈
问题处理与优化
系统验收
老系统下线
系统运行
云资源运维管理
系统运维保障
系统调研
系统技术分析
系统检测
系统技术架构
系统集群技术
中间件选型
系统部署拓扑结构
系统特定依赖(硬件,网络)
数据库调研
基础架构
使用空间
数量
峰值性能压力(QPS/TPS)
表结构与注释
表使用状态(记录数/表空间/使用量/性能)
调用的SQL以及调用频率
存储过程,触发器,Package
查看压力
系统业务需求分析
业务构成
功能细分
接口集成关系
数据CRUD矩阵
用户体验要求
处理性能要求
高可用要求
扩展性要求
调优/改造需求
数据备份/容灾需求
新功能需求
非结构化数据存储/处理
大表数据查询
流式数据采集
应用层上云方案
系统总体上云架构
云产品部署结构
资源开通数据与规格要求
边界接口对接方案
中间件部署/改造方案
特殊硬件/网络依赖解决方案
云上安全性解决方案
数据层上云方案
数据库解决方案
资源开通数量与规格要求
迁移/同步工具选型
数据拆分/索引方案
数据备份/容灾方案
产品选型原则
应用系统
直接上云
低性能要求(ECS 云磁盘)
高性能要求(ECS SSD)
改造上云
OLTP类型
通用应用(RDS)
关键应用(RDS + OCS, RDS读写分离, DRDS)
OLAP类型
小规模系统(RDS)
大规模实时分析(ADS)
内容管理类型(OSS)
大数据应用类型
海量数据离线分析(ODPS)
高并发实施查询(OTS)
应用迁移
迁移方式
阿里云官方迁移工具
快捷方便
需要公网
镜像导入
无需公网
自定义配置
镜像工具Packer
无需公网
步骤简单
模板配置复杂
存储迁移
OSS迁移方式
数据库迁移
原因
管理方便:全托管
弹性
敏捷
可靠
省钱
注意事项
业务影响
数据库复杂程度
应用程序调用复杂程度
RTO/RPO
迁移的技能
数据库迁移方案
数据库
原生方案
阿里云迁移工具
Mysql
mysqldump
DTS
SQL Server
SQL Server/Management Studio
OSS上传/DTS
Redis
SAVE
DTS
MongoDB
mongodump
DTS
PostgreSql
pg_dump
DTS
Oracle
同构(DG, rman) 异构(无)
ADAM/DTS
文章
SQL · 存储 · 弹性计算 · 运维 · 容灾 · 关系型数据库 · OLTP · 数据库 · 对象存储 · RDS
2020-04-16
双向同步助力企业快速复制异地多活
数据传输服务DTS正式推出MySQL实例间的双向同步,助力企业快速复制阿里巴巴异地多活架构。DTS已经连续4年平稳支撑阿里巴巴双11异地多活场景,并已为阿里云上万用户提供安全、可靠的数据流服务。本专题将全面解析双向同步如何助力企业快速复制异地多活,满足业务就近接入和服务高可用的业务场景。
客户之声
随着企业的高速发展及国际化步伐的加速,很多基于单地域构建技术架构的企业用户面临着诸多问题,包括:
(1) 对于用户分布较广的业务,部分用户需要跨地域远距离访问服务,访问延迟大,直接影响用户体验。
(2) 当业务依赖的区域出现城市故障时,直接导致服务不可用,给公司带来不可估量的经济损失及公司品牌的负面影响。
为了有效解决这些问题,保证服务的持续可用,目前业界比较热门的技术架构当属“异地多活”。所谓异地多活,顾名思义,就是在不同地域提供业务中心,同时每个业务中心都会支撑服务流量。相较于“异地灾备”,异地多活架构具备如下优势:
(1) 成本较低,异地灾备需要进行业务的全量异地备份,主业务中心正常时,灾备中心并不提供服务,备份成本极高。
(2) 业务流量随时切换,异地多活的所有数据中心都支撑业务流量,所以当任意一个业务中心出现故障时,可以直接将流量切换到其他数据中心。相对而言,异地灾备由于不是一直承担流量,所以一旦业务中心出现问题时,未必敢将流量切到灾备中心,因为不知道切过去业务是否能正常运行。
(3) 可扩展性强,异地多活其实是在多个数据中心分摊业务流量,所以有效缓解了单一地区的业务压力。
异地多活架构中,为了支持业务流量在各个地域之间的灵活切换,必须解决各个业务中心之间的数据同步问题。阿里云数据传输服务DTS支持RDS实例之间的双向同步,帮助您实现业务中心之间的数据同步,保证数据全局一致,从而实现异地多活技术架构的快速复制。 数据传输服务DTS从2013年起,已连续4年平稳支撑了阿里巴巴异地多活(3个业务中心)底层的全局数据同步。自2014年在阿里云为用户提供服务以来,DTS已经为上万用户提供可靠、稳定的数据流服务。
数据传输服务DTS异地多活解决方案
DTS支持异地多活架构中数据层之间的数据同步,实现数据全局一致。下面是一个简单的异地多活业务架构图:如上图所示,业务按照某个维度将流量切分到各个业务中心(亦称单元)。切分维度的选择要遵循如下原则:
(1) 拆分后,需要实现业务的单点写。例如按照会员切分,那么同一个会员的访问只能在某个业务中心单点写。
(2) 拆分维度要能够尽量保证业务在单元内封闭,即所有的业务请求都能够在单元内完成,以减少跨地域的访问调用。
对于用户分布比较广的业务,可以根据用户分布进行业务中心部署区域的选择。例如国际化业务,可以选择中国、欧洲、北美 等多点进行业务中心的部署,区域附近的用户的业务请求直接落在就近区域,以最大程度降低用户访问延迟,从而有效提升用户体验。
当流量切分到各个单元后,各个单元的数据层均会有数据写入,通过DTS进行数据层的数据双向同步,实现数据全局一致。当某个业务中心(单元)出现故障时,可以修改流量切分规则将流量秒级切换到其他单元,从而有效得保证了业务的持续可用,完美得避免了故障造成的经济损失及对公司品牌的影响。
写在最后
DTS所实现的全局数据同步是异地多活架构的基础,具体的业务流量切分还需要根据业务实际情况设计实现。
除了提供异地多活能力,DTS还能帮助您实现业务零停机迁移、实时数据仓库、查询/报表分流、系统异步消息通知、轻量级缓存更新等业务需求。
10月31日前,双向同步7折特惠,点击立享>>
如何快速创建双向同步,点击查看。
云栖PPT下载 | 破解企业数据库“疑难杂症”,最佳实践专场划重点了!
数据库是整个企业数据最核心的承载载体,在线上使用过程中,用户经常会遇到以下问题:如何保障业务连续性、数据库研发效率低、数据库存在性能瓶颈及数据存在安全风险等等。
本次的企业级数据库专场中,我们邀请到了数位阿里巴巴资深专家及高级专家为大家分享阿里巴巴的数据库实践经验及产品化解决方案,同时也邀请了客户朋友到现场分享他们的数据库最佳实践。
云时代,数据库容灾解决方案
阿里云智能资深技术专家 陈长城
云时代,灾备建设的契机
正如投资理财,为分散风险把鸡蛋分散在不同的篮子里。业务上,为了保障服务连续性,我们也需要针对核心业务建设数据冗余灾备。针对容灾课题,国家正式出台了灾难恢复等级定义。除了测试业务外,所有的线上业务都需要构建数据灾备。
其中,一般业务需要实现等级三的灾备能力,灾备的RPO/RTO为天级别;重要业务需要实现等级四的灾备能力,RPO/RTO为小时级别;对于关键业务,要求发生故障时,不能丢失超过30分钟的数据,且要在1小时内恢复业务;而对于核心业务则要做到故障时,“0”数据丢失,且在分钟级别恢复整个业务。
对于企业来说,要投资建设满足国标要求的灾备系统,存在如下的痛点:
1,投入大
要做业务的灾备,企业往往要有大笔的初始投资,且后续的维护成本也非常高。
2,可靠性
灾备数据可靠性难保障。
3,可验证
备份集的可用性存疑,导致故障切换存在极大风险。出于切换风险的考虑,很多企业在业务发生故障时,都选择等待故障自动恢复。
云时代,新容灾技术方案
随着云计算的发展,企业容灾体系已迎来新的技术趋势:
容灾副本的在线化、可分析、可服务
数据安全性得到产品级保障。
分钟级乃至秒级RPO、RTO技术逐渐成熟
云存储的边际成本降低,技术变得更加普惠。
阿里云已上线了系列数据库容灾产品。包括数据传输服务DTS及数据库备份DBS。
数据库备份DBS是为企业提供连续数据保护、低成本的数据备份服务。DBS基于实时监听及备份数据库事务日志,可实现秒级RPO的备份能力。DBS支持备份集在线查询,有效保障备份集的可用性。同时,DBS基于压缩加密及备份集生命周期管理能力,极大降低备份集的存储成本。借助DBS,企业可轻松实现云备份、跨云备份、异地备份及云下备份等业务场景。
阿里云数据传输服务DTS,支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。企业可以借助DTS实现业务零停机上云、异地灾备、异地多活及数据仓库数据实时导入等业务诉求。目前DTS支持多达18种数据源,已服务40万+数据库实例。
借助DTS,企业可以建设秒级RPO/秒级RTO的热备中心。当业务出现故障的时,可以秒级切换到热备中心。除了热备场景,DTS还可以帮助企业快速构建异地多活,异地多个业务中心互为备份,所有中心的数据保持一致,任意一个中心出现异常,业务可秒级切换到其他中心,有效保障服务连续性。
阿里云一站式数据库容灾方案
为了降低企业管理成本,阿里云还推出数据管理DMS及混合云数据库管理HDM。借助DMS+HDM可实现数据库安全研发及性能诊断优化。
数据传输DTS技术原理全面揭秘
阿里巴巴高级技术专家付大超
现如今,上云已是一个不可逆的趋势,企业上云最困难的部分是数据上云。企业总是苦恼如何在不影响业务的情况下,平滑的完成数据库的上云迁移。为帮助企业实现业务的平滑上云,阿里云于2015年上线了数据传输服务DTS。
技术原理
付大超为大家深度揭秘DTS的技术架构及技术原理。DTS历经数十年的研发,承载了阿里巴巴集团线上所有的实时数据流链路,经历了数年的双11大考。DTS具备如下的产品优势:
异构支持:支持多达18种商业数据库及源数据库的同异构同步。
功能完整性:DTS支持结构迁移、数据迁移、增量迁移、数据订阅、数据校验等各种需求,支持全量数据、增量数据,DDL及DML。
分布式并发架构:采用分布式智能并发模式,可以自动部署多个节点并发处理数据流,突破单机极限,水平扩展系统吞吐量。
合并提交:根据事务的依赖关系、利用独有的事务冲突合并机制并行提交,极大提升到目标端的写入速度。
智能分片:对源数据采用多种智能分片策略,保证数据传输的并行能力并控制写入放大。
并行抓取:数据抓取和数据写入完全并行,极大提高系统的整体吞吐能力。独立、并行的数据抓取模块同时能提供最大程度的数据保护,避免源端数据可能出现的各种状况,例如数据被清理、数据丢失、日志过期、等等。
幂等同步:采用独有的幂等同步算法,合并热点、解决数据重复、多次提交等疑难问题,完美解决断点续传以及各种数据冲突场景。
加密压缩:提供智能数据压缩能力,根据网络环境选择数据压缩,极大节省网络带宽并提高网络传输速度,提升数据迁移的整体性能。
双向同步:利用阿里的异地多活经验,通过独有事务冲突并发机制,保证双向数据同步高效安全。
去O迁移:支持Oracle各种主流版本以及所有基础数据类型,支持全量、增量、数据订阅,覆盖去O各种场景。
数据过滤:全量初始化和增量同步支持配置where条件的数据过滤,简单方便的支持符合where条件的数据实时同步功能,满足用户的个性化需求。
库表映射:提供灵活的库、表、列级别的自定义映射功能,利用DTS独有的数据和SQL解析机制实现源和目的库的库表列不同名称下的数据同步
实战场景:双11媒体大屏
双11期间,阿里巴巴的媒体大屏会实时呈现当天交易额。交易额数据需要经过数据采集、数据加工、数据存储及可视化的系列处理流程。DTS承载了关键的数据采集环节,全程保障毫秒级的采集同步延迟,从而有效保障了交易数据的实效性。
当然还有更多的企业使用DTS来解决零停机数据上云、异地灾备、异地多活及数据仓库数据实时导入的业务场景。如想了解更多场景可以参考产品介绍。
企业级数据库敏捷开发模式
阿里云资深专家罗奇
对于很多企业来说,他们需要管理几十个甚至上百的数据库实例。在管理及使用数据库的过程中,他们总是会各种各样的问题。本次议题阿里云资深专家罗奇结合阿里巴巴10年经验沉淀,为大家详解如何借助阿里云数据管理DMS如何实现数据库敏捷开发模式。
为了提升企业数据安全及研发效率,阿里云于2015年上线数据管理DMS。借助DMS,企业可以解决数据库访问控制、数据库Devops及数据库变更稳定性。下面是DMS详细的应用场景:
权限管控
当今,企业内部使用数据库的角色众多,企业的数据库权限一般都由DBA统一分配管理。所有角色直接连接数据库进行相关操作。这种权限管控模式存在DBA单点瓶颈及安全风险的问题。
通过DMS,企业员工不再直接接触数据库账号,而是通过DMS进行权限管控联动。DMS可以将数据库操作审计到人,且可实现权限跟企业人员变动的联动,有效保障企业数据安全。
数据查询
企业内部不同角色(例研发、运维、产品等)都有访问查询线上数据库的诉求。目前,大部分企业的工作模式是:由DBA分配查询权限,业务同学直连查询线上库。这种工作模式涉及大量的前期沟通,且会面临数据泄漏、数据库稳定性及产品迭代速度不可控等风险。数据管理DMS提供了安全的数据查询能力。用户进行数据查询时,DMS会自动进行权限、访问来源、SQL性能影响等检查。当通过前置检查后,DMS会通过数据库性能实时监测、敏感数据脱敏及操作审计等策略,有效保障查询过程中的数据安全。
表结构变更
因传统表结构变更会导致锁表,从而严重影响线上业务,所以很多数据库管理员都不敢轻易对线上库进行表结构变更。
为降低企业表结构变更的成本,数据管理DMS上线了可视化表结构设计及在线变更功能。用户进行表结构变更时,DMS会自动进行变更前的风险评估,设计规范审核、索引合理性检查。当通过前置检查且完成审批后, DMS会通过在线不锁表变更、变更并发度控制及数据库性能实时监测等措施,有效规避表结构变更对数据库稳定性及线上业务的影响。
数据变更
当前,企业为了保障数据库稳定性,数据变更操作一般都需要通过DBA人工审核及执行。这种工作方式存在沟通成本高,变更效率低及变更风险大等问题。
为解决这些问题,DMS提供了数据变更功能。用户进行数据变更时, DMS会进行变更语法准确性校验、用户权限检测、敏感数据权限分析、变更数据量评估及数据库性能分析等前置检查;当前置检查通过且完成审批流程后,DMS会进行数据备份用以变更异常后的数据回滚。在变更过程中,DMS会根据数据库的性能压力自动优化变更流程。同时,当变更涉及数据量较时,DMS会将变更操作拆分成小事务,降低单次变更影响的记录数。通过丰富的前置检查、数据库备份及操作拆分等策略,DMS可有效保障数据变更过程中数据库的稳定性。
新型的数据库敏捷研发模式
除了保障数据安全及数据库稳定性外,DMS还支持新的数据库研发模式—数据库Devops。DMS为企业提供数据库研发规范、数据库版本管理及数据库发布自动化能力。基于DMS,企业可以实现全自助的数据库研发流程,完全摆脱人工交互的低效率及高风险。
混合云时代,数据库管理的挑战与实践
阿里巴巴产品专家 胡航丽
数据库管理的新挑战
随着企业业务的发展,企业使用的数据库种类越来越多,数据库部署环境越来越丰富,随之而来数据库管理成本也越来越高。当前,企业主要面临如下挑战:
1,数据库分布环境较广,原来数据库管理平台已不能覆盖各环境的数据库,管理成本高。
2,在混合云构建过程中,搬站上云面临着数据库选型、评估、测试等一系列复杂的工作。
3,同时,很多企业采用的数据库种类越来越多,数据库管理成本显著提升。
解决方案及核心技术
为降低企业数据库管理的成本,阿里云推出混合云数据库管理HDM。HDM具备如下几个核心优势:
One Console:完成多环境多种数据库的统一监控告警及运维管理。企业级服务:在实例管理维度之外,提供企业级管理特性,包括Dashboard、应用分组管理及灰度管控等。Self-Driving: HDM基于阿里巴巴丰富的DBA经验及机器学习的手段,实现数据库的自诊断、自决策、自优化、自安全,帮助企业用户诊断优化数据库性能瓶颈及安全风险。
数据库自治服务HDM
随着业务的快速迭代发展,DBA总会思考这样一个问题:如何在数据库规模越来越大的时候,还能保证数据库异常的快速诊断优化,以实现数据库平稳、安全运行。2017年阿里巴巴也在思考这个问题,那一年我们确定并开始了下一代数据库自治服务——Self-Driving Database Platform HDM的迭代演进。
目前阿里巴巴集团内部大规模上线了 HDM的自优化能力,并取得不俗的表现:
1,截止2018年,HDM自动优化了2900多万的慢SQL,慢SQL从2017年的2000万+的数量降到现在的400万+。
2,截止2018年,HDM的自动空间优化帮助集团节省了2.7PB的数据存储空间。
HDM能够支持30+告警场景的自动监测及自动修复,自动修复的成功率高达93.3%。
目前,HDM已为数万阿里云用户提供服务,为企业用户提供阿里云云数据库、ECS自建数据库、IDC自建数据库及其他云厂商数据库的统一运维管理。
目前HDM还在公测状态,欢迎大家免费试用!
RDS管控架构介绍及未来展望
阿里巴巴高级技术专家 韦仁忠
韦仁忠在这次大会为大家详细讲解了阿里云云数据库的管控架构及未来展望。
云数据库管控架构
数据库管控架构是非常庞大的系统工程,维护了数据库的全生命周期管理,整个架构中包含监控、高可用切换,异常自愈、智能告警等接近100个以上的服务组件。
数年的研发实践,我们的管控系统具备如下的核心优势:
1,低成本
低成本来源于规模化和自动化程度的提高。我们会根据库存和资源利用率分析最佳的资源分配模型,充分利用资源碎片降低成本。在硬件采购部署的过程当中,我们做到了一键化的部署,做到主机采购、部署上线、分配实例、主机故障下线的闭环。在硬件演进方面,每年都有至少一款新主力机型的迭代,同时我们也在不断的利用新硬件、新技术的红利,例如RDMA技术和25G网络等。
2,稳定
稳定性来源于完善的架构设计,及监控探测和快速恢复能力。RDS将主备部署在不同的机架,不同的交换机甚至不同的机房下,以实现不同级别的容灾能力。同时通过主备之间的同步的快速探测和切换,保障在故障情况下能够快速切换到容灾节点完成服务恢复。
3,弹性
在弹性能力上,我们在过去的一两年内通过架构的不断升级,从计算存储一体化的基础上升级到计算存储分离的架构。然后利用云原生能力,实现分钟级弹性伸缩。
4,安全
对于数据库来说,安全是企业的生命线。针对阿里云云数据库,我们覆盖了事前,事中,事后的全方位安全保护。做到事前防护,事中保护和事后审计。
未来:用新的技术拓展新的商业模式
1,云原生开放生态,探索集群管理模式,让客户感知集群的存在。
2,极致弹性:把小时级别的弹性能力扩展到分钟级别。
3,智能化驱动:这是未来核心,我们会找到更多的智能化应用场景,挖掘分析海量数据以指导管控能力。
4,全球数据库:怎么做全球访问,全球数据同步和一致性,把阿里沉淀的数据库技术产品化。
企业数据安全管理最佳实践
淘集集运维负责人 赵炎强
淘集集运维总监赵炎强在会议上分享了业务爆发式增长过程中,他们遇到的数据安全及数据库运维痛点。同时,赵炎强分享了如何借助阿里云数据管理DMS实现研发全自助及数据安全保障。
客如云智能餐饮SaaS服务中的DTS最佳实践
客如云运维总监 李浩
客如云运维总监李浩在会议中,为我们分享了客如云业务智能化转型过程中的架构痛点及最佳实践。为实现门店智能化、信息化,他们最先需要解决数百个数据库到数据仓库的数据实时集成。借助阿里云数据传输服务DTS,他们轻松实现数百个数据库到数据仓库的数据实时同步,基于数据仓库的实时分析能力,快速实现智能化业务发展。
同时,客如云借助DTS实现异地灾备及异地多活架构,实现数据库高可用,有效保障服务连续性。
VIPKID数据库跨云容灾架构深度解析
VIPKID高级数据库工程师 郝海民
VIPKID数据库专家郝海民给大家分享了VIPKID使用单家云厂商的高可用问题,及使用DTS构建AWS跟阿里云跨云厂商容灾的最佳实践。VIPKID通过跨云架构,可以在AWS出现故障时,将业务快速切换到阿里云,秒级恢复业务。同时,借助跨云容灾,可实现灰度验证及压力测试。
PPT资料下载
企业级数据库敏捷研发模式云时代,数据库容灾解决方案
文章
数据库 · 数据库管理 · 容灾 · 安全 · 数据安全/隐私保护
2019-10-16
中小型公司数据零丢失
直达最佳实践:【中小型公司数据零丢失】最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!
利用阿里云的SLB+ECS实现了负载均衡的流量转发,轻松实现高可用、高并发低成本的基础运行环境,搭配日志服务和ElasticSearch,同时满足了线上日志采集和查询的功能,方便快速定位问题,存储方面,RDS和Redis本身就是三节点的企业版,大量的减少了自建成本,降低了运维人员的工作量,使我们可以聚焦于业务领域,而不用投入大量人力和时间推进运维的工作。
场景描述
对于互联网、金融、零售等行业,对于核心交易系统数据的零丢失和高可用有很高的要求。借助阿里云RDS三节点企业版,可以快速构筑跨可用区的零丢失的数据库系统,配合灾备实例实现跨区域容灾。
解决问题
快速构建跨可用区的高可用数据库系统。
构建高可用基础上数据零丢失数据库系统。
构筑跨区域容灾的数据库系统。
产品列表
专用网络VPC
负载均衡SLB
云服务器ECS
数据库RDS MySQL
数据管理DMS
数据传输服务DTS
直达最佳实践 》》
文章
弹性计算 · 负载均衡 · 容灾 · 关系型数据库 · 数据管理 · MySQL · RDS · 运维 · 监控 · 存储
2020-02-12