守护你的数据库:数据库容灾方案介绍(上)——阿里云 MVP张新铭-阿里云开发者社区

开发者社区> 云起君> 正文

守护你的数据库:数据库容灾方案介绍(上)——阿里云 MVP张新铭

简介: 近期微盟数据库被恶意删除的事件,引起了大家对企业数据安全的关注。企业数据库安全面临哪些挑战?我们遇到过哪些数据安全事故?如何保障企业最重要的数据资产不受损害?袋鼠云的数据库架构师张新铭为大家做了数据库容灾相关知识的分享。
+关注继续查看

【MVP时间】线上峰会,一键收藏

《数据库容灾方案介绍》精彩直播

以下是精彩视频内容整理,分享内容分为以下四个方面:
1.数据库容灾的基本原理和方法;
2.主流数据库容灾技术;
3.数据库容灾体系中的陷阱;
4.数据库容灾体系建设。

一、数据库容灾的基本原理和方法

二月底互联网界发生了一次比较严重的删库事件(微盟删库事件),使得300万注册用户、7万付费用户受到影响,市场损失达到了15个亿,涉及到了几百T的数据,由于数据被破坏掉,无法进行常规恢复,数据的恢复周期长达7天,对涉事公司的影响非常大。那么,我们怎么去做好防范工作,避免类似的事情发生或者及时做出应对,使得损失最小化呢?

在做出应对之前,我们要了解数据安全风险都有哪些类型。常见的数据安全风险主要包括硬件故障、软件缺陷、人为问题和环境问题。

  • 硬件故障:硬盘损坏、电脑硬件损坏、交换机故障等;
  • 软件故障:软件Bug、数据库Bug、业务层代码Bug、黑客攻击等;
  • 人为问题:运维或研发等人员误操作,或者恶意破坏;
  • 环境问题:自然灾害、人祸等;

面对这么多潜在的数据安全风险之后,我们怎么去防范呢?常用的措施主要包括以下。

(1)数据库备份

数据库备份是最常用的数据库容灾方法。在备份之前,我们一般会对数据做一些冗余。

数据库有一个很明显的特点就是时时刻刻都有数据在写入,因此在备份数据库的过程中也会有数据写入,造成一些数据不会被备份,就是说我们只是备份了某一个时刻的数据库状态,好像给数据库拍了一个照片,这就是快照备份;因为数据库在变化的时候会不断地产生日志,如果我们对所有的日志进行备份,就可以把数据库的每一次变化都备份下来,不会有数据遗漏,好像给数据库拍了一个视频,在需要的时候我们可以将恢复到任意一个时刻,这种备份方法是日志备份。基于快照备份和日志备份,我们就可以做到任一时间点的数据恢复。

(2)数据库复制

备份就相当于一个静态文件,如果数据库出现故障我们要进行数据的恢复,一般这个时间会比较长,可能是几小时甚至几天的时间才能完成这个工作,而业务系统一般难以承受如此长的故障时间,因此我们可以采用数据库复制的方法。数据库的复制就是我们在数据库建设的时候多个实例,任何操作都会在主实例和备实例上同时进行,这样同一份数据就有两份甚至多份同时存在,那么在主实例出现某些问题,比如宕机、OS重启等,我们可以快速的切换到备实例上,就不会对业务造成影响,达到数据库快速恢复的效果。

(3)计算资源和存储资源容灾

在做系统架构的时候我们还会用到集群的方式,在这种方式中我们的计算资源和存储资源是分离的,那么我们可以在计算资源层面和存储层面分别做相应的容灾技术。比如在存储层面在多份存储、做存储的镜像等;计算层面可以单独做成一个集群,当其中一台服务器出现故障的时候,任何其他一台服务器都可以进行业务接管,来保障业务系统的高可用。

上面介绍的三种方案其实主要是备份和备库,这里我们需要注意的是两者之间是有区别的,并不是做了其中之一就行了,两者在功能上还是有些差异的。备库就好像一个替身,在主库出现问题的时候可以快速切换,但有的问题并不能通过备库来解决,比如主库上发生了误操作把数据删除了,这个操作会同步到和备库,导致备库的数据也被删除;备份是就是对同一数据库数据的多次备份,在出现问题的时候可以用来恢复数据,就好像时间旅行,可以回到过去,取回历史上存在的数据。但是数据恢复的周期可能会比较长。备份和备库两者互相补充,是数据库容灾最基本的两种手段。这里面有如下几个概念在设置容灾方案的时候需要注意:

  • RPO:Recovery Point Object,指的是当数据库在某一个时间点发生故障以后所能恢复的数据与故障点之间的数据差异,用来衡量数据的丢失程度。
  • RTO:Recovery Time Object,指的是数据库出现故障之后恢复所需要的时间,用来衡量业务恢复时间。
  • 业务可用性:指的是一年中业务的持续时间比例,一般用几个9来衡量,比如业务可用性达到4个9,就是可用率99.99%,那么一年中业务的停机时间就是52分钟左右。
  • 数据可用性:指的是数据库中数据的可用比例,一般是要求100%的可用性,因为部分数据的不可用可能对业务造成严重的后果。

二、主流数据库容灾技术

(一)Oracle高可用方案(RAC,DataGuard)

Oracle是一个使用非常广泛的商业数据库,它的高可用方案如下图所示,主要是通过集群加上备库的方式,同时还要有相应的存储资源的备份。需要注意的是在其方案中备库与主库一般是异地存储的,这样子在出现数据库安全风险的时候能将损失降低到最小。

image.png

(二)MySQL高可用方案(Replication,Cluster)

image.png
MySQL也是一种使用非常广泛的数据库,其容灾技术的高可用方案一般通过复制和集群两种方式,如上图所示。其中MYSQL的复制指的是传统的复制,包括异步复制和半同步复制两种,就是相同的操作会在主库和备库上都进行,当主库主线问题的时候可以切换到备库上,但是在异步复制的情况下数据可能会存在延迟。5.7版本之后,我们可以采用集群方式(InnoDB Cluster),其底层是组复制的形式,其数据复制了多份实例。

(三)SQL Server高可用方案(Mirror,Cluster)

SQL Server是windows下面经常用到的一种数据库,其容灾技术的高可用方案主要有镜像(Mirror)和集群(WSFC)两种方式。镜像的模式与备库方式类似,就是数据存储两份,主库上面的数据会同时传输到镜像实例上。主实例发生异常时,可以启用镜像。SQL Server的集群方式指的是WSFC方式,是windows下的一种集群,在这种模式下它的数据只有一份,存储在共享存储上面,但是服务器是主、备模式的集群,主服务器出现故障的时候可以切换到备份服务器上,不会影响业务的运行,如下图所示。

image.png

在SQL Server 2012之后有了一种更加先进的集群方式——AlwaysOn。AlwaysOn实际上是镜像加上集群两种方式集合起来的一种数据库容灾技术,首先它的数据会存储多份,主库的数据会通过日志传输到多个备库上,多个数据库组成一个可用性组;其次,多个数据库会承担不同的角色,比如主数据库承担读写的角色,备库在出现问题的时候再进行切换,某些备库还可以设置只读属性,来承担业务扩展的角色;在服务器层面,其多个节点组成一个windows集群,多节点之间可以进行容灾的切换,如下图所示。

image.png

查看《数据库容灾方案介绍(下)》

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Gitlab从删库到恢复 - 数据库备份\恢复\容灾\HA的靠谱姿势
标签 PostgreSQL , 节假日巡检 , 监控 , 闪回 , flash back query , trigger , event trigger , 回收站 , recycle bin , pgtranshcan , hook , _PG_init , 事件触发器 , 审计 , 跟踪 , 逻辑复制 , DDL逻辑复制 , UDR , BDR , 数据库安全 背景 如果你是身处数据库行业的朋友,最近可能被朋友圈的各种关于 "炉石数据被删" 、 "mongoDB遭黑客勒索" 的事件刷屏。
15743 0
【New Feature】阿里云OSS同城区域冗余存储重磅发布,提供云上同城容灾服务能力!
近日,阿里云在杭州云栖大会发布了OSS“同城区域冗余”存储产品。可满足企业级客户对于”发生机房级灾难事件时数据不丢失,业务不中断“的需求。相比于建设线下同城容灾机房,OSS“同城区域冗余”存储,可以极大的降低企业的建设成本。
2453 0
数据库的自我修炼——阿里云MongoDB备份恢复功能说明和原理介绍
2018年1月17-25日,NoSQL数据库直播大讲堂峰会顺利结束,阿里云数据库团队为大家带来了一场别开生面的知识盛会,给大家带来深度的数据库技术及产品分享。本文是《阿里云MongoDB备份恢复功能说明和原理介绍》演讲整理,主要讲解了阿里云在MongoDB备份恢复上采用的技术原理和优势。
10106 0
【线下首场 免费报名】阿里云-2020云内存数据库峰会 年度开发者盛宴!
为了让更多开发者解决应用面对的困惑,感受云内存数据库的使用之美。阿里云首场线下云内存数据库峰会即将亮相北京,本届峰会以“实时在线、数智未来”为主题,聚焦云原生内存数据库的技术与理论,凝聚行业界、学术界领袖大咖,知名企业技术leader和开发者,资深媒体等共议云原生内存数据库的趋势发展和实践,并且还将震撼发布云内存数据库白皮书,与广大业内人士共同定义未来5年的云内存数据库的发展新思路。
6498 0
云原生数据仓库AnalyticDB MySQL 助力蜂创提升营销SAAS平台和CDP产品性能
阿里云AnalyticDB满足了蜂创营销SAAS平台海量数据实时分析秒级返回的诉求,弹性模式的冷热存储分离能力帮助他们节约了很大的数据存储成本。
158 0
DTCC 2019 | 云时代数据库迁移 & 容灾技术新进展与应用
摘要:迁移&容灾是数据库的强需求,传统的迁移&容灾技术已经发展多年,随着云时代的来临,在迁移&容灾的使用场景、网络、技术都有很大的变化,如何在云时代下更简单的实现数据库的迁移&容灾,云厂商如何通过新的技术实现弯道超车,本文中阿里云智能数据库产品事业部高级技术专家付大超就为大家分享了阿里云在此领域的技术新进展和应用。
3193 0
每秒8.8亿次请求!让数据存得起,看得见 - 云原生多模数据库Lindorm 2020双十一总结
2020双十一顺利落下帷幕,这也是云原生多模数据库Lindorm参与的第九个双十一,其作为阿里经济体的核心数据库产品之一,全面支撑了淘宝、天猫、蚂蚁、菜鸟、阿里妈妈、高德、优酷、钉钉、大文娱等经济体业务的结构化、半结构化数据存储需求,今年更是为申通这样的公有云用户保驾护航。
2581 0
坚信大数据的变革力量——对话阿里云 MVP田亮
我和田亮的交流耗时较久,甚至用上了他出差的所有碎片时间,而他的回答始终谨慎、认真、高效。历任搜狐、阿里巴巴、新浪微博,10年如一日始终深耕大数据领域,阿里云 MVP田亮能在百舸争流中成为大数据和人工智能领域的佼佼者,似乎也就不奇怪了。
1391 0
技本功|数据安全之IDC数据容灾设计实现
近年来,数据安全问题日渐受到大家的关注,对于任何一家企业,数据无疑是最重要的资产之一。提到数据容灾,大家可能会想到备库和备份的概念,那么我们先来谈谈**备库与备份**的区别。
98 0
+关注
云起君
行到水穷处,坐看云起时!
182
文章
31
问答
来源圈子
更多
阿里云最有价值专家,简称 MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载