存储极客 | 多方位全面保护数据库-阿里云开发者社区

开发者社区> boxti> 正文

存储极客 | 多方位全面保护数据库

简介:
+关注继续查看
  “存储极客”栏目再次与大家见面啦!在这里,只有一位大咖名叫“存储”,它的粉丝我们称为“存储极客”!存储极客这是一群存储偏执狂

为存储而生,跟存储死磕

各具独家秘笈

有观点,有碰撞,有干货

从今日起

做客存储极客栏目

与你分享存储里的那点事儿


前不久看了朋友发的一条微博,去听了一场公开课,加深了我对数据库保护方面的理解,主要是结合使用多种措施的意义。

尽管我从事数据保护和灾备行业已经有几个年头,但更多时候是在向用户解释什么时候适合用备份?什么时候适合CDP(持续数据保护)?它们的区别,RPO和RTO等等。

简注:RPO——恢复点目标,即到故障发生前的数据丢失量RTO——恢复时间目标,即恢复故障所用的时间

拿这两个指标一衡量,就可以看出不同类型数据库保护/备份技术的差别,类似的比较网上有许多,在此我只是以Oracle为代表简单总结一下,如有不准确之处还请大家指正。

1.RMAN/备份软件简化跨平台数据保护为什么把Oracle RMAN和备份软件归为一类,因为后者目前主要的机制也是调用RMAN,或者导入/导出。作为一种定时的数据库物理备份方式,基于RMAN的备份可以保证恢复的有效性,以磁盘、磁带介质为目标,做到完全、增量和差异备份,可以说是DBA和备份管理员所必须掌握的。

不足:首先是备份间隔——定时备份通常不适合在业务繁忙时进行,所以频率不能太高,RPO相对较大;而且在有些数据量很大的用户那里,每天一次夜间备份窗口也不够用了,可能要改为每周一次;出现故障时,需要一个恢复的过程,数据才能可用,所以RTO也不算短;RMAN要求数据库必须打开归档日志。

如今随着两地三中心和双活的流行,人们对RPO和RTO的要求不断提高,备份看上去有些退居二线。但实际上它具有长期保留等方面的价值,还是很重要的一道保障。

代表产品:NetBackup、CommVault、戴尔NetVault(原Bakbone)等。

这些软件都能支持Windows、Linux和Unix多种平台,以及Oracle RAC集群。其中NetVault的一大特点是简捷易用,通过图形界面可以绕开RMAN命令的复杂性。


RMAN备份Oracle数据库到重复数据删除设备、远程复制容灾示意

1.5重复数据删除设备这里我加了一个特殊的序号,该产品分类实际上要配合备份软件或者RMAN来使用,目的是通过重复数据删除等优化技术,节约存储空间并加快备份的速度。站在数据库保护的角度,不应完全算做一个单独的技术路线。

代表产品:EMC DataDomain、戴尔PowerVault DR系列等。

2.数据库物理复制高可用的低成本容灾如今DataGuard(DG)已经是Oracle一个免费的组件,它通过将redo log同步/异步传送到本地或者远程的数据库服务器,再将对数据块的操作进行到备库。在11g之后的版本中,Active DataGuard(ADG)支持只读方式挂载的活动备库,不是完全的双活。

注:ADG是需要额外收费的,DG不单独收费。

同步方式的DataGuard基本上可以做到RPO=0,并且支持通过脚本来实现自动故障切换,RPO最短可达分钟级水平,不过生产环境中通常还是手动切换,毕竟一旦误切也挺麻烦的。


不足:由于传送的是全量日志,对网络带宽和延时的要求较高。另外常用的DataGuard物理备库,偶尔也会遇到由于Oracle某种bug或者其他原因,导致block逻辑损坏,而且这个损坏会传输到备库,导致备库也异常。

DataGuard比较适合低成本容灾,非ADG不需要另外购买License,但也需要有人来监控、维护库之间的复制状态,或者说对DBA水平要求高一些,还是会产生一定成本。

注:备份可以理解为将某个时间点的数据状态导出单独保存;而数据库软件复制,只是建立了备库,如果想回滚到历史状态都需要用数据库自身的日志来实现。

3.数据库逻辑复制随时可用的灵活容灾代表产品:Oracle GoldenGate、戴尔SharePlex(原Quest)等。

它们的共同特点,都是从Oracle日志中解析出逻辑SQL语句,发送到备库,并将这些SQL重新执行一遍,以达到数据复制的效果。由于解析出来特定格式的文件,本身不需要传递所有日志,这类软件在传输的过程中可能还增加了压缩功能,所以逻辑复制通过网络传送的数据量显著减少,对带宽要求降低,RTO最短可达1秒。

这类复制软件应用相当灵活,支持异构跨平台(比如在小型机和x86服务器之间),甚至跨不同数据库复制。数据库逻辑复制应用的场景包括数据迁移、多库合并、容灾等方面,能够做到双活双写实时可用,只是备库做不到与主库之间的严格同步一致(会有一点滞后)。因此不需要数据库的切换,只要做好站点的仲裁并在上层应用切换即可。


数据库逻辑复制流程示意

不足:正是因为灵活,逻辑复制有时没有redo log的物理复制来的可靠,因此有的DBA朋友提出它并不适合所有的容灾需求。另外,复制的对象是表,因此要求DBA必须参照主库提前规划好备库,增加了日常维护的工作量。还有就是价格,这类软件通常的销售方式是按照参与复制的节点数/CPU插槽来计算,所以购买成本不菲。

曾有业内资深人士表示,“SharePlex在国内的支持响应速度比较快,以前他们在某个用户的环境中遇到读归档日志慢的情况,原厂开发人员1天内就解决了这个bug。相比之下,有的厂商在国内的服务主要是第三方来做,原厂工程师来了有时解决不了问题”。

4.存储阵列的快照和复制改善的存储经济性磁盘/闪存阵列提供的本地、远程复制功能,被称为底层存储(数据块级)的容灾保护。在经过LUN的初始同步之后,只需要继续复制数据增量/变化量即可。该技术配置简单,以逻辑盘为单位,而无需关注到具体的应用数据内容。

存储级复制,容灾端阵列上的LUN可以随时挂载到备用数据库服务器使用,根据操作的自动化程度,RTO可达分钟级。同步复制(镜像)的RPO接近零,但需要裸光纤,并且一般距离不超过50公里;异步复制RPO通常不短于5分钟。


远程复制

不足:阵列复制只负责维护源端存储和目标端存储之间的一致性,而上面数据的有效性(比如数据库是否能正常打开)则不负责。因此该技术许多时候要结合快照一同使用。

快照是一种逻辑数据保护方式,它相当于在一个LUN上增加了时间点数据状态回滚/挂载的功能。为了实现应用数据的有效一致性,有些高级快照功能支持主机端代理程序,比如在快照之前通知Oracle将内存中脏数据写盘,短时暂停I/O等快照完成再恢复。此外,对于应用数据在多个LUN之间的同步一致,比如Oracle数据文件、日志文件等放在不同磁盘的情况,快照还需要支持一致性组功能,以保证它们在同一时间点创建快照。

快照能在很短的时间内回滚到历史点,或者直接生成即时数据回放(或称直接挂载、瘦克隆),需要人工干预但RTO也较短。带有快照的复制,能够更好地与应用结合。


高级快照功能

不足:不同阵列的快照技术水平,决定了对性能影响和磁盘空间的占用也不相同,单一LUN/整个系统的快照数量通常也会做出限制。因此默认就打开或者推荐用户使用快照的存储厂商并不多,比如戴尔SC(Compellent)和NetApp FAS系列。在存储高压力写入的情况下,即使有专门的一致性保证机制,还是有一定几率出现快照数据不可用的情况,这有点类似于主机掉电对数据库的影响。

戴尔SC系列得益于原生的底层存储空间虚拟化管理,在单一存储系统上支持高达16000个Replay快照,可短至1分钟间隔达到准CDP的效果。并独创了根据策略将快照数据转换为不同RAID级别(如RAID 10 to RAID 5/6)来节省空间,或者迁移到廉价存储层来降低成本。

对于快照、异步复制和同步复制功能,有些阵列品牌需要购买License,有的则包含在基础功能中。

小结戴尔一站式解决方案 构建多维度屏障

正如那位数据库专家朋友有感而发:“Oracle的备份、容灾不能全部依赖物理DataGuard容灾。因此在条件允许情况下,建议增加物理备份和逻辑容灾。”这里的物理备份就是我们介绍的第1类——RMAN/备份软件;逻辑容灾则是第3类——数据库逻辑复制软件;我认为第4类——存储阵列的快照和复制也可以作为一种补充。这三类产品戴尔全部都有,而且在技术上还都是属于广受好评的,能够为用户提供一站式解决方案。

至于同时应用多重数据保护技术是否复杂?“取决客户对于数据安全的重视程度”。本文我们只是拿Oracle来举例,对于其它类型数据库也可以作为一个参考。



作者:佚名
来源:51CTO

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
11649 0
IDA反汇编/反编译静态分析iOS模拟器程序(二)加载文件与保存数据库
启动windows版的IDA,在Quickstart界面点击New,弹出一个对话框选择文件。也可以按取消后再把文件拖进IDA。由于Mac版的IDA没注册,没有save功能,所以只好先把Mac上的东西拷贝到windows再打开了。
1056 0
云存储要发展安全性和可用性问题需解决
本文讲的是云存储要发展安全性和可用性问题需解决,信贷紧缩致使企业不得不再次盘点评估IT支出,而肆虐全球的金融危机下数据量的增长并未减弱,有调查显示大多数英国的企业每两三年都会见证数据的双倍增长。IT经理正面临着在不断削减相关开支的前提下,存储更多主要数据资料、数据备份以及还原服务的艰巨考验。
1031 0
JindoFS: 云上大数据的高性能数据湖存储方案
JindoFS 是EMR打造的高性能大数据存储服务,可以为不同的计算引擎提供不同的存储服务,可以根据应用的场景来选择不同的存储模式。在2019杭州云栖大会大数据生态专场,阿里巴巴计算平台事业部EMR团队技术专家殳鑫鑫和Intel大数据团队软件开发经理徐铖共同向大家分享了云上大数据的高性能数据湖存储方案JindoFS的产生背景、架构以及与Intel DCPM的性能评测。
14563 0
云存储进入消费市场
本文讲的是云存储进入消费市场,研究癌症的专业学者John Chunta花了4年半的时间来做博士论文,但是就在论文预计将要完成前两周的时候,他的笔记本电脑硬盘崩溃了,丢失了200页的文件。
1187 0
保存一下dedecms数据库表和字段说明,方便日后查询
玩dedecms有一段时间,对它的字段不是很了解,在此做个记录,方便日后查询 dede数据库字段说明: dede_addonarticle 附加文章表   aid int(11) 文章编号 typeid int(11) 分类栏目编号 body ...
1142 0
+关注
boxti
12535
10037
文章
1327
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载