云上备份

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
密钥管理服务KMS,1000个密钥,100个凭据,1个月
数据安全中心,免费版
简介: 本文由开发者社区社群直播视频整理而来,分享灾备技术实战。

讲师简介:
辛阳,灾备技术国家工程实验室常务副主任,教授。
吴结生,阿里巴巴高级研究员、阿里云智能存储负责人
李媛(紫英),阿里云混合云灾备技术专家,阿里云产品经理
张磊,阿里云智能高级技术专家

目录

一、灾备技术(灾备技术国家工程实验室常务副主任辛阳)
二、云,让灾备更简单(阿里巴巴高级研究员吴结生)
三、阿里云混合云灾备应用场景实践与案例解读(阿里云智能高级技术专家张磊)

一、灾备技术

灾备技术简介:
习主席指出:“没有信息化就没有现代化,没有网络安全就没有国家安全“。

image.png

灾备技术作为”网络安全的最后一公里“,其不仅是网络安全保障体系的重要组成部分,也是网络与系统基础设施持续有效运行的基本保障,是信息化国家战略的重要支撑。

灾备中心作为数据中心建设的基本组成部分,也是新基建工作的重要组成部分。

从全球角度看,移动互联网、云计算、大数据、下一代移动通信等信息技术的发展,使得数据量呈爆炸式增长,人工智能、深度学习、类脑计算等数据再利用技术的成熟,又使得数据价值呈指数上升。

但是火灾、地震、跑水、网络安全黑客攻击、运营误操作等天灾人祸时时刻刻威胁着数据和信息系统的稳定运行,重要数据与信息系统一旦受到破坏等同于企业和组织的"现金流"被追中断。

如今我国政府业和企业的关键业务系统已经全部信息化,保持业务运行的持续稳定既是重要的也是迫切的。

灾备行业相关法规:

image.png

 2017年6月1日《网络安全法》正式实施,三十四条规定"对重要系统和数据库进行容灾备份",从法律角度对信息系统的备份进行了强制要求。

 2019年12月1日《信息安全技术网络安全等级保护基本要求》2.0正式实施,在新的标准中,对于数据备份和灾难恢复做出更高要求:除了备份之外,还要有数据和业务系统的本地高可用和异地容灾手段。

灾备行业相关标准:

image.png

国际标准:目前,通用的暂难恢复标准采用的是1992年的SHARE78标准。

国家标准:
1.2007年中国灾难备份与恢复行业的第一个国家标准《信息系统灾难恢复规范》(GB/T20988-2007)开始正式实施。

2、2013年《公共安全业务连续性管理体系要求》国家标准(GB/T 30146-2013)正式发布。

3、2019年7月1日由全国信息安全标准化技术委员会(SAC/TC260)提出并归口的《信息安全技术灾难恢复服务能力评估准则》(GB/T 37046-2018),正式实施。

云灾备的优势:
云灾备的概念与分类:
 云灾备是指灾备业务的云端实现形式,主要包括云备份与云容灾;
 云备份与云容灾是一个有机的统一体,其中云备份是指备份技术将生产存储数据直接备份到公有云上,进而实现数据备份与恢复功能;
 云容灾则是指通过数据系统的云端迁移、高可用等方式实现业务的快速接管,保证业务连续性;
优势:

image.png

 基础设施减少,降低IT成本
 按需付费,高度机动性
 高度灵活性,快速恢复

云灾备的关键技术:
 重复数据删除技术
 数据压缩传输技术
 云存储与安全隐私技术
 虚拟化与超融合技术
 云数据库备份技术

云灾备技术未来发展方向
 微服务的支持
 NEW sql数据库支持
 多云和混合云的支持

云灾备发展中的问题:

image.png

用户角度:
1.普及云灾备与数据安全技术提升灾备安全意识;
2、云灾备人才培养需要进一步加快;
3、充分挖掘灾备技术数据的再利用价值,降低总TC0;

云厂商角度:
1、灾备技术需要不断突破,尤其对专网;
2、大力研发数据隐私保护技术;
3、进一步拓展广义"灾备技术"内涵,进一步降低云灾备成本;
4、提供可选的多种多选第三方灾备数据安全技术增值应用

监管角度:
1、云灾备标准体系进一步完善;
2、推动行业协会发挥更大的作用;
3、数据隐私性要求要有强有力的惩罚性条款配套;

云灾备-大势所趋:
“上云”和“云上”将成为常态,“云灾备”和“灾备云”大势所趋。
大力发展以云为代表的灾备基础设施是行业所需也是产业技术发展的必然趋势。

二、云,让灾备更简单

唯一不变的是变化:

image.png

依靠数据来进行决策和运营,数据的价值化会引导其极致的地位,在这些变化的后面大家可能会去思考它的驱动力是什么,这个驱动力就是所说的数字化经济的转型,是业务的数字化、在线化以及智能化。

在数字经济时代灾备是最基础的技术需求,灾备技术是保障数据安全和技术安全的基本需求。

在灾备的构成实际包含两部分:做数据保护,做业务连续性的保障。只有在两种保护下面才能做到不论发生什么故障,系统才能正常运行的。

ALL IN CLOUD,拐点已至:

image.png

云存储逐渐成为主流的寄载点,数据一般分为三种:
1.存在个人电脑,手机上的个人消费数据。
2.存在企业数据中心的数据,企业数据中心层数
3.位于规模云上的数据层数。

灾备市场洞察:

image.png

灾备市场的一个情况,2019年达成了对数据中心的这种灾备的一个调查,就是分析发现,据说到2020年的时候,30%的大型企业会使用这个快照和备份,20%的企业会使用这个语音作为备用库,另外到2022年的时候40%的企业会替换他们在2018年备份的方案。

这个调查的市场从另一个角度来看,到2021年的时候呢,使用情况会达到281,那么相比2020年或者是2022相比2021的话,往年增长大概是17%左右。

总结来说:
第一:灾备技术是保障这个信息安全和数据安全的基础技术需求。

第二:云存储灾备是大势所趋,就如辛阳教授提到的那样。

第三:灾备市场的扩大,年增长率会进一步的加速。

传统灾备解决方案面临的痛点:

image.png

围绕公共云的灾备方案解决痛点,典型的两地三中心的方案,在同城的时候做数据中心,做数据双活,在远一点的地方找一个异地容灾的数据中心,就是上述有图绘制所示。

每个数据中心上部署应用做备份,做容灾。在传统的方案上具备图中的几个痛点。

云灾备解决方案:

image.png

在云灾备的解决方案里,假如客户拥有自己的数据中心,就是左上的生产中心,那么云灾备就可以在同城就近找一个阿里云的数据中心做一个业务的迁移,而阿里云会找一个远程的异地容灾能力进行备份。

从客户角度来看可以不用去维护多个数据中心,而在公共云上容灾服务是以托管的方式进行的,可以一键部署不需要运维的。

而在云上有很多优点,可以做资源的弹性伸缩,按时恢复,随时演练,对于随时演练来说,可能拥有一套比较完备的灾备解决方案,但是由于没有很方便的方式来做演练,到真正的用起来的时候会发现业务的需求可能会导致发生很多的损失。

公共云是解决传统灾备问题的最佳方案:

image.png

基于公共云的灾备方案较传统方案,他在客户的痛点上有如下几个特点:第一个特点就是可运维性和可维护性,在传统灾备方案里面因为比较复杂,在公共云的战略方案里面就是全托管免运维服务。

在扩展性方面它就发挥出这种弹性资源的弹性伸缩这种能力,这种分配是按需计费的。

在传统解决方案里面扩展系统方面实际上压力还是比较大的,因为它要做一些扩容,扩容一般周期比较长。公共云的拓展上线的速度就是分钟左右,在工作上是分钟级的一个部署,即开即用。

那么在这个在传统的解决方案里面,若要建造这些数据中心能够进入到这个设备进入这个网络,连通性需要几个月或者以年的这种长度来建造,然后从成本的角度来看的话,在公共云上可以节省70%的资源,从复杂度或灾备演练的可操作性来看的话,这个优势也是非常大的,所以可以简单易行的做部署演练。

云灾备给企业带来的核心竞争力:

image.png

灾备是企业最重要的一环,是信息安全里面的最重要的一环,它是带给企业核心竞争力的,如上图绿色部分所示。

在云灾备的场景下,可以对数据进行很多的创新,不但可以降低IT的成本,可以复用这些数据做很多其它事情,同时也会带来业务上的创新,例如可以用云上灾备数据做些数据分析,数据发掘,可以做开发环境加速开发的效能,或是做一些只读的数据分析,可以带来更多的数据发掘。Cloud Backup也是很流行的一个方向,将备份的数据化静态数据为宝来降低IT成本,加速业务创新。

云上的灾备可以增强数据保护和业务连续性能力,因为这里面提到,常态化的演练可以对数据保护和业务能力进行及时的修改,真正到故障来的时候可以做到很好的切换和替换,可以及时的保障业务的连续性。

阿里云企业级云灾备解决方案(混合云备份服务):

image.png

总的来说云的灾备有这些核心竞争力,优势,解决传统方案的痛点。

混合云的备份产品:可以从本地的机房分配到公共云上,或者将公共云备份到另一个机房中,拥有非常丰富的场景和环境。

例如这些File/sql server等等这些应用文件块存储,可以非常便捷的进行线上至线下,或者线下至线上的一个备份。

安全:全链路的加密,数据从本地中心,从备份的网关进行加密以后传到云上,云上也是加密存储进行落盘。

可靠:在全链路进行数据校验,在阿里云上也及时进行周期性的校验,使得你的数据是不会丢失不会错的。

便宜:1.有自己创新的重删和压缩的技术,重删和压缩比高达30:1。

2.云存储本身的性价比高,这些备份放在对象存储,NAS,块存储本身它自己的性价比比较高。

阿里云混合云备份服务2019年被评为数据保护创新奖
阿里云企业级云灾备解决方案(混合云容灾服务):

image.png

全托管的一个容灾工作服务,它具备非常特别的业务能力,第一个是保障业务的连续性,它可以实现秒级的这个RPO,以及这种分钟级的这个RTO,然后也满足提供丰富场景和模式的需求,例如混合云备份中提到的一些产品,把线下的这个本地机房的物理虚拟机或者物理机可以备份容灾到这个云上来做一键演练,并且可以一键恢复。

image.png

总结来说云灾备解决方案里面有以上的优势:低成本、速度快、常态演练、多种模式、安全可靠。

云上,更安全更可靠:

image.png

在阿里云上,数据是更加安全更加可靠的。因为提供了一系列的产品和技术的解决方案来让数据在云上更加安全更加可靠。

第一个例子就是怎样让数据上来以后数据丝毫不能错。

第二,通常说到的高可靠,有12个9的这种可靠性。高可用,不管出现什么问题,随时随地需要访问这个数据,读写这些数据的情况都可以访问。

再就是保证不出错,数据存在阿里云上怎样保证不错?在上传数据的时候做端到端的数据完整性校验,在数据存储至阿里云以后,定期进行数据的扫描,保障数据不会因为磁盘的静默性的错误带来损失。

第三是通过跨多个数据中心的可用区来达到高可靠高可用。

当数据上传至阿里云,使用其跨可用区的纠删码进行校验,通过数据分片保障多个可用区的协调性与可靠性。

可以通过分片容忍数据的损坏,只要通过6个数据进行恢复,这就是容忍AZ级别的故障损坏,通过别的分片进行恢复可用。

数据保护,可靠,可控,可见:

image.png

在云上数据保护是可靠可控可见的,进行全链路的数字加密。不论在安全方面或是计算方面以及存储方面我们都进行了加密,所以这个数据是可靠的。

这个加密呢,是可控的,就是客户,他自己可以来控制它的这个密钥,比如可以用我们的这个密钥管理系统,也可以用他自己的,这个不是一个MP,他自己带来的这个密钥,因为它也可以用,我们这种就是硬件内存的原理。

就是这种硬件支撑的这种密码管理器,所以上这个密码的这个管理是可控的,然后第三个呢,是可见,就是我们对客户的数据的一些,比如说像内部的操作,一些日志也透明化给客户,然后客户自己对这些数据的读写的访问呢,客户他自己可以来打开,他的那个访问日志也可以来做可见的。

像数据的运维和因公都可以可见的拿到内部的操作日志。

最完整的存储产品和服务:

image.png

提供完整的产品和服务:右下角提供了基础的存储服务,左下角提供了混合云的存储矩阵。链接两者之间的数据迁移服务,在线迁移服务或是离线迁移(闪电立方)。

在这些服务之上呢建立了数据管理服务,例如备份服务,容灾服务,日志服务(纯托管一站式管理分析服务),智能媒体管理(集成阿里巴巴达摩院的技术分析,抽取图片数据的结构化数据)。

总结:阿里云的灾备服务它具备低成本、安全可靠、随时放心的特点。

三、阿里云混合云灾备应用场景实践与案例解读

(一)、阿里云混合云灾备服务简介

混合云备份服务(HBR)

image.png

混合云备份服务为用户自有机房和阿里云上数据提供统一备份的BRaaS(备份即服务)。

特点:
 经济:轻量级的能够直接以纯软件的方式为用户实现本地备份及云上备份的统一,它的经济成分是比较高的,最高可以节约80%TCO。

 高效:数据重删压缩比高达30:1,高效重删提升数据保存、传输效率降低带宽使用为整体效率带来非常大的好处。

 安全:数据上云实现端到端的严苛的AES-256加密技术。

 可靠:采用端到端的链路传输。加上后台的定期扫描确保一致性及数据的可靠性。

 监控:整套监控运维都在平台上,备份任务失败主动通知,直接以短信或者电话方式通知到管理员,出现问题可以第一时间查询到。

提供的服务有本地上云备份,云上数据备份(支持跨地域),VMware云上备份容灾。

HBR技术架构:

image.png

适用场景:
1.本地上云备份---本地文件、数据库、虚拟机的云备份。

2.云上数据备份---ECS主机数据、以及NAS/OSS自动备份
HBR技术架构可以是纯软件或者是软硬结合的技术架构,它可以从源端通过重删,压缩,加密之后在上到云上去。像NAS/OSS可以通过云原生的方式,无需安装,无需部署其他的云资源的方式备份到云备份库,备份到云备份库不需要做任何管理,也不需要额外购买ECS等全自动备份策略,可以按需扩容。

HBR高效重删技术-精准识别重复数据:

image.png

拿手的高效重删技术,通过变长重删,两个数据源精准识别数据重复部分:当你在两个类似内容文件,不同版本可以精确实现重删。

混合云容灾服务(HBR):
为阿里云企业级本地应用,云上应用提供高性能整机容灾服务,目标性能达到秒级RPO,分钟级RTO。优势:一体机部署、实时复制,无中断演练、一键切换。

image.png

适用场景:
1.本地应用云容灾---官网、OA、核心业务容灾上云。

2.云上跨地域容灾---阿里云上部署的CRM.OA等应用跨地域容灾。

HDR-持续数据复制(CDR)技术:

image.png

1、HDR基于CDR,是个磁盘级IO复制,一旦落盘就会从内存上拷贝到云上。

2、数据落到云盘上会基于数据的云盘及云盘快照保护可以短时间的把整机的服务拉起来向外提供服务了。

3、在实现高性能的前提之下还确保资源的精致利用,云上的计算资源消耗仅仅占云下的15%。

(二)、云灾备典型案例解读

典型案例-影视制作公司海量数据日常备份

image.png

有150TB的编辑数据,每天都有变化,需要每天都要备份一下,数据放在大规模NAS集群上,在用户的本地机房虚拟机安装HDR备份软件,分任务对150TB数据扫描备份,通过高效的重删压缩技术,在2GB专线带宽的情况下将备份窗口控制在8小时内,将大量数据集中到同一个备份库,当大量数据集中到同一个备份库之后它整体的重删压缩比会更高。

所以在这样一个场景中,用阿里云单个备份库就实现了150TB的数据备份。

同时云上资源非常有弹性的,可能第二天有项目上的变化存在数据的增长和变化,那么在云上按需的弹性伸缩就是非常好的优势。

只需配置好文件夹就会基于云上数据的动态进行调整,这样就会按使用量付费,而不是按照最大的量规划运算。

典型案例-地产公司全站统一备份

image.png

在云下,它自己就自建了两个数据中心,同时他也一部分业务跑在云上的。

数据中心混合云架构是现在企业的IT系统发展的一个非常典型的一个发展方向,那么其实已经有部分业务上云上,同时又有一部分业务是在云下,其实那个设计到混合云架构,用户希望看到的是什么?

是一个统一的,完全统一的,有一个管理员在一个窗口就能够管理起来的一个灾备系统,那么这次如何来实现呢?就用阿里云的这个备份服务来实现了,我们呢,最后复制的特点就是我们可以软硬件部署这样的话呢,就是在用户本地有灾备一体机,在云上我们有软件版的灾备ECS。

这样的话,就是整个服务在云上,云下完全打通,数据双向复制,也就是说本地的数据先在本地备份,在云上备份,这样的话呢,就是有一个本地备份加异地备份叫双备份的这么一个机制来给用户的数据上个双保险。

同时呢,云上的数据也能够复制到远程的一体机上,那么,这样可以就实现了一个完全符合等保规定的把一个备份突破,同时整套备份。

它支持Oracle,SAP文件,还有其他类型的应用,另外还有大数据的应用。

它的管理入口是在云上的,那么在云上就可以方便的,就是在任何时间,任何地点都可以方便地管理这套备份系统。

典型案例-石化公司核心系统云容灾

image.png

希望实现低成本有足够物理距离的容灾系统,系统大概有十几台服务器,希望实现分钟级的RPO,确保分钟级的RPO情况之下同时也能兼顾到整体的成本,那么混合云容灾服务给到的方案是给用户本地上海部署一个灾备一体机,负责用户生产系统的数据聚合压缩加密复制到阿里云上,利用阿里云的HDR的CDR持续数据复制技术,建立一个一对一的数据盘的复制,云上只需非常低的内存,只要准备好一对一的云盘,那么云下的服务器上的盘上数据都可以实时复制到阿里云上。同时这些赋予ECS(承载ECS)云盘规格都很低,平常都需要运行15%CPU内存的ECS就可以了,当用户只需要容灾演练或故障切换的时候才需要把这些真正的ECS拉起来,也就是说云上的按需拉起的ECS的规格是可以更大的是用户可以按需指定的,那么这些ECS在容灾演练的时候可能只需要运行1-2个小时来验证数据的正确性。

这些ECS是按需使用费用是非常低的,每天只有容灾演练的几天左右。

相关实践学习
2分钟自动化部署人生模拟器
本场景将带你借助云效流水线Flow实现人生模拟器小游戏的自动化部署
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
14天前
|
存储 监控 容灾
容灾备份的具体操作步骤
【10月更文挑战第28天】容灾备份是指为了防止因自然灾害、人为破坏、系统故障等原因导致数据丢失或业务中断,而提前采取的一系列数据备份和恢复措施。
|
弹性计算 运维 Kubernetes
阿里云上的几种数据备份方式
提供OSS、RDS、ECS、ACK、云原生velero备份方案。
9110 2
阿里云上的几种数据备份方式
|
存储 运维 监控
使用 NineData 快速构建企业容灾备份
使用 NineData 快速构建企业容灾备份。另外,NineData 也突破传统技术方案,推出实时日志备份:基于增量日志监听采集技术,实时获取并备份数据库中的变化数据,实现秒级 RPO 的备份能力,真正做到数据零丢失。有效保护企业的核心数据,构筑企业数据安全的最后一道防线。
310 1
使用 NineData 快速构建企业容灾备份
|
存储 弹性计算 运维
从备份升级到容灾,利用阿里云就可以做到的灾备方案
从备份升级到容灾,利用阿里云就可以做到的灾备方案
从备份升级到容灾,利用阿里云就可以做到的灾备方案
|
SQL 弹性计算 运维
基于HBR的云上统一备份
混合云备份(简称HBR)是一种简单易用且高性价比的在线备份服务,可以为阿里云ECS,NAS,OSS以及自建机房内的各类数据提供安全,高效的保护。
663 0
基于HBR的云上统一备份
|
弹性计算 运维 安全
阿里云DBS助力启博云保障云上云下数据库备份安全
杭州启博(简称启博云)成立于2008年,是中国移动分销解决方案提供商及企业私域生态服务商,为暾澜资本战略投资企业。多年来,启博秉承以“服务商家运营”为核心、以帮助客户拓展更多“销售渠道和提高运营效率”为主线、 以SaaS云平台为主要服务模式的运营理念,专注于电商软件的研发与创新。 经过10年的积累,启博软件拥有了一支经验丰富的专业团队,以前瞻性的创新思维,致力于为每位客户提供行业领先的电商系统和咨询服务。
1294 0
阿里云DBS助力启博云保障云上云下数据库备份安全
|
存储 运维 监控
技本功|数据安全之混合云环境数据库备份容灾实现
近些年,数据安全事件频发。作为企业的核心资产,数据的外泄、破坏都会导致不可挽回的经济损失和核心竞争力缺失。规范的制度建设、权限管理和变更流程是保证数据安全的重要落地措施。袋鼠云DBA团队承接多个客户的容灾架构设计需求,制定可靠、有效的容灾架构方案并推动落地。备份重于一切。我们会优先考虑数据库备份集的容灾设计:两地三中心VS混合云、权限分配&监控告警&恢复演练。
585 0
技本功|数据安全之混合云环境数据库备份容灾实现
|
存储 弹性计算 运维
云上统一数据备份-混合云备份服务
本实战介绍了面向云的统一数据备份 – HBR对ECS,NAS,OSS以及云下数据的企业级数据保护方法以及基于HBR的云上数据统一备份实践。
726 0
云上统一数据备份-混合云备份服务
|
存储 缓存 网络协议
基于云存储网关的Veeam备份归档上云方案
传统备份厂商的异地备份方案是将数据备份至异地机房来保护数据。公共云的出现改变了异地备份的方案和架构。用户在面对公共云和传统备份架构时,该如何选择呢?本文结合Veeam备份软件的使用,一方面来阐述Veeam是如何与云存储网关产品结合将数据备份上云,另一方面也试着给出一些看法和建议。
2050 0
|
安全 文件存储 虚拟化
混合云HBR云上备份VMware虚拟机
本文主要介绍一种简单且具备成本效益的混合云下的备份解决方案,可以为任何位置的客户虚拟机和数据提供强有力的保护,包括企业数据中心、远程和分支机构以及云上资源。
混合云HBR云上备份VMware虚拟机