企业数据创新之旅-数据上云与备份容灾

本文涉及的产品
密钥管理服务KMS,1000个密钥,100个凭据,1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 高级技术专家张磊在2018云栖大会·上海峰会中做了题为《企业数据创新之旅 - 数据上云与备份容灾》的分享,就企业灾备的挑战、混合云备份与容灾最新发展、混合云存储数据保护全景等方面的内容做了深入的分析。

摘要:高级技术专家张磊在2018云栖大会·上海峰会中做了题为《企业数据创新之旅 - 数据上云与备份容灾》的分享,就企业灾备的挑战、混合云备份与容灾最新发展、混合云存储数据保护全景等方面的内容做了深入的分析。

企业灾备的挑战

0adfb016e52cc2bb06039dff8af3b161c0aa7cd3 

在传统的容灾和备份体系中,当企业要建立一个完善的、兼有对应用全面覆盖的,并且又有异地备份能力,能突破单机房严重故障的风险的容灾体系的时候,成本是非常高昂的。首先,灾备机房需要建设起来,另外也需要一条专线,这需要很高的成本。灾备的软件、硬件、运维成本是非常高的。即便这些东西建设起来,后面实施的时候,比如针对一个应用建设一个完备的灾备体系,从规划到落地也是非常困难的。另外软件的安装、硬件的配置、到系统运维,都需要实时的监控,这其中的成本和复杂度是非常高的。

混合云备份与容灾

混合云容灾服务

d1e7aaba2a5dbf89af6bcad60c08e0755658d258 

企业的数据中心可能是个虚拟化的环境,也有可能是基于物理机的环境。针对不同的环境,阿里云在混合云容灾服务推出了混合云灾备一体机,这是一个软硬一体的设备,它自带了本地存储空间,可以针对虚拟机或者物理机的数据,包括数据库、文件系统等应用的备份。在这台一体机部署到数据中心之后,可以在一体机上集中管控所有的备份的客户端,对数据进行持续的复制和备份。当数据发送到一体机之后,它可以做数据的加密、重删、压缩,所以它本地的存储效率非常高,同时,它每一个备份都可以独立的配置策略。客户有了这个一体机,一方面基于策略,可以把应用服务器上的数据备份到一体机,同时有可以基于策略,把这些数据复制到阿里云的容灾库,这样的话混合云容灾一体机就实现了本地加异地的双数据保护。同时对整机的镜像进行了数据复制,那么在阿里云云灾备库里面就包含了整机的数据,当需要做容灾的时候,在阿里云启动一个容灾恢复网关,就可以把整机的镜像以ECS的形式启动,这样就保障了业务的持续运行。混合云灾备一体机成本比传统容灾低80%,指标上达到了 GB/T 20988-2007 5级灾难恢复能力,同时还提供本地+异地备份、业务持续性等一体解决。有这个一体机之后并不需要另外在准备存储节点,可以完全解决本地+异地灾备的问题。

a063b2c3304cbe225aa8cb1c76bfce6b769fa287 

混合云灾备一体机支持的平台包括物理机、虚拟机和主流操作系统。经济效率上重删压缩比极高,非常节省空间和带宽。一体集成能力包括本地备份、备份上云、云上恢复一体集成。在安全性和稳定性方面有AES256安全保障、一体机、灾备库稳定可靠。

9ed6191f788a7c7f125e3df386a12d595ceccd50 

2018年阿里云发布了一个新产品:HDR For Big Data(大数据混合云容灾服务),HDR For Big Data是国内首个Hadoop双活容灾方案,阿里云会在这个月邀请大家内测。HDR For Big Data主要针对大数据的容灾服务,如果云下有一个Hadoop集群,那么在云下部署HDR-H服务器容灾节点,然后在云上也部署一个一样的HDR-H服务器容灾节点,这样云下所有的文件会同步到阿里云上,并且是没有宕机时间,同时所有文件的修改都会同步到云上服务器。使用的第一个场景是Hadoop的容灾,因为Hadoop数据在本地就有副本,一般不会去备份Hadoop数据。但是对于宕机时间很敏感的应用,有的时候Hadoop集群宕机之后导致分析任务无法持续,像这种情况下做Hadoop备份是非常重要的。而且单机房的情况下面对自然灾害,单机房出现重大崩溃的话,数据都会丢失。使用HDR For Big Data,那么Hadoop数据在云上云下是集群双活,不但云上云下各有一份数据,数据进行了保护,而且在计算上,不做任何浪费,在云上和云下可以运行不同的应用。

混合云备份服务

c2eacfb60c8f5cadd77c1216aaa82febcdd7525f 

混合云备份服务首先在云端这一层,全面支持虚拟机、数据库、和文件目录,阿里云会在云端有一个客户端,由这个客户端对应用和数据进行云端重删。然后把数据发送到阿里云备份库,阿里云备份库再提供加密、压缩、去重、整体监控等能力,并且可以按照自定义的策略自动的做备份。另外,阿里云还建立了搜索、API自动化、云端集中监控、恢复等能力,确保云上云下数据源一致。

cca2bd3b57595856f0d8c963a524be872d202425 

从客户的视角来看混合云备份服务的架构,实际上是非常简单易懂的。混合云备份服务分两条链路,第一是基于AES256加密,变长重删和压缩技术,对指定的文件系统和虚拟机进行快速的复制操作,发送到云备份池。另一条控制链路把配置、监控和告警信息发送到阿里云上,不管有多少个备份的客户端,在云上都提供了一个统一的监控界面,可以轻松的管理这些备份任务。整个混合云备份服务是非常简单应用的,不用专业的备份管理员,只需普通的应用管理员也可以在五分钟之内管理备份任务。

3b8b5a84b556c7e8f55b1babd232de0a66c5e29e 

另外6月8日开始,阿里云混合云备份服务开始公测vSphere虚机备份。传统的vSphere虚机备份非常复杂、耗时。阿里云公测的vSphere虚机备份的使用非常简单,你只需要知道你的vSphere版本,然后下载阿里云提供的VAPP,部署到vSphere环境里面,就可以开始做备份服务。vSphere备份也是基于AES256加密,变长重删和压缩技术,可以非常快速的帮助vSphere备份。

目前混合云备份服务的重删比达到了1:30,高效变长重删,极大节约空间公网轻松完成混合云备份,另外混合云备份服务降低了70%成本保护节点收费低,云存储按需使用只需传统方案30%的成本900GB/小时阿里云SAP HANA文件备份单实例备份吞吐

数据保护全景

41edb1d2efb3347f6e012f89e95f397c30c6e71e 

对于应用级容灾,例如数据库的本地+云端双备份的场景,非常适合使用阿里云的混合云灾备一体机,可以非常低成本的实现本地+云端双备份的搭建。如果有大量的数据和文件,需要做一个轻量级的、非专业人员的备份服务,推荐使用混合云备份服务,混合云备份服务虽然没有本地备份的能力,但是实现了一个非常强悍的重删压缩和上云的能力,用它来实现云备份是非常强悍的。如果有大量的文件,需要实时上云,云上云下数据需要实时同步,那阿里云推荐客户使用混合云阵列和云存储网关。当客户有大规模的数据需要上云的时候,推荐使用阿里云去年推出的新产品闪电立方,闪电立方支持百TB,甚至PB级别的数据上云。

本文由云栖志愿小组黄小凡整理

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
9天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
70 7
|
9天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
23 2
|
21天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
65 1
|
6天前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
14 4
|
16天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
37 3
|
16天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
49 2
|
19天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
62 2
|
20天前
|
数据采集 分布式计算 大数据
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第27天】在数字化时代,数据治理对于确保数据资产的保值增值至关重要。本文探讨了大数据平台的搭建和数据质量管理的重要性及实践方法。大数据平台应包括数据存储、处理、分析和展示等功能,常用工具如Hadoop、Apache Spark和Flink。数据质量管理则涉及数据的准确性、一致性和完整性,通过建立数据质量评估和监控体系,确保数据分析结果的可靠性。企业应设立数据治理委员会,投资相关工具和技术,提升数据治理的效率和效果。
54 2
|
23天前
|
存储 安全 大数据
大数据隐私保护:用户数据的安全之道
【10月更文挑战第31天】在大数据时代,数据的价值日益凸显,但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案,旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识,共同推动大数据隐私保护的发展。
|
27天前
|
SQL 存储 大数据
大数据中数据提取
【10月更文挑战第19天】
52 2