企业数据创新之旅-数据上云与备份容灾

简介: 高级技术专家张磊在2018云栖大会·上海峰会中做了题为《企业数据创新之旅 - 数据上云与备份容灾》的分享,就企业灾备的挑战、混合云备份与容灾最新发展、混合云存储数据保护全景等方面的内容做了深入的分析。

摘要:高级技术专家张磊在2018云栖大会·上海峰会中做了题为《企业数据创新之旅 - 数据上云与备份容灾》的分享,就企业灾备的挑战、混合云备份与容灾最新发展、混合云存储数据保护全景等方面的内容做了深入的分析。

企业灾备的挑战

0adfb016e52cc2bb06039dff8af3b161c0aa7cd3 

在传统的容灾和备份体系中,当企业要建立一个完善的、兼有对应用全面覆盖的,并且又有异地备份能力,能突破单机房严重故障的风险的容灾体系的时候,成本是非常高昂的。首先,灾备机房需要建设起来,另外也需要一条专线,这需要很高的成本。灾备的软件、硬件、运维成本是非常高的。即便这些东西建设起来,后面实施的时候,比如针对一个应用建设一个完备的灾备体系,从规划到落地也是非常困难的。另外软件的安装、硬件的配置、到系统运维,都需要实时的监控,这其中的成本和复杂度是非常高的。

混合云备份与容灾

混合云容灾服务

d1e7aaba2a5dbf89af6bcad60c08e0755658d258 

企业的数据中心可能是个虚拟化的环境,也有可能是基于物理机的环境。针对不同的环境,阿里云在混合云容灾服务推出了混合云灾备一体机,这是一个软硬一体的设备,它自带了本地存储空间,可以针对虚拟机或者物理机的数据,包括数据库、文件系统等应用的备份。在这台一体机部署到数据中心之后,可以在一体机上集中管控所有的备份的客户端,对数据进行持续的复制和备份。当数据发送到一体机之后,它可以做数据的加密、重删、压缩,所以它本地的存储效率非常高,同时,它每一个备份都可以独立的配置策略。客户有了这个一体机,一方面基于策略,可以把应用服务器上的数据备份到一体机,同时有可以基于策略,把这些数据复制到阿里云的容灾库,这样的话混合云容灾一体机就实现了本地加异地的双数据保护。同时对整机的镜像进行了数据复制,那么在阿里云云灾备库里面就包含了整机的数据,当需要做容灾的时候,在阿里云启动一个容灾恢复网关,就可以把整机的镜像以ECS的形式启动,这样就保障了业务的持续运行。混合云灾备一体机成本比传统容灾低80%,指标上达到了 GB/T 20988-2007 5级灾难恢复能力,同时还提供本地+异地备份、业务持续性等一体解决。有这个一体机之后并不需要另外在准备存储节点,可以完全解决本地+异地灾备的问题。

a063b2c3304cbe225aa8cb1c76bfce6b769fa287 

混合云灾备一体机支持的平台包括物理机、虚拟机和主流操作系统。经济效率上重删压缩比极高,非常节省空间和带宽。一体集成能力包括本地备份、备份上云、云上恢复一体集成。在安全性和稳定性方面有AES256安全保障、一体机、灾备库稳定可靠。

9ed6191f788a7c7f125e3df386a12d595ceccd50 

2018年阿里云发布了一个新产品:HDR For Big Data(大数据混合云容灾服务),HDR For Big Data是国内首个Hadoop双活容灾方案,阿里云会在这个月邀请大家内测。HDR For Big Data主要针对大数据的容灾服务,如果云下有一个Hadoop集群,那么在云下部署HDR-H服务器容灾节点,然后在云上也部署一个一样的HDR-H服务器容灾节点,这样云下所有的文件会同步到阿里云上,并且是没有宕机时间,同时所有文件的修改都会同步到云上服务器。使用的第一个场景是Hadoop的容灾,因为Hadoop数据在本地就有副本,一般不会去备份Hadoop数据。但是对于宕机时间很敏感的应用,有的时候Hadoop集群宕机之后导致分析任务无法持续,像这种情况下做Hadoop备份是非常重要的。而且单机房的情况下面对自然灾害,单机房出现重大崩溃的话,数据都会丢失。使用HDR For Big Data,那么Hadoop数据在云上云下是集群双活,不但云上云下各有一份数据,数据进行了保护,而且在计算上,不做任何浪费,在云上和云下可以运行不同的应用。

混合云备份服务

c2eacfb60c8f5cadd77c1216aaa82febcdd7525f 

混合云备份服务首先在云端这一层,全面支持虚拟机、数据库、和文件目录,阿里云会在云端有一个客户端,由这个客户端对应用和数据进行云端重删。然后把数据发送到阿里云备份库,阿里云备份库再提供加密、压缩、去重、整体监控等能力,并且可以按照自定义的策略自动的做备份。另外,阿里云还建立了搜索、API自动化、云端集中监控、恢复等能力,确保云上云下数据源一致。

cca2bd3b57595856f0d8c963a524be872d202425 

从客户的视角来看混合云备份服务的架构,实际上是非常简单易懂的。混合云备份服务分两条链路,第一是基于AES256加密,变长重删和压缩技术,对指定的文件系统和虚拟机进行快速的复制操作,发送到云备份池。另一条控制链路把配置、监控和告警信息发送到阿里云上,不管有多少个备份的客户端,在云上都提供了一个统一的监控界面,可以轻松的管理这些备份任务。整个混合云备份服务是非常简单应用的,不用专业的备份管理员,只需普通的应用管理员也可以在五分钟之内管理备份任务。

3b8b5a84b556c7e8f55b1babd232de0a66c5e29e 

另外6月8日开始,阿里云混合云备份服务开始公测vSphere虚机备份。传统的vSphere虚机备份非常复杂、耗时。阿里云公测的vSphere虚机备份的使用非常简单,你只需要知道你的vSphere版本,然后下载阿里云提供的VAPP,部署到vSphere环境里面,就可以开始做备份服务。vSphere备份也是基于AES256加密,变长重删和压缩技术,可以非常快速的帮助vSphere备份。

目前混合云备份服务的重删比达到了1:30,高效变长重删,极大节约空间公网轻松完成混合云备份,另外混合云备份服务降低了70%成本保护节点收费低,云存储按需使用只需传统方案30%的成本900GB/小时阿里云SAP HANA文件备份单实例备份吞吐

数据保护全景

41edb1d2efb3347f6e012f89e95f397c30c6e71e 

对于应用级容灾,例如数据库的本地+云端双备份的场景,非常适合使用阿里云的混合云灾备一体机,可以非常低成本的实现本地+云端双备份的搭建。如果有大量的数据和文件,需要做一个轻量级的、非专业人员的备份服务,推荐使用混合云备份服务,混合云备份服务虽然没有本地备份的能力,但是实现了一个非常强悍的重删压缩和上云的能力,用它来实现云备份是非常强悍的。如果有大量的文件,需要实时上云,云上云下数据需要实时同步,那阿里云推荐客户使用混合云阵列和云存储网关。当客户有大规模的数据需要上云的时候,推荐使用阿里云去年推出的新产品闪电立方,闪电立方支持百TB,甚至PB级别的数据上云。

本文由云栖志愿小组黄小凡整理

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
36 0
|
11天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
14 3
|
14天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
存储 监控 大数据
数据仓库(11)什么是大数据治理,数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面?大数据时代的到来,给了我们很多的机遇,也有很多的挑战。最基础的调整也是大数据的计算和管理,数据治理是一个特别重要的大数据基础,他保证着数据能否被最好的应用,保证着数据的安全,治理等。那么数据治理到底能治什么,怎么治?
67 0
|
2月前
|
JSON 分布式计算 MaxCompute
MaxCompute问题之创建数据集失败如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
33 0
|
2月前
|
存储 分布式计算 DataWorks
MaxCompute数据问题之数据不一致如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
37 0
|
2月前
|
存储 分布式计算 DataWorks
MaxCompute数据之数据不一致如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
26 0

热门文章

最新文章