利用云存储网关和混合云备份服务备份OSS数据-阿里云开发者社区

开发者社区> 阿里云存储服务> 正文

利用云存储网关和混合云备份服务备份OSS数据

简介: 随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。

随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。文章“混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案”介绍了基于云存储网关和混合云备份的一种方案进行数据的备份。近日云存储网关和混合云备份服务推出了升级版的方案,不再需要一台独立的ECS客户端去挂载网关共享,而是采用了存储网关和混合云备份服务后端打通的架构,给用户带来更好的体验以及更多的实惠。下面是一张简单的架构图。
_1

配置实战

笔者在上海区域有一个OSS Bucket想要进行备份。该Bucket里面有超过100万的文件,1T左右的数据量。下面我们通过具体的实践来展示如何通过云存储网关和混合云备份服务来对阿里云OSS Bucket里面的数据进行备份。
2

云存储网关配置

网关侧的配置很简单,在开通阿里云存储网关服务之后,我们创建一个标准型的文件网关(块网关以及基础型文件网关不支持这种全新的备份方案)。然后几分钟之内我们就可以通过两个简单的步骤在云存储网关控制台创建出一个NFS/SMB的文件共享。

首先是创建缓存。
3

缓存创建成功之后,就可以对需要备份的OSS Bucket创建共享了。共享里面的文件和OSS Bucket里面的对象存在一一对应的关系。这里我们创建的是NFS协议的共享,云存储网关也支持创建SMB协议的共享。这个取决于前端应用的访问方式,如果应用是在Windows上进行数据访问,则推荐用SMB协议。如果应用是基于Linux平台的,则推荐使用NFS协议来建立共享。

要对OSS数据进行备份,我们需要利用到云存储网关的反向同步功能。这个功能是指网关会同步已经存在于OSS Bucket里面的数据到网关缓存内,从而加速本地访问。所以这里在创建共享的时候我们打开了网关的反向同步功能。反向同步的时间间隔需要根据用户OSS Bucket里面的数据量来进行设置,如果OSS Bucket里面数据比较多,建议设置较大的反向同步时间间隔,避免反向同步消耗过多的网关侧的资源。笔者的Bucket里面有100万左右文件,这里设置了36000秒的反向同步时间间隔。
4

本文虽然主要是在讨论通过云存储网关的共享来备份OSS数据的功能,实际上网关暴露出来的共享是可以通过Windows和Linux挂载并正常使用的。更多的细节以及共享的选项设置参见云存储网关的文件网关用户手册

混合云备份配置

网关侧配置完成之后,首先我们将需要备份的网关共享注册到混合云备份服务。然后我们就可以利用混合云备份服务进行备份了。我们可以通过下图中的方法跳转到备份控制台进行网关注册。
5

也可以直接从混合云备份服务的控制台进行需要备份的OSS Bucket所对应的网关进行注册。按照提示走下去就可以顺利的完成云存储网关的注册了。
6

接下来我们就可以创建备份计划了,备份计划可以指定备份窗口进行数据的备份,备份窗口的执行间隔建议设置的比反向同步的时间间隔要大一点,这样可以保证每次备份的时候我们都会从OSS Bucket执行一次反向同步,获取到当前时间点OSS Bucket里面的最新数据。需要指出的是我们可以选择只备份共享或者说OSS Bucket里面的一个子目录,通过备份路径这个选项进行设置。“/”表示备份所有共享里面的数据,“/subdir”指只备份共享根目录下面的subdir这个子目录。
7

备份计划设置好后,我们就可以定期自动备份OSS Bucket里面的数据啦。当然我们也可以通过立即执行选项手动触发备份。
8

我们通过立即执行触发了一次备份,可以看到备份的速度在100MB/s左右,还是可以的。
9

备份结束之后我们可以查看备份的整个过程,从下图可以看出我们所有的数据都已经备份成功并且没有任何错误。混合云备份服务支持重删压缩技术,实际的存储空间远远小于初始的备份数据量。
10

总结

混合云备份服务具有强大的数据保护能力,支持加密、压缩、重删,并有多副本以及CRC校验技术,保证数据快速、安全、高效地备份到云上。云存储网关具有将对象协议转换为NFS/SMB协议的能力,用户可以在Windows和Linux上挂载OSS,以文件系统的方法访问OSS Bucket里面的数据,并通过缓存技术加速访问。本文通过具体的实践,介绍了一种升级版的基于云存储网关以及混合云备份服务的OSS数据备份方案,配置简单但是功能强大。通过云存储网关和混合云备份服务后端架构融合的方式,不需要客户提供一台额外的客户端挂载网关共享,就可以实现OSS数据的备份以及恢复,更加的经济并且用户友好。

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

官方博客
链接