利用云存储网关和混合云备份服务备份OSS数据

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。

随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。文章“混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案”介绍了基于云存储网关和混合云备份的一种方案进行数据的备份。近日云存储网关和混合云备份服务推出了升级版的方案,不再需要一台独立的ECS客户端去挂载网关共享,而是采用了存储网关和混合云备份服务后端打通的架构,给用户带来更好的体验以及更多的实惠。下面是一张简单的架构图。
_1

配置实战

笔者在上海区域有一个OSS Bucket想要进行备份。该Bucket里面有超过100万的文件,1T左右的数据量。下面我们通过具体的实践来展示如何通过云存储网关和混合云备份服务来对阿里云OSS Bucket里面的数据进行备份。
2

云存储网关配置

网关侧的配置很简单,在开通阿里云存储网关服务之后,我们创建一个标准型的文件网关(块网关以及基础型文件网关不支持这种全新的备份方案)。然后几分钟之内我们就可以通过两个简单的步骤在云存储网关控制台创建出一个NFS/SMB的文件共享。

首先是创建缓存。
3

缓存创建成功之后,就可以对需要备份的OSS Bucket创建共享了。共享里面的文件和OSS Bucket里面的对象存在一一对应的关系。这里我们创建的是NFS协议的共享,云存储网关也支持创建SMB协议的共享。这个取决于前端应用的访问方式,如果应用是在Windows上进行数据访问,则推荐用SMB协议。如果应用是基于Linux平台的,则推荐使用NFS协议来建立共享。

要对OSS数据进行备份,我们需要利用到云存储网关的反向同步功能。这个功能是指网关会同步已经存在于OSS Bucket里面的数据到网关缓存内,从而加速本地访问。所以这里在创建共享的时候我们打开了网关的反向同步功能。反向同步的时间间隔需要根据用户OSS Bucket里面的数据量来进行设置,如果OSS Bucket里面数据比较多,建议设置较大的反向同步时间间隔,避免反向同步消耗过多的网关侧的资源。笔者的Bucket里面有100万左右文件,这里设置了36000秒的反向同步时间间隔。
4

本文虽然主要是在讨论通过云存储网关的共享来备份OSS数据的功能,实际上网关暴露出来的共享是可以通过Windows和Linux挂载并正常使用的。更多的细节以及共享的选项设置参见云存储网关的文件网关用户手册

混合云备份配置

网关侧配置完成之后,首先我们将需要备份的网关共享注册到混合云备份服务。然后我们就可以利用混合云备份服务进行备份了。我们可以通过下图中的方法跳转到备份控制台进行网关注册。
5

也可以直接从混合云备份服务的控制台进行需要备份的OSS Bucket所对应的网关进行注册。按照提示走下去就可以顺利的完成云存储网关的注册了。
6

接下来我们就可以创建备份计划了,备份计划可以指定备份窗口进行数据的备份,备份窗口的执行间隔建议设置的比反向同步的时间间隔要大一点,这样可以保证每次备份的时候我们都会从OSS Bucket执行一次反向同步,获取到当前时间点OSS Bucket里面的最新数据。需要指出的是我们可以选择只备份共享或者说OSS Bucket里面的一个子目录,通过备份路径这个选项进行设置。“/”表示备份所有共享里面的数据,“/subdir”指只备份共享根目录下面的subdir这个子目录。
7

备份计划设置好后,我们就可以定期自动备份OSS Bucket里面的数据啦。当然我们也可以通过立即执行选项手动触发备份。
8

我们通过立即执行触发了一次备份,可以看到备份的速度在100MB/s左右,还是可以的。
9

备份结束之后我们可以查看备份的整个过程,从下图可以看出我们所有的数据都已经备份成功并且没有任何错误。混合云备份服务支持重删压缩技术,实际的存储空间远远小于初始的备份数据量。
10

总结

混合云备份服务具有强大的数据保护能力,支持加密、压缩、重删,并有多副本以及CRC校验技术,保证数据快速、安全、高效地备份到云上。云存储网关具有将对象协议转换为NFS/SMB协议的能力,用户可以在Windows和Linux上挂载OSS,以文件系统的方法访问OSS Bucket里面的数据,并通过缓存技术加速访问。本文通过具体的实践,介绍了一种升级版的基于云存储网关以及混合云备份服务的OSS数据备份方案,配置简单但是功能强大。通过云存储网关和混合云备份服务后端架构融合的方式,不需要客户提供一台额外的客户端挂载网关共享,就可以实现OSS数据的备份以及恢复,更加的经济并且用户友好。

相关实践学习
利用HBR实现ECS文件备份
当您已使用ECS,并在云盘中保存文件后,可能会遭遇病毒勒索,文件误删除的情况。本场景主要介绍如何使用HBR为ECS文件备份,保证数据安全并可及时恢复。
目录
相关文章
|
25天前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB冷存数据到OSS之后恢复失败如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
4月前
|
存储 SQL 分布式计算
数据计算MaxCompute读取外部表(数据在oss gz压缩)速度非常慢,有什么方法可以提升效率么?
数据计算MaxCompute读取外部表(数据在oss gz压缩)速度非常慢,有什么方法可以提升效率么?
48 1
|
21天前
|
存储 API 开发工具
oss数据解密与下载
阿里云OSS提供服务器端加密(SSE-OSS/SSE-KMS)功能,保证静态数据安全。下载加密对象时,OSS自动解密并返回原始内容。确保下载请求者有相应权限,尤其是使用SSE-KMS时。可通过SDK、图形化工具或编程框架集成下载,发起请求时,OSS自动处理解密,客户端接收解密后的数据。权限、下载方式选择及请求发起是关键步骤。
9 1
|
1月前
|
存储 运维 安全
深度解析HBR混合云备份:实现数据灾备的最佳实践
深度解析HBR混合云备份:实现数据灾备的最佳实践
|
2月前
|
数据库 对象存储 数据安全/隐私保护
在oceanbase数据库中,有没有遇到备份到oss环境,备份进度到98%就一直卡着的问题?
在oceanbase数据库中,有没有遇到备份到oss环境,备份进度到98%就一直卡着的问题?
26 6
|
3月前
|
SQL 存储 分布式计算
Hologres实时湖仓能力增强,挑战5分钟加速分析OSS数据
5分钟快速使用Hologres实时湖仓能力,无需移动数据,直接加速读取存储于数据湖OSS上的Hudi、Delta、Paimon等格式类型的数据
|
3月前
|
存储 对象存储 SQL
【获奖名单公示】Hologres实时湖仓分析挑战赛
5分钟快速使用Hologres实时湖仓能力,无需移动数据,直接加速读取存储于数据湖OSS上的Hudi、Delta、Paimon等格式类型的数据
【获奖名单公示】Hologres实时湖仓分析挑战赛
|
3月前
|
安全 Serverless 对象存储
请问OSS备份和HBR混合云备份时一样的吗?有了OSS备份还需用HBR备份吗?
请问OSS备份和HBR混合云备份时一样的吗?有了OSS备份还需用HBR备份吗?
36 0
|
4月前
|
存储 监控 开发工具
oss储存数据
oss储存数据
90 1

相关产品