利用云存储网关和混合云备份服务备份OSS数据

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000次 1年
简介: 随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。

随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求能够对OSS Bucket里面的数据进行备份。文章“混合云存储组合拳:基于云存储网关与混合云备份的OSS数据备份方案”介绍了基于云存储网关和混合云备份的一种方案进行数据的备份。近日云存储网关和混合云备份服务推出了升级版的方案,不再需要一台独立的ECS客户端去挂载网关共享,而是采用了存储网关和混合云备份服务后端打通的架构,给用户带来更好的体验以及更多的实惠。下面是一张简单的架构图。
_1

配置实战

笔者在上海区域有一个OSS Bucket想要进行备份。该Bucket里面有超过100万的文件,1T左右的数据量。下面我们通过具体的实践来展示如何通过云存储网关和混合云备份服务来对阿里云OSS Bucket里面的数据进行备份。
2

云存储网关配置

网关侧的配置很简单,在开通阿里云存储网关服务之后,我们创建一个标准型的文件网关(块网关以及基础型文件网关不支持这种全新的备份方案)。然后几分钟之内我们就可以通过两个简单的步骤在云存储网关控制台创建出一个NFS/SMB的文件共享。

首先是创建缓存。
3

缓存创建成功之后,就可以对需要备份的OSS Bucket创建共享了。共享里面的文件和OSS Bucket里面的对象存在一一对应的关系。这里我们创建的是NFS协议的共享,云存储网关也支持创建SMB协议的共享。这个取决于前端应用的访问方式,如果应用是在Windows上进行数据访问,则推荐用SMB协议。如果应用是基于Linux平台的,则推荐使用NFS协议来建立共享。

要对OSS数据进行备份,我们需要利用到云存储网关的反向同步功能。这个功能是指网关会同步已经存在于OSS Bucket里面的数据到网关缓存内,从而加速本地访问。所以这里在创建共享的时候我们打开了网关的反向同步功能。反向同步的时间间隔需要根据用户OSS Bucket里面的数据量来进行设置,如果OSS Bucket里面数据比较多,建议设置较大的反向同步时间间隔,避免反向同步消耗过多的网关侧的资源。笔者的Bucket里面有100万左右文件,这里设置了36000秒的反向同步时间间隔。
4

本文虽然主要是在讨论通过云存储网关的共享来备份OSS数据的功能,实际上网关暴露出来的共享是可以通过Windows和Linux挂载并正常使用的。更多的细节以及共享的选项设置参见云存储网关的文件网关用户手册

混合云备份配置

网关侧配置完成之后,首先我们将需要备份的网关共享注册到混合云备份服务。然后我们就可以利用混合云备份服务进行备份了。我们可以通过下图中的方法跳转到备份控制台进行网关注册。
5

也可以直接从混合云备份服务的控制台进行需要备份的OSS Bucket所对应的网关进行注册。按照提示走下去就可以顺利的完成云存储网关的注册了。
6

接下来我们就可以创建备份计划了,备份计划可以指定备份窗口进行数据的备份,备份窗口的执行间隔建议设置的比反向同步的时间间隔要大一点,这样可以保证每次备份的时候我们都会从OSS Bucket执行一次反向同步,获取到当前时间点OSS Bucket里面的最新数据。需要指出的是我们可以选择只备份共享或者说OSS Bucket里面的一个子目录,通过备份路径这个选项进行设置。“/”表示备份所有共享里面的数据,“/subdir”指只备份共享根目录下面的subdir这个子目录。
7

备份计划设置好后,我们就可以定期自动备份OSS Bucket里面的数据啦。当然我们也可以通过立即执行选项手动触发备份。
8

我们通过立即执行触发了一次备份,可以看到备份的速度在100MB/s左右,还是可以的。
9

备份结束之后我们可以查看备份的整个过程,从下图可以看出我们所有的数据都已经备份成功并且没有任何错误。混合云备份服务支持重删压缩技术,实际的存储空间远远小于初始的备份数据量。
10

总结

混合云备份服务具有强大的数据保护能力,支持加密、压缩、重删,并有多副本以及CRC校验技术,保证数据快速、安全、高效地备份到云上。云存储网关具有将对象协议转换为NFS/SMB协议的能力,用户可以在Windows和Linux上挂载OSS,以文件系统的方法访问OSS Bucket里面的数据,并通过缓存技术加速访问。本文通过具体的实践,介绍了一种升级版的基于云存储网关以及混合云备份服务的OSS数据备份方案,配置简单但是功能强大。通过云存储网关和混合云备份服务后端架构融合的方式,不需要客户提供一台额外的客户端挂载网关共享,就可以实现OSS数据的备份以及恢复,更加的经济并且用户友好。

相关实践学习
利用HBR实现文件存储NAS备份
当您使用云上NAS存储共享ECS,容器,K8s等计算设备的数据时,数据可能因病毒勒索,误删除而丢失。本场景主要介绍如何使用HBR为云上文件存储NAS进行备份,进而保证数据安全。
目录
相关文章
|
4月前
|
存储 关系型数据库 MySQL
MySQL——数据库备份上传到阿里云OSS存储
MySQL——数据库备份上传到阿里云OSS存储
196 0
|
7月前
|
存储
HBR(Hybrid Backup and Recovery,混合云备份和恢复)是一种备份解决方案
HBR(Hybrid Backup and Recovery,混合云备份和恢复)是一种备份解决方案【1月更文挑战第15天】【1月更文挑战第75篇】
115 1
|
7月前
|
缓存 安全 API
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
公司对外开放的OpenAPI-Server服务,作为核心内部系统与外部系统之间的重要通讯枢纽,每天处理数百万次的API调用、亿级别的消息推送以及TB/PB级别的数据同步。经过多年流量的持续增长,该服务体系依然稳固可靠,展现出强大的负载能力。
181 9
【亿级数据专题】「高并发架构」盘点本年度探索对外服务的百万请求量的API网关设计实现
|
5月前
|
物联网
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
好的资源链接,gitee全糖咖啡,B站视频转成mp4,全糖咖啡 / 物联网网关数据上传,,全糖咖啡 / springboot+百度智能车牌检测
|
7月前
|
存储 弹性计算 数据库
阿里云oss备份网站数据的详细步骤
该教程指导如何使用阿里云OSS备份网站数据。首先,注册阿里云账号并购买40GB的OSS存储空间。创建Bucket,选择与服务器相同的区域和私有权限。安装阿里云OSS插件,获取AccessKey信息。在宝塔面板中设置计划任务进行网站或数据库备份,选择内网域名以节省流量。备份完成后,通过文件管理器检查OSS中是否有备份文件。下载备份文件需点击文件名,然后打开文件URL。
350 5
|
7月前
|
存储 运维 NoSQL
通过OOS实现定时备份Redis实例转储到OSS
基于阿里云 Redis 备份功能,现结合 OOS 推出自动转储至 OSS 的新方案,解决了数据安全风险、运维繁琐、成本增加和效率低下等问题。新方案亮点包括: 1. 数据安全性提高:备份文件自动上传至OSS,利用OSS的数据冗余存储,保证数据在硬件故障时的持久性和可用性。 2. 完全自动化:设置好定时规则后,备份和转储过程无需人工干预。 3. 多实例多地域集中管理:支持一次选择多个实例和跨区域备份,简化管理。 4. 灵活的备份策略和成本控制:自定义备份频率,并通过OSS生命周期管理策略控制成本。 5. 监控和告警:集成OSS和云监控,实时掌握备份状态,及时处理异常。
通过OOS实现定时备份Redis实例转储到OSS
|
7月前
|
存储 数据库
HBR混合云备份在热备份过程中
【2月更文挑战第8天】HBR混合云备份在热备份过程中
53 7
|
7月前
|
数据库 对象存储 数据安全/隐私保护
在oceanbase数据库中,有没有遇到备份到oss环境,备份进度到98%就一直卡着的问题?
在oceanbase数据库中,有没有遇到备份到oss环境,备份进度到98%就一直卡着的问题?
105 6
|
7月前
|
Dubbo Cloud Native 应用服务中间件
调研 7 个开源项目后,这家数据合规平台如何构建高性能网关
调研 7 个开源项目后,这家数据合规平台如何构建高性能网关
|
7月前
|
存储 运维 安全
深度解析HBR混合云备份:实现数据灾备的最佳实践
深度解析HBR混合云备份:实现数据灾备的最佳实践

相关产品