从腾讯云COS向华为云OBS迁移数据的解决方案

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。

前言

目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。

正文

既然打算把数据从腾讯云COS迁移到华为云OBS,我们必须要先了解华为云的对象存储OBS。通过查阅资料发现华为云支持三种方式,将第三方云厂商的数据迁移至OBS。

关于这三种方式,下面详细介绍一下。

第一种方式——OMS方式

OMS方式是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新增的对象,降低成本。

这种方式非常合适大规模对象数据全量或者增量迁移的场景,数据量最好在500TB以下。另外,迁移速度也非常快,大概能够实现120MB/s~240MB/s。

具体迁移步骤如下:

  1. 创建OBS桶

登录OBS控制台,创建桶用于存放迁移数据。

  1. 创建OMS迁移任务

在OMS控制台创建迁移任务,通过配置访问密钥、桶名等参数将第三方云厂商(源端)与OBS(目的端)关联。

  1. 开始数据迁移

执行OMS迁移任务,开始数据迁移。数据迁移过程中,可以在OMS查看任务执行状态以及查看到最终结果。

第二种方式——CDM方式

通过CDM,用户可以将第三方云厂商的对象存储服务与华为云OBS连接,从而实现对象数据无缝迁移。这种方式适用于小容量数据的迁移或者周期性迁移场景,数据量一般在10TB以下。迁移速度比OMS方式稍微慢一些,大概能够能够实现60M/s~120MB/s。

具体迁移步骤如下:

  1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

  1. 购买CDM

购买CDM服务,即创建CDM集群并绑定EIP,用于管理连接与作业。

  1. 配置连接与作业

     1)在CDM集群中新建连接:需要新建一个以第三方云厂商作为数据源的源连接,和一个以OBS作为数据目的地的目的连接。

     2)创建CDM作业,执行从第三方云厂商迁移到OBS的任务。

  1. 开始数据迁移

运行CDM作业,启动数据迁移。用户可以通过作业管理界面查看作业进度。

第三种方式——OBS数据回源方式

OBS数据回源的方式适用于无缝迁移数据到OBS的场景,即业务数据存储用户自己建立的源站,需要在不中断业务的情况下迁移到OBS上。这种方式不适合我们的应用场景,因此,可以先pass。

第四种方式——自定义方式

这种方式就是自己定义迁移逻辑的实现,比如,我们可以先将腾讯云COS上的文件数据下载下来,再调用华为云的OBS对象存储的上传接口,进而实现数据的迁移。当然,这只是一种方式,我们还自己定义别的实现。因此,这也是一种方式。

结尾

好了,关于把数据从腾讯云COS迁移到华为云OBS的解决方案就介绍完了,大家可以根据自己的需要选择合适的方式。晚安,我是 liuzhen007,欢迎评论留言+一键三连。



作者简介:😄大家好,我是 Data-Mining(liuzhen007),是一位典型的音视频技术爱好者,前后就职于传统广电巨头和音视频互联网公司,具有丰富的音视频直播和点播相关经验,对 WebRTC、FFmpeg 和 Electron 有非常深入的了解,😄公众号:玩转音视频。同时也是 CSDN 博客专家、华为云享专家(共创编辑)、InfoQ 签约作者,欢迎关注我分享更多干货!😄

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
5月前
|
存储 Java API
如何在Spring Boot应用程序中使用华为云的OBS云存储来上传和删除图片?
如何在Spring Boot应用程序中使用华为云的OBS云存储来上传和删除图片?
127 1
|
存储 API 对象存储
ElasticSearch基于snapshot和华为云OBS的备份
ElasticSearch基于snapshot和华为云OBS的备份
ElasticSearch基于snapshot和华为云OBS的备份
|
API 对象存储
腾讯云对象存储cos获取图片像素信息
简述获取图片像素信息的几种方案
腾讯云对象存储cos获取图片像素信息
|
存储 云安全 域名解析
腾讯云COS对象存储攻防
账户中的访问策略包括用户组策略、用户策略、存储桶访问控制列表(ACL)和存储桶策略(Policy)等不同的策略类型。
691 0
腾讯云COS对象存储攻防
|
6月前
|
存储 云安全 大数据
【云计算和大数据平台】云计算平台和大数据平台(如阿里云、腾讯云、华为云等)的搭建和使用方法
【云计算和大数据平台】云计算平台和大数据平台(如阿里云、腾讯云、华为云等)的搭建和使用方法
230 0
|
9月前
|
JSON 数据安全/隐私保护 数据格式
【华为ICT大赛】华为云激活设备的方法以及数据上下行
【华为ICT大赛】华为云激活设备的方法以及数据上下行
223 0
|
7月前
|
存储 对象存储 数据安全/隐私保护
typora+腾讯云cos+Picgo图床搭建
typora+腾讯云cos+Picgo图床搭建
57 0
|
9月前
|
存储 人工智能 安全
通用大模型转向行业大模型:腾讯云、华为云们的下一个战场
通用大模型转向行业大模型:腾讯云、华为云们的下一个战场
139 0
|
11月前
|
存储 API 对象存储
手把手教你Typora图床配置(PicGo+阿里云OSS/腾讯云COS)
手把手教你Typora图床配置(PicGo+阿里云OSS/腾讯云COS)
1838 0
|
前端开发
文件上传到腾讯云cos的简单步骤
文件上传到腾讯云cos的简单步骤
1358 0

热门文章

最新文章