从腾讯云COS向华为云OBS迁移数据的解决方案

简介: 目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。
+关注继续查看

前言

目前我们的云存储方案除了自己的对象存储外,还集成了腾讯云的COS存储。现在有一个新需求,要支持云存储数据向其他云存储迁移的能力,比如支持把腾讯云COS存储的数据迁移到华为云的OBS存储。这就是本文今天要讨论的主题,关于这个需求,调研得到的一些技术方案分享给大家,希望能帮到有需要的小伙伴。

正文

既然打算把数据从腾讯云COS迁移到华为云OBS,我们必须要先了解华为云的对象存储OBS。通过查阅资料发现华为云支持三种方式,将第三方云厂商的数据迁移至OBS。

关于这三种方式,下面详细介绍一下。

第一种方式——OMS方式

OMS方式是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数据加密通道,确保数据的传输安全。在重复迁移过程中,只迁移有变动或新增的对象,降低成本。

这种方式非常合适大规模对象数据全量或者增量迁移的场景,数据量最好在500TB以下。另外,迁移速度也非常快,大概能够实现120MB/s~240MB/s。

具体迁移步骤如下:

  1. 创建OBS桶

登录OBS控制台,创建桶用于存放迁移数据。

  1. 创建OMS迁移任务

在OMS控制台创建迁移任务,通过配置访问密钥、桶名等参数将第三方云厂商(源端)与OBS(目的端)关联。

  1. 开始数据迁移

执行OMS迁移任务,开始数据迁移。数据迁移过程中,可以在OMS查看任务执行状态以及查看到最终结果。

第二种方式——CDM方式

通过CDM,用户可以将第三方云厂商的对象存储服务与华为云OBS连接,从而实现对象数据无缝迁移。这种方式适用于小容量数据的迁移或者周期性迁移场景,数据量一般在10TB以下。迁移速度比OMS方式稍微慢一些,大概能够能够实现60M/s~120MB/s。

具体迁移步骤如下:

  1. 创建OBS桶

通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。

  1. 购买CDM

购买CDM服务,即创建CDM集群并绑定EIP,用于管理连接与作业。

  1. 配置连接与作业

      1)在CDM集群中新建连接:需要新建一个以第三方云厂商作为数据源的源连接,和一个以OBS作为数据目的地的目的连接。

      2)创建CDM作业,执行从第三方云厂商迁移到OBS的任务。

  1. 开始数据迁移

运行CDM作业,启动数据迁移。用户可以通过作业管理界面查看作业进度。

第三种方式——OBS数据回源方式

OBS数据回源的方式适用于无缝迁移数据到OBS的场景,即业务数据存储用户自己建立的源站,需要在不中断业务的情况下迁移到OBS上。这种方式不适合我们的应用场景,因此,可以先pass。

第四种方式——自定义方式

这种方式就是自己定义迁移逻辑的实现,比如,我们可以先将腾讯云COS上的文件数据下载下来,再调用华为云的OBS对象存储的上传接口,进而实现数据的迁移。当然,这只是一种方式,我们还自己定义别的实现。因此,这也是一种方式。

结尾

好了,关于把数据从腾讯云COS迁移到华为云OBS的解决方案就介绍完了,大家可以根据自己的需要选择合适的方式。晚安,我是 liuzhen007,欢迎评论留言+一键三连。



作者简介:😄大家好,我是 Data-Mining(liuzhen007),是一位典型的音视频技术爱好者,前后就职于传统广电巨头和音视频互联网公司,具有丰富的音视频直播和点播相关经验,对 WebRTC、FFmpeg 和 Electron 有非常深入的了解,😄公众号:玩转音视频。同时也是 CSDN 博客专家、华为云享专家(共创编辑)、InfoQ 签约作者,欢迎关注我分享更多干货!😄

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
3月前
|
JSON 数据安全/隐私保护 数据格式
【华为ICT大赛】华为云激活设备的方法以及数据上下行
【华为ICT大赛】华为云激活设备的方法以及数据上下行
56 0
|
3月前
|
存储 人工智能 安全
通用大模型转向行业大模型:腾讯云、华为云们的下一个战场
通用大模型转向行业大模型:腾讯云、华为云们的下一个战场
71 0
|
存储 资源调度 Cloud Native
阿里云跨云迁移工具案例实践:腾讯云迁移到阿里云
阿里云跨云迁移工具案例实践:腾讯云迁移到阿里云
阿里云跨云迁移工具案例实践:腾讯云迁移到阿里云
|
存储 资源调度 Cloud Native
阿里云数据迁移工具解决方案:腾讯云迁移到阿里云
阿里云数据迁移工具解决方案:腾讯云迁移到阿里云
阿里云数据迁移工具解决方案:腾讯云迁移到阿里云
|
存储 资源调度 Cloud Native
阿里云数据迁移工具解决方案:华为云迁移到阿里云
阿里云数据迁移工具解决方案:华为云迁移到阿里云
阿里云数据迁移工具解决方案:华为云迁移到阿里云
|
SQL 存储 分布式计算
一份数据满足所有数据场景?腾讯云数据湖解决方案及 DLC 核心技术介绍
4 月 15 日-16 日,由 InfoQ 主办的 DIVE 全球基础软件创新大会通过云上展厅的形式成功召开。在腾讯云基础软件创新实践专场,来自腾讯云的大数据专家工程师于华丽带来了主题为《一份数据满足所有数据场景?腾讯云数据湖解决方案及 DLC 核心技术介绍》的演讲,以下为主要内容。
252 0
一份数据满足所有数据场景?腾讯云数据湖解决方案及 DLC 核心技术介绍
|
人工智能 Kubernetes 安全
华为云郑叶来:不碰数据≠不懂数据
华为云郑叶来:不碰数据≠不懂数据
253 0
华为云郑叶来:不碰数据≠不懂数据
|
存储 弹性计算 关系型数据库
阿里云/腾讯云/UCloud/华为云服务器主机对比测试报告
在2020年初之际,国内专业的云资源选型服务平台CloudBest旗下监测实验室,针对业界4家主流的云服务提供商,包括阿里云、腾讯云、UCloud与华为云进行了横向评测。本次测试在尽量保证测试环境相同的情况下,提供客观公正的测试数据,从技术层面对云服务提供商提供的云主机产品进行性能(CPU、磁盘、网络等)与性价比评测。以下为CloudBest监测实验室详细测试报告:
阿里云/腾讯云/UCloud/华为云服务器主机对比测试报告
|
弹性计算 Java 应用服务中间件
【最佳实践】Logstash高效的数据索引迁移能力—如何实现从腾讯云Elasticsearch迁移至阿里云
本文为您介绍通过Logstash,将Elasticsearch(简称ES)索引从腾讯云ES迁移至阿里云ES中的方法。
2907 0
【最佳实践】Logstash高效的数据索引迁移能力—如何实现从腾讯云Elasticsearch迁移至阿里云
热门文章
最新文章
推荐文章
更多