快速将企业海量文件数据迁移到阿里云OSS

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 对象云存储因为下面两个功能特性,得到了海量使用: 可以直接http调用 可靠、安全、按量使用阿里云OSS在各大云服务商中,通过可靠、高性价比的服务得到了大量用户的仁科。 企业用户在企业内部或者传统IDC机房中,累计了海量的文件数据,如何快速将TB级别甚至PB文件数据迁移到OSS,是一个IT挑战任务。

对象云存储因为下面两个功能特性,得到了海量使用:

  • 可以直接http调用
  • 可靠、安全、按量使用

阿里云OSS在各大云服务商中,通过可靠、高性价比的服务得到了大量用户的仁科。
企业用户在企业内部或者传统IDC机房中,累计了海量的文件数据,如何快速将TB级别甚至PB文件数据迁移到OSS,是一个非常挑战的任务。

方案介绍

下文介绍两种方案:

  • 方案1:在阿里云市场中购买阿里云OSS数据迁移服务

https://market.aliyun.com/products/52738004/cmfw000394.html?spm=5176.730005-52738004.0.0.MMvsLp#sku=90tb
这类服务公司具体实现技术方法是:
1)在公司机房拉一条专线通往阿里云机房;
2)给需要迁移数据的用户提供硬盘,用户把自己的数据拷贝到硬盘上,寄送给服务公司;
3)服务公司把硬盘上的数据导入阿里云OSS;
这种方法的优点是相对省事,缺点是硬盘快递实时性不够,另外还有数据安全上的风险。

  • 方案2:采用软件构建海量数据迁移系统

本文推荐使用 RaySync传输软件 + 阿里云CSG对象存储网关 组合方案来解决海量数据迁移问题,部署架构如下图:
screenshot

其中“RaySync传输软件”解决从企业公司或企业IDC到阿里云文件网络传输问题,“RaySync传输软件”对比“普通OSS文件”在网络传输速度上有巨大的优势,结合“CSG对象存储网关”可有效帮助企业简单、低成本构建1套快速迁移数据的IT系统。

安装配置

RaySync传输软件安装,可参考下面链接帖子描述:
https://bbs.aliyun.com/read/574561.html?spm=0.0.0.0.WQxTGZ
阿里云CSG对象存储网关配置使用,可参考
https://yq.aliyun.com/articles/399702?spm=a2c4e.11155435.0.0.632dcd91fchA6i

作者所在企业,采用“RaySync传输软件”+“CSG对象存储网关”,构建海量数据迁移系统,轻松完成数十TB的数据迁移工作。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
9天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
文字识别 算法 API
视觉智能开放平台产品使用合集之上传素材文件不在同一地域的OSS,怎么上传多张图片
视觉智能开放平台是指提供一系列基于视觉识别技术的API和服务的平台,这些服务通常包括图像识别、人脸识别、物体检测、文字识别、场景理解等。企业或开发者可以通过调用这些API,快速将视觉智能功能集成到自己的应用或服务中,而无需从零开始研发相关算法和技术。以下是一些常见的视觉智能开放平台产品及其应用场景的概览。
43 1
|
3月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
|
3月前
|
存储 运维 Serverless
函数计算产品使用问题之OSS触发器是否可以只设置文件前缀
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
消息中间件 分布式计算 DataWorks
DataWorks产品使用合集之如何使用Python和阿里云SDK读取OSS中的文件
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
存储 运维 安全
阿里云OSS的优势
【7月更文挑战第19天】阿里云OSS的优势
182 2
|
4月前
|
存储 API 开发工具
阿里云OSS
【7月更文挑战第19天】阿里云OSS
172 1
|
4月前
|
运维 Serverless 对象存储
函数计算产品使用问题之如何配合OSS实现接口收到的图片或文件直接存入OSS
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
持续交付 开发工具 对象存储
阿里云云效产品使用合集之构建物如何上传到阿里云OSS
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。

热门文章

最新文章