如何迁移 OSS 的文件_3|学习笔记

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储OSS,敏感数据保护2.0 200GB 1年
对象存储 OSS,内容安全 1000 次 1年
简介: 快速学习如何迁移 OSS 的文件_3

开发者学堂课程【管理功能玩转对象存储 OSS 使用入门如何迁移 OSS 的文件_3】学习笔记,与课程紧密联系,让用户快速学习知识

课程地址:https://developer.aliyun.com/learning/course/378/detail/4746


如何迁移 OSS 的文件_3

 

内容介绍

一、通过 API/SDK 拷贝文件

、通过 oss-import 工具迁移

、通过云市场服务迁移


一、通过 API/SDK 拷贝文件

1、概述

将同一数据中心的 bucket 上的数据进行迁移可使用 Copy0bject和 UploadPartCopy 实现。通过 API 或者 SDK 拷贝文件方式的使用场景是如果用户的源数据端和目标数据端是属于统数据中心的 bucket,用户可以通过 API 或者 SDK 的 copy object 或者uploadpartcopy 两个接口来实现文件的拷贝

2、区别

如果是 1GB 以下文件采用 CopyObject  (超过该大小会返回400和错误提示: EntityTooLarge ) ,超过该大小的则使用 UploadPartCopy。

3、演示

具体两个接口的使用方法与前述的 putobject 以及 uploadpart 示例代码使用方法相同,建议可以参考前述的示例代码进行操作。

4、优缺点

(1)优点:速度较快因为本方法使用的场景是源数据端和目标数据端是同一数据中心的 bucket ,因此本方法是可以采用内网进行通讯的,这里需要在 endpoint 地方指定为内网地址,用户即可享受千兆带共享带宽进行传输,而且切点也是用户需要自行实现迁移逻辑,包括便利源数据端的 bucket 中的所有 object,以及调用对应的迁移接口来进行数据迁移。

(2)缺点:操作复杂这里需要特别提醒的是,为了降低方法的使用难度osscmd 可以更加方便的实现本方法的操作 osscmd 中提供了 copy 以及 copybucket 的两个接口进行操作,其中 copy 主要是指 copy 具体的 object , 而 copy bucket 则可以将整个 bucket 下所有的 object 进行迁移,来实现整个 bucket 的数据的进行传输。其中在设置 copybucket 的时候可以选择 perfect,就可以指定 bucket 下特定的文件夹进行传输,以提高用户的使用范围。

 

二、通过 oss-import 工具迁移

1、概述:

oss-import 工具是阿里云官方提供的 oss 迁移工具,用户可以通过阿里云的官网进行下载。oss- import 可将用户本地或者其他云存储的文件迁移到 OSS 中。

2、演示:

(1)下载:首先登录阿里云的官网,点击开发者社区,帮助文档,在其中寻找到 oss ,点击周边工具,点击官方迁移工具,可以看到 ossimport 提供了两种主流的操作系统对应 SDK 

(2)安装:这里以 windows 平台的使用方法为例,在工具部署下面点击进行下载,可以得到对应的 oss import 的压缩包,得到 oss import 的压缩后,可以对其进行压,得到其文件夹。打开文件夹可以查看到其主要包含的子文件,其中几个比较重要的子文件分别是Bin目录会包含所有 oss import 需要的对应的 java 包。 conf 则包含了 oss  import 的配置文件,用户需要在对应的配置文件中,按照自己的业务场景需求对其进行配置,以满足自己的迁移任务的需要。Logs 后续会记录所有 oss import 的迁移任务的相关细节的日志,键导入的处理文件则是启动 oss import 的入口。

配置:配置 oss import 以满足用户的需求。首先进入 conf 文件夹,点击 local-job.cfg 文件,打开配置文件,可以查看到该配置文件中有众多的配置项,用户可以根据自己的需求进行配置,这里仅对其中重要的几项进行讲解, jobtype 则主要制定了 job 的类型,这里 type 可以分为两种,一种是 import ,一种是 audit。 Import 则指定了从源数据端同步数据到目标端的 oss ,而 audit 则会校验源数据端的数据和目标端的oss 的数据是否一致。两个参数incremental  incrementalmodelnterval 则主要只设定为增量模式, incremental 设置为主的时候,系统会以 incrementalmodelnterval 的时间间隔来对源数据端进行扫描,如果源数据端存在有增数据,就会将其增长数据同步到 oss 建议用户不要把 incrementalmodelnterval 设置太小否则会对源数据端造成太大的负载srctpe 指定了同步源的类型目前支持 ossqiniubaidulocal 本地文件,srcprefix 如果源数据指定的是本地文件用户需要设置本地路径如果是其他类型而对应的是其他文件的前缀名。Destaccesskeydestsecretkey 则指定的目标段 bucket 所属账号的 access ID 和 access secretdestdomain 指定的目标端 bucket 所属的 endpoint用户需要根据自己购买的endpoint 所属地域来进行设置而源数据端和目标数据端属于同一个数据中心可以使用 oss 的内网地址destbucket 指定了目标端的 bucket 名称destprefix 指定了目标端文件包含的前缀在配置完成本配置文件后用户即可通过一键导入.bat 启动 oss import测试 import 工具的导入功能,可以查看到点击一键导入后,系统会生成两个 cmd 窗口,其中第一个cmd窗口则是显示整个 job 的状态,它会以每10秒钟打整个任务的一个状态,而右边的 cmd 窗口则会显示每一个上传文件所属 test 的状态,在上传文件的过程中,用户请不要关闭两个窗口,否则会导致上传过程中出现异常。这里一个小的上传操作为示例来查看。可以查看到左侧窗口已显示所有任务成功完成,同步执行结束。这时候所属的 oss import 的上传操作即已完成。

3、优缺点:

(1)优点:兼容 windows/linux 系统:配置简便:提供动态配置参数

方便用户结合自身场景进行迁移;支持多处数据来源设置。

(2)缺点:操作复杂,无法普适所有用户场景。

 

三、通过云市场服务迁移

1、概述:

云市场提供了海量数据迁移到 OSS 的功能,用户可以购买该服务有第三方实现迁移数据的功能。

2、演示:

海量数据迁移至 0SS 服务。点击进入云市场,可以查看到对应的数据迁移产品,用户可以选择自己对应的数据规格并查看到其对应的金额。另外在下方的产品介绍中,详细罗列的服务内容、服务流程以及客户需要做什么,已完成整治数据迁移的操作,用户可以在该页面中详细的查看该产品的数据迁移的过程

3、优缺点:

(1)优点:操作便捷,速度较快

(2)缺点:需要费用花销

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
14天前
|
安全 网络协议 算法
Nmap网络扫描工具详细使用教程
Nmap 是一款强大的网络发现与安全审计工具,具备主机发现、端口扫描、服务识别、操作系统检测及脚本扩展等功能。它支持多种扫描技术,如 SYN 扫描、ARP 扫描和全端口扫描,并可通过内置脚本(NSE)进行漏洞检测与服务深度枚举。Nmap 还提供防火墙规避与流量伪装能力,适用于网络管理、渗透测试和安全研究。
171 1
|
9天前
|
监控 供应链 前端开发
如何开发ERP(离散制造-MTO)系统中的财务管理板块(附架构图+流程图+代码参考)
本文详解离散制造MTO企业ERP系统中财务管理模块的搭建,聚焦应收账款与应付账款管理,涵盖核心功能、业务流程、开发技巧及Python代码示例,助力企业实现财务数据准确、实时可控,提升现金流管理能力。
|
4月前
|
JSON 安全 定位技术
微信附近人提取v3脚本, 微信附近人id提取技术插件,采集附近人wxid数据工具
本内容介绍微信“附近的人”功能的技术原理与实现方法,基于LBS服务,涉及位置模拟、协议分析及数据解析。通过修改GPS坐标或使用Frida等工具hook位置函数
|
4月前
|
监控 Android开发
【autojs版】哈罗抢单脚本,顺风车抢单辅助,全自动插件
这是一款基于Android无障碍服务开发的脚本工具,无需ROOT即可实现界面元素监控与事件模拟,适用于学习和参考。核心功能包括:通过图像识别检测订单气泡、控件监听逻辑、悬浮窗配置、动态列表渲染及状态提示UI。示例代码展示了如何使用无障碍服务监控订单列表,并通过悬浮窗进行参数配置与状态显示。仅供技术交流,请勿用于违规场景。
|
7月前
|
缓存 NoSQL Java
G1原理—9.如何优化G1中的MGC
本文主要探讨了因大对象导致频繁Mixed GC的问题及其优化方案。通过一个电商平台缓存更新的案例,分析了商品信息大量写入缓存时引发的GC问题,包括Redis锁等待、大对象分配及RegionSize调整不当等原因。文章详细介绍了Mixed GC的优化策略,分为避免策略(如调整RegionSize和新生代大小)与提速策略(如提升分配与回收速度),并深入解析了相关参数(如InitiatingHeapOccupancyPercent、G1ReservePercent等)的作用与调优方法,为解决类似性能问题提供了全面指导。
166 15
G1原理—9.如何优化G1中的MGC
|
7月前
|
设计模式 网络协议 Java
04.里式替换原则介绍
里式替换原则(LSP)是面向对象设计的重要原则之一,确保子类可以无缝替换父类而不破坏程序功能。本文详细介绍了LSP的定义、背景、理解方法及应用场景,通过电商支付和鸟类飞行案例展示了如何遵循LSP,并分析了其优缺点。LSP强调子类应保持父类的行为一致性,有助于提高代码的可扩展性、可维护性和可重用性,但也可能导致过度设计。最后,对比了LSP与多态的区别,明确了LSP作为设计原则的重要性。
223 4
|
存储 自然语言处理 关系型数据库
|
机器学习/深度学习 编解码 算法
|
数据可视化 图形学 数据格式
R可视乎|马赛克图
马赛克图(mosaic plot),显示分类数据中一对变量之间的关系,原理类似双向的100%堆叠式条形图,但其中所有条形在数值/标尺轴上具有相等长度,并会被划分成段。可以通过这两个变量来检测类别与其子类别之间的关系。
625 0
R可视乎|马赛克图
|
NoSQL Redis Docker
Redis----使用Docker安装Redis
Redis----使用Docker安装Redis
683 0