OssImport系列之四——最佳实践

简介: 介绍数据迁移工具OssImport在典型场景下的应用、典型需求的实现方法。

相关文章:OssImport系列之一——架构

本文主要介绍,OssImport在典型场景下应用,典型需求的实现。

单机与分布式

OssImport有 单机模式 和 分布式模式 两种部署方式。对于小于 30TB 的小规模数据数据迁移,单机模式即可完成。对于大规模的数据迁移,请使用分布式模式。

分时限流

Worker有限流功能,通过修改配置文件sys.properties的配置项workerMaxThroughput(KB/s)实现,该配项不是动态生效的,修改后需要重启服务才能生效。分布式部署情况下,需要修改每个Worker的$OSS_IMPORT_WORK_DIR/conf下的sys.properties,然后重启服务。

分时限流,可通过 crontab 定时修改 sys.properties,然后重启服务生效。

添加Worker

Worker列表请在提交任务前确定,目前不支持动态添加。

只校验不迁移数据

OssImport支持只校验数据不迁移数据,任务配置文件 job.cfg 或 local_job.cfg 的配置项 jobType=audit 而不是 import,其它配置与数据迁相同。

从第三方存储服务无缝切换到OSS

以下步骤可以完成从其它存储到OSS的无缝切换:

  • 全量迁移数据,此时业务仍在第三方存储上,记下数据迁移的开始时间 T1,注意该时间为 Unix时间戳,即自1970年1月1日UTC零点以来的秒数,通过命令 date +%s 获取;
  • 打开OSS镜像回源功能,数据迁移完成后,请在 OSS控制台 设置服务 Bucket 的镜像回源功能,回源地址为第三方存储;
  • 读写切换到OSS,此时 T1 前的数据从OSS读取, T1 后的数据利用镜像回源从第三方服务读取,新数据完全写入OSS;
  • 增量数据迁移,增量数据迁移任务的配置文件( job.cfg 或 local_job.cfg )的配置项 importSince=T1 ,增量数据迁移完成的时间为 T2;
  • 删除第三方存储, T2 后,您业务的所有的读写都在OSS上,第三方存储只是一份历史数据,您可以根据需要决定保留或删除。OssImport负责数据的迁移和校验,不会删除任何数据。

注意:

  • 第四步增量数据迁移,并非数据迁移的增量模式。

数据迁移增量模式

数据迁移增量模式,是指数据迁移任务启动后,先进行一次全量迁移,每隔一段时间自动的进行增量数据迁移。第一次数据迁移任务为全量迁移,提交任务后立即启动;后面的增量数据迁移每隔一个周期启动一次。增量模式有两个配置项:

  • job.cfg 中的 isIncremental ,是否打开增量迁移模式, true 表示打开增量模式, false 表示关闭增量模式,默认关闭。
  • job.cfg 中的 incrementalModeInterval,增量模式下的同步间隔,即增量数据迁移的间隔周期,单位秒。isIncremental=true 时有效。可配置的最小值为 900秒 ,不建议配置成小于 3600秒 的值,会浪费大量请求,造成额外的系统开销。

使用场景:

  • 数据备份;
  • 数据同步。

指定迁移文件的过滤条件

迁移文件的过滤条件,即只迁移满足特定的条件的文件。OssImport支持指定 前缀 和 最后修改时间 :

  • job.cfg 中的 srcPrefix,指定迁移文件的前缀,默认为空。如果srcType=local,填写本地目录,需要完整路径,以 / 进行分割并且以 / 结尾,如 c:/example/ 或 /data/example/; srcType 为oss、qiniu、bos、ks3、youpai、s3,则为待同步object的前缀,不包括bucket名称,如data/to/oss/, 迁移所有文件srcPrefix设置为空 。
  • job.cfg 中的 importSince,迁移文件的最后修改时间,整形,单位秒。如果文件的最后修改(LastModified Time)在 importSince 之前(包含)将被迁移,如果文件的最后修改(LastModified Time)在 importSince 之后将不被迁移;importSince 为 Unix时间戳,即自1970年1月1日UTC零点以来的秒数,通过命令date +%s获取;默认值0,表示迁移全部数据。增量模式下只对第一次全量迁移有效,非增量模式对整个迁移任务有效。

本地数据迁移到OSS

本地数据迁移到OSS的工具选择:

  • 对于小于 30TB 的数据从本地文件,或可以挂载到本地文件系统的情况,推荐使用 OssUtil,该工具简单方便,OssUtil支持 文件级别 的增量上传,通过 -u/--update 和 --snapshot-path 选项实现,详细说明请使用 ossutil help cp 查看。
  • 大规模数据迁移,请使用分布式版本的OssImport。

提示:

  • 本地数据的增量迁移时,文件系统某些操作不会修改文件的 最后修改时间 ,比如 Windows 的 cp 、 mv , Linux 的 mv , rsync 带 -t 或 -a 选项,这些操作的数据修改都不会被检测到,也不会同步到OSS, 请知悉 。

OSS之间的数据迁移

什么时候使用OssImport:

  • 不同区域间的OSS数据同步,添加使用 跨区域复制 功能,该功能请在控制台上设置;
  • 由于政策或安全原因,没有没有开通 跨区域复制 的区域,可以使用OssImport迁移或备份数据;
  • 同一区域内,不同账号、不同Bucket的数据迁移;
  • OSS直接的数据迁移,推荐使用阿里云内网,即使用ECS、OSS的域名带 internal ;

OSS直接数据迁移收费:

  • 如果使用了带 internal 的域名,不会产生流量费用,只有请求和存储费用;
  • 如果没有带 internal 的域名,会产生流量费用,具体请参看计费 。

不推荐使用场景:

  • 开通了 跨区域复制 服务的区域之间的数据同步;
  • 利用增量模式在OSS之间同步文件修改操作,OssImport只能同步文件的修改操作(put/apppend/multipart),不能同步读取和删除操作,数据同步的及时性没有具体的 SLA 保证, 请慎重选择;推荐使用 上传回调 或 事件通知 。

ECS与流量

对于从云端(非本地)迁移到OSS,且带宽资源不是很充足的用户,建议够买按量付费的ECS进行迁移,购买地址。ECS配置:

  • 付费方式选择按量付费;
  • 地域选择OSS对应的区域;
  • 带宽峰值选100M;
  • 系统Linux/Windows随意;
  • 其他全部选择最低配置。

在配置迁移服务时,将 targetDomain 设为带 internal 的内网域名;如果源端也是OSS,将 srcDomain 也设为带 internal 的内网域名,可以省掉从OSS源端下载的流量费,仅收取OSS访问次数的费用。

HTTP数据迁移OSS

HTTP数据迁移任务需要配置的参数:

  • job.cfg 中的 srcType 配置为 srcType=http ,请注意字符大小写;
  • job.cfg 中的 httpListFilePath,指定的HTTP地址列表文件, 请使用绝对路径指定 ,如 c:/example/http.list、/root/example/http.list 。一个完整的HTTP链接是 127.0.0.1/aa/bb.jpg,不同的切分方法最后会导致上传到oss的路径会不一样:
      http://127.0.0.1/aa/   bb.jpg      # 第一行
      http://127.0.0.1/      aa/bb.jpg   # 第二行
    
    第一行的文件导入到OSS后的的文件名为 destPrefix + bb.jpg,第二行的文件名为 destPrefix + aa/bb.jpg。 httpPrefixColumn 指定域名列,默认第一列,如上述的 127.0.0.1/aa/ 或127.0.0.1/。 relativePathColumn 指定在OSS中文件名,如上述的 bb.jpg 或 aa/bb.jpg。
    如果文件中有多列,如下
      http://127.0.0.1/aa/   bb/cc dd/ee  ff.jpg
    
    配置应该如下: httpPrefixColumn=1 , relativePathColumn=4 。
  • job.cfg 中的 destAccessKey 、 destSecretKey 、 destDomain 、 destBucket 等OSS的配置。

HTTP数据迁移子任务切分参数:

  • taskObjectCountLimit ,每个 Task 最大的文件数,默认10000;
  • taskObjectSizeLimit , 每个 Task 最大数据量, HTTP数据迁移时该参数无效 ,原因是 Master 切分 Task 时,如果每个HTTP文件都是源上获取文件大小,每个文件都有一次HTTP请求开销,会影响子任务分配的效率,进而影响子任务的并发执行,降低迁移的效率;
  • 域名 , httpListFilePath 指定的文件中第一列,连续相同的域名任务按照 taskObjectCountLimit 的限制切分,连续不同的域名切分成不同的 Task ,这种做法的目的是为了更好的复用连接。比如:
      http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test1.txt
      http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test2.txt
      http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test3.txt
      http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test4.txt
    
    taskObjectCountLimit 大于2的情况下,会切分成 2 个 Task , 而
      http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test1.txt
      http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test3.txt
      http://mingdi-hz.oss-cn-hangzhou.aliyuncs.com/  import/test2.txt
      http://mingdi-bj.oss-cn-beijing.aliyuncs.com/  import/test4.txt
    
    会切分成 4 个 Task , 所以 httpListFilePath 指定的HTTP地址列表文件,请先按照域名排序 。

网络流量与参数配置

以下参数的配置与网络流量有关:

  • sys.properties 中的 workerTaskThreadNum ,表示 Worker 并发执行的任务数量,如果网络较差、并发大,会出现大量超时错误,此时应该降低并发量,修改该配置项,并重启服务;
  • sys.properties 中的 workerMaxThroughput(KB/s) , 表示 Worker 流量的上限,如果业务需要限流,比如源端流控控制、网络限制等情况。该参数的值应该小于机器的最大网络流量,并根据业务需要评估。
  • job.cfg 中的 taskObjectCountLimit ,每个 Task 最大的文件数,默认10000。该参数会影响 Task 的数量,数量过小无法实现有效的并发。
  • job.cfg 中的 taskObjectSizeLimit , 每个 Task 最大数据量,默认1GB。该参数会影响 Task 的数量,数量过小无法实现有效的并发。

提示:

  • 配置文件参数请尽量在启动迁移前确定 ;
  • sys.properties 中的参数修改后,重启迁移服务器后才能生效;
  • job.cfg 任务提交后,任务的配置参数无法更改。

相关文章:OssImport系列之一——架构

目录
相关文章
|
8月前
|
SQL 关系型数据库 数据库
【数据库】多表关系与多表查询-全维度对比(附《思维导图》)
本文系统讲解多表关系与多表查询,涵盖底层原理、范式设计、JOIN/UNION/子查询语法、CTE递归、性能优化及高频避坑指南,适配MySQL/PostgreSQL,助你从入门直达企业级实战。
|
8月前
|
缓存 监控 前端开发
前端性能优化实战:如何大幅减少应用加载时间?
本文系统讲解前端性能优化实战,涵盖代码分割、懒加载、CDN加速、HTTP/2/3、资源预加载、Brotli压缩、Tree Shaking等核心策略,并结合Lighthouse等工具持续监控。从构建、传输、渲染三维度提升加载速度,助你显著降低FCP/LCP,打造秒开流畅体验。(239字)
547 1
|
8月前
|
SQL Java 数据库
【MyBatis-Plus】Spring Boot + MyBatis-Plus 进行各种数据库操作(附完整 CRUD 项目代码示例)
本文详解Spring Boot集成MyBatis-Plus全流程:从依赖引入、数据源配置、Mapper扫描到分页/乐观锁/逻辑删除等核心插件配置;涵盖BaseMapper基础CRUD、LambdaQueryWrapper条件查询、Service层封装、自定义XML多表关联及批量优化实践,附完整可运行示例。
1454 1
|
11月前
|
数据可视化 前端开发 安全
AgentScope 1.0 全面进化,从原型走向产业落地!
AgentScope全新升级,打造生产级智能体生态:推出开箱即用的Alias、EvoTraders等应用,支持多场景落地;强化基建,实现动态技能扩展、白盒化运行与多语言支持;集成语音交互、数据工程等能力,提供从开发到部署的全链路解决方案。
5435 0
|
7月前
|
前端开发 UED 容器
前端组件库Element UI知识点大全(二)
教程来源 https://yyvgt.cn/category/jiulishi.html Element UI栅格系统基于24列,支持Flexbox与CSS Grid双布局,提供响应式断点(xs-lg)、嵌套、对齐控制等功能;配套按钮、表单、表格、弹窗等组件,全面支撑企业级后台界面开发。
|
9月前
|
人工智能 安全 JavaScript
Claude Code 中的 Commands、Skills 与 Agents:不是进阶路径,而是协作维度
本文澄清Claude Code中Commands、Skills、Agents并非线性进阶关系,而是面向不同协作粒度的互补机制:Commands用于即时原子操作,Skills封装可复用专业能力,Agents承担目标导向的自主任务。三者构成“协作三角”,应依任务复杂度灵活选用或组合,核心是扩展而非替代人类能力。(239字)
3176 8
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
AI编码实践:从Vibe Coding到SDD
本文系统回顾了淘特导购团队在AI编码实践中的演进历程,从初期的代码智能补全到Agent Coding再到引入Rules约束,最终探索SDD(Specification Driven Development,规格驱动开发)——以自然语言规格(spec.md)为唯一真理源,驱动代码、测试、文档自动生成,实现设计先行、可测试性内建与文档永不过期。实践中发现SDD理念先进但落地门槛高、工具链不成熟、历史代码集成难,因此团队当前采用融合策略:以轻量级技术方案模板为输入 + Rules严格约束 + Agent Coding高效实现 + AI自动汇总架构文档,形成兼顾规范性、效率与可维护性的AI辅助编程最佳
|
人工智能 安全 Java
SpringBoot配置文件的12个实用技巧
本文介绍了SpringBoot配置的核心功能与最佳实践,涵盖多环境配置、属性优先级、松散绑定、随机值生成、类型安全配置、敏感信息加密、占位符使用、条件化加载、复杂数据结构配置及元数据支持等内容。通过合理运用这些特性,开发者可以提高应用的灵活性、可维护性和安全性,满足不同场景下的需求。文章结合具体示例,帮助读者深入理解并掌握SpringBoot配置的高级用法。
541 1
|
11月前
|
SQL 关系型数据库 MySQL
数据库查询优化实战
本文系统讲解数据库查询优化实战,涵盖执行计划解析、索引设计、SQL重写、JOIN优化、分区策略、统计信息、锁机制、参数调优及工具使用十大核心维度。通过真实慢查询案例,拆解从定位瓶颈到性能提升的完整优化路径,助力开发者构建高效稳定的数据库应用体系。(238字)
508 0