开发者社区> 问答> 正文

ossimport如何配置迁移文件单机版?

ossimport如何配置迁移文件单机版

展开
收起
1358896759097293 2021-03-10 10:18:55 821 0
1 条回答
写回答
取消 提交回答
  • 45271990@qq.com

    配置迁移文件单机版 迁移前要明确客户端的迁移体量和文件数量。目的是合理的配置 task 和线程数 量,以及 ossimport 的工作模型。 ● 一般迁移体量小于 30TB 的完全可以采用单机模式进行迁移,单机版可以配置 多线程的方式进行迁移,调节 workerTaskThreadNum 参数,需要注意的是 如果是高配,物理机的话,数量可以调大,可以参考 平均文件 size * 线程数 量,对比 memory 是否够用,同时也要参考 CPU 核心数量是否能否抗住这 种并发量。 ● 当高并发,且文件的 size 较大时,如果配置数量不合理,会出现设备 OOM 的情况,可以通过 /var/log/message 看到,这是要么选择降低并发线程数 量,要么是增大机器配置。 ● 如果是本地 ECS 或者第三方存储迁移到 OSS ,请注意源是否有限流,目前经 常会出现源发现有大流量流出后直接给限制住,导致迁移速度无法增长。关键 参数 workerMaxThroughput(KB/s),如果源没有限制,可以释放调大这数。 ● 其他 sys.properties 文件中的属性不要随意改动。

    2021-03-12 23:08:55
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Redis&MongoDB的同步、迁移以及混合云场景构建 立即下载
PostgreSQL复制原理及高可用集群 立即下载
云平台环境PostgreSQL 高可用集群方案 立即下载