开发者社区> 问答> 正文

Jindo DistCp 高阶使用实战是什么意思?

Jindo DistCp 高阶使用实战是什么意思?

展开
收起
游客fbdr25iajcjto 2021-12-09 20:05:31 430 0
1 条回答
写回答
取消 提交回答
  • 禁用Checksum

    •hadoop jar jindo-distcp-3.5.0.jar --src /user/root/random-data --dest oss://yanbin-hd2-test/distcp/ --parallelism 10 --disableChecksum

    增量拷贝

    •hadoop jar jindo-distcp-3.5.0.jar --src /user/root/random-data --dest oss://yanbin-hd2-test/distcp/ --parallelism 10 --update

    差异比较时,启用CMS告警

    •export cmsAccessKeyId=<your_key_id>

    •export cmsAccessSecret=<your_key_secret>

    •export cmsRegion=cn-shanghai

    •export cmsToken=<your_cms_token>

    •export cmsLevel=WARN

    •hadoop jar jindo-distcp-3.5.0.jar --src /user/root/random-data --dest oss://yanbin-hd2-test/distcp/ --diff --enableCMS

    2021-12-09 20:06:16
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
HBase实践之MOB使用指南(未翻译) 立即下载
Apache Flink 流式应用中状态的数据结构定义升级 立即下载
实战-如何基于HBase构建图片视频数据的统一存储检索方案 立即下载