开发者社区 问答 正文

hadoop下大批量导出数据如何:报错

本人已搭建了hadoop的平台,里面已经有1TB的数据。现时想把当中600G的数据导出来,形成文件保存。采用hadoop的API接口读取方式,然后再生成文件,速度很慢。有没有第三方软件或者hadoop本身效率高的API可以实现?

展开
收起
kun坤 2020-06-06 23:28:48 534 分享 版权
1 条回答
写回答
取消 提交回答
  • 你应该需要IdentityMapper类型的job,用程序来并发输出,这里reducer 可以设置为0

    ######

    如果是导出1T的数据,类似备份一份copy,这样有没有第三方工具或者API,好似oracle就有rman?

    ######如果需要读取最近1天变动的数据(增量),那该如何操作?
    2020-06-06 23:28:52
    赞同 展开评论