开发者社区 问答 正文

kafka导入数据到hdfs,怎么比较方便

转自钉钉群21789141:kafka 导入数据到hdfs,怎么比较方便

展开
收起
赵慧@ApacheFlink中文社区 2019-02-21 16:33:24 4878 分享 版权
2 条回答
写回答
取消 提交回答
  • 1、如果需要做预计算火写入,可以写一个spark streaming作业消费,写入到hdfs 2、也可以使用kafka 的connect sink到hdfs 3、也可以自己写java程序写到hdfs

    2020-03-21 17:01:02
    赞同 展开评论
  • 文杰:用flume消费存储到hdfs 方便,目前我们使用 没有出现丢失数据的情况
    问: flink你用在哪一块了, flink处理完数据存hdfs
    文杰:没有存hdfs 只是做实时监控

    2019-07-17 23:28:55
    赞同 展开评论