开发者社区> 问答> 正文

kafka导入数据到hdfs,怎么比较方便

转自钉钉群21789141:kafka 导入数据到hdfs,怎么比较方便

展开
收起
赵慧@ApacheFlink中文社区 2019-02-21 16:33:24 4764 0
2 条回答
写回答
取消 提交回答
  • 1、如果需要做预计算火写入,可以写一个spark streaming作业消费,写入到hdfs 2、也可以使用kafka 的connect sink到hdfs 3、也可以自己写java程序写到hdfs

    2020-03-21 17:01:02
    赞同 展开评论 打赏
  • 文杰:用flume消费存储到hdfs 方便,目前我们使用 没有出现丢失数据的情况
    问: flink你用在哪一块了, flink处理完数据存hdfs
    文杰:没有存hdfs 只是做实时监控

    2019-07-17 23:28:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载