kafka导入数据到hdfs,怎么比较方便-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

kafka导入数据到hdfs,怎么比较方便

2019-02-21 16:33:24 3136 2

转自钉钉群21789141:kafka 导入数据到hdfs,怎么比较方便

取消 提交回答
全部回答(2)
  • 沐远
    2020-03-21 17:01:02

    1、如果需要做预计算火写入,可以写一个spark streaming作业消费,写入到hdfs 2、也可以使用kafka 的connect sink到hdfs 3、也可以自己写java程序写到hdfs

    0 0
  • 赵慧@ApacheFlink中文社区
    2019-07-17 23:28:55

    文杰:用flume消费存储到hdfs 方便,目前我们使用 没有出现丢失数据的情况
    问: flink你用在哪一块了, flink处理完数据存hdfs
    文杰:没有存hdfs 只是做实时监控

    0 0
添加回答
相关问答

5

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 129485浏览量 回答数 5

37

回答

ISV接入钉钉详细示例以及代码(JAVA版本)  --服务窗代码部分放出

蛋蛋oo蛋蛋 2016-08-13 16:22:00 56076浏览量 回答数 37

17

回答

【精品问答】Java技术1000问(1)

问问小秘 2019-11-15 11:24:15 58271浏览量 回答数 17

3

回答

Kafka、ActiveMQ、RabbitMQ、RocketMQ的区别?【Java问答学堂】19期

剑曼红尘 2020-05-15 11:24:19 37127浏览量 回答数 3

18

回答

【阿里云产品公测】消息队列服务MQS java SDK 机器人应用 初体验

啊里新人 2014-10-11 14:00:19 29975浏览量 回答数 18

10

回答

【6.27更新】你不能错过的:阿里中间件性能挑战赛重要学习资料

凝岚 2016-04-16 15:26:05 33276浏览量 回答数 10

11

回答

一小时入门阿里云IoT套件

三野 2016-11-18 11:37:24 33713浏览量 回答数 11

1

回答

消息队列有什么优点和缺点?【Java问答学堂】18期

剑曼红尘 2020-05-14 11:26:31 30581浏览量 回答数 1

1

回答

为什么使用消息队列?【Java问答学堂】17期

剑曼红尘 2020-05-13 20:39:29 29881浏览量 回答数 1

1

回答

安装rabbitmq的问题

游客duaxdk4r3ques 2019-04-02 17:15:05 30369浏览量 回答数 1
18
文章
349
问答
问答排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载