开发者社区> 问答> 正文

flink消费kafka问题

我在使用flink实时统计kafka数据,现在有两个任务同时执行,消费同一个kafka的topic消息,但是两个任务不能同时消费到消息,kafka消费者组已经改成不同的了image.png image.png flink任务提交使用的命令 ./bin/flink run -m yarn-cluster -yjm 2048m -ytm 4096m ./examples/streaming/test.jar

./bin/flink run -m yarn-cluster -yjm 2048m -ytm 4096m ./examples/streaming/test2.jar 怎么样才能让两个任务能同时消费到这个topic的消息?

展开
收起
pnjkg63stsae 2019-10-21 13:48:13 1841 0
1 条回答
写回答
取消 提交回答
  • 目前从事大数据开发,兼顾平台搭建以及实时数据分析,主要是用scala编写程序,涉及社区开源hadoop集群,emr集群,欢迎有相同兴趣的小伙伴来交流,共同进步。最近在参与flink-java实时开发。

    请问这是什么应用场景?程序稳定下来之后,相同逻辑的话,消费是会趋于同步的

    2019-11-08 11:11:14
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载