各位,小弟请教个问题: 你好,想跟你请教个问题: 各位好:刚开始学习flink,有个问题请教: 我搭建了有5个节点的flink集群(standalone 模式),启动flink(./start-cluster)后可以看到每个节点都是正常的。主要代码逻辑为:通过flink消费kafka的数据,完成一段业务逻辑的计算,打包在服务器上master提交后,任务只在一个节点上运行, 执行命令如下: ./flink run -p 10 -d -c com.gennlife.FlinkApplicationStarter ../../rws-streaming-flink.jar --zk.connection.urls 10.0.2.17:2181,10.0.2.18:2181,10.0.2.79:2181 --kafka.brokers 10.0.2.17:9092,10.0.218:9092 --group.id testflink --topic flinktest2 当向kafka 中推送数据时,发现只有一台机器在执行读取和计算的,其他都没有计算。 我希望可以有多个机器同时并发的去读取kafka并完成计算,这个要怎么提交任务或者说要进行其他的哪些处理呢? 说明:我把接收到的小时通过broadcast()函数广播后,返现所有几点都在计算,但是计算的数据确实重复的。 谢谢。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
设置提高并发执行
env.setParallelism(3); 具体可参考官方文档:
https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/parallel.html