Flink多流join能控制优先级吗?我有一个数据流connect广播流 广播流优先级好像很低 每次都得等数据流积压消完 才开始消费
Flink多流join中,无法直接控制优先级,但可以通过优化策略来改善广播流的消费情况。
在Flink中,多流join通常涉及到数据流和广播流的连接。广播流是一种特殊类型的流,它允许将较小的数据集缓存起来,以便与通过的数据流进行连接操作。然而,由于广播流的优先级相对较低,它可能会在数据流积压时延迟消费。为了解决这个问题,可以考虑以下几种方法:
综上所述,虽然不能直接控制Flink多流join的优先级,但通过上述策略可以优化广播流的消费过程,从而提高整体的数据处理效率。
在启动的时候,现在open方法里面获取广播流数据使用,后面在将connect到的广播流数据去更新之前的历史数据,控制不了优先级可以控制并行度,广播流的并行度高于数据流你看看会不会增加所谓的优先级你需要试试 ,此回答整理自钉群“【③群】Apache Flink China社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。