FLINK使用TABLE API&SQL数据流不同步的问题
- 背景： 我的业务在正式上线的时候需要同时对接三个数据源输入，皆为kafka的形式。当我DEBUG的时候，为了方便使用历史数据，我将历史数据存入CLICKHOUSE中，并作为输入，每天的输入数据一共有三张表，分别对应正式上线的三个数据源，需要这三张表结合起来才能计算出正确的结果。
- 问题： 当我使用TABLE API和SQL的时候，同时读取三张表，将输入数据转为同一类型的对象，然后进行union，进入下流process算子的时候，程序只会对其中一个流的数据进行reduce，对这一条流的数据处理结束之后，才会处理下一条流的数据，导致我的计算结果都是错误的。
- 目标： 我希望三条流去CLICKHOUSE获取数据的时候，能够模拟真实场景，根据时间戳逐条获取到不同数据源的数据，然后推送给下游算子进行计算。
- 进行过的尝试： 我尝试将时间窗口扩大到一天，但是这样会导致我的结果只有一条输出，也就是接受完所有的数据后进行计算，然后输出一下。这并不能解决问题。
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
