关于多个来源，如何保证数据对齐？
1.项目中我们会汇集不同来源的消息的，然和合并进行统计并输出结果。 2. 有topic a 是所有的用户pv日志， topic b 是所有用户uv日志，现在1个job同时消费a,b2个消息，并将pv,uv的结果同时输出到下一级的kafka topic c中， 问题：当a 消息 提前到达，b 消息晚20分钟到达，job 在工作时如何保证2个topic 数据对齐，或者说2边数据进行关联整合？ 相当于2条消息处理后合并成1条往下游sink ,如何保证数据数据a和b对应的上？
*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
我理解你这种情况应该是使用事件时间，需要将上游两个数据源按照watermark对齐下？ 目前我不清楚社区是否有实现，但是我理解如果需要对齐并且假设对齐5分钟，那么a流最新的数据就要等15分钟！ 这个我理解其实可以从b流进行优化的，可以关注下另一个数据源为什么使用事件时间还需要延迟20分钟才到。
*来自志愿者整理的flink邮件归档
2021-12-06 21:25:44赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
