请问flinkcdc中按日期建维表,分组怎么这么多重复的日期呢?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在 Flink CDC 中按日期建立维表时出现重复的日期,可能是由以下原因导致的:
数据源中存在重复数据
在 Flink CDC 中,按日期建立维表时,如果数据源中存在重复数据,就会导致建立的维表中出现重复的日期。可以检查数据源中是否存在重复数据,如果存在,可以通过去重或者过滤重复数据的方式解决问题。
维表构建逻辑有误
在 Flink CDC 中,按日期建立维表时,如果维表构建逻辑有误,也会导致维表中出现重复的日期。可以检查维表构建逻辑,确保逻辑正确无误。
时间格式转换错误
在 Flink CDC 中,按日期建立维表时,如果时间格式转换错误,也会导致维表中出现重复的日期。可以检查时间格式转换函数,确保函数正确无误。
针对按日期建立维表中出现重复日期的问题,可以尝试以下解决方法:
检查数据源中是否存在重复数据
"每条数据都会刷新你的结果表,你应该在结果表定义下union-key。
这里加个联合主键,但是需要sink端也这样处理下。此回答整理至钉群“Flink CDC 社区”。"
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。