我有一个Hybrid Source切换时机问题: 在Hive+Kafka场景下,假如Kafka保留数据时长(retension)是1天,为了实现无缝衔接,我需要从Hive消费历史存量数据直到距离当前时间小于1天时才切换到kafka source,假设Hive中有字段表示处理时间的话,请问目前Flink Hybrid Source支持这种用法吗?如果支持的话程序应该要怎么写?谢谢!*来自志愿者整理的flink邮件归档
Hi!
目前 Flink 虽然已经有相应接口[1],但还没有任何 source 实现这个功能。可以在 https://issues.apache.org/jira/browse/FLINK-23633 里追踪这个问题的进展。
当然,如果你的 hive 表是以天为 partition 的,可以设置固定的切换时间点,然后 hive 只读之前的 partition。
[1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/hybridsource/#dynamic-start-position-at-switch-time*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。