flink 1.14 Hybrid Source切换source时机问题
我有一个Hybrid Source切换时机问题: 在Hive+Kafka场景下，假如Kafka保留数据时长(retension)是1天，为了实现无缝衔接，我需要从Hive消费历史存量数据直到距离当前时间小于1天时才切换到kafka source，假设Hive中有字段表示处理时间的话，请问目前Flink Hybrid Source支持这种用法吗？如果支持的话程序应该要怎么写？谢谢！*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
Hi！
目前 Flink 虽然已经有相应接口[1]，但还没有任何 source 实现这个功能。可以在 https://issues.apache.org/jira/browse/FLINK-23633 里追踪这个问题的进展。
当然，如果你的 hive 表是以天为 partition 的，可以设置固定的切换时间点，然后 hive 只读之前的 partition。
[1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/hybridsource/#dynamic-start-position-at-switch-time*来自志愿者整理的flink邮件归档
2021-12-08 10:07:57赞同 展开评论 打赏
问答分类：
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
