开发者社区> 问答> 正文

flink 1.14 Hybrid Source切换source时机问题

我有一个Hybrid Source切换时机问题: 在Hive+Kafka场景下,假如Kafka保留数据时长(retension)是1天,为了实现无缝衔接,我需要从Hive消费历史存量数据直到距离当前时间小于1天时才切换到kafka source,假设Hive中有字段表示处理时间的话,请问目前Flink Hybrid Source支持这种用法吗?如果支持的话程序应该要怎么写?谢谢!*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-08 09:56:52 1633 0
1 条回答
写回答
取消 提交回答
  • Hi!

    目前 Flink 虽然已经有相应接口[1],但还没有任何 source 实现这个功能。可以在 https://issues.apache.org/jira/browse/FLINK-23633 里追踪这个问题的进展。

    当然,如果你的 hive 表是以天为 partition 的,可以设置固定的切换时间点,然后 hive 只读之前的 partition。

    [1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/hybridsource/#dynamic-start-position-at-switch-time*来自志愿者整理的flink邮件归档

    2021-12-08 10:07:57
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载