开发者社区 问答 正文

flink 1.14 Hybrid Source切换source时机问题

我有一个Hybrid Source切换时机问题: 在Hive+Kafka场景下,假如Kafka保留数据时长(retension)是1天,为了实现无缝衔接,我需要从Hive消费历史存量数据直到距离当前时间小于1天时才切换到kafka source,假设Hive中有字段表示处理时间的话,请问目前Flink Hybrid Source支持这种用法吗?如果支持的话程序应该要怎么写?谢谢!*来自志愿者整理的flink邮件归档

展开
收起
moonlightdisco 2021-12-08 09:56:52 1670 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • Hi!

    目前 Flink 虽然已经有相应接口[1],但还没有任何 source 实现这个功能。可以在 https://issues.apache.org/jira/browse/FLINK-23633 里追踪这个问题的进展。

    当然,如果你的 hive 表是以天为 partition 的,可以设置固定的切换时间点,然后 hive 只读之前的 partition。

    [1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/hybridsource/#dynamic-start-position-at-switch-time*来自志愿者整理的flink邮件归档

    2021-12-08 10:07:57 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等