开发者社区> 问答> 正文

flink sql 侧输出

大佬们、我们这面主要基于blink sql完成转换计算,但是可能会有延迟数据,现在想把延迟数据通过侧输出保存下来,在table/sql

api中要怎么操作比较合理一点?或者有没有其他处理延迟数据的方式?

*来自志愿者整理的flink邮件归档

展开
收起
小阿矿 2021-12-06 15:27:14 1009 0
1 条回答
写回答
取消 提交回答
  • Flink SQL/Table 目前还不支持 side output。不过有一个实验性的功能可以处理延迟数据,

    你可以给你的作业配上:

    table.exec.emit.late-fire.enabled = true

    table.exec.emit.late-fire.delay = 1min

    同时 TableConfig#setIdleStateRetentionTime 需要配上,表示窗口状态允许保留多久,即 window

    allowLateness 。

    具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。

    *来自志愿者整理的flink邮件归档

    2021-12-06 17:26:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载