开发者社区> 问答> 正文

flink sql 侧输出

大佬们、我们这面主要基于blink sql完成转换计算,但是可能会有延迟数据,现在想把延迟数据通过侧输出保存下来,在table/sql

api中要怎么操作比较合理一点?或者有没有其他处理延迟数据的方式?*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-07 16:08:20 1129 0
1 条回答
写回答
取消 提交回答
  • Flink SQL/Table 目前还不支持 side output。不过有一个实验性的功能可以处理延迟数据,

    你可以给你的作业配上:

    table.exec.emit.late-fire.enabled = true

    table.exec.emit.late-fire.delay = 1min

    同时 TableConfig#setIdleStateRetentionTime 需要配上,表示窗口状态允许保留多久,即 window allowLateness 。

    具体可以看下 org.apache.flink.table.planner.plan.utils.WindowEmitStrategy 这个类。

    *来自志愿者整理的flink邮件归档

    2021-12-07 16:19:41
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载