开发者社区> 问答> 正文

flink SQL UpsertTable 语义问题

SQL 如下: INSERT INTO upsertTable SELECT * FROM ( SELECT cnt0 as id, count(id) as cnt FROM (SELECT id, count(*) as cnt0 FROM orderTable GROUP BY id) GROUP BY cnt0 ) WHERE cnt > 0 输入数据: 1L, "hz" 2L, "hz" 3L, "hz" 1L, "hz"

当最后的WHERE 条件cnt >0(或者不加),结果是: (true,1,3) // 会被后面的(true,1,2)覆盖 (true,1,2) (true,2,1) 这个结果理解是对的, 最后结果是 (true,1,2) 和 (true,2,1)

但是如果WHERE 条件是 cnt > 2 结果就是 (true,1,3) 这个就不理解了 为什么会输出中间结果(true,1,3),这样就和批处理上的sql结果不一致了 而不应该是没有输出么,或者 先发(true,1,3)再发(false,1,3)

*来自志愿者整理的flink邮件归档

展开
收起
小阿矿 2021-12-08 10:55:22 1830 0
1 条回答
写回答
取消 提交回答
  • hb,这个是因为优化器目前的bug,只考虑了sink是upsertSink,没有考虑到还有filter,最后优化的结果变成agg没有发出retract(1,3)的消息了,你可以把你的sink改成RetractSink应该就不会有问题了。 *来自志愿者整理的flink邮件归档

    2021-12-08 14:52:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server 2017 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载