开发者社区> 问答> 正文

如何用 Flink SQL 做简单的数据去重?

最近我有一个使用 Flink SQL 做简单的数据去重的需求,想使用 Flink 的 ScalarFunction,通过阅读 API 发现 FunctionContext context 并不支持访问 state。 我准备使用 Guava cache 做,不知道小伙伴有没有更好的建议哈!感谢。

*来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 17:22:10 1074 0
1 条回答
写回答
取消 提交回答
  • 看看deduplication语法[1] 是否满足你的需求

    [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/sql/queries.html#deduplication*来自志愿者整理的flink

    2021-12-07 20:40:12
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载