开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

百亿数据实时去重,有哪位同学实践过吗?

百亿数据实时去重,有哪位同学实践过吗? 本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。 点击这里欢迎加入感兴趣的技术领域群。

展开
收起
黄一刀 2019-11-20 17:11:02 4710 0
3 条回答
写回答
取消 提交回答
  • 资深java菜鸟

    我做过一个量很大的数据去重 flink state里面放布隆过滤器

    2019-11-20 17:18:21
    赞同 展开评论 打赏
  • 之前有大佬 150 亿数据去重啊,好像是用状态做的吧。

    2019-11-20 17:13:08
    赞同 展开评论 打赏
  • 可以试试clickhouse uniq()近似去重

    2019-11-20 17:11:21
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
阿里云流计算在阿里搜索与推荐业务的应用 立即下载
海量订单系统优化实践 立即下载
时序数据在滴滴实时数据开发平台中的处理和应用 立即下载