开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教下,有个场景评估用flink实现是否可行, 数据:几千万用户的位置数据 需求:每10分钟内,每个

请教下,有个场景评估用flink实现是否可行, 数据:几千万用户的位置数据 需求:每10分钟内,每个用户,只保留一条最新的位置数据 方法1:sink到redis,实时更新 方法2:按用户分组,开窗10min,比较该用户下所有位置数据,只取最新的一条,但10分钟能sink几千万条数据么

展开
收起
云上静思 2022-12-02 16:47:01 570 0
2 条回答
写回答
取消 提交回答
  • 我理解的,如果说数据不是经常变化,用flink cdc的监听来处理数据是不是更好一点,这样只需要处理保持一个低延迟就可以,反而不需要考虑具体的吞吐量

    2022-12-03 21:18:32
    赞同 展开评论 打赏
  • 直接消费按照用户keyby写入redis就行,注意下保序处理,别让旧数据覆盖新数据

    此答案来自钉钉群“【2】Apache Flink China 社区”

    2022-12-02 17:37:46
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载