请教下,有个场景评估用flink实现是否可行, 数据:几千万用户的位置数据 需求:每10分钟内,每个-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

请教下,有个场景评估用flink实现是否可行, 数据:几千万用户的位置数据 需求:每10分钟内,每个

请教下,有个场景评估用flink实现是否可行, 数据:几千万用户的位置数据 需求:每10分钟内,每个用户,只保留一条最新的位置数据 方法1:sink到redis,实时更新 方法2:按用户分组,开窗10min,比较该用户下所有位置数据,只取最新的一条,但10分钟能sink几千万条数据么

展开
收起
云上静思 2022-12-02 16:47:01 347 0
2 条回答
写回答
取消 提交回答
  • 离原

    我理解的,如果说数据不是经常变化,用flink cdc的监听来处理数据是不是更好一点,这样只需要处理保持一个低延迟就可以,反而不需要考虑具体的吞吐量

    2022-12-03 21:18:32
    赞同 展开评论 打赏
  • 云墩墩

    直接消费按照用户keyby写入redis就行,注意下保序处理,别让旧数据覆盖新数据

    此答案来自钉钉群“【2】Apache Flink China 社区”

    2022-12-02 17:37:46
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
相关文档: 实时计算 Flink版
问答排行榜
最热
最新
相关电子书
更多
朱翥、贺小令|更快更稳更易用:Flink 自适应批处理能力演
立即下载
任庆盛|Flink CDC + Kafka 加速业务实时化
立即下载
李劲松|Flink Table Store 典型应用场景
立即下载