Flink这个state记录啥东西需要记这么多的?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
窗口数据:当使用窗口操作(如滚动窗口、滑动窗口)时,状态用于存储窗口内的数据。这样可以在窗口触发时进行聚合、计算或其他操作。
状态化的操作结果:在一些场景中,您可能需要记住先前的操作结果,以便能够在后续的数据到达时进行比较、计算或更新。
聚合数据:状态可以用于存储聚合数据,例如计数、求和、平均值等。这样可以实时地跟踪和更新聚合结果。
去重数据:状态可以用于去重,确保相同的数据不会被重复处理。
连接数据:在一些操作中,您可能需要将不同的数据流连接在一起,并将连接信息存储在状态中。
状态机:状态可以被用于实现有限状态机,帮助跟踪和控制作业的执行流程。
checkpoint/state 大小和数据量、业务复杂度、ttl 等配置息息相关,建议带着作业链接走工单 case by case 分析下~此回答整理自钉群“实时计算Flink产品交流群”
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。