Apache Flink从开发到生产上线的过程中，我们应该如何确定集群规划大小？
Apache Flink从开发到生产上线的过程中，我们应该如何确定集群规划大小？或者说有什么依据作为参考？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
java底层技术、分布式数据库设计、深度学习算法
- 取决业务涉及到数据规模，比如使用kafka，那么kafka的入口流量qps
- 如果涉及到聚合，还需考虑状态更新次数
2021-03-04 13:34:59赞同 展开评论 -
第一步是仔细考虑应用程序的运维指标，以达到所需资源的基线。 需要考虑的关键指标是： ● 每秒记录数和每条记录的大小 ● 已有的不同键（key）的数量和每个键对应的状态大小 ● 状态更新的次数和状态后端的访问模式 最后，一个更实际的问题是与客户之间围绕停机时间、延迟和最大吞吐量的服务 级别协议（sla），因为这些直接影响容量规划。 接下来，根据预算，看看有什么可用的资源。例如： ● 网络容量，同时把使用网络的外部服务也纳入考虑，如 Kafka、HDFS 等。 ● 磁盘带宽，如果您依赖于基于磁盘的状态后端，如 RocksDB（并考虑其他磁 盘使用，如 Kafka 或 HDFS） ● 可用的机器数量、CPU 和内存 基于所有这些因素，现在可以为正常运行构建一个基线，外加一个资源缓冲量用 于恢复追赶或处理负载尖峰。建议您在建立基线时也考虑检查点期间（checkpoint- ing）使用的资源情况。
2020-12-30 10:42:58赞同 展开评论
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
