基于Hadoop Yarn去使用Flink cdc,想申请生产环境的服务器,目前遇到的问题是:
不知如何评估对应的服务器配置,评估标准是什么?
有什么评估标准吗,根据总数据量还是增量数据,又或者是Job的数量?
cpu、内存、硬盘的大小又该如何评估?
评估服务器配置主要取决于以下几个因素:
基于以上因素,可以初步估算出每个服务器所需的CPU、内存和磁盘空间大小。可以根据实际情况增加冗余和扩展能力来确定最终的服务器配置。对于大型集群而言,请务必与专业人员合作以确保正确估算硬件需求,避免资源浪费或性能瓶颈。还需要考虑在高负载下的系统性能和稳定性,因此建议根据预期的高峰期流量来确定服务器数量。监控系统性能,并适时调整服务器配置以适应不断变化的需求。
在评估Flink CDC所需的服务器配置时,有几个方面需要考虑:
下面是对这几个方面的粗略建议:
使用Flink CDC在生产环境中申请服务器时,需要考虑以下几个因素来确定合理的硬件配置:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。