生产环境下每天60gb的实时 数据,给多少内存和并行度合适呢,有没有老师推荐
阿里云实时计算Flink版控制台仅支持Chrome浏览器访问。 一次性开通的资源数必须小于1000 CU,大于1000 CU时,需要通过工单进行开通。 阿里云实时计算Flink版不支持访问公网,如果您有访问公网的诉求,请参见Flink全托管集群如何访问公网。 阿里云实时计算Flink版在简单的流式压测处理场景下(例如过滤、清洗等),1 CU每秒的处理能力为40000~55000条数据。在复杂的流式压测处理场景下(例如复杂UDF计算、聚合操作等),1 CU每秒的处理能力5000~10000条数据。 测试集采用的是NexMark(此链接属于第三方搭建的网站,访问时可能会存在无法打开或访问延迟的问题),资源模式为基础模式,相关配置如下: JobManager CPU Cores:0.25 Core JobManager Memory:1 GiB TaskManager CPU Cores:1 Core TaskManager Memory:4 GiB 并发度:1 使用限制:https://help.aliyun.com/document_detail/427729.html
内存大小:建议为每个 TaskManager 分配 4 GB 到 8 GB 的内存,根据实际情况而定,大约可设置为 8GB左右。
并行度:Flink的并行度是一个非常重要的参数,直接影响到流处理的效率。在数据量为每天60GB左右的场景下,推荐使用 12 ~ 24 个 TaskManager,并将每个 TaskManager 的并行度设置为 8 ~ 12,因此,总并行度为 96 ~ 288。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。