开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

生产环境下每天60gb的实时 数据,给多少内存和并行度合适呢,有没有老师推荐

生产环境下每天60gb的实时 数据,给多少内存和并行度合适呢,有没有老师推荐

展开
收起
圆葱猪肉包 2023-03-27 14:24:22 443 0
4 条回答
写回答
取消 提交回答
  • 应该是多少硬盘吧,60g的实时数据,峰值是多少,平均是多少都没说,内存和并行度不好给出

    2023-03-29 11:15:10
    赞同 展开评论 打赏
  • 你是一天的总量使用3并行度, 2gb的tm就能搞定此回答整理自钉群“【③群】Apache Flink China社区”

    2023-03-28 11:06:17
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    阿里云实时计算Flink版控制台仅支持Chrome浏览器访问。 一次性开通的资源数必须小于1000 CU,大于1000 CU时,需要通过工单进行开通。 阿里云实时计算Flink版不支持访问公网,如果您有访问公网的诉求,请参见Flink全托管集群如何访问公网。 阿里云实时计算Flink版在简单的流式压测处理场景下(例如过滤、清洗等),1 CU每秒的处理能力为40000~55000条数据。在复杂的流式压测处理场景下(例如复杂UDF计算、聚合操作等),1 CU每秒的处理能力5000~10000条数据。 测试集采用的是NexMark(此链接属于第三方搭建的网站,访问时可能会存在无法打开或访问延迟的问题),资源模式为基础模式,相关配置如下: JobManager CPU Cores:0.25 Core JobManager Memory:1 GiB TaskManager CPU Cores:1 Core TaskManager Memory:4 GiB 并发度:1 使用限制:https://help.aliyun.com/document_detail/427729.html

    2023-03-27 14:34:36
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。
    • 内存大小:建议为每个 TaskManager 分配 4 GB 到 8 GB 的内存,根据实际情况而定,大约可设置为 8GB左右。

    • 并行度:Flink的并行度是一个非常重要的参数,直接影响到流处理的效率。在数据量为每天60GB左右的场景下,推荐使用 12 ~ 24 个 TaskManager,并将每个 TaskManager 的并行度设置为 8 ~ 12,因此,总并行度为 96 ~ 288。

    2023-03-27 14:28:47
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载
低代码开发师(初级)实战教程 立即下载