开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

怎么知道Flink需要部署多少台主机?

怎么知道Flink需要部署多少台主机?

展开
收起
我是三好学生 2023-04-19 16:56:58 543 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    Flink 的集群规模一般由数据规模、计算复杂度、服务可用性等因素决定。如果数据量较大、计算复杂度高,服务的可用性和并发性也要求较高,那么需要更大的集群。相反,如果数据量较小,计算复杂度低,服务可用性和并发性的要求也较低,那么可以使用较小的集群来满足我们的需求。

    具体如何部署需要根据实际情况来确定集群规模,一般建议按照以下步骤进行规划:

    1. 执行压测:通过压测模拟真实的业务场景,观察Flink的性能表现,包括:容错、吞吐量、延迟等指标。

    2. 按数据量规划:根据数据规模来规划,以数据量100GB ~ 200GB为一个节点规模。

    3. 按计算量规划:根据计算复杂度和计算任务类型,规划任务执行的并行度和slot数,并根据每个slot的配置规划节点规模。

    4. 按用户并发度规划:根据服务的并发请求量,规划节点规模,一般情况下,每个节点可以承载一定数量的并发请求。

    2023-04-30 22:53:11
    赞同 展开评论 打赏
  • 参考图片lQLPJwfUX_IlZvLNAqXNAqmw3rDvU8G_czsEMDr_pcAvAA_681_677.png,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-04-19 22:40:23
    赞同 展开评论 打赏
  • 看数据大小,任务复杂度,本身的资源和机器性能四个方面,大概100G,复杂度不高,但是想处理的速度能达到100m/s,大概是需要五台16个cpu128g内存左右的机器,这样我们可以有1000个并行任务,大概60多个taskmanager,每台运行25个左右

    2023-04-19 17:58:37
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载