开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

作业初始资源设置,如何调优?

作业初始资源设置,如何调优?

展开
收起
Medusa 2021-11-12 16:07:47 316 0
1 条回答
写回答
取消 提交回答
  • 调优这一块主要是借助于作业的运行是情况,我们会去关注一些重点指标,比如说有 没有产生数据的倾斜,维表的 Lookup Join 需要访问外部存储,有没有产生 IO 的瓶颈, 这都是影响作业性能的常见瓶颈点,需要加以关注。 在实时计算 Flink 产品上集成了一个叫 AutoPilot 的功能,可以理解为类似于自动驾驶, 在这种功能下,初始资源设多少就不是一个麻烦问题了。

    在产品上,设定作业最大的资源限制后,根据实际的数据处理量,该用多少资源可以由引擎自动帮我们去调到最优状态,根据负载情况来做伸缩。

    资料来源:《实时数仓“王炸组合”-实时计算》,下载链接:https://developer.aliyun.com/topic/download?id=7944

    2021-11-12 18:03:34
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
《用管控策略设定多账号组织全局访问边界》 立即下载
动态、高效,蚂蚁动态卡片的内核逻辑 立即下载
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时 立即下载