开发者社区> 问答> 正文

Flink Python作业Checkpoint慢

已解决

Flink Python作业Checkpoint慢

展开
收起
提个问题 2024-06-04 12:06:34 13 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    Python算子内部有一定的缓存,在进行Checkpoint时,需要将缓存中的数据全部处理完。因此,如果Python UDF的性能较差,则会导致Checkpoint时间变长,从而影响作业执行。解决方案在作业开发页面,单击右侧的高级配置后,在更多Flink配置项中,设置以下参数,将缓存调小。python.fn-execution.bundle.size:默认值为100000,单位是条数。 python.fn-execution.bundle.time:默认值为1000,单位是毫秒。
    2024-06-04 12:06:35
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
From Python Scikit-Learn to Sc 立即下载
Data Pre-Processing in Python: 立即下载
双剑合璧-Python和大数据计算平台的结合 立即下载