AI 助理
备案控制台登录注册
开发者社区 问答 正文

Flink Python作业Checkpoint慢

已解决

Flink Python作业Checkpoint慢

展开
收起
提个问题 2024-06-04 12:06:34 47 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 社区答人
    开发者社区问答官方账号
    官方回答
    采纳回答
    Python算子内部有一定的缓存，在进行Checkpoint时，需要将缓存中的数据全部处理完。因此，如果Python UDF的性能较差，则会导致Checkpoint时间变长，从而影响作业执行。解决方案在作业开发页面，单击右侧的高级配置后，在更多Flink配置项中，设置以下参数，将缓存调小。python.fn-execution.bundle.size：默认值为100000，单位是条数。 python.fn-execution.bundle.time：默认值为1000，单位是毫秒。
    2024-06-04 12:06:35 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
流计算 Python 实时计算 Flink版
问答标签：
实时计算 Flink版作业 实时计算 Flink版checkpoint 实时计算 Flink版作业checkpoint 实时计算 Flink版python flink Python
问答地址：
开发者社区 > 大数据 > 问答
关联地址：
问产品> 实时计算 Flink版
相关问答
实时计算 Flink版
在Flink CDC中可以使用python部署吗?
103
1
0
flink 运行环境中有 python 解释器吗？
46
1
0
Flink 1.15 之前的 Python API 存在什么问题，以及 1.15 是如何改进的？
38
1
0
在Flink CDC中用python 和JAVA 会因为 语言的问题 影响 作业性能吗?
86
1
0
Flink CDC 1.14 15 16 checkpoint都是nodata 是配置问题么？
136
2
0
Flink这个 checkpoint 的配置和部署时的参数配置之间的关系是什么？
63
1
0
Flink CDC集群开启checkpoint的配置 是这个嘛？
240
1
0
flink全量同步开启checkpoint，有配置能等第一次全量同步完后再开始checkpoint？
151
3
0
Flink CDC实时打宽 一般 checkpoint 配置多久触发一次呢？
106
0
0
请问一下, flink cdc 集成oss 用来保存checkpoint 的时候,配置都加进去了.
1395
2
0