手动清理Flink相关的缓存或废弃文件,主要涉及以下几个场景:
CALL
.sys.remove_orphan_files('<database-name>.<table-name>');
<catalog-name>
替换为Paimon Catalog的名称。<database-name>
和 <table-name>
分别替换为数据库和表的名称。CALL
mycat.sys.remove_orphan_files('mydb.mytbl', '2023-10-31 12:00:00');
登录实时计算控制台: 首先,登录阿里云实时计算控制台。
新建查询脚本: 在控制台上,新建一个查询脚本。具体操作可参考相关文档中的“查询脚本”部分。
编写并执行SQL清理命令: 在查询脚本的文本编辑区域,输入如下SQL语句模板来调用清理函数:
CALL <catalog-name>
.sys.remove_orphan_files('.');
Flink Web UI 提供了一些操作来触发缓存清理,比如触发检查点(Checkpoints)或者重启任务。
可以通过设置 state.backend.rocksdb.memory.managed 为 false 来避免 Flink 管理状态的大小,但这需要你手动管理 RocksDB 的缓存大小。
设置 taskmanager.network.memory.fraction 和 taskmanager.network.memory.min 来调整大小,但这不会清理现有缓存,而是调整缓存的容量。
要手动清理Flink作业的缓存或特定的废弃文件,您可以按照以下步骤操作:
对于因作业报错重启等原因在Paimon表目录下遗留的未提交临时文件,可以通过以下步骤清理:
CALL `<catalog-name>`.sys.remove_orphan_files('<database-name>.<table-name>');
其中,<catalog-name>
是Paimon Catalog的名称,<database-name>
是数据库名称,<table-name>
是表名称。CALL `<catalog-name>`.sys.remove_orphan_files('<database-name>.<table-name>', TIMESTAMP '2023-10-31 12:00:00');
相关链接
作业状态集管理 从(其他作业)指定快照恢复作业 https://help.aliyun.com/zh/flink/user-guide/status-set-management
手动清理缓存通常涉及以下步骤:
您需要确定Flink作业中缓存的位置。确保停止所有相关的Flink作业。清理状态存储清理中间结果
根据您的作业类型和配置,可能还有其他类型的缓存需要清理,
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。