开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC Pg cdc 日志没被清理,磁盘被撑爆了,咋解决?

Flink CDC Pg cdc 日志没被清理,磁盘被撑爆了,咋解决?

展开
收起
真的很搞笑 2023-10-23 14:51:33 70 0
2 条回答
写回答
取消 提交回答
  • 把复制槽直接删掉日志应该就会被回收了。wal日志也可以手动清理,可以用自带的pg_controldata去清理,此回答整理自钉群“Flink CDC 社区”

    2023-10-24 08:28:03
    赞同 展开评论 打赏
  • 如果你的PostgreSQL数据库的CDC日志没有被正确清理,可能会导致磁盘空间被耗尽。以下是一些可能的解决方案:

    1. 手动清理:你可以使用命令行工具或pgAdmin等工具手动删除过期的CDC日志。但是,这种方法需要定期手动执行,可能会比较麻烦。

    2. 设置自动清理:你可以修改PostgreSQL的配置文件(通常是postgresql.conf),设置自动清理CDC日志。例如,你可以设置wal_keep_segments参数,指定保留多少个WAL段。每个WAL段大约占用16MB的磁盘空间,所以如果你设置了wal_keep_segments为100,那么你的数据库将保留大约1.6GB的WAL日志。

    3. 使用第三方工具:有一些第三方工具可以帮助你管理CDC日志,例如pgBackRest、pgCopyCat等。这些工具可以自动备份和清理CDC日志,帮助你管理磁盘空间。

    4. 优化查询:如果是因为大量的查询导致CDC日志增长过快,那么你可以考虑优化你的查询。例如,你可以使用索引、分区表、批量查询等方法来提高查询效率。

    2023-10-23 16:45:44
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载