开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC使用postgresql cdc获取数据,有遇到这个问题的吗?

Flink CDC使用postgresql cdc获取数据,日志一直打印这个Exported 432162 records for split 'zjcrm_std.mer_trade_hd:4' after 00:03:44.535 ,最后直至task GC,有遇到这个问题的吗?image.png

展开
收起
真的很搞笑 2023-12-04 07:49:08 59 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于Flink CDC在处理PostgreSQL CDC数据时遇到了性能问题。为了解决这个问题,你可以尝试以下方法:

    1. 增加Flink任务的并行度。这可以通过设置taskmanager.numberOfTaskSlots参数来实现。例如,将其设置为4或更多,以便同时处理更多的记录。

    2. 调整Flink CDC的批处理大小。这可以通过设置cdc.batch.size参数来实现。较大的批处理大小可能会提高性能,但也可能增加内存消耗。你可以根据你的资源限制来调整这个值。

    3. 优化PostgreSQL CDC的配置。例如,可以调整max_replication_slots参数以允许更多的并发复制槽,或者调整wal_levelarchive_mode参数以提高性能。

    4. 如果可能的话,尝试将数据分片到多个Flink任务中进行处理。这样可以减少单个任务的负载,从而提高整体性能。

    5. 检查你的Flink集群的资源使用情况,确保有足够的资源来处理CDC数据。如果资源不足,可以考虑增加节点或升级硬件。

    2023-12-04 14:17:44
    赞同 展开评论 打赏
  • 这个问题可能是由于Flink CDC在处理PostgreSQL CDC数据时遇到了性能问题。你可以尝试以下方法来解决这个问题:

    1. 增加Flink任务的并行度。你可以通过设置taskmanager.numberOfTaskSlots参数来增加任务的并行度。例如,将其设置为4或更多。

    2. 调整Flink任务的内存分配。你可以通过设置taskmanager.memory.process.sizetaskmanager.memory.fraction参数来调整任务的内存分配。例如,将taskmanager.memory.process.size设置为8g,将taskmanager.memory.fraction设置为0.6。

    3. 优化PostgreSQL数据库的配置。你可以尝试调整PostgreSQL的配置参数,以提高CDC数据的处理速度。例如,可以增加max_connectionsshared_buffers等参数的值。

    4. 如果问题仍然存在,可以考虑使用其他支持PostgreSQL CDC的Flink连接器,或者尝试使用其他流处理框架。

    2023-12-04 11:51:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像