开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink- 去采集pg表的全量数据阶段还是会加锁,我有哪里配置错了吗?

flink-connector-postgres-cdc-2.4.0 去采集pg表的全量数据阶段还是会加锁,我有哪里配置错了吗?image.png
image.png
image.png

展开
收起
cuicuicuic 2023-11-15 08:10:15 38 0
2 条回答
写回答
取消 提交回答
  • 写法不对,看看官网demo下面有个增量快照的写法是jdbc开头的,此回答整理自钉群“Flink CDC 社区”

    2023-11-15 12:30:59
    赞同 展开评论 打赏
  • 您好,Flink CDC采集PostgreSQL的全量数据阶段加锁,可能是由于Post您好,Flink CDC采集PostgreSQL的全量数据阶段加锁,可能是由于PostgreSQL的WAL(Write-Ahead Logging)机制导致的。WAL机制在写入数据时会先写日志,然后再写入数据文件,以保证数据的一致性。在这个过程中,PostgreSQL会对表进行加锁,以防止在写入数据时发生数据不一致的情况。这种加锁行为是PostgreSQL为了保证数据的一致性而进行的,无法通过配置来避免。

    如果您希望减少加锁对业务的影响,可以尝试以下方法:

    1. 将Flink任务的并行度调低,这样可以减少同时访问数据库的线程数,从而减少加锁的影响。
    2. 将Flink任务的调度频率调低,这样可以减少同一时间访问数据库的频率,从而减少加锁的影响。
    3. 考虑使用PostgreSQL的扩展插件,例如pg_stat_statements,来监控和调整锁的行为。
    2023-11-15 09:49:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载