开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

使用flink实时写入数据库,并发只能是1,如果并行度加大,就会导致行锁,最后就一直等待?

使用flink实时写入数据库,并发只能是1,因为同一条记录会出现多次变化,如果并行度加大,就会导致行锁,最后就一直等待?

展开
收起
真的很搞笑 2023-12-18 08:06:19 151 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink实时写入数据库并发只能是1,这是因为同一条记录可能会出现多次变化。如果并行度加大,就会导致行锁,最后就一直等待。这主要源于Flink在设计JDBC Sink时,出于性能因素考虑,对写入buffer做了默认值设置。

    解决这个问题的一种方法是使用事务来控制并发。例如,可以使用Flink的CDC(Change Data Capture)功能结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。这样,在高并发场景下,Doris的事务处理能力可以保障ACID特性,支撑Flink秒级的数据写入。

    2023-12-18 14:35:02
    赞同 展开评论 打赏
  • 这个问题好像任何多并行的写入都会出现,可以试试replace + 时间戳比较 ,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-12-18 11:18:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
    云时代的数据库技术趋势 立即下载
    超大型金融机构国产数据库全面迁移成功实践 立即下载