使用flink实时写入数据库，并发只能是1，如果并行度加大，就会导致行锁，最后就一直等待？
使用flink实时写入数据库，并发只能是1，因为同一条记录会出现多次变化，如果并行度加大，就会导致行锁，最后就一直等待？
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。Flink实时写入数据库并发只能是1，这是因为同一条记录可能会出现多次变化。如果并行度加大，就会导致行锁，最后就一直等待。这主要源于Flink在设计JDBC Sink时，出于性能因素考虑，对写入buffer做了默认值设置。
解决这个问题的一种方法是使用事务来控制并发。例如，可以使用Flink的CDC（Change Data Capture）功能结合Doris的Flink Connector实现从MySQL数据库中监听数据并实时入库到Doris数仓对应的表中。这样，在高并发场景下，Doris的事务处理能力可以保障ACID特性，支撑Flink秒级的数据写入。
2023-12-18 14:35:02赞同 展开评论 打赏 -
这个问题好像任何多并行的写入都会出现，可以试试replace + 时间戳比较 ，此回答整理自钉群“【③群】Apache Flink China社区”
2023-12-18 11:18:38赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1518
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
213
在建行，数据通常来源于哪些？
538
大佬，Caused by: java.lang.ClassNotFoundException: or
515
请问flink-connector-jdbc在sink时，如何设置批量写入？
3154
Caused by: org.apache.kafka.common.errors.TimeoutE
3311
Flink 集群重启后，所有的Jobs任务全都没有了。如果快速恢复所有的任务
1256
Apache Flink未授权访问上传导致的RCE漏洞，这个漏洞目前方案解决吗？
598
Slot request bulk is not fulfillable，20以上job同时部署失败
756
Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
1553
展开全部
Flink SQL 功能解密系列 —— 数据去重的技巧和思考
10877
日均百亿级日志处理：微博基于 Flink 的实时计算平台建设
7769
Apache Flink 进阶（五）：数据类型和序列化
8274
Flink SQL 功能解密系列 -- Aysnc I/O
5465
Netflix：如何打造开放协作的实时 ETL 平台？
1844
Flink 新场景：OLAP 引擎性能优化及应用案例
2537
周末直播|Flink、Hologres、AI等热门话题全都安排！
4832
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
105101
实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc'，该如何解决
1623
实时计算 Flash – 兼容 Flink 的新一代向量化流计算引擎
730
展开全部
相关课程
更多
相关文章
相关电子书
更多
