开发者社区数据库文章正文

KnowStreaming系列教程第四篇——MySQL数据更新死锁问题

2023-12-29 65

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

RDS MySQL Serverless 基础系列，0.5-2RCU 50GB

云数据库 RDS MySQL，集群系列 2核4GB

云数据库 RDS MySQL，高可用系列 2核4GB

简介： KnowStreaming系列教程第四篇——MySQL数据更新死锁问题

原始issue 是这个：

Deadlock · Issue #662 · didi/KnowStreaming · GitHub

替换replace 为 insert into ... on duplicate key update

https://github.com/didi/KnowStreaming/pull/684/files

但是仍然没有解决

后又复现：

mysql死锁报错 · Issue #728 · didi/KnowStreaming · GitHub

解决方案：

详细讨论参考 https://github.com/didi/KnowStreaming/pull/751

这块解决的思路是：在代码中，查询已有的数据。如果数据已存在，就执行updateById的操作，如果不存在，就执行insert的操作。insert操作时，忽略key冲突的异常。

这样做的原因是：整体代码实现逻辑上比较简单，没有引入一些复杂的东西。缺点是会损耗一些性能，但是也有一定的优化空间，比如如果发现数据没有变化，可以直接不进行updateById。

主要原因是调度任务并行执行，更新数据的时候存在更新相同行的数据引起的死锁。

文章标签：

云数据库 RDS MySQL 版

关系型数据库

MySQL

调度

关键词：

云数据库 RDS MySQL 版死锁

云数据库 RDS MySQL 版教程

教程云数据库 RDS MySQL 版

云数据库 RDS MySQL 版数据更新

相关实践学习

如何在云端创建MySQL数据库

开始实验后，系统会自动创建一台自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS。

全面了解阿里云能为你做什么

阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs

诸葛子房

小王老师呀

2月前

关系型数据库 MySQL Java

centos7安装mysql教程及Navicat平替软件

【8月更文挑战第17天】本教程详述CentOS 7上安装MySQL的过程。首先确保移除任何预装的MySQL组件，然后通过wget获取并安装MySQL的YUM源。可以选择安装特定版本如5.7或8.0。安装MySQL服务器后，启动服务并查找初始密码。登录MySQL后应立即更改密码，并可根据需要设置远程访问权限。此外，还推荐使用免费开源的DBeaver作为数据库管理工具，提供了安装步骤以方便管理和操作MySQL数据库。

小王老师呀

89 3 3

pbeskoyq7ffm4

2月前

SQL 关系型数据库 MySQL

遇到mysql数据库死锁，你会怎么排查？

pbeskoyq7ffm4

108 0 0

糜终

5天前

监控关系型数据库 MySQL

MySQL锁机制与解决死锁问题

糜终

19 5 5

william.zhang(张)

2月前

存储 SQL 关系型数据库

深入MySQL锁机制：原理、死锁解决及Java防范技巧

william.zhang(张)

208 1 1

运营研究坊

2月前

SQL JavaScript 关系型数据库

Mysql索引不当引发死锁问题

本文通过真实案例解析了MySQL在高并发环境下出现死锁的问题。数据库表`t_award`包含多个索引，但在执行特定SQL语句时遭遇索引失效，导致更新操作变慢并引发死锁。分析发现，联合索引`(pool_id, identifier, status, is_redeemed)`因`identifier`允许为空值而导致索引部分失效。此外，`pool_id`上的普通索引产生的间隙锁在高并发下加剧了死锁风险。为解决此问题，文中提出了调整索引顺序至`(pool_id, status, is_redeemed, identifier)`等方案来优化索引使用，进而减轻死锁现象。

运营研究坊

51 1 1

小王老师呀

2月前

Oracle 关系型数据库 MySQL

Mysql和Oracle数据库死锁查看以及解决

【8月更文挑战第11天】本文介绍了解决MySQL与Oracle数据库死锁的方法。MySQL可通过`SHOW ENGINE INNODB STATUS`查看死锁详情，并自动回滚一个事务解除死锁；也可手动KILL事务。Oracle则通过查询V$LOCK与V$SESSION视图定位死锁，并用`ALTER SYSTEM KILL SESSION`命令终止相关会话。预防措施包括遵循ACID原则、优化索引及拆分大型事务。

小王老师呀

77 3 3

请看我回答~

2月前

SQL 关系型数据库 MySQL

PHP与MySQL交互之基础教程

【8月更文挑战第31天】在数字世界中，数据是推动一切的核心力量。本文将引导你探索PHP与MySQL的协同工作，通过实际代码示例，展示如何建立连接、执行查询以及处理结果集。无论你是初学者还是希望巩固知识的开发者，这篇文章都将为你提供宝贵的实践知识。

请看我回答~

58 0 0

最好zzz

2月前

监控关系型数据库 MySQL

MySQL死锁是什么

【8月更文挑战第26天】MySQL死锁是指两个或多个事务在执行过程中，因争夺锁资源而造成的相互等待的现象，若无外力干涉，它们都将无法继续执行。这种相互等待的情况会导致整个系统陷入停滞状态，影响数据库的性能和稳定性。

最好zzz

43 0 0

蓝易云

2月前

关系型数据库 MySQL 网络安全

MySQL主从复制详细教程

配置MySQL的主从复制是一个细致的过程，需要仔细遵循上述步骤进行。一旦配置完成并运行正常，主从复制将大大提高数据库的可用性和读写性能。在操作过程中，务必保持谨慎，确保数据的一致性和安全性。

蓝易云

136 0 0

jianz123

3月前

SQL 存储关系型数据库

细说 MySQL 死锁

死锁检查在MySQL 8.0中涉及三个主要步骤：构造锁等待图、初始化事务权重和提升权重。首先，当事务进入锁等待状态时，信息会被记录到内存中的`waiting_threads`，形成快照数组。接着，对这个数组进行排序，构造出锁等待图，表示事务间的等待关系。然后，初始化所有等待事务的权重为1，如果一个事务在其他事务等待后进入等待，其权重会被提升，以避免长时间等待。最后，根据锁等待图，提升那些同时阻塞其他事务的权重，但不包括参与死锁的事务。权重更新后，死锁检查线程将依据这些信息来检测和解决死锁。

jianz123

71 15 15

KnowStreaming系列教程第四篇——MySQL数据更新死锁问题

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像