从sql语句的角度解刨SqlServer插入语句的并发问题

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介: 从sql语句的角度解刨SqlServer插入语句的并发问题

今天收到一个小学弟的求助,数据库插入偶尔重复,怎么在sql语句上进行解决。


 

Q:学长,我导入excel数据的操作,平时使用好好的,怎么突然发生插入重复的问题?

A:你是使用哪个ORM框架进行操作的?

 

Q:什么是ORM框架?

A:额……,你数据库怎么链接操作的?

 

Q:我使用Connection对象进行链接操作的。

A:哦,ADO.NET呀,你把导入数据的插入sql语句的截图发出来看看。

 

Q:sql截图(这里就不展示了,就是一个简单的insert into,如:INSERT INTO aTable(id) VALUES("1"))

A:哦哦,你语句没有并发情况下没问题,但是多人同时导入数据就存在并发,数据重复意料之中。

 

Q:啊,这还涉及到并发?那我怎么修改呀

A:简单,不改变其他操作的情况下,你把插入语句加事务加锁机制既可以了。

 

Q:额……不怎么懂,有demo吗?

A:没事,我就在你的sql语句上优化下,你直接粘贴就可以了。

 


 

我们来解刨一下这个问题,现在很多人依赖ORM,都没怎么写sql了,我们就从sql的角度解析一下这个问题。

这里不好提供代码展示,我们这里就简单进行一个模拟还原使用场景。

创建一个表,命名为aTable,里面就一个字段id,int类型,然后插入一个数据为1;

 

操作一:重现问题出现原因

然后同时(有点间隔也没关系,但隔时间要小)在查询分析器的两个窗口中执行下如下语句:

declare @id int
set @id = ( select max(id) from aTable )
while @id < 40000
 begin
 set @id = @id + 1
 insert into aTable ( id ) select @id
 set @id = ( select max(id) from aTable ) 
 end

这样的目的在于测试当两个用户同时操作同一个表时的重复性操作,模拟多用户同时导入相同的excel数据,

结果:共得到42953条数据,其中2953条重复,当然,这个重复数据跟执行间隔时间有关。


 

操作二:进行第一步优化,添加事务

sql语句加上事务处理,

然后同时(有点间隔也没关系,但间隔时间要小)在查询分析器的两个窗口中执行下如下语句:

begin tran  --开启事务
declare @id int
set @id = ( select max(id) from aTable )
while @id < 40000
 begin
 set @id = @id + 1
 insert into aTable ( id ) select @id
 set @id = ( select max(id) from aTable ) 
 end
commit tran  --提交事务

结果:共得到40000条数据,无重复,但是执行时间是没加事务处理时的6倍,时间太久。


 

操作三:进行第二步优化,添加锁

sql语句加上事务处理和锁机制,

然后同时(有点间隔也没关系,但间隔时间要小)在查询分析器的两个窗口中执行下如下语句:

begin tran --开始事务
declare @id INT
set @id = ( select max(id) from aTable )
while @id < 40000
begin
set @id = @id + 1
--添加锁 with(tablock)
insert into aTable with (tablock) ( id ) select @id
set @id = ( select max(id) from aTable )
end
commit tran --提交事务

结果:共得到40000条数据,无重复,执行时间快。


 

这样就从sql上简单解决并发问题啦,当然,还有其他问题和解决方法,

这里就不做叙说了,具体情况遇到再分析,拜拜。

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
相关文章
|
1月前
|
SQL 安全 算法
【SQL server】玩转SQL server数据库:第四章 数据库安全性
【SQL server】玩转SQL server数据库:第四章 数据库安全性
92 12
|
1月前
|
SQL 人工智能 算法
【SQL server】玩转SQL server数据库:第二章 关系数据库
【SQL server】玩转SQL server数据库:第二章 关系数据库
93 10
|
1月前
|
SQL 数据库 数据库管理
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(一)模式、表、索引与视图
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(一)模式、表、索引与视图
89 11
|
1月前
|
SQL 算法 数据库
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
205 6
|
12天前
|
SQL 数据库 索引
在SQL中如何实现多用户并发控制?
【6月更文挑战第17天】在SQL中如何实现多用户并发控制?
14 2
|
1月前
|
SQL 算法
基于若依的ruoyi-nbcio流程管理系统修改代码生成的sql菜单id修改成递增id(谨慎修改,大并发分布式有弊端)
基于若依的ruoyi-nbcio流程管理系统修改代码生成的sql菜单id修改成递增id(谨慎修改,大并发分布式有弊端)
37 1
|
1月前
|
SQL JSON atlas
实时计算 Flink版产品使用合集之SQL Server CDC是否支持抽取SQL Server视图
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
SQL 安全 网络安全
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
166 0
|
11天前
|
SQL IDE Java
Java连接SQL Server数据库的详细操作流程
Java连接SQL Server数据库的详细操作流程
|
19天前
|
SQL DataWorks NoSQL
DataWorks产品使用合集之如何将SQL Server中的数据转存到MongoDB
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
246 1