SQL Server 事务复制分发到订阅同步慢

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS SQL Server,基础系列 2核4GB
日志服务 SLS,月写入数据量 50GB 1个月
简介: 原文:SQL Server 事务复制分发到订阅同步慢 最近发现有一个发布经常出现问题,每几天就出错不同步,提示要求初始化。重新调整同步后,复制还是很慢!每天白天未分发的命令就达五六百万条!要解决慢的问题,需要了解从发布数据库到订阅数据库中,有哪些操作,才知道哪个步骤同步缓慢。
原文: SQL Server 事务复制分发到订阅同步慢

最近发现有一个发布经常出现问题,每几天就出错不同步,提示要求初始化。重新调整同步后,复制还是很慢!每天白天未分发的命令就达五六百万条!要解决慢的问题,需要了解从发布数据库到订阅数据库中,有哪些操作,才知道哪个步骤同步缓慢。


这是很久之前自己做的一张图,主要描述发布到分发、分发到订阅中,复制使用了哪些操作,如下图:



发布到分发:

在发布中,复制是使用日志读取器读(sp_replcmds)取发布数据库中的事务日志的,日志读取器是按事务顺序读取的,所以每个数据库只能有一个(若有CDC也使用同一个日志读取器)。

首选,在事务日志中,到底有多少是需要复制的?使用以下命令,可以确定事务日志中被标志为复制的命令有多少。

USE <publisher_database>
GO
SELECT count(*) FROM ::fn_dblog(NULL, NULL) WHERE Description='REPLICATE'
GO
如果事务日志中标志为复制的命令很多,常见的种情况有:

1. 有一个较大的事务还没读取到;

2. 日志读取器出现问题;

正常来说,日志读取器扫描日志还是比较快的,不会有什么问题,不会累计较多待读取的日志。可以使用性能计数器监控日志读取器读取情况:

"\SQLServer:Replication Logreader\Logreader:Delivered Cmds/sec"

"\SQLServer:Replication Logreader\Logreader:Delivered Trans/sec"


日期读取器读取事务日志后,会通过存储过程 sp_msadd_commands 写入到分发服务器上的分发数据库  distribution 。但是写入是否正常呢?从上面计数器跟踪的情况,可以估计每分钟有读取了多少命令。需要分发的事务和命令,系统存储过程分别写入了分发库上的表 MSrepl_transactions和 MSrepl_commands ,这两个表记录了需要分发的命令(注意:其中的命令可能已经分发到订阅了,只是还没清除)。将两表关联按分钟统计,可以确定每分钟写入到分发库上的命令有多少了。

SELECT
    DATEPART(mm, [entry_time]) 'month',
    DATEPART(dd, [entry_time]) 'day',
    DATEPART(hh, [entry_time]) 'hour',
	DATEPART(MI, [entry_time]) 'Minute',
    COUNT(C.[xact_seqno]) 'count of commands'
FROM [dbo].[MSrepl_transactions](nolock) T
INNER JOIN [dbo].[MSrepl_commands](nolock) C
    ON T.[xact_seqno] = C.[xact_seqno] 
	AND T.publisher_database_id=c.publisher_database_id
WHERE [entry_time] >='2017-05-04 12:00:00'
GROUP BY    DATEPART(mm, [entry_time]),
            DATEPART(dd, [entry_time]),
            DATEPART(hh, [entry_time]),
			DATEPART(MI, [entry_time])
ORDER BY 1, 2, 3,4
GO

在发布到分发中,事务命令的读取和写入可做对比,确定读或写是哪段出现问题。


分发到订阅:

分发到订阅,首选确定有多少命令是需要分发的,若直接求和  MSrepl_transactions 和 MSrepl_commands是不准确的,因为有的已经分发了。可以打开复制监视器查看某个发布中未分发的命令,若用脚本查看,有两个方法:

/************************方法一****************************/
EXEC distribution.sys.sp_replmonitorsubscriptionpendingcmds 
  @publisher = N'发布服务器名称'
, @publisher_db = N'发布数据库名称'
, @publication = N'发布名称'
, @subscriber = N'订阅服务器名称'
, @subscriber_db = N'订阅数据库名称'
, @subscription_type =1
go

/************************方法二****************************/
--未分发的事务数
With MaxXact (ServerName, PublisherDBID, XactSeqNo)
As (Select S.name, DA.publisher_database_id, max(H.xact_seqno)
    From distribution.dbo.MSdistribution_history H with(nolock)
    Inner Join distribution.dbo.MSdistribution_agents DA with(nolock) On DA.id = H.agent_id
    Inner Join master.sys.servers S with(nolock) On S.server_id = DA.subscriber_id
    Group By S.name, DA.publisher_database_id)
Select MX.ServerName, MX.PublisherDBID, COUNT(*) As TransactionsNotReplicated
From distribution.dbo.msrepl_transactions T with(nolock)
Right Join MaxXact MX On MX.XactSeqNo < T.xact_seqno And MX.PublisherDBID = T.publisher_database_id
Group By MX.ServerName, MX.PublisherDBID;
GO
--未分发的命令数
With MaxXact (ServerName, PublisherDBID, XactSeqNo)
As (Select S.name, DA.publisher_database_id, max(H.xact_seqno)
    From distribution.dbo.MSdistribution_history H with(nolock)
    Inner Join distribution.dbo.MSdistribution_agents DA with(nolock) On DA.id = H.agent_id
    Inner Join master.sys.servers S with(nolock) On S.server_id = DA.subscriber_id
    Group By S.name, DA.publisher_database_id)
Select MX.ServerName, MX.PublisherDBID, COUNT(*) As CommandsNotReplicated
From distribution.dbo.MSrepl_commands C with(nolock)
Right Join MaxXact MX On MX.XactSeqNo < C.xact_seqno And MX.PublisherDBID = C.publisher_database_id
Group By MX.ServerName, MX.PublisherDBID;
GO

总体监控分发到订阅的情况,可以使用计数器跟踪:

"\SQLServer:Replication Dist\Dist:Delivered Cmds/sec"
"\SQLServer:Replication Dist\Dist:Delivered Trans/sec"


若了解更详细情况,可在分发代理中添加以下参数,重启分发作业。

-Output [output_path_and_file_name]
-OutputVerboseLevel [0|1|2]]


接下来回归主题:SQL Server 事务复制分发到订阅同步慢


当前未分发的命令已经堵了六百多万条了,而分发差不多两分钟才分发一次。在分发数据库中查看当前执行了什么命令,经常看到在执行存储过程 sp_MSget_repl_commands ,该存储过程是从  MSrepl_transactions 和 MSrepl_commands 读取未分发的命令,将这些命令应用到订阅中。但是读取出现了等待类型ASYNC_NETWORK_IO ASYNC_NETWORK_IO  意思是数据已经读取了,但是客户的还没有完全把数据拿走。按正常理解,这些这个等待类型,很可能是网络问题。


为了确定是不是网络问题,我用了以下方法:

1.  从其他不堵塞的发布中,插入跟踪器。确认整个过程网络没什么问题。


2. ping 网络,看时间多少。基本1ms 内,正常!

3. 订阅中创建一个共享文件夹,在分发服务器访问共享,拷贝一个大文件过去。拷贝速度66mb/s ,没毛病!


既然网络没什么问题,那就要确定是不是分发到订阅中 “写” 出现了问题?到订阅服务器查看当前执行了什么命令,发现一个命令总数一直在执行!


从缓存中,查看执行情况,发现该存储过程耗时非常多!

SELECT TOP 25
  st.text, qp.query_plan,
    (qs.total_logical_reads/qs.execution_count) as avg_logical_reads,
    (qs.total_logical_writes/qs.execution_count) as avg_logical_writes,
    (qs.total_physical_reads/qs.execution_count) as avg_phys_reads,
  qs.*
FROM sys.dm_exec_query_stats as qs
CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) as st
CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) as qp
WHERE st.text like '%sp_MSupd_dboMDS_ADRelation%'
ORDER BY qs.total_worker_time DESC
Go

点击上面查询出来的执行计划,发现应用的表竟然用表扫描!!!



找到表 MDS_ADRelation ,发现竟然没有主键(或索引)!!

表发布订阅是必须有主键的,订阅也会一会保留主键的,数据的同步更新就是按主键做条件进行更新的,而表主键没了,更新就用不上索引了!!真不知道是谁删除的!


从发布中把创建主键的脚本导出来,到订阅执行,因为同步正在进行,创建主键时使用 (online=on)在线创建。创建完成后,分发瞬间加快(如下图),订阅中流量也瞬间加大了!!复制终于正常了!!





相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
6月前
|
SQL
简单练习Microsoft SQL Server MERGE同步两个表
【10月更文挑战第13天】本文介绍了在Microsoft SQL Server中使用`MERGE`语句同步两个表的步骤。首先创建源表`SourceTable`和目标表`TargetTable`并分别插入数据,然后通过`MERGE`语句根据ID匹配行,实现更新、插入和删除操作,最后验证同步结果。此方法可根据需求调整以适应不同场景。
299 1
|
8月前
|
SQL 数据库 数据安全/隐私保护
SQL Server数据库Owner导致事务复制log reader job无法启动的解决办法
【8月更文挑战第14天】解决SQL Server事务复制Log Reader作业因数据库所有者问题无法启动的方法:首先验证数据库所有者是否有效并具足够权限;若非,使用`ALTER AUTHORIZATION`更改为有效登录名。其次,确认Log Reader使用的登录名拥有读取事务日志所需的角色权限。还需检查复制配置是否准确无误,并验证Log Reader代理的连接信息及参数。重启SQL Server Agent服务或手动启动Log Reader作业亦可能解决问题。最后,审查SQL Server错误日志及Windows事件查看器以获取更多线索。
|
5月前
|
SQL Oracle 关系型数据库
[SQL]事务
本文介绍了事务处理的基本概念,包括事务的四大特性(原子性、一致性、隔离性、持久性)及生命周期。文章还详细解释了事务的保存点、四种事务隔离级别及其异常读现象,并提供了设置事务隔离级别的方法。最后,作者建议读者深入学习相关理论以更好地理解事务隔离级别。
105 0
|
7月前
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
7月前
|
SQL 存储 监控
SQLServer事务复制延迟优化之并行(多线程)复制
【9月更文挑战第12天】在SQL Server中,事务复制延迟会影响数据同步性。并行复制可通过多线程处理优化这一问题,提高复制效率。主要优化方法包括:配置分发代理参数、优化网络带宽、调整系统资源、优化数据库设计及定期监控维护。合理实施这些措施可提升数据同步的及时性和可靠性。
251 0
|
7月前
|
SQL 安全 数据库
基于SQL Server事务日志的数据库恢复技术及实战代码详解
基于事务日志的数据库恢复技术是SQL Server中一个非常强大的功能,它能够帮助数据库管理员在数据丢失或损坏的情况下,有效地恢复数据。通过定期备份数据库和事务日志,并在需要时按照正确的步骤恢复,可以最大限度地减少数据丢失的风险。需要注意的是,恢复数据是一个需要谨慎操作的过程,建议在执行恢复操作之前,详细了解相关的操作步骤和注意事项,以确保数据的安全和完整。
399 0
|
8月前
|
SQL 监控 供应链
|
8月前
|
SQL 数据库连接 网络安全
SQLServer非默认端口下事务复制代理作业服务无法启动的处理
【8月更文挑战第14天】若SQL Server非默认端口下的事务复制代理作业无法启动,可按以下步骤解决:1) 确认服务器连接字符串正确无误,包括非默认端口号;2) 检查防火墙设置,确保允许非默认端口的连接;3) 核实SQL Server配置已启用非默认端口;4) 查阅代理作业日志寻找错误详情;5) 重启SQL Server与Agent服务;6) 使用工具测试非默认端口的连接性。如问题持续,请寻求专业支持。
117 0
|
9月前
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
257 13

热门文章

最新文章

下一篇
oss创建bucket