MSSQL · 最佳实践 · 阿里云RDS SQL自动化迁移上云的一种解决方案

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
云原生内存数据库 Tair,内存型 2GB
云数据库 Redis 版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 摘要至今为止我们完成了SQL Server备份还原专题系列六篇月报分享:三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案以及如何监控备份还原进度,本期我们分享阿里云是如何基于SQL Server备份还原理论来设计RDS SQL自动化迁移上云方案的。

摘要

至今为止我们完成了SQL Server备份还原专题系列六篇月报分享:三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案以及如何监控备份还原进度,本期我们分享阿里云是如何基于SQL Server备份还原理论来设计RDS SQL自动化迁移上云方案的。

适用场景

RDS数据库迁移上云是指将用户线下数据库搬迁到阿里云RDS上并完成应用切换到RDS上的工作过程。数据库迁移上云的重点和难点在于:如何保证用户数据库的完整性的同时,还要保证用户应用停机切换时间足够短(起码要达到分钟级)。通常使用的方法有逻辑迁移和物理迁移两种。

逻辑迁移

逻辑迁移,是指将用户线下数据库对象和数据转化为DDL和DML语句,然后在RDS上执行的迁移上云方式。这些数据库的对象包含但不仅限于:

表:数据库的表对象,是数据库存储数据的单元。如果表与表之间有建立主、外键关系,在表对象创建之前,必须找出多表之间的主、外键关系,先建立主表,再建立外表。

约束:表与表之间的主、外键约束;默认约束;唯一约束;Check约束等。

视图:视图之间很可能存在引用关系,必须先建立被引用的视图,然后再建立引用视图。

函数:函数之间也可能存在相互引用关系。

存储过程:创建存储过程不需要严格按照引用关系来创建,但很有可能存在跨库访问的情况。

同义词:同义词类似于对象别名,这个是很多人容易忽略的地方。

逻辑迁移这种方式的好处是:应用切换时间很短,可以控制在秒级别。但是缺点也是显而易见的。

对象创建过程十分复杂,需要首先找出对象间相互依赖关系,才能成功创建所有对象。

表与表主外键约束,从而导致了数据插入操作必须先主表,再外表的顺序;数据删除则相反。

将数据转化为DML语句,然后在RDS上执行的方式,效率低下,尤其是大表的情况。

频繁的DML操作语句,非常容易导致RDS上Blocking发生,甚至严重时会产生死锁。

频繁的DML操作,会导致数据日志文件在短时间内暴涨,消耗IOPS资源。

最为严重的缺点是,频繁的DML操作,会导致表索引碎片率在短时间内大幅增加和统计信息的过时,从而导致执行计划评估不准确,进行影响RDS数据库的性能。

物理迁移

为了消除逻辑迁移的种种痛点,物理迁移是指,RDS SQL基于用户的物理备份文件,直接迁移上云还原到RDS SQL上。既然RDS SQL上的数据是基于用户线下数据库备份文件(既可以是完全备份文件,也可以是完全备份文件 + 差异备份或者日志备份文件)直接迁移上云还原到RDS SQL上,那么,我们就可以100%的保证RDS SQL上的数据库和用户线下数据库是100%一致的。就不会存在以上逻辑迁移的种种痛点,而最大的优点体现在解决了索引碎片和统计信息的不一致,导致用户RDS数据库性能问题,保证了用户线下数据库和RDS SQL数据库行为时一致性。

两者对比

逻辑迁移和物理迁移两者的优缺点对比如下所示: 01.png

从对比的结果来看,物理迁移唯一的弱势在于应用切换的时间稍长,控制在分钟级别,但是我相信对于起码95%以上的企业来讲分钟级别的迁移上云应用停止的时间还是可以接受的。

方案解析

在前一个章节,我们详细分析了线下SQL Server数据库迁移上云阿里云RDS SQL的两种方式:逻辑迁移和物理迁移,从对比结果来看,物理迁移具有更多的优点并且复杂度可控,是实现自动化迁移上云的最佳方案。以下两个小节是基于物理迁移上云方案的分析和流程图设计。

方案分析

从整个迁移上云的过程分析来看,主要牵扯到四个方面的参与者,我们只需要把这四个参与者之间关系及用途分析清楚,方案就一目了然了。

用户线下数据库:用户在自己线下环境的SQL Server实例中的数据库。用户需要在线下数据库中完成准备工作、数据库备份及备份文件上传到OSS。

OSS(阿里云对象存储服务):暂存用户的备份文件,供RDS SQL实例下载备份文件。

RDS控制台:承载着与用户界面交互的功能,用户需要通过RDS控制台告诉阿里云RDS SQL,将哪一个备份文件恢复到哪一个实例的哪一个数据库下。

RDS SQL实例:从OSS下载用户的备份文件,然后还原到RDS实例中。

流程图设计

从“方案分析”中,我们很清楚的了解到迁移上云方案四方参与者,各司其职,各尽所能,就可以很完美的实现用户迁移上云的功能。将整个过程做成流程图,如下所示: 02.png

这个流程图,很清楚的描绘了四方参与者之间的职责以及他们的数据流走向。

一个案例

参照上面的“方案解析”部分的介绍,我们举一个特定的案例,来看看阿里云RDS SQL自动迁移上云的案例。

时间轴

首先,从时间维度来看一个典型的上云案例,参照下图所示:

横轴:表示时间,从左往右

数字1 - 9:表示操作步骤先后顺序,和时间对应

数字右边文字:表示操作步骤名称

数字下方文字:表示操作步骤的详细描述信息

03.png

案例描述

根据上图增量上云案例,按时间维度,解释如下:

Step1. Before 00:00:完成准备工作,包括完成DBCC CheckDB检查;关闭本地环境备份系统;修改数据库为FULL恢复模式;

Step2. 00:01:用户备份线下数据库开始FULL Backup;

Step3. 02:00:完成FULL Backup,耗时近1小时,开始上传备份文件到OSS Bucket;

Step4. 03:00:完成备份文件上传,耗时1小时,开始在RDS控制台恢复FULL Backup文件;

Step5. 22:00:完成FULL Backup上云,耗时19小时,开始数据库Backup LOG;

Step6. 22:20:完成LOG Backup,耗时20分钟,RDS控制台恢复LOG Backup文件;

Step7. 22:30:完成LOG Backup上云,耗时10分钟,重复步骤5 – 6,不断Backup LOG、上传到OSS、增量上云LOG备份文件,确保最后一个Backup LOG文件尽量小(500MB以下),然后停止本地应用对数据库的写入操作,最后再做一个LOG Backup,最后一次增量上云。

Step8. 22:34:完成了最后一个LOG Backup文件增量上云操作,耗时4分钟,开始将数据库待上线;

Step9. 22:35:数据库上线完毕,如果选择异步执行DBCC操作,上线动作很快,耗时1分钟。

从整个的动作流程和时间轴来看,用户需要停止应用的时间非常的短,仅仅是在最后一个LOG Backup之前停止应用写入即可。在本例中整个应用停止的时间控制在5分钟内。

参考链接

关于SQL Server备份还原理论,我们完成了备份还原专题系列月报六篇,以及基于这些理论设计出了阿里云RDS SQL自动化迁移上云方法。产品介绍参加如下帮助文档:

全量备份数据上云SQL Server 2008 R2版

全量备份数据上云SQL Server 2012及以上版本

增量备份数据上云SQL Server 2012及以上版本

欢迎大家使用并提出宝贵意见。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
8天前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
2月前
|
机器学习/深度学习 监控 算法
自动化测试框架的演进与最佳实践
随着软件行业的迅猛发展,自动化测试已成为确保软件质量的关键手段。本文将深入探讨自动化测试框架的历史演进、当前趋势以及面临的挑战,并结合实际案例分析,提出一系列的最佳实践策略,旨在帮助读者构建更加高效、稳定的自动化测试体系。
|
15天前
|
SQL 关系型数据库 数据库
数据库空间之谜:彻底解决RDS for SQL Server的空间难题
【8月更文挑战第16天】在管理阿里云RDS for SQL Server时,合理排查与解决空间问题是确保数据库性能稳定的关键。常见问题包括数据文件增长、日志文件膨胀及索引碎片累积。利用SQL Server的动态管理视图(DMV)可有效监测文件使用情况、日志空间及索引碎片化程度。例如,使用`sp_spaceused`检查文件使用量,`sys.dm_db_log_space_usage`监控日志空间,`sys.dm_db_index_physical_stats`识别索引碎片。同时,合理的备份策略和文件组设置也有助于优化空间使用,确保数据库高效运行。
30 2
|
2月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之将RDS切换到PolarDB-X 2.0时,代码层的SQL该如何改动
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
4月前
|
运维 监控 Devops
构建高效稳定的云基础设施:DevOps与自动化运维的融合构建高效微服务架构的最佳实践
【5月更文挑战第28天】 在数字化转型的浪潮中,企业对于云基础设施的依赖日益增加。为了应对不断变化的市场需求和提供不间断的服务,传统的IT运维模式已不再适应现代业务的发展。本文将探讨如何通过结合DevOps理念和自动化工具,实现云基础设施的高效稳定运营。我们将分析自动化运维在提升效率、降低成本以及增强系统稳定性方面的关键作用,并展示实践案例以验证其效果。
|
4月前
|
SQL 关系型数据库 数据库
阿里云数据库 RDS SQL Server版实战【性能优化实践、优点探析】
本文探讨了Amazon RDS SQL Server版在云数据库中的优势,包括高可用性、可扩展性、管理便捷、安全性和成本效益。通过多可用区部署和自动备份,RDS确保数据安全和持久性,并支持自动扩展以适应流量波动。可视化管理界面简化了监控和操作,而数据加密和访问控制等功能保障了安全性。此外,弹性计费模式降低了运维成本。实战应用显示,RDS SQL Server版能有效助力企业在促销高峰期稳定系统并保障数据安全。阿里云的RDS SQL Server版还提供了弹性伸缩、自动备份恢复、安全性和高可用性功能,进一步优化性能和成本控制,并与AWS生态系统无缝集成,支持多种开发语言和框架。
268 2
|
4月前
|
SQL 关系型数据库 Java
实时计算 Flink版操作报错之在阿里云DataHub平台上执行SQL查询GitHub新增star仓库Top 3时不显示结果,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
4月前
|
敏捷开发 Java 测试技术
深入理解自动化测试框架Selenium的设计理念与最佳实践
【5月更文挑战第31天】 在现代软件开发过程中,自动化测试是确保产品质量和加快交付速度的关键因素。Selenium作为一种广泛使用的自动化测试框架,它支持多种浏览器、操作系统和编程语言,极大地方便了测试人员编写和维护测试用例。本文将探讨Selenium的核心设计理念,包括其架构、组件和工作流程,并分享如何在实际项目中应用Selenium的最佳实践,以提高测试效率和准确性。通过分析真实案例,我们将展示Selenium如何帮助企业实现持续集成和持续部署(CI/CD)的目标,同时保证软件的稳定性和可靠性。
|
2月前
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
49 13
|
2月前
|
SQL
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
下一篇
云函数