SQL Server 数据归档方案

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
简介:

目的

本文旨在从数据库管理方面,提供将SQL Server大数据表归档的解决方案。可以作为新业务上线时进行方案设计的参考。

 

归档方案选型

方案一:

方案介绍

BCP导出数据到本地目录目录后,遍历目录文件BCP导入到临时表,再循环删除源表数据。通过Insert into … Left Join …通过主键关联临时表和归档表排除存在的数据。(或通过2008及后续版本的Merge语句,不存在插入,存在更新)

clip_image001

方案优缺点

优点:BCP性能好、通过SP容易控制逻辑、维护简单

缺点:逻辑略繁琐

 

方案二:

方案介绍

BCP导出数据到远程目录后循环删除源表数据,遍历目录文件BCP导入到临时表,再通过Insert into … Left Join …通过主键关联临时表和归档表排除存在的数据。(或通过2008及后续版本的Merge语句,不存在插入,存在更新)

clip_image002

方案优缺点

优点:BCP性能好、通过SP容易控制逻辑、维护简单

缺点:逻辑略繁琐,两台主机需要能UNC共享访问

 

方案三:

方案介绍

BCP导出数据到本地目录后FTP到远程目录,再循环删除源表数据,遍历目录文件BCP导入到临时表,再通过Insert into … Left Join …通过主键关联临时表和归档表排除存在的数据。(或通过2008及后续版本的Merge语句,不存在插入,存在更新)

clip_image003

方案优缺点

优点:BCP性能好、通过SP容易控制逻辑、维护简单

缺点:逻辑略繁琐,远程要架设FTP服务器

 

方案四:

方案介绍

BCP导出数据到远程目录后循环删除源表数据,遍历目录文件SSIS数据导入和更新。

clip_image004

方案优缺点

优点:BCP性能好

缺点:字段变更后SSIS包需同步修改,SSIS包维护麻烦,两台主机需要能UNC共享访问

 

方案五:

方案介绍

BCP导出数据到本地目录后FTP到远程目录,循环删除源表数据,再遍历目录文件SSIS数据导入和更新。

clip_image005

方案优缺点

优点:BCP性能好

缺点:字段变更好,SSIS包需同步修改,SSIS包维护麻烦,远程要架设FTP服务器

 

方案六:

方案介绍

数据插入到另一个临时归档库后循环删除源表数据,再将临时归档表复制到远程。

clip_image006

方案优缺点

优点:逻辑简单

缺点:需要另建一个临时归档库、增加了负载

 

方案七:

方案介绍

数据通过Linkedserver插入远程归档表后循环删除。

clip_image007

方案优缺点

优点:逻辑简单

缺点:LinkedServer远程性能问题

 

方案八:

方案介绍

切换分区到临时表,数据再通过LinkedServer插入远程归档表。

clip_image008

方案优缺点

优点:数据归档方便

缺点:只针对分区表

 

方案九:

方案介绍

SSIS将数据插入或更新到归档表后循环删除源表。

clip_image009

方案优缺点

优点:逻辑集成

缺点:维护成本高,定位问题麻烦

 

方案十:

方案介绍

开源软件,如eyeArchive

方案优缺点

优点:开源软件

缺点:方法单一


















本文转自UltraSQL51CTO博客,原文链接:http://blog.51cto.com/ultrasql/1579443 ,如需转载请自行联系原作者


相关文章
|
3月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
783 43
|
3月前
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
278 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
4月前
|
SQL
SQL如何只让特定列中只显示一行数据
SQL如何只让特定列中只显示一行数据
|
8月前
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
224 4
|
4月前
|
SQL
SQL中如何删除指定查询出来的数据
SQL中如何删除指定查询出来的数据
|
4月前
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
6月前
|
SQL 数据挖掘 关系型数据库
【SQL 周周练】一千条数据需要做一天,怎么用 SQL 处理电表数据(如何动态构造自然月)
题目来自于某位发帖人在某 Excel 论坛的求助,他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据,自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。
236 12
|
5月前
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:
|
6月前
|
SQL 数据采集 资源调度
【SQL 周周练】爬取短视频发现数据缺失,如何用 SQL 填充
爬虫爬取抖音和快手的短视频数据时,如果遇到数据缺失的情况,如何使用 SQL 语句完成数据的补全。
164 5
|
9月前
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
426 9