SQL Server数据转换服务的四个妙用

简介:   在企业中,各种数据分布于各个场合中。如在企业采用SQL Server数据库之前,可能采用了Excle或者MY SQL等数据库。他们的格式不同,存储的位置也不同。但是,管理者在决策的时候,可能需要用到各方面的数据。

  在企业中,各种数据分布于各个场合中。如在企业采用SQL Server数据库之前,可能采用了Excle或者MY SQL等数据库。他们的格式不同,存储的位置也不同。但是,管理者在决策的时候,可能需要用到各方面的数据。此时,用户就会遇到一个问题,如何把这些不同格式、不同地理位置的数据集中起来进行分析呢?为了解决这个难题,SQL Server数据库中提出了一种叫做DTS(数据转换)的服务。通过这个工具,使得数据库管理员可以将来自不同的源的数据(不同格式)提取、转换甚至合并到某个特定的目的(如SQL Server数据库),以满足统计分析的需要。

  可以说,数据转换服务所提供的一组工具能够帮助数据库管理员解决数据库起初数据导入、数据合并分析等方面的问题。具体的来说,它有如下四个妙用。

  一、导入导出数据。

  企业在部署信息化项目的时候,比较头痛的一个问题就是基础数据导入的问题。现在大部分企业在实施信息化项目,如ERP项目时,都一定有一定的信息化水平。最简单的来说,至少可能已经用Excle等办公软件来记录一些信息,如产品信息或者客户基本信息等。那么,在他们部署ERP系统的时候,若让企业员工再一条条的把信息输入进去,就会增加许多额外的工作量。据笔者了解,很多企业都是在原有资料的基础上,进行稍加修饰,如去掉一些不用的内容或者修改一些不准确的信息后,直接导入到数据库中。

  但是,在导入的过程中,由于格式不兼容或者其他问题,往往会导致导入的失败。而利用普通的工具,如SQL Server自带的导入工具,无法记录这些错误信息。利用这些工具在导入数据的时候,若遇到一条错误就会终止导入进程。如此数据库管理员需要重新检查数据源(有时数据库还不会提示哪条记录出现了问题)。这么导入数据的效率是非常低下的。

  而数据转换服务能够帮助我们解决这个问题。如数据转换服务可以把文本格式的数据或者Excel文件中的数据导入到SQL Server数据库中。最重要的是,如果这个原始的数据源中某条记录有问题的话,不会中断整个导入进程。在导入结束后,数据转换服务会生成一份报告。在这份报告中,会详细记录哪些记录没有成功导入以及可能遇到的问题。如果记录少的话,数据库管理员只需要手工录入即可;而数据多的话,数据库管理员也可以分批导入数据,也把符合要求的记录导入进去;然后再根据导入报告去修改那些不符合格式的记录。修改完成以后再继续导入剩余的数据。

  很明显,通过这个数据转换工具,导入不同格式的记录,会便利许多。与此同时,数据转换服务还可以把SQL Server数据库中的内容导出到一些特定的对象中,如Excel表格中。

  所以,数据转换服务的导入导出数据功能,在一些大量数据的导入导出以及不同格式的数据源之间进行对导,具有很大的用途。如数据转换服务可以将大容量的文本文件格式的记录高速导入到SQL Server数据库中,等等。

  二、利用数据转换规范导入数据的格式。

  数据转换服务允许数据库管理员在数据导入到SQLServer数据库中,在对原始数据没有进行更改的情况下,对需要导入的数据进行一些格式方面的调整或者利用一些函数进行操作。如现在数据库管理员需要从一份Excle表格中导入数据,但是在Excle表格中有一列商品编号,其是字符型数据。可是在SQL Server数据库中,则要求为整数型数据。若没有数据转换工具帮忙的话,则数据库管理员需要先在Excel表格中进行格式转换,然后再把转换后的数据导入到SQL Server数据库中。而如果利用数据转换服务导入数据的话,则在导入的过程中,就可以利用函数进行数据类型的转换,而不用修改原始的数据源。

  笔者再谈一个自己遇到真实案例。一次笔者在给一个客户导入基础资料的时候,遇到了这一种情况。他们在使用SQL Server数据库之前,采用的是ACCESS数据库。在这个数据库中有一个产品基本信息表,包含产品关键字、产品分类等等。当需要把这个数据库中的内容导入到SQL Server中时,要根据产分类的不同,给产品编号加入不同的前缀。如产品为成品的,则在产品编号前加入P;如果产品为包装材料的,则在原有的产品编号前加入B;若产品的类别为零件的,则加入M等等。此时,笔者就没有对原始的数据源进行更改。而是利用DTS服务在把数据导入到SQL Server数据库之前,利用相关的函数,如字符型数据合并等函数,进行一些格式的调整。所以,数据转换服务的一个好处,就是在不用更改原始数据源的情况下,就可以规范需要导入的数据格式。这在异构数据源相互导入中,非常有用。

  笔者另外一个同事也遇到过类似的问题。如他在给用户导入库存表的时候,也要进行一些数据转换。当库存数量大于等于0的时候,则导入的数值就是原来的库存数量。如果原始数据库库存数量小于0的时候,则导入的库存数量就为0。笔者同事在导入的过程中,就简单的编写了一个ActiveX脚本来实现这个需求。在这个脚本中,可以利用IF等函数来进行数据转换,因为这些函数可以应用到专门的转换或者包含条件逻辑。从而可以把记录根据不同的条件逻辑转换为合适的数据或者格式。

  所以,在导入数据过程中,如果要对一些数据进行格式或者其他方面的转换,笔者就建议大家采用DTS来转换数据,并导入到数据库中。

  三、导入过程中复制数据库对象。

  若直接利用ODBC等工具把其他SQLServer数据库中的数据导入到SQLServer数据库中,只能够导入数据,而无法复制数据库表上的对象,如约束、索引、主键等等。而且,对于视图、存储过程、默认值等基于基础表的数据库对象也无法导入进去。

  在SQL Server数据库中,数据库管理员可以通过数据库对象复制任务,将对象从数据库的一个实例复制到另外一个。可以传输基本对象,也可以复制某些对象的定义。如果选择了某个对象,则复制对象任务将会自动复制任何相关联的对象,如表湖或者视图等的功能。前提是这些被复制的对象在选定的对象上有外键约束。

  但是,利用DTS服务在导入数据的同时,还可以复制数据库对象,可以传输诸如视图、存储过程、触发器、规则、默认值以及用户自定义的数据类型。这是ODBC等数据导入工具所无法实现的功能。若所要复制的数据库对象比较多,数据库管理员还可以通过脚本来复制这些数据库对象。

  复制数据库对象在实际工作中很有作用,可以保障数据导入的一致性与完整性。如现在数据库管理员要从其他数据库导入客户信息表。而客户信息表中需要引用联系人信息表与地址信息表两个表。也就是说,客户信息表中有两个字段是这两个表的外键。那么通过复制对象作业,只要复制了这张客户信息表,则数据库会自动复制与其相关的表或者其他数据库对象。而不用数据库管理员再手工的去导入其他相关联的数据。

  四、执行一些自动化的操作。

  在数据库管理中,数据库管理员很希望数据库能够自动收集信息并将信息发送到用户指定的地点如邮件等等。在数据转换任务中,就提供了一系列类似的工具,来简化数据库管理员的工作。如在DTS组套种,有一个发送邮件的工具。 通过相关的设置,数据库会在包成功或者失败的时候自动发送一个电子邮件给数据库管理员,以提醒他作业是成功还是失败。并且会附上比较详细的信息,以便于数据库管理员进行后续的操作。

  数据转换功能中,还包含了一个执行包任务,是的一个包运行另一个作为包步骤。这可以让我们的工作更加的自动化。如在数据库导入过程中,我们可以通过包运行计划,把需要导入的数据表一步步按顺序写入执行包计划中。而让数据库在比较空闲的时候,自动按序导入数据。而数据库管理员不用在旁边指挥。

  可见,数据转换服务是功能很强的一项服务。在数据导入与转换的过程中,笔者首推这个工具。特别是在数据量比较大的情况下,这个数据转换服务确实能够起到画龙点睛的作用。

目录
相关文章
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
简介:本文整理自阿里云高级技术专家李麟在Flink Forward Asia 2025新加坡站的分享,介绍了Flink 2.1 SQL在实时数据处理与AI融合方面的关键进展,包括AI函数集成、Join优化及未来发展方向,助力构建高效实时AI管道。
1360 43
|
SQL 人工智能 JSON
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。
685 0
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
|
SQL 自然语言处理 数据库
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
401 5
|
SQL 数据挖掘 关系型数据库
【SQL 周周练】一千条数据需要做一天,怎么用 SQL 处理电表数据(如何动态构造自然月)
题目来自于某位发帖人在某 Excel 论坛的求助,他需要将电表缴费数据按照缴费区间拆开后再按月份汇总。当时用手工处理数据,自称一千条数据就需要处理一天。我将这个问题转化为 SQL 题目。
571 12
|
SQL 关系型数据库 MySQL
SQL如何对不同表的数据进行更新
本文介绍了如何将表A的Col1数据更新到表B的Col1中,分别提供了Microsoft SQL和MySQL的实现方法,并探讨了多表合并后更新的优化方式,如使用MERGE语句提升效率。适用于数据库数据同步与批量更新场景。
|
SQL 数据采集 资源调度
【SQL 周周练】爬取短视频发现数据缺失,如何用 SQL 填充
爬虫爬取抖音和快手的短视频数据时,如果遇到数据缺失的情况,如何使用 SQL 语句完成数据的补全。
631 5
|
SQL DataWorks 数据管理
SQL血缘分析实战!数据人必会的3大救命场景
1. 开源工具:Apache Atlas(元数据管理)、Spline(血缘追踪) 2. 企业级方案:阿里DataWorks血缘分析、腾讯云CDW血缘引擎 3. 自研技巧:在ETL脚本中植入版本水印,用注释记录业务逻辑变更 📌 重点总结:
|
SQL 关系型数据库 MySQL
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
959 9