DTS开发记录(10)-- 可视化的流程编辑

简介: 在将数据从数据源导出到数据目标的过程中,我们通常需要对数据进行一些检查、验证、加工、转换等操作,而这个加工转换的流程可能是非常复杂的,DTS通过可视化的拖拽的方式对数据加工转换流程进行自定义编辑。
   在将数据从数据源导出到数据目标的过程中,我们通常需要对数据进行一些检查、验证、加工、转换等操作,而这个加工转换的流程可能是非常复杂的,DTS通过可视化的拖拽的方式对数据加工转换流程进行自定义编辑。
   下面的一个例子,是将某个市的学生记录表中的数据导出到省的学生记录表中,市数据库使用的是SqlServer,省数据库采用的是Oracle。


   左边的工具栏中是不同类型的Filter,它们用于对数据进行某些处理,这些Filter分为五类:
(1)数据载体:用于存储数据的容器,如数据库、文件、消息队列等,我们的数据源和数据目标就是某种数据载体。
(2)数据加工:用于对数据进行验证、变换等加工,如数据分裂Filter、数据合并Filter
(3)分支条件:用于对数据流程提供条件判断、动态改变数据转换的流程。
(4)大纲映射:用于在数据源大纲(包括扩展列)与目标大纲之间进行字段映射和匹配。
(5)日志记录:用于记录在数据转换迁移过程中的详细情况。

   到目前为止,DTS系统已经完成的主要功能、特性包括:
(1) 提供以拖拽的图形化方式编辑数据转换流程。
(2) 数据转换Filter以插件的形式提供,支持即插即用。
(3) 数据适配器以插件的形式提供,支持即插即用。
(4) 以xml形式保存流程编辑成果,可以直接修改xml文件以改变数据转换流程。
(5) 支持六种数据库类型:Oracle、SqlServer、MySql、DB2、Sybase、DM
(6) 支持三种数据源模式:全部导出、增量导出(触发器)、日志重试
(7) 支持定时任务。
(8) 支持任务日志。

   DTS当前版本可以在局域网内很好的进行工作,但是跨Internet的数据迁移了?这是我们下一阶段要解决的问题。我们打算使用MSMQ作为消息中间件以保证数据在Internet上的可靠传输,就像这样:

   我们可能采用.NET 3.0的WCF来完成基于MSMQ的通信


  转到:DTS开发记录(序)



目录
相关文章
|
NoSQL 安全 Oracle
阿里云数据传输服务DTS简介和购买流程
数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建安全、可扩展、高可用的数据架构。
|
数据库 数据可视化 SQL
DTS开发记录(序)
(原文发表于2006-06-27 ,修正于2006-07-03)    目前手头上正在负责一个DTS(这里的DTS是Data Transfer System的缩写)系统的开发,我打算写一系列的文章来记录这个开发的全过程,这个记录可以说是实时的--每当遇到一个重要问题或解决一个重要问题,我将记录之。
1156 0
|
数据库 监控 数据库连接
DTS开发记录(1)--系统总体结构
(原文发表于2006-06-28 ,修正于2006-07-03)    在DTS开发记录(序)一文中,我们已经明白了当前这个Data Transfer System的主要目标和存在的难点与挑战。
1029 0
|
数据库 数据处理
DTS开发记录(2)-- 数据管道及插件
通过前面两篇文章(已于2006-07-03修正)的介绍,我们已经大致明白了系统的目标的总体结构,从这篇文章开始,我们将逐渐深入到系统内部。    本文讲述数据管道,数据管道是用于在数据源/数据目标与DataTable之间进行数据传递的组件,它是与数据库类型和文件类型相关的,数据从数据源经过数据管道后,就变成与数据源类型无关的数据了,这样映射编辑和数据引擎便能对它们进行一致的处理。
807 0
|
数据库 关系型数据库 Oracle
DTS开发记录(3)-- 连接与连接对
在 DTS开发记录(2)-- 数据管道及插件 一文中,我们介绍了数据管道,IDataPipeFactory的CreateDataPipe方法需要一个IConnection参数,这个参数就表示一个连接。
874 0
DTS开发记录(4)-- 映射列
在DTS开发记录(1)--系统总体结构 一文中,我们介绍到映射列:“参与了数据映射的源列或目标列。注意,并不是所有的列都会参与映射,这是常见的情况。”1.映射列分为:源映射列和目标映射列。     public interface IMappingColumn    {        str...
950 0
|
数据库 关系型数据库 Oracle
DTS开发记录(5)-- 挑战增量导出
增量导出恐怕是DTS系统中最艰难的部分了,我们曾考虑过很多方案,最后都因为需要表大纲做一定的假设而不具备通用性而放弃。有很多效率较高的方案,由于为了追求通用性而无法实现,因为现实的情况比我们理想的要复杂许多。
1076 0
|
数据库
DTS开发记录(6)-- 数据映射
在DTS开发记录(4)-- 映射列一文中,我们详细的讨论了参与映射的源列和目标列,在拥有了映射列的基本概念的基础上,我们可以讨论数据映射DataMapping了。    数据映射主要由一组映射项(MappingItem)组成,它包含了源数据大纲到目标数据大纲的详细的完整的映射关系。
1065 0
|
容器
DTS开发记录(7)-- 灵活的引擎 IAgileEngine
数据引擎是数据传递系统(DTS)的核心,正如游戏引擎是PC游戏的核心一样。    IAgileEngine从目前手上的DTS系统中不断的重构完善出来,虽然IAgileEngine已经不局限于在本DTS系统中使用,但是,我还是打算在这个系列文章中来介绍它。
915 0
|
数据库
DTS开发记录(8)-- 主键的影响
对于数据源向同一数据目标导出(我们称之为“数据汇集”)和增量导出来说,对主键的处理也是一个大的挑战。    我先定义一下在本DTS系统中主键(PrimaryKey)的含义:PrimaryKey 表示主键或联合主键,PrimaryKey并不是针对某个数据库表的,而是针对某个特定的DataMapping而言的,它用于在数据迁移过程中来唯一确定数据源或数据目标中每条记录。
897 0