数据集成中间件知识点总结

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
性能测试 PTS,5000VUM额度
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:   数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。   一、模型分类   (1)联邦式数据库系统(Federated Distributed Database System),这种分布式数据库的特点是结点自治和没有全局数据模式,每个结点所看到的数据模式仅仅限于此结点所用到的数据。

  数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。

  一、模型分类

  (1)联邦式数据库系统(Federated Distributed Database System),这种分布式数据库的特点是结点自治和没有全局数据模式,每个结点所看到的数据模式仅仅限于此结点所用到的数据。它一般由两部分组成:一个是本节点的数据模式,另一个是供本节点共享的其他节点上有关的数据模式。结点间的数据共享由双边协商确定。

  (2)中间件模式通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序之间,向下协调各数据源系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。中间件系统则主要集中为异构数据源提供一个高层次检索服务

  (3)数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的和不可修改的数据集合。其中,数据被归类为广义的、功能上独立的、没有重叠的主题。

  二、Web服务的数据集成中间件设计与实现

  该系统的主要部分是中介器(Mediator)和针对每个数据源的包装器(Wrapper)。这里中介器的功能是接收针对全局模式生成的查询,根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询,再将子查询发送到每个数据源的包装器。包装器将这些子查询翻译成符合每个数据源的子查询,并把查询结果返回给中介器。中介器将接收的所有数据源的结果合并成一个结果返回给用户。

  

  在Web Services的框架下使用一组Web Service协议构建信息集成系统。为中间件的数据访问接口创建一个Web Service,然后使用WSDL向服务中心注册。客户端首先向注册中心发送查找请求,然后通过SOAP协议调用数据访问接口,从这些数据源获取数据。这种方法具有完好封装、松散耦合、规范协议和高度的集成能力等特性。

  

该系统有五个核心模块:

  (1)中间件配置模块:配置中间件和各个异构数据库的连接信息,包括数据库地址、登录用户名、密码、数据库名

  (2)查询分解模块:根据数据源描述信息及映射规则将接收的查询分解成每个数据源的子查询

  (3)子查询发送模块:分析用户提交的查询语句,从中找出该查询需要的数据源,然后到中间件的配置信息中查找相应的包装器,把连接信息和子查询发送到对应的包装器。

  (4)子查询执行模块:子查询模块根据不同的数据库类型,加载对应的JDBC驱动程序,实现多个不同数据库的查询操作。

  (5)查询结果重组模块:查询结果重组模块收集子查询的结果,这些结果是以DataSet的形式存在的,然后合并为一个大的DataSet作为最终的结果。返回给客户端时,根据DataSet生成一个结果XML文件给客户端,完成整个查询流程。

目录
相关文章
|
5月前
|
分布式计算 中间件 API
中间件应用集成的介绍
中间件应用集成在系统集成中扮演关键角色,通过中间件层连接和协调异构系统,促进通信与数据共享。它提供标准接口,简化集成过程,提升效率,实现业务流程统一。中间件类型多样,如集成、交易、工作量、门户中间件等,可根据需求定制,增强系统可用性、可扩展性,降低成本,助力企业提高效率和竞争力。
83 2
|
3月前
|
消息中间件 数据采集 Dubbo
中间件数据传输与集成
【7月更文挑战第6天】
54 1
|
4月前
|
消息中间件 安全 中间件
中间件中与中间件集成
【6月更文挑战第12天】
64 5
|
5月前
|
Java 数据库连接 数据安全/隐私保护
springBoot集成token认证,最全Java面试知识点梳理
springBoot集成token认证,最全Java面试知识点梳理
|
5月前
|
安全 中间件 数据处理
中间件在应用集成
中间件是应用集成的关键,它连接不同系统、平台和应用,解决兼容性问题,实现数据交换和功能互操作。主要应用包括数据集成、服务集成、消息传递、安全与权限管理。选择中间件需考虑兼容性、性能、可扩展性和安全性。中间件简化通信,提高系统性能和可靠性,助力企业实现应用高效协同和商业价值。
73 2
|
5月前
|
关系型数据库 Apache DataX
BDCC - 数据集成领域的主流中间件_ Apache SeaTunnel vs Flink CDC vs DataX vs Apache Sqoop vs Apache Flume
BDCC - 数据集成领域的主流中间件_ Apache SeaTunnel vs Flink CDC vs DataX vs Apache Sqoop vs Apache Flume
554 0
|
11月前
|
存储 监控 大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第八章数据集成和互操作篇
|
11月前
|
数据采集 监控 安全
中项系统集成项目管理知识点汇总(三)
中项系统集成项目管理知识点汇总
|
11月前
|
自然语言处理 监控 安全
中项系统集成项目管理知识点汇总(二)
中项系统集成项目管理知识点汇总
|
11月前
|
安全 项目管理 计算机视觉
中项系统集成项目管理知识点汇总(一)
中项系统集成项目管理知识点汇总