数据集成在ODS项目的应用模式

简介:   ODS(The operational data store),也叫运营数据存储,是用于支持企业日常的全局应用的数据集合,它是介于DB和DW 之间的一种数据存储技术。
  ODS(The operational data store),也叫运营数据存储,是用于支持企业日常的全局应用的数据集合,它是介于DB和DW 之间的一种数据存储技术。从专家给出的定义上来讲,它是一个面向主题的、集成的、当前的并且是可"挥发"的数据集合,它反映了在某一个时间切片瞬间,经营分析系统和外围系统用以相互交换数据的集合,主要用于经营分析系统与外围系统关键数据一致性校验、以及经营分析系统对其它外围系统的决策支持数据的回馈,回馈数据包括以客户扩展属性为主体的详细资料等。从ODS的作用和实现来说,ODS将各个孤立的业务系统的运营数据集成起来,现成全企业的统一数据视图,同时可实现ODS的数据共享。

    数据集成是什么呢?它是指异构数据之间的同步。所谓异构数据是指不同种类,不同版本的数据库、文件、Mail等之间的同步。异构数据的同步前提是要能够准确获取数据源的元数据结构以及异构数据之间的映射方式:包括语法和语义上的映射。数据集成可以认为是ETL(BI上的定义为:抽取-转换-清洗-过滤-加载);但更强调自动化过程管理。

    在实现机制上,应包括常见的集成模式:Split/Merge/Route/PS等;另外还应该具备建模(元数据管理)和治理(Governace)功能。

    数据集成有什么意义呢?主要是实现数据中心,例如企业级SID;或者遗留系统在数据层面的集成。在建立全局SID的基础上,可以构建很多有意义的东西:例如Portal/CMS,报表,数据搜索,挖掘等等,这些可以概括地称为BI,即商业智能。因此,数据集成有两个层面的意义:1)操作层面 2)分析层面。

    目前,数据集成的产品有Oracle/BEA的Aqulogic DSP,Vitria的BW,还有就是开源的emule/ServiceMIX/Spring Integration等。不过据我所知,开源的东西还没有支持RDBMS Adapter的,而且还有某些重要功能的缺失例如监控、建模等。

    一般来讲,数据集成的实现方式可以分为一下四个步骤:

    1.界定数据交互的项别与内容,如:PDM系统和ERP系统之间的BOM数据;

    2.指定数据交互周期,一天一次,还是一周一次;

    3.选择交互方式,通过数据库,还是中间件技术来交互;

    4.由ODS数据交互调度程序实现数据上载或是由外围系统自行实现数据下载,从而实现数据的集成。

相关文章
数仓学习---8、数仓开发之ODS层
数仓学习---8、数仓开发之ODS层
数仓学习---11、数仓开发之DWS层
数仓学习---11、数仓开发之DWS层
数仓学习---10、数仓开发之DWD层
数仓学习---10、数仓开发之DWD层
|
1月前
|
数据格式
数仓学习---数仓开发之ODS层
数仓学习---数仓开发之ODS层
115 2
|
1月前
|
存储 SQL 弹性计算
Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓
新增弹性计算组实例,解决实时数仓场景下分析性能、资源隔离、高可用、弹性扩缩容等核心问题,同时新增多种用户分析函数与实时湖仓Paimon格式支持,COUNT DISTINCT优化显著提升查询效率。
|
2月前
|
关系型数据库 Serverless OLAP
构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践
构建高效数据流转的 ETL 系统:数据库 + Serverless 函数计算的最佳实践
79667 2
|
4月前
|
数据可视化 数据挖掘
数仓学习---12、数仓开发之ADS层
数仓学习---12、数仓开发之ADS层
|
存储 数据采集 监控
摸鱼不如来了解一下--操作数据存储(ODS)和数据仓库(DW)的区别与联系
操作数据存储(ODS)和数据仓库(DW)的区别与联系
438 0
|
存储 机器学习/深度学习 分布式计算
【MaxCompute】核心功能
统一丰富的计算和存储能力MaxCompute 支持多种计算模型和丰富的 UDF。 采用列压缩存储格式,通常情况下具备 5 倍压缩能力,可以大幅节省存储成本。
【MaxCompute】核心功能
|
存储 SQL 分布式计算
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇
前言大数据计算服务 MaxCompute(原名 ODPS)是一种快速、完全托管的EB级数据仓库解决方案。随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(TB、PB、EB)级别。MaxCompute 致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。它具有大规模计算存储、多种计算模型、强数据安全、低成本、免运维、极致弹性扩展的优
474 0
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇