数据仓库的工作日记_创纪录的(一)

简介:

  在从事数据仓库几年传统产业(敢写了很多年),离etl发展做建筑师。

由于行业之间的关系的因素是。像银行,电信这些单位(一些体制问题,没有详细说明),这将有自己的IT系。 但IT盛,也就更不会招聘自己的项目团队,这也就养育了我天朝强大的外包事业,而我一直都是这外包大军中的一员。

  准备把文章分成几个主题来写,这个主题是用来记如今刚启动项目的工作笔记的,工作中的一些奇闻轶事就放到其它主题了。

  项目介绍:背景-某地方性商业银行;上线时间-n年前。系统结构-ods,dw,下游系统。

  ods层:源系统的映射层。与源系统同构。仅仅保留当期数据。之所以设计ods层,是为了将数据仓库系统与实时业务系统隔离开。在一些事业单位(朝九晚五从不加班办业务的单位,大家懂的)或类似的项目中,因为下班以后不再产生新的业务。因此数据仓库能够採取简单的形式,如oracle的dblink。在下班以后直接将数据抽取过来。

但像银行,通信这一类的企业。都是24时有业务处理的。直接去大批量地查询核心业务系统的数据,不仅会影响对方的处理效率,同一时候也不能保证数据的准确,这里所说的数据准确,是因为业务系统一直在处理业务,我们不能准确的获取当天24小时内的数据。ods(Operational Data Store)的功能也就体现出来了。当然,这仅仅是ods的一部分功能了

  dw层:轻度汇总层,依照主题汇总,保留历史数据。

在ods数据载入完毕后,dw层開始调度任务。只是,这个项目中的dw层就稍稍有点慘不忍睹了,主题是划分了,但仅仅是依照核心业务系统的表数据内容,大概的分了个类,与ods的表结构基本一样。仅仅是名字都换了。并非数据仓库中真正意义上的划分主题。

当然了,存在即有道理,这个dw层以拉链和当期快照还有全量的形式保存了历史数据。

  调度:有数据仓库就要有相关调度,这个项目中採用的是我国某中字开头公司的调度产品,这个产品,一个字烂。两个字恶心。三个字我艹了,但人家毕竟是产品!

由java来做应用界面。底层功能由shell来实现,详细的分析会在后面的文章中进行刨析。由于我立即就要优化这玩意了。

  讲完背景,下一篇将说明要做的工作。

  

版权声明:本文博主原创文章,博客,未经同意不得转载。







本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/4886867.html,如需转载请自行联系原作者


相关文章
|
6月前
|
数据采集 存储 数据挖掘
BDCC - 闲聊数据仓库的架构
BDCC - 闲聊数据仓库的架构
48 0
|
5月前
|
SQL Cloud Native 关系型数据库
陈长城:NineData面向Doris实时数仓集成的技术实践
在刚刚过去的北京Doris Summit Asia 2023,玖章算术技术副总裁陈长城受邀参加并做了《NineData面向Doris实时数仓集成的技术实践》报告。
1009 1
|
存储 传感器 SQL
谈谈数据资产理念下构数据湖的喜与忧
最近,数据湖成为大家关注的数据资产存储新架构,那么数据在现实中都有哪些应用场景呢,下面举几个典型的应用案例。
谈谈数据资产理念下构数据湖的喜与忧
|
存储 数据采集 数据可视化
千字干货带你入门数据仓库,跑通数据建模全流程(附视频)
个推资深大数据研发工程师为大家深入浅出地介绍了数据仓库的前世今生以及数据建模的常用方法。
448 0
千字干货带你入门数据仓库,跑通数据建模全流程(附视频)
|
SQL 供应链 Oracle
数据仓库 | 从买菜这件小事来聊聊数据仓库
数据仓库 | 从买菜这件小事来聊聊数据仓库
|
存储 SQL Cloud Native
双11特刊 | 迎难而上,支撑350亿次在线查询的数据仓库是怎样炼成的?
阿里云数据库已连续多年稳定支撑天猫双11,历经极端流量场景淬炼。除了保障稳定顺滑的基本盘,今年大促期间数据库通过全面云原生化,大幅提升用户体验,让技术帮助业务产生更有价值的消费者体验,持续通过技术创新赋能用户,引领技术发展路径。 双11已圆满落幕,但技术的探索,仍未止步。 “阿里云数据库” 公众号特此推出《好科技的新起点——2021双11阿里云数据库技术揭秘》系列干货文章,为你讲述年度“技术大考”背后的故事,敬请关注!
377 1
双11特刊 | 迎难而上,支撑350亿次在线查询的数据仓库是怎样炼成的?
漫画:通过炒菜大白话讲解数据仓库建设
漫画:通过炒菜大白话讲解数据仓库建设
漫画:通过炒菜大白话讲解数据仓库建设
|
SQL 人工智能 Oracle
做了三年数据分析,给你的几点建议
还有一个多月,我工作就满3年了。在职场上,3年是个坎,意味着从初级转到中高级,但前提是能力跟得上工作年限。 我第一份和第二份工作,是做的数据运营,现在这份工作,title是商业分析师。因为专业不是数学、计算机类的,所以相当于转行,但也是理工科,有编程基础,所以相对文科生来说会稍微轻松点,但转行之路并不轻松。 之前看到很多想转行的朋友,会问比如,女生适不适合做数据分析、文科生能不能做好数据分析、数据分析做什么的,这样的问题。 今天想写的,是三年来的一个总结,也写一下我是如何从一个连Excel都不会的菜鸟慢慢成长的经历。想必像BAT这样的大牛不会是我的读者,那我就自作主张的把读我这篇文章的朋
157 0
|
SQL 消息中间件 存储
专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享
实时处理技术,是强调当前处理状态的一门技术,所以我们认为这两个相对对立的方案重叠在一起的时候,它注定不是用来解决一个比较广泛问题的一种方案。于是,我们把实时数仓建设的目的定位为解决由于传统数据仓库数据时效性低解决不了的问题。
专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享