数据仓库建设……

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 数据仓库建设……

  基于flink的流计算平台已经成为了业界主流大数据实时处理平台,并基于流平台衍生出了一系列的用法。建议在公司内部启动Flink的调研和学习,为后续我司大数据平台的建设打下基础。当然,也需要进行配套设备的建设和研究,如消息中间件(Kafka、Pulsar、RocketMQ),YARN,时序数据库等等。可考虑与母公司合作。

  目前可考虑发展并有一定需求的领域有,可考虑与算法团队合作进行Flink的调研和需求探讨:

  基于流计算与人工智能的实时推荐

  基于流计算与人工智能的监控

  基于流计算和日志收集的日志检索和监控平台

  将基于Spark的业务迁移至Flink,实现实时的模型训练

  数据仓库建设……

  在对Flink有一定了解后,可考虑平台化封装,可借鉴各互联网公司的建设思路,底层使用YARN,并对外封装SQL编写平台。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
存储 数据采集 Oracle
企业数据仓库建设的设计(一)
数据仓库(以下简单“数仓”)的概念在很早就被提出来,是数据库的一个分支,早期是决策支持系统(dss)和联机分析应用数据源的结构化数据环境,用于资料数据的沉淀,归类合理的存储结构,做系统化的分析整理,支撑各种决策系统,商业智能的需要。
312 0
|
SQL 分布式计算 关系型数据库
|
数据采集 SQL 存储
数据仓库—数据治理
数据治理(Data Governance),是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核流程等内容。
1077 0
数据仓库—数据治理
|
存储 分布式计算 数据可视化
什么是数据中台?跟数据仓库、数据平台有什么区别?
2019年,数据中台是一个很火的名词,基本上遇到的互联网公司都说自己在搞中台。但是什么是中台?到现在我也没有看到一个十分满意的答案。
|
Oracle 数据挖掘 关系型数据库
浅谈数据仓库架构设计
简单的比较了一下数据中台架构与数据仓库、BI、DSS之间的关系,并对比了一下Bill Inmon和Ralph Kimball架构的差异。
2374 3
浅谈数据仓库架构设计
|
数据采集 分布式计算 监控
阿里数据仓库实践分享
数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
15964 0
|
存储 数据挖掘 数据处理
数据中台-数据仓库、数据湖、数据中台的区别
数据中台构建于数据湖之上,具备数据湖异构数据统一计算、存储的能力,同时让数据湖中杂乱的数据通过规范化的方式管理起来。数据湖、数据仓库和数据中台,他们并没有直接的关系,只是他们为业务产生价值的形式有不同的侧重。
1036 0
数据仓库专题(24)-数据仓库架构体系总结
一、数据仓库架构   二、数据主题域设计    三、星型模型设计  四、数仓技术架构   作者:张子良 出处:http://www.cnblogs.com/hadoopdev 本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
1049 0

热门文章

最新文章