数据仓库建设……

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 数据仓库建设……

  基于flink的流计算平台已经成为了业界主流大数据实时处理平台,并基于流平台衍生出了一系列的用法。建议在公司内部启动Flink的调研和学习,为后续我司大数据平台的建设打下基础。当然,也需要进行配套设备的建设和研究,如消息中间件(Kafka、Pulsar、RocketMQ),YARN,时序数据库等等。可考虑与母公司合作。

  目前可考虑发展并有一定需求的领域有,可考虑与算法团队合作进行Flink的调研和需求探讨:

  基于流计算与人工智能的实时推荐

  基于流计算与人工智能的监控

  基于流计算和日志收集的日志检索和监控平台

  将基于Spark的业务迁移至Flink,实现实时的模型训练

  数据仓库建设……

  在对Flink有一定了解后,可考虑平台化封装,可借鉴各互联网公司的建设思路,底层使用YARN,并对外封装SQL编写平台。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
1月前
|
存储 监控 大数据
数据仓库(11)什么是大数据治理,数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面?大数据时代的到来,给了我们很多的机遇,也有很多的挑战。最基础的调整也是大数据的计算和管理,数据治理是一个特别重要的大数据基础,他保证着数据能否被最好的应用,保证着数据的安全,治理等。那么数据治理到底能治什么,怎么治?
67 0
|
1月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
301 0
|
5月前
|
存储 数据采集 安全
什么是数据管理,数据治理,数据中心,数据中台,数据湖?
什么是数据管理,数据治理,数据中心,数据中台,数据湖?
166 0
|
9月前
|
存储 数据采集 Oracle
企业数据仓库建设的设计(一)
数据仓库(以下简单“数仓”)的概念在很早就被提出来,是数据库的一个分支,早期是决策支持系统(dss)和联机分析应用数据源的结构化数据环境,用于资料数据的沉淀,归类合理的存储结构,做系统化的分析整理,支撑各种决策系统,商业智能的需要。
217 0
|
11月前
|
存储 SQL 机器学习/深度学习
「数据战略」数据驱动企业和DataOps :数据仓库与数据湖:入门
「数据战略」数据驱动企业和DataOps :数据仓库与数据湖:入门
|
数据采集 SQL 存储
数据仓库—数据治理
数据治理(Data Governance),是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核流程等内容。
913 0
数据仓库—数据治理
|
存储 SQL 数据采集
数据仓库建设规范
数据仓库层是我们在做数据仓库时要核心设计的一层,在这里,从 ODS 层中获 得的数据按照主题建立各种数据模型。DW 层又细分为 DWD (Data Warehouse Detail) 层、DWM (Data WareHouse Middle) 层和 DWS (Data WareHouse Servce) 层。
数据仓库建设规范
|
存储 数据采集 SQL
数据仓库心得(11)什么是大数据治理,数据治理的范围是哪些
什么是大数据治理,数据治理的范围是哪些
213 0
数据仓库心得(11)什么是大数据治理,数据治理的范围是哪些
|
SQL 数据采集 存储
数据仓库心得(12)数据治理之数仓数据管理实践
数据治理之数仓数据管理实践心得
188 0
|
存储 数据采集 分布式计算
万字详解数据仓库、数据湖、数据中台和湖仓一体 ​(一)
详解数据仓库、数据湖、数据中台和湖仓一体
1214 0
万字详解数据仓库、数据湖、数据中台和湖仓一体  ​(一)