数据仓库建设……

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 数据仓库建设……

  基于flink的流计算平台已经成为了业界主流大数据实时处理平台,并基于流平台衍生出了一系列的用法。建议在公司内部启动Flink的调研和学习,为后续我司大数据平台的建设打下基础。当然,也需要进行配套设备的建设和研究,如消息中间件(Kafka、Pulsar、RocketMQ),YARN,时序数据库等等。可考虑与母公司合作。

  目前可考虑发展并有一定需求的领域有,可考虑与算法团队合作进行Flink的调研和需求探讨:

  基于流计算与人工智能的实时推荐

  基于流计算与人工智能的监控

  基于流计算和日志收集的日志检索和监控平台

  将基于Spark的业务迁移至Flink,实现实时的模型训练

  数据仓库建设……

  在对Flink有一定了解后,可考虑平台化封装,可借鉴各互联网公司的建设思路,底层使用YARN,并对外封装SQL编写平台。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
目录
相关文章
|
供应链 架构师 BI
数仓实践:总线矩阵架构设计1
数仓实践:总线矩阵架构设计1
2509 0
数仓实践:总线矩阵架构设计1
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的无人超市管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的无人超市管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
199 0
|
算法 安全 网络安全
Diffie-Hellman (DH) 算法的工作原理
【8月更文挑战第23天】
1850 0
|
消息中间件 分布式计算 Hadoop
大数据实战项目之电商数仓(一)
大数据实战项目之电商数仓(一)
778 0
|
数据采集 消息中间件 存储
Flume 快速入门【概述、安装、拦截器】
Apache Flume 是一个开源的数据采集工具,用于从各种数据源(如日志、网络数据、消息队列)收集大规模数据,并将其传输和加载到数据存储系统(如 HDFS、HBase、Hive)。Flume 由数据源(Source)、通道(Channel)、拦截器(Interceptor)和接收器(Sink)组成,支持灵活配置以适应不同的数据流处理需求。安装 Flume 包括解压软件包、配置环境变量和调整日志及内存设置。配置文件定义数据源、通道、拦截器和接收器,拦截器允许预处理数据。Flume 适用于构建数据管道,整合分散数据到中心存储系统,便于分析和报告。
2180 3
|
分布式计算 Hadoop 大数据
数据工程师必须掌握的7个大数据实战项目
值得收藏,数据工程师必须掌握的7个大数据实战项目
8038 1
数据工程师必须掌握的7个大数据实战项目
|
算法 安全 网络安全
一文搞懂常见的加密算法
一文搞懂常见的加密算法
1374 0
|
消息中间件 Java Kafka
kafka tool下载安装和使用
kafka tool下载安装和使用
2862 0
|
消息中间件 存储 供应链
数据仓库介绍与实时数仓案例
1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。
43337 13
|
架构师 定位技术
【资料包】数据仓库建设完整资料包
【资料包】数据仓库建设完整资料包