项目总结|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习 项目总结

开发者学堂课程【阿里云实时数仓实战 3 :制作数据可视化大屏 项目总结】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/110/detail/1894


项目总结


内容简介:

一、已实现课程目标

二、项目技术回顾与注意事项

三、本节课程重点总结

 

 

一、已实现课程目标:

1、学习搭建一个实时数据目标,掌握数据采集存储、计算、输出、展示等整个业务流程。

2、挣个实时数据仓库系统是在阿里云架构上搭建,掌握并学会运用各个服务组件,以及各个组件之间如何联动。

3、前置知识要求

1)熟练掌握 SQL 语法

2)对 Hadoop 大 数据体系有一定的了解

 

 

二、项目技术回顾与注意事项

(一)第一章 项目需求及架构设计

1、明白需要开发项目时需要完成什么任务

2、明白怎么完成开发任务

3、熟悉阿里云技术框架,学会用阿里云技术完成大数据开发功能。

4、熟悉掌握电商表结构

图片6.png


(二)第二章 业务数据准备

第二章主要考查存储业务数据的 RDS 服务器,需掌握 RDS 服务器的购买流程、配置、连接以及创建业务数据库及表。

 

(三)第三章 缓冲数据

主要内容为创建 DataHub 项目

图片7.png


(四)第四章 同步业务数据

主要使用 DTS 同步数据,不仅可以完成数据同步,还可以进行数据迁移与订阅

 

 

(五)第五章 实时数仓分层

1、购买功能强大、速度快、开发方便的实时计算服务引擎,通过 Flink SQL 实现。

2、熟练掌握 Data Works 工作空间、业务开发平台 Stream Studio 与 ODS 到 DWD 层的业务流程,实时数仓主要基于 Data Hub 与实时计算服务器之间的导入与导出,数据由 Data Hub 运送到实时计算服务器进行运算之后再输送回 Data Hub 进行存储。

图片8.png

3、数据结果展示:先将结果数据存储到 Analytic DB 数据库,再使用 Data V 进行可视化展示(类似于天猫双 11 的可视化大屏幕)图片9.png


三、本节课程重点总结

框架串联以及框架之间联动

相关文章
|
12月前
|
Web App开发 数据采集 存储
WebDriver与Chrome DevTools Protocol:如何在浏览器自动化中提升效率
本文探讨了如何利用Chrome DevTools Protocol (CDP) 与 Selenium WebDriver 提升浏览器自动化效率,结合代理IP技术高效采集微博数据。通过CDP,开发者可直接操作浏览器底层功能,如网络拦截、性能分析等,增强控制精度。示例代码展示了如何设置代理IP、cookie及user-agent来模拟真实用户行为,提高数据抓取成功率与稳定性。适用于需要频繁抓取互联网数据的应用场景。
1082 3
WebDriver与Chrome DevTools Protocol:如何在浏览器自动化中提升效率
|
缓存 算法 Java
Linux内核新特性年终大盘点-安卓杀后台现象减少的背后功臣MGLRU算法简介
MGLRU是一种新型内存管理算法,它的出现是为了弥补传统LRU(Least Recently Used)和LFU(Least Frequently Used)算法在缓存替换选择上的不足,LRU和LFU的共同缺点就是在做内存页面替换时,只考虑内存页面在最近一段时间内被访问的次数和最后一次的访问时间,但是一个页面的最近访问次数少或者最近一次的访问时间较早,可能仅仅是因为这个内存页面新近才被创建,属于刚刚完成初始化的年代代页面,它的频繁访问往往会出现在初始化之后的一段时间里,那么这时候就把这种年轻代的页面迁移出去
|
分布式计算 MaxCompute 数据库
实时数仓 Hologres产品使用合集之如何添加新字段
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
SQL 数据可视化 关系型数据库
MySQL命令行与可视化工具
MySQL命令行与可视化工具
|
人工智能 数据可视化 数据挖掘
重磅:ChatGPT提供第三方插件ChatGPT plugins,每个人、每个公司都可用上大模型
重磅:ChatGPT提供第三方插件ChatGPT plugins,每个人、每个公司都可用上大模型
1327 0
|
机器学习/深度学习 人工智能 自然语言处理
自动化办公:AI如何改变工作方式
【7月更文第19天】随着人工智能技术的飞速发展,我们的工作方式正经历着前所未有的转型。从繁琐的文档处理到高效的会议安排,再到个性化的邮件回复,AI正逐步成为现代办公不可或缺的一部分。本文将深入探讨AI如何在这些核心办公场景中发挥作用,提升工作效率,优化工作流程,从而推动工作方式的全面革新。
1099 3
|
存储 监控 安全
个人数据在云端是否安全?
【6月更文挑战第23天】个人数据在云端是否安全?
286 5
|
存储 边缘计算 运维
CNStack 云服务&云组件:打造丰富的云原生技术中台生态
CNStack 云服务&云组件:打造丰富的云原生技术中台生态
CNStack 云服务&云组件:打造丰富的云原生技术中台生态
|
存储 SQL 分布式计算
5分钟入门数据湖IceBerg
随着大数据存储和处理需求的多样化,如何构建一个统一的数据湖存储,并在其上进行多种形式的数据分析成了企业构建大数据生态的一个重要方向。Netflix 发起的 Apache Iceberg 项目具备 ACID 能力的表格式成为了大数据、数据湖领域炙手可热的方向。关注公众号:857Hub
1109 0
5分钟入门数据湖IceBerg
【Linux】RK3399平台开发系列——设备树的学习笔记
设备树(Device Tree)是用于描述硬件设备和系统关系的树形数据结构,主要用于 Linux 操作系统中的设备驱动程序。在嵌入式系统中,由于硬件的多样性和复杂性,设备树变得越来越流行,用户可以用设备树来描述各种外设的属性和配置信息,以帮助内核识别和管理外设。