项目总结|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习 项目总结

开发者学堂课程【阿里云实时数仓实战 3 :制作数据可视化大屏 项目总结】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/110/detail/1894


项目总结


内容简介:

一、已实现课程目标

二、项目技术回顾与注意事项

三、本节课程重点总结

 

 

一、已实现课程目标:

1、学习搭建一个实时数据目标,掌握数据采集存储、计算、输出、展示等整个业务流程。

2、挣个实时数据仓库系统是在阿里云架构上搭建,掌握并学会运用各个服务组件,以及各个组件之间如何联动。

3、前置知识要求

1)熟练掌握 SQL 语法

2)对 Hadoop 大 数据体系有一定的了解

 

 

二、项目技术回顾与注意事项

(一)第一章 项目需求及架构设计

1、明白需要开发项目时需要完成什么任务

2、明白怎么完成开发任务

3、熟悉阿里云技术框架,学会用阿里云技术完成大数据开发功能。

4、熟悉掌握电商表结构

图片6.png


(二)第二章 业务数据准备

第二章主要考查存储业务数据的 RDS 服务器,需掌握 RDS 服务器的购买流程、配置、连接以及创建业务数据库及表。

 

(三)第三章 缓冲数据

主要内容为创建 DataHub 项目

图片7.png


(四)第四章 同步业务数据

主要使用 DTS 同步数据,不仅可以完成数据同步,还可以进行数据迁移与订阅

 

 

(五)第五章 实时数仓分层

1、购买功能强大、速度快、开发方便的实时计算服务引擎,通过 Flink SQL 实现。

2、熟练掌握 Data Works 工作空间、业务开发平台 Stream Studio 与 ODS 到 DWD 层的业务流程,实时数仓主要基于 Data Hub 与实时计算服务器之间的导入与导出,数据由 Data Hub 运送到实时计算服务器进行运算之后再输送回 Data Hub 进行存储。

图片8.png

3、数据结果展示:先将结果数据存储到 Analytic DB 数据库,再使用 Data V 进行可视化展示(类似于天猫双 11 的可视化大屏幕)图片9.png


三、本节课程重点总结

框架串联以及框架之间联动

相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
10月前
|
消息中间件 Dubbo NoSQL
【e3项目学习一】——SSM框架搭建小总结
业余时间,将e3的项目(针对于dubbo框架以及redis、nginx、fastdfs、消息队列等技术点)进行了一个前期学习,搭建了ssm的框架,并将其上传到了我的gethub上面(单击连接访问我的github,地址:连接),以后再做相关项目的时候就可以直接拿来用了~
|
12月前
|
前端开发
前端学习笔记202304学习笔记第九天-脚手架项目发布
前端学习笔记202304学习笔记第九天-脚手架项目发布
44 0
|
12月前
|
前端开发 JavaScript API
前后端分离项目知识汇总(整合课程发布)
前后端分离项目知识汇总(整合课程发布)
71 0
|
SQL 前端开发 Java
ssm项目从零到精通的超全解析(含项目源码)
目录前言mvcjsp代码css代码 前言 写这篇文章主要是为了给初学者从浅入深进行巩固(后面会慢慢多这一类的文章) 文中主要包含思路以及代码的逻辑、代码细节的补充等 这个项目主要是ssm框架搭建的一个后台网站 主要涉及的知识点有 spring、springmvc、mybatis 这些知识点可通过我之前的文章进行学习 mvc 代码模块主要涉及mvc 所谓mvc为 M——Model(模型,即JavaBean) V——View(视图,即页面) C——Controller(控制层,即与前端交互的类) 关于为什么
276 1
ssm项目从零到精通的超全解析(含项目源码)
|
前端开发 vr&ar Android开发
百思奇解项目笔记
百思奇解项目笔记
326 0
百思奇解项目笔记
|
XML 前端开发 JavaScript
总结项目问题 | 学习笔记
快速学习 总结项目问题
59 0
|
移动开发 前端开发 JavaScript
项目介绍 | 学习笔记
快速学习 项目介绍
72 0
项目介绍 | 学习笔记
|
JSON 编解码 前端开发
项目总结(其他问题) | 学习笔记
快速学习 项目总结(其他问题)
95 0
项目总结(其他问题) | 学习笔记
|
存储 JavaScript 前端开发
项目总结(项目描述) | 学习笔记
快速学习 项目总结(项目描述)
131 0
|
JavaScript 前端开发 NoSQL
项目技术点介绍 | 学习笔记
快速学习 项目技术点介绍
77 0
项目技术点介绍 | 学习笔记