项目总结|学习笔记

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 快速学习 项目总结

开发者学堂课程【阿里云实时数仓实战 3 :制作数据可视化大屏 项目总结】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/110/detail/1894


项目总结


内容简介:

一、已实现课程目标

二、项目技术回顾与注意事项

三、本节课程重点总结

 

 

一、已实现课程目标:

1、学习搭建一个实时数据目标,掌握数据采集存储、计算、输出、展示等整个业务流程。

2、挣个实时数据仓库系统是在阿里云架构上搭建,掌握并学会运用各个服务组件,以及各个组件之间如何联动。

3、前置知识要求

1)熟练掌握 SQL 语法

2)对 Hadoop 大 数据体系有一定的了解

 

 

二、项目技术回顾与注意事项

(一)第一章 项目需求及架构设计

1、明白需要开发项目时需要完成什么任务

2、明白怎么完成开发任务

3、熟悉阿里云技术框架,学会用阿里云技术完成大数据开发功能。

4、熟悉掌握电商表结构

图片6.png


(二)第二章 业务数据准备

第二章主要考查存储业务数据的 RDS 服务器,需掌握 RDS 服务器的购买流程、配置、连接以及创建业务数据库及表。

 

(三)第三章 缓冲数据

主要内容为创建 DataHub 项目

图片7.png


(四)第四章 同步业务数据

主要使用 DTS 同步数据,不仅可以完成数据同步,还可以进行数据迁移与订阅

 

 

(五)第五章 实时数仓分层

1、购买功能强大、速度快、开发方便的实时计算服务引擎,通过 Flink SQL 实现。

2、熟练掌握 Data Works 工作空间、业务开发平台 Stream Studio 与 ODS 到 DWD 层的业务流程,实时数仓主要基于 Data Hub 与实时计算服务器之间的导入与导出,数据由 Data Hub 运送到实时计算服务器进行运算之后再输送回 Data Hub 进行存储。

图片8.png

3、数据结果展示:先将结果数据存储到 Analytic DB 数据库,再使用 Data V 进行可视化展示(类似于天猫双 11 的可视化大屏幕)图片9.png


三、本节课程重点总结

框架串联以及框架之间联动

相关文章
|
存储 安全 数据挖掘
【工具】HxD Hex Editor 的安装、使用详细教程
【工具】HxD Hex Editor 的安装、使用详细教程
3497 0
|
传感器 NoSQL 算法
ROS Moveit 配置全网最详细教程
本文是关于ROS Moveit配置的全网最详细教程,提供了一键安装脚本,以及如何使用Moveit进行机器人运动规划的详细步骤和说明。文中还深入解析了Moveit的配置包文件、Moveit的源码,以及如何使用不同的运动规划算法(如CHOMP、LERP、STOMP)进行路径规划。
2657 1
ROS Moveit 配置全网最详细教程
|
Ubuntu 编译器 C++
【Conan 入门教程 】在Ubuntu上使用Conan编译C++第三方库:一站式解决方案
【Conan 入门教程 】在Ubuntu上使用Conan编译C++第三方库:一站式解决方案
3605 1
|
开发工具 Android开发
Android冷启动白屏问题
1. 冷启动与热启动 通常我们在使用某个应用程序时,都是点击桌面应用图标来启动该程序。你肯定或多或少的碰到过这种情况:应用启动的一刹那,手机会先白屏或者黑屏一段时间,然后再进入应用程序的主页,但是你退出应用后再次打开APP,确又发现白屏时间极短或者压根感觉不出来。
2425 0
|
算法 Linux C#
开源图像处理软件代码
要写好一个图像处理软件,仅靠自己看书是完全不够的,要多方面学习,借鉴前人的经验,要集思广益、多面出击。如今网络发达,图像学的资料其实也到处都是。只是往往个人能力或精力有限,在短时间内无法找到那些也许藏于角落里的金子。
2794 0
|
3天前
|
云安全 人工智能 自然语言处理
|
8天前
|
人工智能 Java API
Java 正式进入 Agentic AI 时代:Spring AI Alibaba 1.1 发布背后的技术演进
Spring AI Alibaba 1.1 正式发布,提供极简方式构建企业级AI智能体。基于ReactAgent核心,支持多智能体协作、上下文工程与生产级管控,助力开发者快速打造可靠、可扩展的智能应用。
771 17
|
11天前
|
数据采集 人工智能 自然语言处理
Meta SAM3开源:让图像分割,听懂你的话
Meta发布并开源SAM 3,首个支持文本或视觉提示的统一图像视频分割模型,可精准分割“红色条纹伞”等开放词汇概念,覆盖400万独特概念,性能达人类水平75%–80%,推动视觉分割新突破。
791 59
Meta SAM3开源:让图像分割,听懂你的话

热门文章

最新文章