项目总结|学习笔记

简介: 快速学习 项目总结

开发者学堂课程【阿里云实时数仓实战 3 :制作数据可视化大屏 项目总结】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/110/detail/1894


项目总结


内容简介:

一、已实现课程目标

二、项目技术回顾与注意事项

三、本节课程重点总结

 

 

一、已实现课程目标:

1、学习搭建一个实时数据目标,掌握数据采集存储、计算、输出、展示等整个业务流程。

2、挣个实时数据仓库系统是在阿里云架构上搭建,掌握并学会运用各个服务组件,以及各个组件之间如何联动。

3、前置知识要求

1)熟练掌握 SQL 语法

2)对 Hadoop 大 数据体系有一定的了解

 

 

二、项目技术回顾与注意事项

(一)第一章 项目需求及架构设计

1、明白需要开发项目时需要完成什么任务

2、明白怎么完成开发任务

3、熟悉阿里云技术框架,学会用阿里云技术完成大数据开发功能。

4、熟悉掌握电商表结构

图片6.png


(二)第二章 业务数据准备

第二章主要考查存储业务数据的 RDS 服务器,需掌握 RDS 服务器的购买流程、配置、连接以及创建业务数据库及表。

 

(三)第三章 缓冲数据

主要内容为创建 DataHub 项目

图片7.png


(四)第四章 同步业务数据

主要使用 DTS 同步数据,不仅可以完成数据同步,还可以进行数据迁移与订阅

 

 

(五)第五章 实时数仓分层

1、购买功能强大、速度快、开发方便的实时计算服务引擎,通过 Flink SQL 实现。

2、熟练掌握 Data Works 工作空间、业务开发平台 Stream Studio 与 ODS 到 DWD 层的业务流程,实时数仓主要基于 Data Hub 与实时计算服务器之间的导入与导出,数据由 Data Hub 运送到实时计算服务器进行运算之后再输送回 Data Hub 进行存储。

图片8.png

3、数据结果展示:先将结果数据存储到 Analytic DB 数据库,再使用 Data V 进行可视化展示(类似于天猫双 11 的可视化大屏幕)图片9.png


三、本节课程重点总结

框架串联以及框架之间联动

相关文章
|
7月前
|
消息中间件 SQL 关系型数据库
什么是实时数据同步?纯干货解读!
在数据处理中,数据同步问题常常导致报表不准、决策滞后。本文深入解析实时数据同步的重要性与实现方法,帮助你解决80%的同步难题,提升数据效率与业务响应速度。
什么是实时数据同步?纯干货解读!
|
存储 安全 数据挖掘
【工具】HxD Hex Editor 的安装、使用详细教程
【工具】HxD Hex Editor 的安装、使用详细教程
4853 0
|
2月前
|
存储 人工智能 弹性计算
2026年阿里云新用户专享活动规则及v新功能汇总参考
阿里云新用户专享活动核心围绕“低价套餐+叠加优惠”展开,规则聚焦身份定义、限购续费、叠加限制三大核心;2026年新功能则重点发力AI融合、存储优化、数据库智能运维等领域,覆盖多模态处理、高效检索、智能决策等场景。以下是详细解读,均基于2026年官方最新政策与发布信息。
484 15
|
2月前
|
弹性计算 安全 小程序
阿里云轻量服务器38元1年,与云服务器ECS对比有何不同,区别及选择参考
在阿里云的云服务器产品中,轻量应用服务器和ECS云服务器是两款备受关注的产品。目前,阿里云针对轻量应用服务器推出了一系列优惠活动,价格非常优惠,轻量云服务器2核2G200M峰值带宽38元一年。那么,轻量应用服务器与ECS云服务器相比有何不同,又该如何选择呢?本文为大家介绍他们之间的不同,以供选择参考。
|
2月前
|
人工智能 搜索推荐 API
智能体来了:从0-1开启你的AI分身时代
内容摘要:AI智能体(Agent)正从概念走向大规模应用,宣告了个体效率飞跃的“AI分身时代”至。本文深度拆解智能体底层逻辑,手把手教你如何利用Coze、Dify等平台构建具备感知、规划与执行能力的AI分身,助你实现从基础自动化到全时生产力的转型。
496 3
|
2月前
|
存储 人工智能 监控
2026年企业如何应用数据中台?从搭建到落地的实践路径
数据中台是企业数字化转型的核心,通过整合数据资源、提升治理能力,实现数据资产化与业务赋能。本文系统梳理其建设路径:从战略规划、数据盘点,到集成治理、服务输出,结合瓴羊Dataphin与Quick Audience等工具,推动营销等场景落地,并展望实时化、智能化、平民化未来趋势,助力企业释放数据价值。
|
3月前
|
人工智能 自然语言处理 安全
2025年12月,中国数字人平台介绍与技术评析及数字化应用指南
2025年,虚拟数字人技术深度融入各行业。本文从技术、场景、安全三大维度,构建十大评估标准,揭示如何甄选兼具实用性、合规性与商业价值的数字人解决方案,助力企业智能化转型。
|
网络协议 网络架构
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择:MySQL、PostgreSQL 还是 NoSQL?
在微服务架构中,数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中,我们将深入探讨传统的关系型数据库(如 MySQL 和 PostgreSQL)与现代 NoSQL 数据库的优劣势,并分析在微服务架构下的最佳实践。
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。
1440 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐

热门文章

最新文章