大数据平台进度,它来了

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 小型大数据平台,持续沉淀,从0-1。

大家好,我是脚丫先生 (o^^o)

又是元气满满的周一。

然而,我自己除了瞌睡还是有点瞌睡,不知道小伙伴们是否一样。

一直以来我负责着大数据平台的工作,但是都是很模块化的,交付的项目大多数都是满足即可。

总是无法沉淀一个完善的产品,甚是遗憾。

因此,自己想研发属于自己的大数据平台。

希望未来的日子里,自己能不断的,轻抚它,优化它。

也希望未来的日子里,依然有输出「Hello World」的喜悦

image.png

整个大数据平台预计明年开源出来,多多与小伙伴们一起交流,一起进步!!!

虽然很烂,但是有一句话,不是这样说的嘛,重复才能产生伟大,我想说,重复并不是循环从0~1,而是从0.1~1、0.2~1、0.4~1,要在一定的势能基础上,继续加固和创新。

登陆页面

登陆页面和基本的后台管理一致。

基本没啥难度,都属于后端和前端的登陆、权限知识。
image.png

该页面以星空为背景,我感觉还是挺好看的,大数据正如星河般的数据,那么的无穷尽。

首页

首页页面,面板还没有确定具体的思路的研发。

不过自己有两个想法:

1.首页面板显示方法论,一般而言大数据平台是很复杂的,没有具体的操作手册,很难玩明白。

2.首页面板显示数据仓库里的每层数据容量,做一个图的可视化。

image.png

主菜单:

数据汇聚、数据开发、数据质量、数据集市、可视化、平台基础

数据汇聚

数据汇聚模块,目前进度80%

数据汇聚模块,名如其意,就是常常说的数据采集,属于大数据平台的基石。

该模块其实是集成了Datax-web。

修改了前端和优化了后端。

image.png

因为,之前我们小组一直是以datax进行异构数据源的采集,这方面稍微有点经验。

不过之后,还是想开发爬虫程序到数据汇聚模块,想获取到真实的数据,利用大数据平台,走完整个数据仓库流程。

数据开发

数据开发模块,进度为0%

不过,自己也是有想法的,暂时先完成离线开发。

思路以Hive为数据仓库,可视化的拖拽和自定义SQL组件进行数据的ETL,调度系统集成强大的Airflow。

之所以调度系统选择Airflow,主要是之后开发的数据科学模块,以Python语言为主。

数据治理

数据治理模块,目前进度50%

数据治理的核心工作:在企业的数据建设进程中,保障企业的数据资产得到正确有效地管理。

数据治理将全程监控整个数据流程,有效保障数据建设过程在一个合理高效的监管体系下进行,最终提供高质量、安全、流程可追溯的业务数据。

image.png

在数据治理模块中,主要研发了元数据管理,数据质量管理,数据标准管理。

当然,数据治理体系的建设还有其他的模块,目前仅限于此。

image.png

数据集市

数据集市模块,目前进度20%

数据集市,把Hive数据仓库里建模完成的主题数据,通过API接口的方式被访问。

image.png

数据可视化

数据可视化模块,目前进度已经完成,调试修改阶段

数据可视化,该模块可以直接抽取Hive仓库里的数据,进行简单的统计分析,直接出图。
image.png

平台基础

平台基础模块,目前进度已经完成。

主要以集群管理、系统管理、系统日志。

image.png

谈谈集群管理。

集群管理,主要是监控HDFS和Yarn的资源、任务,并以图的方式进行展示。

存储概览:监控HDFS的资源、节点、文件数等信息。

计算概览:监控Yarn上任务的运行状况、资源等信息。

监控概览:监控服务器的Cpu、内存等信息。

总结

大数据平台管理,是想完成一个自研的项目,在不断学习的同时、不断的优化。

争取 0->0.1---->1这个过程。

最后想完成持续的业务场景

比如说:

通过数据汇聚里的爬虫,对游民星空的游戏数据进行爬取,进入Hive数据仓库里,利用数据开发,进行ETL流程的统计分析,并且以调度的形式周期的进行。整个过程数据治理全程支撑。

最后利用可视化模块进行游戏统计指标的可视化展示。

实现数据的OneData过程。

或者,在数据仓库里完成建模以后,形成数据资产,以数据集市的api接口的方式提供给其他的应用。

实现数据的OneService过程。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
存储 JSON 大数据
大数据离线数仓---金融审批数仓
大数据离线数仓---金融审批数仓
631 1
|
5月前
|
数据挖掘 双11 Docker
实时数仓Hologres交付问题之标准化如何解决
Hologres在阿里巴巴内部经受了多年双11高负载、高吞吐的生产考验,展现高性能与高可用性。它为企业数字化转型提供大规模实时数据仓库解决方案,助力企业实现高效数据分析与应用。更多信息可见[此处](https://developer.aliyun.com/ask/666064)及[此处](https://developer.aliyun.com/ask/666065)。
50 0
|
3月前
|
运维 数据处理 Apache
数据实时计算产品对比测评报告:阿里云实时计算Flink版
数据实时计算产品对比测评报告:阿里云实时计算Flink版
|
5月前
|
消息中间件 监控 关系型数据库
Serverless 应用的监控与调试问题之实时离线数仓一体化常用的解决方案有什么问题
Serverless 应用的监控与调试问题之实时离线数仓一体化常用的解决方案有什么问题
|
6月前
|
安全 数据挖掘 大数据
Dataphin推出“资产消费”功能,助力提升数据分析效率与体验
在数据驱动的时代,企业数据资产的有效管理与高效利用成为了企业数字化转型的关键。面对复杂多变的业务场景和日益增长的数据需求,如何确保数据资产的安全访问、便捷查找与灵活消费,成为众多数据平台负责人的共同挑战。Dataphin,作为一站式大数据智能建设与管理平台,在V4.2版本中全新推出“资产消费”新功能,旨在通过统一权限管理并打通 BI 平台,为企业数据资产管理与消费带来便捷体验。
293 0
|
8月前
|
SQL 监控 安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
222 0
|
8月前
|
SQL 运维 监控
Dataphin V3.9 版本升级|支持一站式数据汇聚处理、优化研发体验、提升数据治理能力
Dataphin V3.9 版本升级|支持一站式数据汇聚处理、优化研发体验、提升数据治理能力
171 0
|
存储 消息中间件 数据可视化
Dataphin实时研发实践—电商场景下的实时数据大屏构建
实时数据大屏是实时计算的重要应用场景之一,广泛应用在电商业务中,用于实时监控和分析电商平台的运营情况。通过大屏展示实时的销售额、订单量、用户活跃度、商品热度等数据指标,帮助业务人员随时了解业务的实时状态,快速发现问题和机会。同时,通过数据可视化和趋势分析,大屏也提供了决策支持和优化运营的功能,帮助业务人员做出及时的决策和调整策略,优化电商业务的运营效果。 下面以电商业务为背景,介绍如何构建经典实时数仓,实现实时数据从业务库到ODS层、DWD层、DWS层全链路流转,基于Dataphin和Quick BI实现实时数据大屏。
606 0
|
分布式计算 数据可视化 数据挖掘
06 离线数据分析流程介绍
06 离线数据分析流程介绍
112 0
|
分布式计算 关系型数据库 MySQL
【企业数据中台交付】数据回刷实验
通过自定义sql(多路输出、动态分区、笛卡尔积)和补数据方式,回刷历史分区数据,使业务可查看历史数据。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等