轻松入门学习大数据——冬季实战营第五期学习报告

简介: 动手实战、专家带练。由浅及深,了解学习大数据。

前言

总共五期的冬季实战营来到最后一期了,本期的实战着重于大数据,同上期一样共分成了三个实战训练和两次直播学习。在不知不觉中,它已经改变了人们的生活、工作以及思考的方式。


1.基于EMR离线数据分析

EMR是云原生开源大数据平台,向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。这个实战介绍了如何登录EMR集群、如何上传数据到HDFS以及如何使用hive创建表,并从hadoop文件系统加载数据三个方面内容,让我们对EMR产品有了初步的了解。

2.使用阿里云Elasticsearch快速搭建智能运维系统

这个实战让我了解了阿里云Elasticsearch集群创建登录的基础操作。实战结束后我学会了采集系统数据和Nginx服务数据和配置指标分析看板,体验了数据分析和运维的过程,特别是其中数据采集、分析的过程和操作方式。

3.使用协同过滤实现商品推荐

实战利用了机器学习PAI平台,指导我们搭建一个基于协同过滤算法的商品推荐系统。很多时候看似不相关的两种产品,却会存在这某种神秘的隐含关系,获取这种关系将会对提高销售额起到推动作用,然而有时这种关联是很难通过经验分析得到的。这时候我们需要借助数据挖掘中的常见算法-协同过滤来实现。

4.“利用湖仓一体架构快速搭建企业数据中台”直播带练

直播主要涉及湖仓一体架构及其应用,这个架构力图结合数据仓库的弹性和数据湖的灵活性,那么如何结合数据仓库和数据湖的优点,同时最大程度地减少每种模式自身的弊端就是一个问题,直播探讨了该问题的解答,同时以搭建企业数据中台为实例进行了具体讲解。

5.“基于Elasticsearch+Fink的日志全观测最佳实践”直播带练

直播主要介绍了一个名词“全观测”,那么什么是全观测呢?它是对传统运维的一个改进,将日志指标APM等数据汇总到统一的平台上,让研发、运维、业务人员等在上面对所有的数据用一个统一的视角去做一个综合的分析,通过这样的方式极大的提高了效率。


总结

五期的学习实战结束了,经过这几次实战训练,特别是最后这一期实战,我掌握了很多与大数据有关的知识,可以说大数据进入了入门阶段,有了不错的掌握,感谢阿里云给我们这样的学习机会。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
6月前
|
数据采集 分布式计算 大数据
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
162 1
|
5月前
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
7月前
|
数据采集 搜索推荐 算法
Java 大视界 -- Java 大数据在智能教育学习社区用户互动分析与社区活跃度提升中的应用(274)
本文系统阐述 Java 大数据技术在智能教育学习社区中的深度应用,涵盖数据采集架构、核心分析算法、活跃度提升策略及前沿技术探索,为教育数字化转型提供完整技术解决方案。
|
9月前
|
数据采集 数据可视化 大数据
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
196 6
|
数据采集 数据可视化 大数据
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
这篇文章介绍了如何使用Python中的matplotlib和numpy库来创建箱线图,以检测和处理数据集中的异常值。
408 1
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
|
存储 SQL 分布式计算
大数据学习
【10月更文挑战第15天】
342 1
|
分布式计算 大数据 Linux
大数据体系知识学习(二):WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作,包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题,并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
256 1
|
4月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
359 14
|
6月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
234 4
|
5月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
227 0