冬季实战营第五期:轻松入门学习大数据

简介: 冬奥云小宝带你玩转五期实战营 覆盖五大技术方向 “0成本”实践学习 快速晋级为专业的“云上开发者”

实战营第五期由三个动手实战场景和两个直播代练组成,通过三个场景实战由浅入深学习大数据技术的使用。
基于EMR离线数据分析
基于EMR集群进行离线数据分析。

  1. 登录集群
    登录EMR集群终端
    image.png
  2. 上传数据到HDFS
    将自建数据上传到HDFS
    image.png
  3. 使用Hive创建表
    使用hive创建数据表,并使用hadoop文件系统中的数据加载到hive数据表中
    image.png
  4. 对表进行操作
    使用hive对数据表进行查询等操作
    image.png

使用阿里云Elasticsearch快速搭建智能运维系统
使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式

  1. 登录集群
    image.png
  2. 登录Kibana,开启自动创建索引功能
    image.png
  3. 使用Metricbeat采集ECS上的系统数据
    image.png
  4. 使用Filebeat采集ECS上的Nginx服务数据
    image.png

使用协同过滤实现商品推荐
使用PAI基于协同过滤算法实现商品推荐

  1. 开通机器学习PAI服务
    在阿里云首页找到产品-->人工智能-->机器学习平台-->开通
  2. 创建PAI Studio项目
    在可视化建模-->创建项目等待初始化进入机器学习
  3. 创建实验
    在首页-->[推荐算法]商品推荐-->从模块创建-->
  4. 查看实验数据
    单击cf_训练_data节点查看数据
  5. 运行实验
    点击运行
  6. 查看实验结果
    单击join-1节点-->查看数据(全表统计-1、全表统计-2查看数据)
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
7月前
|
数据采集 分布式计算 大数据
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
168 1
|
6月前
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
8月前
|
数据采集 搜索推荐 算法
Java 大视界 -- Java 大数据在智能教育学习社区用户互动分析与社区活跃度提升中的应用(274)
本文系统阐述 Java 大数据技术在智能教育学习社区中的深度应用,涵盖数据采集架构、核心分析算法、活跃度提升策略及前沿技术探索,为教育数字化转型提供完整技术解决方案。
|
10月前
|
数据采集 数据可视化 大数据
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
202 6
|
数据采集 数据可视化 大数据
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
这篇文章介绍了如何使用Python中的matplotlib和numpy库来创建箱线图,以检测和处理数据集中的异常值。
419 1
大数据体系知识学习(三):数据清洗_箱线图的概念以及代码实现
|
存储 SQL 分布式计算
大数据学习
【10月更文挑战第15天】
350 1
|
分布式计算 大数据 Linux
大数据体系知识学习(二):WordCount案例实现及错误总结
这篇文章介绍了如何使用PySpark进行WordCount操作,包括环境配置、代码实现、运行结果和遇到的错误。作者在运行过程中遇到了Py4JJavaError和JAVA_HOME未设置的问题,并通过导入findspark初始化和设置环境变量解决了这些问题。文章还讨论了groupByKey和reduceByKey的区别。
265 1
|
5月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
396 14
|
6月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
346 0