开发者社区> haiger13> 正文

冬季实战营第五期:轻松入门学习大数据

简介: 冬季实战营第五期:轻松入门学习大数据
+关注继续查看

QQ截图20220304104258.png

在2月28日 - 3月4日期间参与了大数据相关的全部体验及直播代练,总结了一下收获。

一、动手实战-基于EMR离线数据分析

通过开通登录EMR Hadoop集群,简单进行hive操作,使用hive对数据进行加载,计算等操作。了解了如何构建弹性低成本的离线大数据分析。

体验此场景后收获:

1.EMR集群的基本操作,对EMR产品有初步的了解;

2.EMR集群的数据传输和hive的简单操作,对如何进行离线大数据分析有初步的掌握。


二、动手实战-使用阿里云Elasticsearch快速搭建智能运维系统

通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

体验此场景后收获:

1.了解阿里云Elasticsearch集群创建登录的基础操作;

2.学会采集系统数据和Nginx服务数据;

3.学会配置指标分析看板,体验数据分析和运维的过程。


三、动手实战-推荐系统入门之使用协同过滤实现商品推荐

体验使用机器学习PAI平台,搭建了一个基于协同过滤算法的商品推荐系统。

了解一下背景知识:

数据挖掘的一个经典案例就是尿布与啤酒的例子。尿布与啤酒看似毫不相关的两种产品,但是当超市将两种产品放到相邻货架销售的时候,会大大提高两者销量。很多时候看似不相关的两种产品,却会存在这某种神秘的隐含关系,获取这种关系将会对提高销售额起到推动作用,然而有时这种关联是很难通过经验分析得到的。这时候我们需要借助数据挖掘中的常见算法-协同过滤来实现。这种算法可以帮助我们挖掘人与人以及商品与商品的关联关系。

协同过滤算法是一种基于关联规则的算法。以购物行为为例,如果用户甲和用户乙都购买了商品A和商品B,则可以假定用户甲和用户乙的购物品味相似。当用户甲购买了商品C,而用户乙未购买时,可以将商品C推荐给用户乙,这就是经典的User-Based,即以User的特性为关联。


四、直播代练

利用湖仓一体架构快速搭建企业数据中台


五、直播带练

基于Elasticsearch+Fink的日志全观测最佳实践


通过体验这些大数据相关技术产品,了解了大数据分析相关内容。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
史上最全“大数据”学习资源整理
史上最全“大数据”学习资源整理 2016-05-17 Hadoop技术博文   当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义,它更代表着信息技术发展进入了一个新的时代,代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难,代表着大数据处理所需的新的技术和方法,也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。
4428 0
冬季实战营第五期:轻松入门学习大数据
本期主要学习了基于EMR离线数据分析、使用阿里云es搭建智能运维系统、使用PAI基于协同过滤算法实现商品推荐以及大佬的直播代练。
22 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
23581 0
轻松入门学习大数据
经过之前四期的学习,对于相关的知识有所了解,在本次实验学习结束之余,通过结合所学,综合简单的了解大数据分析。
40 0
阿里云 MaxCompute:轻松玩转大数据|学习笔记
快速学习 阿里云 MaxCompute:轻松玩转大数据
46 0
《大数据》学习体验记录
本期实战体验内容主要培训大数据技术实战。
28 0
大数据_学习_00_资源帖
一、精选 1.虚无境的博客 随笔分类 - 大数据
710 0
+关注
8
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载