学习报告-冬季实战营第五期：轻松入门学习大数据

冬季实战营第五期：轻松入门学习大数据 (aliyun.com)

基于EMR离线数据分析

https://developer.aliyun.com/adc/scenario/175735954e19429cbb753cd547c00b5a

本实验免费提供EMR集群，基于EMR集群进行离线数据分析。

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。

登陆集群

上传数据到HDFS

使用hive创建表

使用阿里云Elasticsearch快速搭建智能运维系

https://developer.aliyun.com/adc/scenario/18d723b856564fcbafb365d121804588

通过创建登录阿里云Elasticsearch集群，使用Beats采集器收集ECS上的系统数据和Nginx服务数据，配置基础的指标分析看板，简单展示数据采集、分析的过程和操作方式。

阿里云Elasticsearch兼容开源ELK功能，提供免运维全托管服务的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监控等场景服务；独有的云原生高性能内核、达摩院NLP分词、向量检索、智能运维、免费X-Pack高级商业特性等能力，全面提升企业应用效率，降低成本。

登录集群

登录Kibana，开启自动创建索引功能

使用Metricbeat采集ECS上的系统数据

使用Filebeat采集ECS上的Nginx服务数据

推荐系统入门之使用协同过滤实现商品推荐

开通机器学习PAI服务

创建PAI Studio项目

创建实验

查看实验数据

运行实验

查看实验结果

最后两天通过直播的方式进行实战，感谢老师辛苦付出