场景一:基于EMR离线数据分析
本场景通过开通登录EMR Hadoop集群,简单进行hive操作,使用hive对数据进行加载,计算等操作。展示了如何构建弹性低成本的离线大数据分析。
体验过程
1. 创建资源
2. 登陆集群
3. 上传数据到HDFS
4. 使用hive创建表
5. 对表进行操作
体验收获
掌握EMR集群的基本操作,对EMR产品有初步的了解;学习到EMR集群的数据传输和hive的简单操作,对如何进行离线大数据分析有初步的掌握。
场景二:使用阿里云Elasticsearch快速搭建智能运维系统
本场景通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。
体验过程
1. 创建资源
2. 登录集群
3. 登录Kibana,开启自动创建索引功能
4. 使用Metricbeat采集ECS上的系统数据
5. 使用Filebeat采集ECS上的Nginx服务数据
体验收获
了解阿里云Elasticsearch集群创建登录的基础操作,学会采集系统数据和Nginx服务数据,并且学会配置指标分析看板,体验数据分析和运维的过程。
场景三:推荐系统入门之使用协同过滤实现商品推荐
体验过程
1. 开通机器学习PAI服务
2. 创建PAI Studio项目
3. 创建实验
4. 查看实验数据
5. 运行实验
6. 查看实验结果
收获
学会了使用机器学习PAI平台搭建一个基于协同过滤算法的商品推荐系统。
直播带练:利用湖仓一体架构快速搭建企业数据中台
基于Delta Lake或Hudi存储机制的湖仓一体方案
最佳实践背景
公司A使用云上关系型数据库RDS作为自己的业务库,同时使用阿里云EMR系统做日志数据采集。将数据汇集到云上对象存储OSS上,引入了数据湖常会用的存储机制 Delta Lake和Hudi为数据湖提供流处理、批处理能力。通过MaxCompute查询到实时数据,即时洞察业务数据变化。
1. RDS数据准备
2. DLF数据入湖
3. MaxCompute中查询数据
4. RDS中新增数据
直播带练:基于Elasticsearch+Fink的日志全观测最佳实践
云上ELK+Flink全观测解决方案能力
1. Beats获取日志/指标
2. 数据清洗SQL化更简易
3. 云上ES写入托管及超强稳定性
4. 低成本数据存储
5. 日志分析、指标监控、APM能力齐全
6. 开源生态具备强大的可扩展性