开源大数据平台 E-MapReduce

猿辅导大数据平台团队负责人申阳分享了猿辅导基于EMR StarRocks 的 OLAP 演进之路。

开源大数据EMR产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。

水滴筹大数据部门的数据开发工程师韩园园老师为大家分享水滴筹基于阿里云EMR StarRocks的实战经验。

阿里云首创并推动的智能数据湖解决方案因“引领业界技术上创新”入选第六届数字中国建设峰会的“十大硬核科技”，这也是历届峰会中首次有数据湖产品入选。智能数据湖是阿里云在大数据和 AI 融合的时代背景下推出，底层融合存储和计算全新技术体系，业务侧融合多元计算，对接数据科学计算引擎。支撑在线教育、互联网广告、新媒体、网络游戏等近万家行业用户在快速发展过程中的业务需求，为企业数字化转型提供源动力。

阿里云EMR Serverless StarRocks 免费公测已开启，向所有用户开放！您可通过EMR控制台直接创建实例，轻松体验全托管、免运维的服务。

4月19日（周三）下午，水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家，将针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 实战经验等一系列超干货内容，为大家带来诚意满满的技术盛宴。

开源大数据EMR产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。

EMR目前支持了日志管理，即日志客户SLS投递的功能，基于此功能，客户可以将需要的各种大数据组件日志收集到自身SLS中，做查询和分析。基于此功能，客户可以自定义日志路径、规则，对集群设备上的日志自行接收和消费。本文以采集指标文件为例，帮助您快速上手自定义日志投递与使用。

通过结合CloudMonitor以及FC，可以实时捕获EMR集群的生命周期变化，如集群的创建和停止，扩容和缩容以及其他类型的集群状态变更等。

本文以 Hadoop 社区中的 S3A Connector 的实现为切入，分析了数据湖写入路径的安全性。

本文旨在分享 EMR 平台大数据服务基于阿里云 CloudMonitor 的监控实践，给客户提供除了 EMR 平台默认监控以外，自建监控方式，适用于统一多个阿里云服务的监控监控场景。

本次分享主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素：全托管，湖存储；一站式，湖管理；多模态，湖计算。

本文整理自阿里云 EMR 数据开发团队负责人孙一凡（Evans 忆梵），在 Apache Spark & DS Meetup 的分享

开源大数据平台 EMR 产品技术月刊，涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容，帮助您快速了解开源大数据最新动态。

在本篇文章中，我们将介绍大数据集群领域所需的可观测性，实践大数据集群可观测所需要的条件和面临的挑战，以及阿里云EMR 产品如何通过 EMR Doctor 实现大数据可观测并向用户提供相关能力。

本文整理自阿里云资深技术专家吴威(无谓)在 阿里云EMR2.0线上发布会 的分享。本文从开源的角度出发，分享了阿里云EMR团队的工作。

该文章内容源于 Apache Con ASIA 2022上的分享，整理归纳成文章。

作为国内开源大数据领域的引领者，EMR2.0在平台体验、数据开发、产品形态及数据分析等方面做了全面突破与创新，重新定义了新一代开源大数据平台。本文介绍如何利用EMR新平台实现更加低成本、高效率、智能化的大数据集群管控和应用开发。

StarRocks 2.5 LTS 版本于近期发布，阿里云EMR Serverless StarRocks也在火热邀测中。本文将重点介绍StarRocks 2.5版本核心功能以及阿里云EMR Serverless StarRocks特性。

本文整理自阿里云 EMR Spark 团队的周克勇（一锤），在 Spark&DS Meetup 的分享。

本次分享主要介绍了阿里云E-MapReduce的开发历程，EMR 2.0的新特性、产品架构，以及EMR 2.0在平台体验、数据开发、资源形态及分析场景等方面的全面突破与创新，重新定义新一代开源大数据平台。

洞悉 Spark 任务调度新能力｜Apache Spark + DolphinScheduler Meetup 将于 1 月 11 日在线上举办

阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验，通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级，预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。

Apache Spark Meetup | 1 月线上直播报名通道已开启，赶快报名预约吧！

Apache Spark Meetup | 1 月线上直播报名通道已开启，赶快报名预约吧！

当前大数据上云与存算分离的技术趋势越来越成为行业标准与发展方向。作为大数据商业化的践行者，从存算分离的演进/定义/价值/架构应用/实践/对比等多个维度来分析与探讨其发展历程与组成体系。为大数据存算分离技术整体发展添砖加瓦。

12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0，升级后的开源大数据平台在成本持平的情况下，扩缩容性能最高可提升6倍。

面向未来，构建新一代开源大数据基础设施！阿里云EMR 2.0 发布会 将于12月27日14点在线上举办。

本文为作者在 StarRocks Summit Asia 2022 上的分享

无需数据导入，即可体验性能堪比数仓的数据湖分析！2022年12月8日19点，StarRocks Lakehouse Meetup - 极速湖仓分析技术专场线上直播重磅开启，精彩不容错过！

本文详细介绍了 EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践。

本文整理自阿里云技术专家范佚伦在7月17日阿里云数据湖技术专场交流会的分享。

本文整理自阿里云开源大数据平台技术专家毕岩在7月17日阿里云数据湖技术专场交流会的分享。

本文整理自阿里云开源大数据平台数据湖存储团队孙大鹏在7月17日阿里云数据湖技术专场交流会的分享。

本文整理自阿里云开源大数据高级开发工程师杨庆苇在7月17日阿里云数据湖技术专场交流会的分享。

E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor，有效提升大数据集群运维效率，辅助 EMR 用户完善集群监控体系。

本文整理自阿里云数据湖构建与分析研发熊佳树在7月17日阿里云数据湖技术专场交流会的分享。

本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。

本次“大规模预训练模型”主题论坛由阿里巴巴集团主办，世界人工智能大会组委会指导，整体围绕“大规模预训练模型的创新、落地和开源开放”展开，将探讨的边界延伸至算法模型、大数据及训练框架等方向，邀请到来自阿里巴巴，澜舟科技，清华大学，粤港澳大湾区数字经济研究院，深势科技，复旦大学等机构，在大规模预训练模型领域深耕多年的领军人物，通过keynote演讲和圆桌论坛两个环节，展示国产大模型多元生态下的技术成果和思考。

阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR) + 一站式大数据数据开发治理平台DataWorks + 数据湖构建DLF + 对象存储OSS等核心产品。

本书从技术基础介绍到场景应用实践，帮助读者入门数据湖Lakehouse以及部分spark相关应用。

国内首批！得分排名第一！

本文介绍网约车模拟数据从产生，发布到流数据服务 Confluent，通过Databricks Structured Streaming进行实时数据处理，存储到LakeHouse，并使用spark和spark sql进行分析的应用实践。

本文介绍如何使用Databricks进行广告效果归因分析，完成一站式的部署机器学习，包括数据ETL、数据校验、模型训练/评测/应用等全流程。