开源大数据平台 E-MapReduce

传统Lambda架构组件多运维复杂，如何使用一套存储和一套计算来实现流批架构充分享受技术红利？以Delta Lake为代表的新型数据湖方案越来越流行，传统的Lambda架构如何向数据湖架构进行扩展？以及结构化数据结合Delta Lake的最佳解决方案是什么。本次分享将会结合理论讲解和实际场景为您一一解答。讲师介绍王卓然， 花名琸然 阿里云存储服务技术专家

大数据上云是业界普遍共识，存储和计算分离的趋势日益显著，如何为云上蓬勃发展的大数据处理和分析引擎提供坚实的存储基础？这个 session 会主要讨论 EMR 技术团队重磅推出的一种新型混合存储解决方案，该方案基于云平台和云存储，面向新的存储硬件和计算发展趋势，为 EMR 弹性计算量身打造，在成本，弹性和性能上追求极佳平衡。技术上是如何实现的？性能如何？覆盖了哪些典型场景，最佳实践是什么？敬请期待！主讲人殳鑫鑫(辰石)，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。徐铖， Intel大数据团队软件开发经理

洞悉 Spark 任务调度新能力｜Apache Spark + DolphinScheduler Meetup特邀 - 阿里云 EMR 数据开发平台团队负责人孙一凡、BIGO 大数据研发工程师许名勇、阿里云 EMR Spark 引擎负责人周克勇 ，通过他们的分享让用户能更快更好更便捷的使用 Apahce Spark + Apahce DolphinScheduler 。讲师/嘉宾简介孙一凡（Evans 忆梵） 阿里云 EMR 数据开发平台团队负责人周克勇（一锤） 阿里云 EMR Spark 引擎负责人许名勇 BIGO 大数据研发工程师

众所周知，数据湖技术在大数据领域炙手可热，随着在云上的广泛部署和应用，其业务价值逐渐获得业界共识。如何快搭建数据湖架构被越来越多的企业探讨。本次演讲主要分享快速搭建云原生企业级数据湖架构及实践分享。讲师简介王震 -- 阿里云计算平台事业部 开源大数据平台 技术专家

EMR on ACK是企业级半托管的开源大数据平台，为阿里云E-MapReduce(EMR)提供了一个部署选项，允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。 目前支持Spark引擎的部署，结合自研的Remote shuffle service（RSS）服务组件，提供用户高稳定、高性价比、灵活的弹性计算服务。RSS解决了计算存储分离和混合架构下的shuffle稳定性和性能问题。本次直播将重点展开RSS的使用和性能展示。讲师介绍吴雪扬（枢木），阿里云高级开发工程师

主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。讲师介绍：纪琨尚，英特尔亚太研发有限公司大数据部门的软件工程师，专注于Spark计算框架上基于Optane PMEM的优化叶宇强，英特尔亚太研发有限公司大数据部门的资深软件工程师，专注于Spark计算框架上基于Optane PMEM的优化

TFPark是开源AI平台Analytics Zoo中一个模块，它的可以很方便让用户在Spark集群中分布式地进行TensorFlow模型的训练和推断。一方面，TFPark利用Spark将TensorFlow 定义的AI训练或推理任务无缝的嵌入到用户的大数据流水线中，而无需对现有集群做任何修改；另一方面TFPark屏蔽了复杂的分布式系统逻辑，可以将单机开发的AI应用轻松扩展到几十甚至上百节点上。本次分享将介绍TFPark的使用，内部实现以及在生产环境中的实际案例。 讲师简介： 汪洋，英特尔大数据团队的机器学习工程师，专注于分布式机器学习框架和应用。他是Analytics Zoo和BigDL的核心贡献者之一。

本次直播主要介绍如何利用FUSE的POSIX文件系统接口，像本地磁盘一样轻松使用大数据存储系统, 为云上AI场景提供了高效的数据访问手段。讲师介绍苏昆辉，花名抚月，阿里巴巴计算平台事业部 EMR 高级工程师, Apache HDFS committer. 目前从事开源大数据存储和优化方面的工作。

本次分享会介绍实时数仓的思路以及一些实践，包括SparkStreaming SQL引擎，以及对Delta/Kudu/Druid/阿里云多种存储组件的深度整合；同时会在这个基础上介绍一些典型案例应用讲师介绍宋军，花名嵩林 阿里云EMR高级技术专家。从事Spark内核优化，对SparkCore/SprakSQL有深入了解，Spark Contributor

Python 代表机器学习生态，而以 Hadoop/Spark 为核心的开源大数据则以 Java 为主。前者拥有数不清的算法库和程序，后者承载着海量数据和大量的企业应用。除了 SQL 这个标准方式和各种五花八门的协议接口，还有没有更高效的一手数据通道，将两个生态对接起来，乃至深度融合？Pyboot 是我们在这个方向上的探索。有兴趣的同学欢迎现场观摩演示和技术交流。嘉宾介绍郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC，Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台；孙大鹏，花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作；

上云拐点已来，开源大数据上云是业界共识。如何满足在云上低成本存储海量数据的同时又实现高效率弹性计算的潜在需求？放眼业界，都有哪些成熟存储方案和选择？各自适用的存储和计算场景是什么？背后的技术关键和考虑因素都有哪些？欢迎大数据技术爱好者面对面交流和探讨！嘉宾介绍姚舜扬，花名辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作；苏昆辉，花名抚月，阿里巴巴计算平台事业部 EMR 高级工程师, 曾就职于华为、网易. Apache HDFS committer. 对Hadoop、HBase等有深入研究, 对分布式存储、高性能优化有丰富经验. 目前从事大数据云化相关工作.

Tablestore是阿里云自研的云原生结构化大数据存储服务，本议题会详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。最新版本的Connector会随着EMR下个版本的SDK一起开源，场景环节会结合阿里内部的业务介绍用户如何结合Tablestore和Spark来实现实时数据处理。讲师介绍朱晓然 ，Tablestore存储服务技术专家

讲师简介张友东：StarRocks Active Contributor内容简介在线讲解从 shared-nothing 到 shared-data 的湖仓分析新范式如何帮助用户实现“极速统一“的价值。动手实践EMR Serverless StarRocks 免费测试https://developer.aliyun.com/article/1191440

Lakehouse Meetup “Apache Pulsar 的湖仓一体方案：Pulsar 的 Lakehouse 分层存储集成详解”陈航StreamNative 高级工程师Apache Pulsar PMC member

2022年5月11日14：00，阿里云EMR StarRocks 产品线上发布会重磅开启，精彩不容错过！阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品，致力于构建极速统一分析体验，满足企业用户的多种数据分析场景。讲师/嘉宾简介本次发布会邀请到了来自阿里云、StarRocks、众安保险的产品技术专家，详细介绍 EMR StarRocks 的功能优势、应用场景以及落地实践，揭秘 StarRocks 极速数据湖分析能力背后的技术支撑和未来规划。

公开课第五讲：介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。加入技术交流群下期预告《如何快速搭建流批一体数据仓库》讲师/嘉宾简介：李洁杏 Databricks 资深软件工程师

EMR on ACK是企业级半托管的开源大数据平台，为阿里云E-MapReduce(EMR)提供了一个部署选项，允许您在阿里云容器服务Kubernetes版 (ACK) 上运行开源大数据框架。Yarn on K8S方案帮助您平衡不同集群的资源使用，共享集群间计算资源，充分利用所有节点的计算资源，满足计算资源弹性调度，云上混合部署在线和离线任务的需求。本次直播将重点展开 Yarn on ACK 的弹性介绍。讲师简介霁谦 阿里云开源大数据平台 高级开发工程师

本节主要内容有 EMR 核心组件简介和使用、常用引擎使用示例、数据开发等讲师：孙大鹏，花名诚历，阿里巴巴 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

庞大的小文件和冷文件数量会对HDFS的性能产生不利影响，严重时甚至影响业务稳定性，这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法，并基于分析结果可以采取哪些处理措施。讲师：郭聪，花名析源，阿里云计算平台事业部技术专家。目前主要从事大数据领域APM产品的研发工作。

本次直播主要介绍JindoFS的元数据的后端演化。包括JindoFS的架构以及使用场景、JindoFS 元数据的不同的后端支持，以及JindoFS 在云上环境如何支持 OTS 作为元数据后端。讲师介绍殳鑫鑫，花名辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

10月14日14:00-17:30，Apache Kyuubi & Celeborn 社区将在杭州举办「Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生」Meetup，本次 Meetup 邀请到阿里云、网易数帆、Cisco、丁香园、Shopee 等技术大咖深入探讨交流基于 Apache Kyuubi & Celeborn 的技术实践，助力 Spark 拥抱云原生！讲师/嘉宾简介周克勇(一锤)：阿里云 EMR Spark 引擎负责人，Apache Celeborn (Incubating) 的发起人潘成：网易数帆大数据技术专家，Apache Kyuubi PMC Member，Apache Celeborn (Incubating) PPMC Member朱夷(AngersZhuuuu)：Shopee 技术专家, Spark PIC。 Apache Celeborn(Incubating) PPMC/Apache Spark active Contributor/ Apache HDFS/YARN contributorHe Zhao：Data Engineer at CiscoPengqi Li：Data Engineer at Cisco陈福：Apache Kyuubi PMC Member / Apache Celeborn (Incubating) Committer / 丁香园大数据基础平台负责人

来自水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家，针对开源 OLAP 技术架构、 StarRocks 产品硬核技术及 EMR StarRocks 进行分享。EMR Serverless StarRocks 免费公测讲师/嘉宾简介水滴筹、猿辅导、阿里云 EMR 团队和 StarRocks 社区的技术专家

Lakehouse Meetup“Apache Hudi 实时湖仓解决方案”陈玉兆阿里巴巴技术专家Apache Hudi PMCApache Calcite PMC

Lakehouse Meetup “基于数据湖格式构建数据湖仓架构”毕岩 阿里巴巴技术专家

Databricks数据洞察是企业级全托管的Spark高性能大数据分析平台，来自Apache Spark创始公司Databricks。引擎采用Databricks Runtime，性能与社区版相比，最高可达50倍提升，高效而稳定。本次直播将重点展开介绍该产品，并针对代表性案例进行分析。讲师介绍韩宗泽（棕泽），阿里云技术专家，计算平台事业部开放平台-生态企业团队负责人

【第5/6讲直播主题】1、访问 OSS 这类对象存储最快的方式：JindoFS SDK2、Hadoop/Spark 访问 OSS 加速【背景】为了让更多开发者了解并使用 JindoFS，由阿里云 JindoFS+OSS 团队打造的专业公开课【数据湖 JindoFS+OSS 实操干货36讲】会在每周二16：00准时开讲！从五大板块入手，玩转数据湖！【讲师】诚历 - 阿里巴巴计算平台事业部 EMR 技术专家流影 - 阿里巴巴计算平台事业部 EMR 技术专家

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo讲师：王太泽 第四范式特征工程数据库负责人 曾在百度担任资深研发工程师 一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

Apache Zeppelin 是一个交互式的大数据开发Notebook，从一开始就是为Spark定制的。Zeppelin Notebook的开发环境与传统IDE开发环境相比有几大优势：不需要编译Jar，环境配置简单，交互式开发，数据结果可视化等等。本次直播将会介绍Spark on Zeppelin的一些基本使用方式以及应用场景。章剑锋（简锋），开源界老兵，Apache Member，曾就职于 Hortonworks，目前在阿里巴巴计算平台事业部任高级技术专家，并同时担任 Apache Tez、Livy 、Zeppelin 三个开源项目的 PMC ，以及 Apache Pig 的 Committer。

本分享会先介绍传统数据增量同步方案，之后对比新方案（完全基于Spark无需额外组件），介绍新方案如何结合最新的数据湖(delta lake)实现，同时引入spark-binlog，极大的简化了数据增量的门槛和架构。如果时间允许，我们也会简单介绍开源项目spark-binlog,delta-plus等的内部设计是如何支持我们新的数据增量方案的。讲师介绍祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。

以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。讲师介绍何剑，阿里巴巴高级技术专家，专注于Kubernetes容器云和大数据底层调度以及基础架构，负责阿里巴巴容器平台在线服务和离线计算任务混部。此前就职于Hortonworks, 是Hadoop 社区Committer和PMC成员

Apache Spark 3.0 and Koalas的最新进展主讲人李潇,Databricks Spark 研发总监，管理一跨国团队，专注于 Apache Spark 和 Databricks Runtime 的开发和建设。他是 Apache Spark 项目管理委员会成员。本科毕业于南京理工大学，后在佛罗里达大学（University of Florida）获计算机博士学位， 曾就职于 IBM，获发明大师称号（Master Inventor），在数据处理领域发表专利十余篇。（Github: gatorsmile）

此次课程是继上一节“ Spark 大数据处理最佳实践 ” 课后，大数据最佳实践课程的第二课。主要讲一下 flink 流计算的最佳实践。讲师根据自己多年经验总结的方法论，从 flink 学习框架入手，配合一些非常落地的最佳实践，带你有章法的学习 flink ，摆脱技术小白称号！讲师简介简锋 阿里云 EMR 数据开发平台 负责人