2023 年 8 月 18 日，Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会在北京丽亭华苑酒店开幕。作为久负盛名的开源盛宴和开源界最具期待的大会之一，CommunityOverCode Asia 2023 聚集了来自各地的参与者，让大家都可以近距离享受这场 Apache 技术盛宴。
阿里云研究员、开源大数据平台负责人王峰，分享了”阿里云大数据从拥抱开源走向引领开源”不断创新的历程。阿里巴巴自 2009 年开始采用 Apache Hadoop 技术进行大数据分析，2010 年第一次将 Apache HBase 技术在商品搜索中大规模投产，2016 年将处于萌芽状态的 Apache Flink 在双 11 实时推荐场景落地，并在同年阿里云上发布支持 Apache Hadoop/Hive/Spark/Kafka 等主流开源大数据技术的 E-MapReduce 云产品。在最近几年，阿里云开源大数据 Flink 团队作为 Apache Flink 最主要的贡献者推动 Flink 成为全球流计算事实标准，并向 ASF 捐赠了 Apache Celeborn 和 Apache Paimon 开源大数据项目，阿里云大数据一步步从拥抱、贡献开源走向开源社区的引领者。
阿里云 EMR 自 2016 年在公有云上线之后，已经服务了数千家中小企业，支持他们在云上更好地使用开源大数据。目前 EMR 也经过了技术升级， 从经典的 Hadoop 架构升级到了数据湖存算分离的架构。与此同时我们也保持了整个开源大数据平台的开放性，跟国内外知名的开源大数据厂商比如 Elasticsearch、Cloudera、StarRocks 等建立了密切的合作伙伴关系，并且联合推出了开源大数据的产品，在云上共建开源大数据生态。
以 Apache Celeborn 项目为例，2022 年 10 月份阿里巴巴向 Apache 孵化器捐赠了 Celeborn 项目（也就是原来的 EMR Remote Shuffle Service 项目 ），这是在阿里云上诞生的第一个 Apache 孵化项目。Apache Celeborn (Incubating) 的初始作者、阿里云 EMR Spark 引擎负责人周克勇也在会上对 Apache Celeborn 做详细介绍。从传统 Shuffle 的缺陷到 Celeborn 的诞生，到吸引了来自小米、Shopee、网易等开发者共建，Celeborn 已经被知名企业使用。未来也希望更多感兴趣的开发者参与共建和使用。
Apache Paimon 和 Celeborn 类似，也是阿里云EMR团队同学在主导孵化（原来的 Flink Table Store 项目），它是一个从准实时出发的流式数据湖，专门为 CDC 处理流计算而设计。Apache Paimon 的创新之处在于采用了湖存储+ LSM 的文件组织架构，基于分布式文件系统管理元数据。阿里云的高级技术专家李劲松在会上分享了“Apache Paimon 实时数据湖 Streaming LakeHouse 的存储底座”，详细讲解了从流计算到数据湖，到如何基于 Paimon 实现实时入湖，如何实现全异步、动态、Merge Engine 及跨分区更新的。同时，Paimon 在数据打宽、消息队列替代、离线表替代等方面也在不断和丰富和扩展。基于 Paimon的Streaming LakeHouse 生态已经逐渐成熟，数据湖实时化将是未来发展的重要趋势。
众所周知，Apache DolphinScheduler 是业界领先的、具有良好的用户体验和可靠性的开源 DataOps 平台，社区活跃度持续在同类项目处于领先地位。
阿里云研发工程师程鑫在分享了“Apache DolphinScheduler 与云对象存储的对接与整合"，Apache DolphinScheduler 以其简单易用、丰富的使用场景、高可靠及高扩展等深受开发者喜欢。对象存储具有海量、安全、低成本、高可靠等优势，非常适合作为云上大数据分析的存储方案， Apache DolphinScheduler 与云对象存储进行对接与整合，可以让用户在云原生场景下更加方便地在工作流中进行云上大数据分析。
同时，阿里云研发工程师高楚枫也分享了 Apache DolphinScheduler 开源的指标体系。对应 Dolphin 实际代码示例介绍了埋点工具 Micrometer 的基本知识和使用方法，结合 Dolphin 的整体架构、基于常见的两类场景（Master状态异常、Worker 状态异常）对具体的核心业务/系统指标进行了详细的讲解，并在最后介绍了社区在指标体系这块的未来规划。
阿里云 EMR 团队基于 Apache DolpinScheduler 实现了服务化 EMR Workflow，免部署/免运维，让客户以最低的成本在 EMR 平台上进行数据开发和调度。有感兴趣的朋友可以交流与测试。
以上是阿里云 EMR 在 CommunityOverCode Asia 的技术实践分享。阿里云 EMR 团队将继续沿着兼容开源、贡献开源以及超越开源道路前进，为云上客户提供最佳的开源大数据解决方案。
欢迎对 EMR 感兴趣的朋友加入 EMR 钉钉交流群，一起交流和学习。
