演讲人：陈守元 | 阿里云计算平台开源产品负责人
演讲主题：阿里云开源大数据产品矩阵新能力解读
活动：2022云栖大会 - 一体化大数据智能峰会
阿里云开源大数据一直坚持兼容并蓄，百花齐放的产品理念，面向大数据的未来进行投资和发展。今年开源大数据产品矩阵再次升级，向着开放化、现代化、智能化和云原生的高质量发展迈进。
阿里云开源大数据矩阵包含了 E-MapReduce、Flink、Elasticsearch 等产品，带来年度发布如下：
开源大数据平台 E-MapReduce（以下简称 EMR）将技术引领优势，转化为云上产品服务能力，我们重新定义了下一代 EMR 产品模式，重磅发布 E-MapReduce 2.0。面向未来构建下一代开源大数据基础设施，带来全新产品体验，弹性优化能力提升 3 倍，伸缩规模达千台，3 分钟即可创建 100 节点的数据湖集群；依托于 EMR、OSS、DataWorks 产品组合的数据湖，全面兼容 HDFS，湖权限和生命周期管理能力升级，支撑全新定制场景。针对数据湖的场景，进行全新技术优化，实现 Spark 100% 的性能提升。同时，作为湖仓分析的新兴技术，构建全托管 StarRocks。推出全新商业功能智能运维 Doctor 套件，显著提高用户对开源大数据平台的使用效率。
阿里云数据湖已经成为中国信通院评测满分、排名第一的数据湖方案，也成为中国数据湖的标准和首选！数据湖不是一个产品，而是一系列的方案。多模态的湖计算，从单一的批处理计算、单一的原始数据湖计算，升级为多样化、多模态的计算；全托管的湖存储，用户使用数据湖最头疼的问题就是 HDFS 的运维，如坏盘等，云上 HDFS 可以彻底解决搭建、运维 HDFS 的难题。一站式的湖构建：当前的湖，仍然存在诸多安全问题，例如对于表、字段缺少安全管理，用户本质上处于“裸奔”状态，DLF 作为帮助用户快速构建湖的工具，提供了湖权限和生命周期管理的升级，极大地优化和提升数据湖的安全能力。全链路的湖治理，DataWorks 是阿里集团在大数据领域十多年的沉淀，如今 DataWorks 和 EMR 强强联合，发布了 DataWorks on EMR，基于 EMR 数据湖的一站式湖开发、运维、治理平台，帮助用户快速基于阿里云数据湖构建自己的数据中台。
实时计算 Flink 版作为实时计算的事实标准，我们希望 Flink 实时计算更加智能化，更加贴近在线业务的支撑场景。实时计算 Flink 版增强了复杂事件处理功能，可应用于实时风控、实时营销场景，通过分钟级作业诊断，Flink 作业自动调优，帮助用户资源效率提升 30%。同时为保障业务运行连续性，我们引入了作业在失败切换时的快速恢复能力，在特定场景下可将由作业失败导致的延迟从分钟级最大可能降低到毫秒级。
阿里云联合 Elastic 公司重磅发布全球首款云原生 Serverless Elasticsearch，跨越机器门槛和运维门槛，为用户带来全方位 SaaS 化产品体验。集成高级监控报警服务，具备对集群指标和日志数据的采集、加工、监控、检索、可视化和报警等多种能力，提供一站式监控报警方案。同时，针对全观测场景，垂直化定制解决方案，统一格式化各类数据，打破数据孤岛，通过智能混合存储引擎技术在保证读写能力的同时，使用成本下降 53%。
与 Cloudera 公司战略合作的企业数据云平台Cloudera CDP 公共云正式商用，为 CDP 用户带来统一的云上云下使用体验。灵活运⾏各种企业⼯作负载，⽀持从边缘计算到⼈⼯智能的多功能数据分析，提供企业级的安全模型来保证用户数据安全。
云将成为开源大数据的最佳实践地、最大社区和最广市场。由于云的便利性和普及度，如今往往开源社区用户的使用、开发和生产动作，会首先落地在云上，使得云逐渐形成为开源大数据贡献最佳实践案例的地方。随着开发者和使用者在云上的汇集和使用，云会变成开源大数据各个细分技术产品的最大社区。当然用户、平台和合作伙伴的存在也促成了最大的开源大数据市场。阿里云真诚为用户提供大数据技术基础设施平台和生产实践方案，也鼓励合作伙伴入驻阿里云，因为这里有最广阔的开发者社区和用户市场，也就意味着未来最广阔的前景。
了解更多关于开源大数据平台E-MapReduce相关消息:
