开源大数据平台 E-MapReduce

Delta Lake是一个开源存储层，它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理，并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上，并且与Apache Spark API完全兼容。希望本篇能让大家更深入了解Delta Lake，最终可以实践到工作当中。

介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。

日前，阿里云 E-MapReduce 与 StarRocks 社区合作，推出了首款 StarRocks 云上产品。同时，面向新老用户提供了99元指定机型（ecs.c6.xlarge）首月试用的优惠活动，欢迎感兴趣的用户前来测试。

针对社区版本Delta Lake提供的几大核心特性进行讲解，并通过示例演示如何使用这些特性。

数据湖概念日益火热，本文由阿里云开源大数据 OLAP 团队和 StarRocks 数据湖分析团队共同为大家介绍“ StarRocks 极速数据湖分析 ”背后的原理。 【首月99元】EMR StarRocks 数据湖极速分析体验，试用火热进行中，快来申请吧 -> https://survey.aliyun.com/apps/zhiliao/Yns9d9Xxz

日前，阿里云与 StarRocks 社区合作，推出了首款 StarRocks 云上产品。此外，面向新老用户还提供了99元指定机型（ecs.c6.xlarge）首月试用的优惠活动。

本文介绍了Databricks企业版Delta Lake的性能优势，借助这些特性能够大幅提升Spark SQL的查询性能，加快Delta表的查询速度。

从数据仓库、数据湖的优劣势，湖仓一体架构的应用和优势等多方面深度解析Lakehouse架构。

从大数据平台架构的演进、Delta Lake关键特性、版本迭代、重要功能等多方面，介绍Delta Lake的演进和优势。

本文将从核心能力、主要优势，及典型应用场景为大家继续介绍EMR~

本期将为大家带来开源大数据平台E-MapReduce与自建Hadoop集群对比，一起来看看吧~

阿里云开源大数据平台E-MapReduce是运行在阿里云平台上的一种大数据处理的系统解决方案，那么它到底有着怎样的功能及优势呢？一起来看看吧！

作业帮是一家以科技为载体的在线教育公司，其大数据中台作为基础系统中台，主要负责建设公司级数仓，向各个产品线提供面向业务主题的数据信息。本文主要分享了作业帮基于 DeltaLake 的数据湖建设最佳实践。

为深刻理解您的需求，提升 EMR 产品与服务能力。阿里云 EMR 团队诚邀您参加 EMR 易用性调研。我们会认真评估您提出的每一条建议，并从中筛选出优质回复回赠精美礼品。

本文整理自 DataFunCon 2021大会上，阿里云数据湖构建云产品研发陈鑫伟的分享，主要介绍了 Lakehouse 的架构解析与云上实践。

作者：陈云亮，系深圳某数据治理厂商，有10余年IT从业经验，在数据仓库，传统数据库和大数据领域有丰富的实战经验。 基于三节点搭建DM8 MPPDB集群方案具体步骤，可操作性强。

ClickHouse 社区在21.8版本中引入了 ClickHouse Keeper。ClickHouse Keeper 是完全兼容 Zookeeper 协议的分布式协调服务。本文对开源版本 ClickHouse v21.8.10.19-lts 源码进行了解析。

11月 E-MapReduce 产品月刊为您带来 1.重要功能 2.版本发布 3.产品文档更新 4.十一月精选文章推荐。欢迎持续关注更多精彩内容！

11月 E-MapReduce 产品月刊为您带来 1.重要功能 2.版本发布 3.产品文档更新 4.十一月精选文章推荐 。欢迎持续关注更多精彩内容！

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB级的数据规模，简单的架构，被国内外公司广泛采用。本系列技术文章，将详细展开介绍 ClickHouse。

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB级的数据规模，简单的架构，被国内外公司广泛采用。本系列技术文章，将详细展开介绍 ClickHouse。

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB级的数据规模，简单的架构，被国内外公司广泛采用。本系列技术文章，将详细展开介绍 ClickHouse。

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB级的数据规模，简单的架构，被国内外公司广泛采用。本系列技术文章，将详细展开介绍 ClickHouse。

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理（OLAP）的开源分析引擎 ClickHouse，因其优良的查询性能，PB级的数据规模，简单的架构，被国内外公司广泛采用。本系列技术文章，将详细展开介绍 ClickHouse。

阿里云 EMR OLAP 与 Flink 团队深度合作，支持了 Flink 到 ClickHouse 的 Exactly-Once写入来保证整个实时数仓数据的准确性。本文介绍了基于 EMR OLAP 的开源实时数仓解决方案。

云原生开源大数据的新产品和新功能「速递」：企业数据云 Cloudera CDP 正式商业化，0元免费测试火热申请中；Elasticsearch、实时计算Flink版、EMR、DLF重磅功能升级。更多优惠等您领取。

2021云栖大会云原生企业级数据湖专场，阿里云智能高级解决方案架构师周皓为我们带来《企业级数据湖最佳实践》的分享。

10月 E-MapReduce 产品月刊为您带来 1.相关活动：云栖大会、开源主题直播回顾 2.版本发布 3.产品文档更新 4.十月精选文章推荐 。欢迎持续关注更多精彩内容！

随着开源技术与云原生的高度融合，阿里云开源大数据平台在功能性、易用性、安全性上积累了丰富的实践经验，已成功服务数千家企业，助力其聚焦自身核心业务优势，缩短开发周期、简化运维难度，拓展更多业务创新。10月29日，阿里云发布“如何构建云原生的开源大数据平台”解决方案，邀请到了来自阿里云、微淼、Inmobi的技术专家为大家现身说法，呈现上云实践。

随着开源技术与云原生的高度融合，阿里云开源大数据平台在功能性、易用性、安全性上积累了丰富的实践经验，已成功服务数千家企业，助力其聚焦自身核心业务优势，缩短开发周期、简化运维难度，拓展更多业务创新。10月29日，阿里云发布“如何构建云原生的开源大数据平台”解决方案，邀请到了来自阿里云、微淼、Inmobi的技术专家为大家现身说法，呈现上云实践。

随着开源技术与云原生的高度融合，阿里云开源大数据平台在功能性、易用性、安全性上积累了丰富的实践经验，已成功服务数千家企业，助力其聚焦自身核心业务优势，缩短开发周期、简化运维难度，拓展更多业务创新。10月29日，阿里云发布“如何构建云原生的开源大数据平台”解决方案，邀请到了来自阿里云、微淼、Inmobi的技术专家为大家现身说法，呈现上云实践。

本文介绍了百草味大数据平台从 IDC 自建 Hadoop 到阿里云数据湖架构的迁移方案和落地过程。重点从 IDC 自建集群的痛点分析，云上大数据方案的选型以及核心模块的建设过程几个方面做了详细的介绍，希望给想了解和实践数据湖架构的企业和朋友一个参考。

2021云栖大会云原生企业级数据湖专场，阿里云智能高级产品专家李冰为我们带来《数据湖构建与计算》的分享。本文主要从数据的入湖和管理、引擎的选择展开介绍了数据湖方案降本增效的特性。

摘要：2021云栖大会云原生企业级数据湖专场，阿里云智能资深技术专家、对象存储 OSS 负责人罗庆超为我们带来《云湖共生-释放企业数据价值》的分享。本文主要从数据湖存储演进之路、数据湖存储3.0 进化亮点等方面分享了云湖共生带来的企业价值。

摘要：2021云栖大会云原生企业级数据湖专场，阿里云智能高级研究员贾扬清为我们带来《云原生让数据湖加速迈入3.0时代》的分享。

9月 E-MapReduce 产品月刊为您带来 1.相关活动：E-MapReduce 海量日志分析 实操体验 ；2.产品功能更新：G-SCD的具体解决方案及如何通过G-SCD处理维度的数据介绍；3.最佳实践：SparkSQL自适应执行 4.新增视频专区 。欢迎持续关注更多精彩内容！

阿里云 E-MapReduce（简称 EMR ）是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

阿里云 E-MapReduce（简称 EMR ）是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

阿里云 E-MapReduce（简称 EMR ）是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

阿里云 E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

阿里云 E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理的系统解决方案。ClickHouse 作为开源的列式存储数据库，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告。而阿里云 EMR ClickHouse 则提供了开源 OLAP 分析引擎 ClickHouse 的云上托管服务。

为了给您提供更加优质的大数据开发平台服务，同时帮助我们更好地优化和提升大数据开发平台，现进行阿里云 EMR 大数据开发平台有奖调研。参与调研，就有机会领取阿里云 EMR 定制礼品，EMR 定制背包、太阳伞、定制T恤~~我们期待您最真实的反馈！感谢您对阿里云 EMR 产品的大力支持！！

阿里云 EMR on ACK 为用户提供了全新的构建大数据平台的方式，用户可以将开源大数据服务部署在阿里云容器服务（ACK）上。利用 ACK 在服务部署和对高性能可伸缩的容器应用管理的能力优势，用户只需要专注在大数据作业本身。用户可以便捷地将 Spark、Presto、Flink 作业执行在 ACK 集群上，100%兼容开源，性能优于开源。

众所周知，数据湖技术在大数据领域炙手可热，随着在云上的广泛部署和应用，其业务价值逐渐获得业界共识。如何快搭建数据湖架构被越来越多的企业探讨。本文主要分享快速搭建云原生企业级数据湖架构及实践分享。

Spark SQL 作为 Spark 用来处理结构化数据的一个基本模块，已经成为多数企业构建大数据应用的重要选择。但是，在大规模连接（Join）、聚合（Aggregate）等工作负载下，Spark 性能会面临稳定性和性能方面的挑战。

日前，“ 第一届 E-MapReduce 极客挑战赛 ”在阿里云天池官网正式开赛。据悉，本次大赛由阿里云、英特尔联合举办，聚焦 SparkSQL 执行效率，探索 TPC-DS 测试集最优性能，助力海量数据轻松上云，全程将有资深技术专家提供技术指导。

6-7月 E-MapReduce 上线EMR-3.36.x版本、EMR-5.2.x版本，同步对SmartData 3.6.x版本进行更新；最佳实践案例发表《云原生数据湖构建、分析与开发治理最佳实践及案例分享》、《StarLake：汇量科技云原生数据湖的探索和实践》、《DLF +DDI 一站式数据湖构建与分析最佳实践》；首届 E-MapReduce 极客挑战赛正式启动。欢迎持续关注更多精彩内容！