开源大数据平台 E-MapReduce
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
阿里云大数据+AI技术沙龙上海站回顾 | 揭秘TPC-DS 榜单第一名背后的强大引擎
11月16日的大数据+AI沙龙上海站取得圆满成功！ EMR 团队在国内运营最大的 Spark 社区，为了更好地传播和分享业界最新技术和最佳实践，现在联合开源社区同行，打造一个纯粹的技术交流线下沙龙《大数据 + AI》，定期为大家做公益分享。本次分享，揭秘TPC-DS 榜单第一名背后的强大引擎，探索Pyboot如何打通大数据生态，一同学习业内最新的存储方案和机器学习平台。
11月28日Spark社区直播【Tablestore结合Spark的云上流批一体大数据架构 】
传统Lambda架构组件多运维复杂，如何使用一套存储和一套计算来实现流批架构充分享受技术红利？以Delta Lake为代表的新型数据湖方案越来越流行，传统的Lambda架构如何向数据湖架构进行扩展？以及结构化数据结合Delta Lake的最佳解决方案是什么。本次分享将会结合理论讲解和实际场景为您一一解答。
Spark Codegen浅析
Codegen是Spark Runtime优化性能的关键技术，核心在于动态生成java代码、即时compile和加载，把解释执行转化为编译执行。Spark Codegen分为Expression级别和WholeStage级别，分别针对表达式计算和全Stage计算做代码生成，都取得了数量级的性能提升。本文浅析Spark Codegen技术原理。
Spark Codegen浅析
Codegen是Spark Runtime优化性能的关键技术，核心在于动态生成java代码、即时compile和加载，把解释执行转化为编译执行。Spark Codegen分为Expression级别和WholeStage级别，分别针对表达式计算和全Stage计算做代码生成，都取得了数量级的性能提升。本文浅析Spark Codegen技术原理。
Spark Operator浅析
Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.
11月14日Spark社区直播【 Spark on Kubernetes & YARN】
本次直播将讨论：以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。
11月14日Spark社区直播【 Spark on Kubernetes & YARN】
本次直播将讨论：以Kubernetes为代表的云原生技术越来越流行起来，spark是如何跑在Kubernetes之上来享受云原生技术的红利？ Spark跑在Kubernetes之上和跑在Hadoop YARN上又有什么区别？以及Kubernetes 和YARN的差异点是什么。
阿里云大数据+AI技术沙龙上海站
EMR 团队在国内运营最大的 Spark 社区，为了更好地传播和分享业界最新技术和最佳实践，现在联合Intel及开源社区同行，打造一个纯粹的技术交流线下沙龙《大数据 + AI》，定期为大家做公益分享。首站上海开站，请猛戳链接报名！https://www.slidestalk.com/m/61
阿里云大数据+AI技术沙龙上海站
EMR 团队在国内运营最大的 Spark 社区，为了更好地传播和分享业界最新技术和最佳实践，现在联合Intel及开源社区同行，打造一个纯粹的技术交流线下沙龙《大数据 + AI》，定期为大家做公益分享。首站上海开站，请猛戳链接报名！https://www.slidestalk.com/m/61
EMR 打造高效云原生数据分析引擎
EMR-Jindo是EMR推出的云原生 OLAP 引擎。凭借该引擎，EMR成为第一个云上TPC-DS成绩提交者。经过持续不断地内核优化，目前基于最新 EMR-Jindo 引擎的 TPC-DS 成绩又有了大幅提高，达到了3615071，成本降低到 0.76 CNY。在2019杭州云栖大会大数据技术专场，阿里云阿里巴巴计算平台事业部 EMR 技术专家辛庸向大家分享了如何基于开源体系如何打造云上数据分析平台E-MarReduce（EMR）、EMR-Jindo 引擎背后的相关技术以及以 EMR-Jindo 为核心的云上大数据架构方案。
Spark Relational Cache实现亚秒级响应的交互式分析
阿里云E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。在2019杭州云栖大会大数据生态专场上，阿里巴巴技术专家王道远为大家分享了阿里云EMR的Spark Relational Cache实现亚秒级响应的交互式分析。
基于 Spark 和 TensorFlow 的机器学习实践
大数据以及计算能力的提升，使得AI技术有了突飞猛进的发展。在大数据和AI技术的热潮下，在2019杭州云栖大会机器学习技术专场，阿里云高级技术专家吴威和阿里云技术专家江宇向大家分享了EMR E-Learning平台和平台上新开发的核心特性TensorFlow on Spark。
如何在Spark中实现Count Distinct重聚合
背景 Count Distinct是SQL查询中经常使用的聚合统计方式，用于计算非重复结果的数目。由于需要去除重复结果，Count Distinct的计算通常非常耗时。为了支持更快速的非重复结果统计Spark还基于Hyperloglog实现了Approximate Count Distinct，用于统计非重复结果的近似值，支持。
JindoFS: 云上大数据的高性能数据湖存储方案
JindoFS 是EMR打造的高性能大数据存储服务，可以为不同的计算引擎提供不同的存储服务，可以根据应用的场景来选择不同的存储模式。在2019杭州云栖大会大数据生态专场，阿里巴巴计算平台事业部EMR团队技术专家殳鑫鑫和Intel大数据团队软件开发经理徐铖共同向大家分享了云上大数据的高性能数据湖存储方案JindoFS的产生背景、架构以及与Intel DCPM的性能评测。
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
Hadoop开源生态Spark已经发展三年有余，今年迎来了Spark 3.0。在2019杭州云栖大会大数据&AI峰会上，Databricks研发总监李潇为大家分享了Spark 3.0版本的新特性，以及其在数据工程以及数据科学方面带来的新技术。
助力云上开源生态 - 阿里云开源大数据平台的发展
阿里云E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。在2019杭州云栖大会大数据生态专场上，阿里巴巴高级产品专家夏立为大家分享了阿里云EMR如何助力云上开源生态。
E-MapReduce 4.0产品新特性
E-MapReduce是运行在阿里云平台上的一大数据处理的系统解决方案。在2019年10月，阿里巴巴将发布EMR4.0版本。本篇介绍EMR4.0的新特性，包括在EMR基础能力，技术栈，生态集成和数据迁移等方面的升级，EMR4.0为用户提供更高的计算性能和更低的产品价格，将技术的红利让给用户。
5分钟迅速搭建云上Lambda大数据分析架构
主要介绍基于 Tablestore 的数据变更实时捕获订阅能力，实现云上Lambda 架构的轻量化实现数据的实时和离线处理。演示模拟了一个电商订单场景，通过流计算实现订单大屏的场景，做到海量订单实时注入的同时，进行10s的订单统计聚合以及交易金额统计并做实时的大屏幕展示
使用Spark Streaming SQL进行PV/UV统计
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
使用Spark Streaming SQL进行PV/UV统计
PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析，例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析，比如分析用户的网页点击行为，此时就需要对UV做统计。
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
本次直播我们邀请了Tablestore存储服务技术专家 朱晓然 ，为大家详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
本次直播我们邀请了Tablestore存储服务技术专家 朱晓然 ，为大家详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。
【译】Delta Lake 0.4.0 新特性演示：使用 Python API 就地转换与处理 Delta Lake 表
本文以案例演示在最新的 Delta Lake 0.4.0 中，如何转换 Delta Lake 表，使用全新的 Python API 执行 upsert 与删除数据，用时间旅行 (time travel) 查询数据的旧版本，以及 vacuum 语句清理旧版本。
Apache Spark中国技术交流社区历次直播回顾（持续更新）
Apache Spark中国技术交流社区，由阿里巴巴开源大数据技术团队成立，持续输出spark相关技术直播、原创文章、精品翻译，钉钉群内千人交流学习，欢迎加入。钉钉入群链接 https://qr.dingtalk.com/action/joingroup?code=v1,k1,jmHATP9Tk+okK7QZ5sw2oWSNLhkt2lCRvfHRdW7XhUQ=&_dt_no_comment=1&origin=11 更多视频和ppt资料请入群获得。
2019杭州云栖大会回顾之Spark Relational Cache实现亚秒级响应的交互式分析
本文来自2019杭州云栖大会大数据生态专场中的分享《Spark Relational Cache实现亚秒级响应的交互式分析》
JindoFS概述：云原生的大数据计算存储分离方案
JindoFS 是一套新的云原生的数据湖解决方案。在 JindoFS 之前，云上客户主要使用 HDFS 和 OSS/S3 作为大数据存储。HDFS 是 Hadoop 原生的存储系统，10 年来，HDFS 已经成为大数据生态的存储标准，但是我们也可以看到 HDFS 虽然不断优化，但是 JVM 的瓶颈也始终无法突破。
Apache Flink : Checkpoint 原理剖析与应用实践
本文将分享 Flink 中 Checkpoint 的应用实践，包括四个部分，分别是 Checkpoint 与 state 的关系、什么是 state、如何在 Flink 中使用 state 和 Checkpoint 的执行机制
太难了！我耗费心力终于规划出了一张云栖大会日程表
十年前，参加云栖大会还只是程序员的杭州朝圣之旅，而如今，它依然成了透视和分析云计算产业和窥见数字经济的窗口。一切你想看见的、期待看见的，甚至未曾预见的，都会在未来的三天中扑面而来。
实时 OLAP 系统 Druid
整体来看，Druid 算是一个优秀的实时 OLAP 系统，虽然有一些地方设计的并不是尽善尽美，但是瑕不掩瑜。这篇文章简单介绍一些 Druid 的整体情况，希望可以给使用 Druid 的同学做一些参考。下一篇文章将会介绍一下我们过去一年基于 Druid 的实践情况以及一些踩过的坑。
实时 OLAP 系统 Druid
整体来看，Druid 算是一个优秀的实时 OLAP 系统，虽然有一些地方设计的并不是尽善尽美，但是瑕不掩瑜。这篇文章简单介绍一些 Druid 的整体情况，希望可以给使用 Druid 的同学做一些参考。下一篇文章将会介绍一下我们过去一年基于 Druid 的实践情况以及一些踩过的坑。
Apache Spark中国技术交流社区历次直播回顾（持续更新）
Apache Spark中国技术交流社区，由阿里巴巴开源大数据技术团队成立，持续输出spark相关技术直播、原创文章、精品翻译，钉钉群内千人交流学习，欢迎加入。钉钉入群 https://qr.dingtalk.com/action/joingroup?code=v1,k1,jmHATP9Tk+okK7QZ5sw2oWSNLhkt2lCRvfHRdW7XhUQ=&_dt_no_comment=1&origin=11 更多视频和ppt资料请入群获得。
7月24日阿里云峰会.上海 开发者大会回看
阿里云峰会.上海 开发者大会将在上海世博中心盛大启程，与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货，共同探讨前沿科技趋势，分析阿里云在一线生产场景的最佳实践，携手合作伙伴及广大开发者们共建云上开发新时代，让我们一起code up！
【译】Hadoop发生了什么？我们该如何做？
许多组织都关注Hadoop生态系统的最新发展，并承受着展示数据湖价值的压力。对于企业来说，至关重要的是确定如何在Hadoop失败后成功地实现应用程序的现代化，以及实现这一目标的最佳策略。Hadoop曾经是最被炒作的技术，如今属于人工智能。当心炒作周期，有一天你可能不得不为它的影响负责。
【译】Hadoop发生了什么？我们该如何做？
原文：https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年，它可以支持使用廉价的商用硬件来存储海量数据。
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
预聚合是高性能分析中的常用技术，通过预先聚合降低纬度，从而在查询时大幅减少计算量，提升响应速度。本文介绍了 spark-alchemy 这个开源库中的 HyperLogLog 这一个高级功能，并且探讨它是如何解决大数据中数据聚合的问题。
深入剖析 Delta Lake：详解事务日志
事务日志（Transaction log）是理解 Delta Lake 的一个关键点，很多 Delta Lake 的重要特性都是基于事务日志实现的，包括 ACID 事务性、可扩展元数据处理、时间回溯等等。本文将探讨什么是事务日志，如何在文件层面实现，以及怎样优雅地解决并发读写的问题。
Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南
Koalas项目基于Apache Spark实现了pandas DataFrame API，从而使数据科学家能够更有效率的处理大数据。一份代码可以同时在pandas(用于测试，小数据集)和Spark(用于分布式datasets)两个平台上运行。
Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南
Virgin Hyperloop One（超级高铁公司）是一家从事超级高铁研究的公司，致力于能让高铁达到飞机的速度并且拥有更低的成本。为了能够制造一个商业的系统，我们需要收集并且分析非常大量的各种不同的数据，包括各种运行测试数据，多种模拟数据，技术设施数据，甚至社会经济数据等等。
玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源
利用阿里云EMR生态定制化集群，实现数据仓库满足商业/运营的查询需求，并提供横向扩展提升性能的空间，结合多样服务达到数据交互查询及统一数据源下的最佳成本控制。
玩转阿里云EMR三部曲-中级篇 集成自有服务
利用EMR引导操作可以使用自定义脚本安装任意自有服务和环境，隔离计算和生产资源，并在极致成本控制下最大化并发和可扩展性。完整的自定义设计可以满足任意自有服务构建的集成需要。
列式存储系列（二）: Vertica
本文就 Vertica 的数据模型、存储、执行引擎以及这几个方面与 C-Store 的区别进行了简单的介绍。总的来说，Vertica 是一个纯正的列式存储数据库，为此，Vertica 设计实现了 projection 这一数据模型，并围绕该模型设计实现了一套大数据分析管理引擎。
玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源
玩转阿里云EMR三部曲-高级篇 交互式查询及统一数据源 作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
8月28日社区直播【Spark Streaming SQL流式处理简介】
本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
8月28日社区直播【Spark Streaming SQL流式处理简介】
本次直播将简要介绍EMR Spark Streaming SQL，主要包含Streaming SQL的语法和使用，最后做demo演示
