开源大数据平台 E-MapReduce

Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？

Flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark Streaming已经非常稳定基本都没有更新了，然后重点移到spark sql和structured Streaming了。

本文转发自技术世界，原文链接　http://www.jasongj.com/spark/adaptive_execution/ 1 背  景 Spark SQL / Catalyst 和 CBO 的优化，从查询本身与目标数据的特点的角度尽可能保证了最终生成的执行计划的高效性。

Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。

**直播时间**： 2019.01.10（周四） 19:00 - 20:00 **主讲人：** 黄凯——Intel大数据技术团队软件工程师。 卫雨青——Microsoft C+AI 团队软件工程师。

SparkSQL Thrift Server 是 Spark SQL基于 Apache Hive的 HiveServer2开发的，通过SparkSQL Thrift Server 可以使 Spark SQL支持 JDBC/ODBC 的连接方式，用户可以通过 JDBC and ODBC 协议，在Spark上执行 SQL。

随着大数据 Hadoop/Spark 开源生态的不断发展和成熟，TextFile、CSV这些文本格式存储效率低，查询速度慢，往往不能很好地满足大数据系统中存储和查询的需求，列式存储也在大数据社区逐渐兴起到成熟。

主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家 简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。

Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。

本文对Spark的资源调度的进行了介绍，涉及到4个维度的调度，包括SparkApplication/pool/TaskSetManager/Task。

Abstract(简介): This talk will provide an overview of the major features and enhancements in Spark 2.4 release and the upcoming releases and will be followed by a Q&A session.

Apache Spark系列技术直播第六讲 【 What's New in Apache Spark 2.4? 】 Abstract(简介): This talk will provide an overview of the major features and enhancements in Spark 2.

活动时间：2018年12月16日13:30-17:00 活动地点：杭州市余杭区文一西路998号未来科技城海创园4幢801C 主办单位：阿里云、袋鼠云、云栖社区 主题介绍： 主题一、Spark优化实践-13：30 - 14：30阿里云E-MapReduce-王道远介绍阿里云EMR中Spark计算引擎所包含的一系列额外优化工作，包括SmartShuffle、file skip index等。

本文介绍SQL Pivot以及如何使用该功能

主要介绍Apache Spark 2.4版本内置Image Data Source数据源

主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.13（本周四）19:00 - 20:00 内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括： Spark、RDD简介 RDD API简介 打包与spark-submit 性能分析与调优基础 ppt链接：https://yq.

内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：1. Spark、RDD简介 2. RDD API简介 3. 打包与spark-submit 4. 性能分析与调优基础主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家直播时间：2018.

主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.06 19:00 - 20:00 内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。

Apache Spark系列技术直播--第四讲 机器学习介绍与Spark MLlib实践 直播时间：2018.12.06 19:00 - 20:00 主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家 内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。

原文链接: Apache Avro as a Built-in Data Source in Apache Spark 2.4 Apache Avro 是一种流行的数据序列化格式。它广泛使用于 Apache Spark 和 Apache Hadoop 生态中，尤其适用于基于 Kafka 的数据流场景。

本期分享主题：From Spark Streaming to Structured Streaming 视频地址：https://admin-yq.aliyun.com/admin/op/OssUpload PPT地址：https://yq.

感谢对 Apache Spark 中国社区的关注和支持！如果您有意为 Apache Spark 中国社区投稿请关注如下的内容。 投稿内容要求： 内容要求是 Apache Spark 相关的技术内容，可以是对 Apache Spark 的分析，也可以是 Apache Spark 的实践。

Spark SQL进阶与实战 Spark相关组件介绍 Spark及其依赖组件 Hive Metastore介绍 Spark Thrift Server介绍 表与ETL Spark表基本概念 Spark建表最佳实践 Spark ETL最佳实践 动态分区表示例分析 Spark SQL查询最佳实践 Sp.

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...

在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。

最近两年流式计算又开始逐渐火了起来，说到流式计算主要分两种：continuous-based 和 micro-batch。最近在使用基于 micro-batch 模式的 Spark Streaming，正好结合论文介绍一下。

SQL实践：1.多数据源支持 2.多数据类型支持 3.多组件对接

Catalyst Optimizer是SparkSQL的核心组件(查询优化器)，它负责将SQL语句转换成物理执行计划，Catalyst的优劣决定了SQL执行的性能。

Apache Spark 系列技术直播 Spark SQL 实践与优化 内容简介： SparkSQL介绍 基本原理 支持的DataSource介绍 Hue/Zepplin/Livy周边跟SparkSQL的集成使用等 SparkSQL优化 SparkSQL Catalyst优化 AE优化 Shuffle优化 直播时间： 2018.

在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。

Apache Spark2.4引入了29个新的内置函数用于处理复杂数据类型（比如，数组类型等），新的内置函数也包括高阶函数。 在Spark2.4版本之前，有两种典型的方式处理复杂数据类型： 1. 将嵌套结构的数据转化为多行数据，然后使用函数处理，最后在组装成嵌套结构。

1月14日，英特尔人工智能大会（AIDC 2018）在北京国贸酒店举行。这是英特尔第三次在中国举行人工智能大会，也是第一次专门面向开发者和技术社区。大会上，英特尔发布了Neural Compute Stick 2（神经计算棒二代），英特尔还展示了如何以底层计算能力赋能百度、腾讯、阿里、微软等合作伙伴，共同推进AI与物联网发展。

Presto可以对接LDAP，实现用户密码认证。只需要Coordinator节点对接LDAP即可。主要步骤如下： 1.配置ApacheDS，启用LDAPS 2. 在ApacheDS中创建用户信息 3. 配置Presto Coordinator，重启生效 4. 验证配置

介绍大数据处理引擎Spark的特点，以及它的技术栈

HiveServer2支持多种认证方式，通过`hive.server2.authentication`参数来设置，包括`nosasl, none, ldap, kerberos, pam, custom` 本文介绍如何在E-MapReduce中使用LDAP配置HiveServer的认证。

Apache Kylin社区于日前宣布：Apache Kylin v2.5.1 正式发布！Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模数据进行亚秒级查询。

欢迎大家关注Spark中国社区！ 社区成员会定期把Spark（全球）社区的最新发布、文档等翻译后放到社区，并经常组织社区成员线上、线下的直播分享、meetup以及有奖比赛等活动，非常欢迎大家加入社区，对于发帖、提问、答疑的同学，社区会给予特色的奖励 Spark社群钉钉群

资讯 340亿美元收购红帽，IBM在拥挤的云市场另辟蹊径 Hadoop真的要死了吗？程序员的革命or灾难：机器人在GitHub修复bug、与人不相上下 基于TensorFlow Serving的深度学习在线预估 如期而至！谷歌开源 BERT 模型源代码 4年数据涨万倍，Uber大数据平台四...

资讯 谷歌、亚马逊、阿里纷纷入局，边缘计算的潜力如何？ 从智能手机到可穿戴设备，从医疗到汽车以及工业制造，边缘计算正在上演一个又一个行业传奇，它的落脚点是要让终端成为更智慧的存在——能够实时处理数据、能够低延时做出反馈——这不就是我们期待中的智能设备吗？ 如此多的深度学习框架，为什么我选择PyTorch？ 不久前，Facebook 在首届 PyTorch 开发者大会发布了 PyTorch1.0 预览版，标志着这一框架更为稳定可用。

Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能，用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

资讯 谷歌重磅开源强化学习框架Dopamine谷歌推出了一款全新的开源强化学习框架 Dopamine，该框架基于 TensorFlow，主打灵活性、稳定性、复现性，能够提供快速的基准测试。 整合AI和数据科学新利器：基于Apache Spark的Hydrogen项目以往数据集的准备以及模型的训练工作是分开的，这两部分工作相当于存在两套系统中。

产品资讯 E-MapReduce 发布新版工作流调度还在困惑怎么管理Hadoop，Hive，Spark等作业和项目，怎么灵活可靠的调度吗？从EMR工作流开始吧 E-MapReduce 发布弹性伸缩当你需要按照时间段弹性的添加计算节点，补充计算能力的时候，弹性伸缩利用云上的弹性来灵活扩展你的计算力 资讯 华尔街看涨大数据广告市场 品友等AI营销技术公司或受资本追捧据媒体报道，在纳斯达克挂牌上市的广告科技公司The Trade Desk10日股价大涨逾37%至127.93美元，成为当日美股市场涨幅最高的股票。

本期周刊带来了开源社区重要的产品更新，包括Flink和Alluxio等，还有互联网一线公司以及传统银行业的最新大数据应用实践。

开源大数据周刊-2018年08月10日 第96期