# 开源大数据平台 E-MapReduce #
0
关注
1606内容
[转载] Spark Structed Streaming执行过程
在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。
E-MapReduce集群脚本-包年包月集群修改软件环境的利器
集群，特别是包年报月集群，在使用过程中，可能会有新的安装第三方软件，修改集群运行环境的需求。
E-MapReduce控制台1.5.0版本提供了集群脚本的功能，可以在集群创建好后批量选择节点，运行您指定的脚本，以实现个性化的需求。
# Apache Spark系列技术直播# 第四讲 【 机器学习介绍与Spark MLlib实践 】
主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家
直播时间：2018.12.06 19:00 - 20:00
内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。
2015年上海hadoop in china见闻
今天过来参加《china hadoop summit》，听了不少的场次。从技术栈上分类，大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术，主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。
使用EMR Spark Relational Cache跨集群同步数据
Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。
通过Spark SQL实时归档SLS数据
流式计算和SQL
简要介绍Spark SQL流式开发语法
实时归档SLS数据到HDFS
深入剖析 Delta Lake：详解事务日志
事务日志（Transaction log）是理解 Delta Lake 的一个关键点，很多 Delta Lake 的重要特性都是基于事务日志实现的，包括 ACID 事务性、可扩展元数据处理、时间回溯等等。本文将探讨什么是事务日志，如何在文件层面实现，以及怎样优雅地解决并发读写的问题。
# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】
内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括：1. Spark、RDD简介 2. RDD API简介 3. 打包与spark-submit 4. 性能分析与调优基础主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家直播时间：2018.
钉钉群直播【Delta Lake：一种新型的数据湖方案】
Delta Lake 是 Databricks 推出的一种新型的数据湖方案，解决了传统数据湖方案中的诸多痛点。其中的核心组件 Delta 也于近期开源。本次分享将围绕 Delta Lake 和 Delta 的诸多细节展开，如 Delta Lake 的适用场景、技术优势，Delta 的原理实现以及一些高级特性等，并就现有解决方案做横向对比。
使用Spark Streaming SQL基于时间窗口进行数据统计
使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，同时Spark Streaming SQL提供的时间窗口函数可以将事件时间按照一定的时间区间对数据进行统计操作。
本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。
免费试用