[阿里云E-MapReduce动态] E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642；并支持job failover 资讯 2017年数据领域的八大发展趋势 在2017年数据社区将会有大量的机会出现，并伴随一些危机性的挑战，

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天，我再举例说明一下如何使用Spark SQL进行流式应用的开发。

随着网络和存储硬件向着高吞吐低延迟的方向不断发展，存储计算分离成为了集团的一个重要技术方向，在节约成本、简化运维、提高混布能力有着重要的作用。本文将介绍搜索在线服务的存储计算分离架构设计与一些为了降低延迟、提高性能的努力。

背景知识 MaxCompute拥有一套强大的安全体系，来保护项目空间里的数据安全。用户在使用MaxCompute时，应理解权限的一些基本概念： 权限可分解为三要素，即主体（用户账号或角色），客体（表/资源/函数等），以及操作（与特定客体类型相关），详细参考 https://help.aliyun.com/document_detail/27935.html。

随着 Flink 在流式计算的应用场景逐渐成熟和流行，如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具，所以 Flink 针对于批计算也以 SQL 为主要接口。

本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具，本文将为大家介绍MMA工具的功能、技术架构和实现原理，再通过实际操作MMA，演示将Hive数据迁移到MaxCompute。

大数据的未来就像在沙子里淘金

2018 Elastic Meetup南京交流会,来自Elastic的工程师曾勇对Elastic进行了讲述，Elastic是世界领先的开源提供商，是一个世界领先的软件开发商。曾勇主要对Elasticsearch、kibana、logstash/Beats、X-Pack里的一些功能进行了介绍。

在刚刚发布的 ApacheFlink 1.10 中，PyFlink 添加了对 Python UDFs 的支持。这意味着您可以从现在开始用 Python 编写 UDF 并扩展系统的功能。此外，本版本还支持 Python UDF 环境和依赖管理，因此您可以在 UDF 中使用第三方库，从而利用 Python 生态丰富的第三方库资源。

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。

本文将简单介绍EMR提供的一个流式SQL调试工具。

我们都知道，在 MaxCompute Console 里，可以使用下面的命令来列出运行完成的 instance 列表。 show p|proc|processlist [from <yyyy-MM-dd>] [to <yyyy-MM-dd>] [-p <project>] [-limit <nu...

本文由爱奇艺大数据服务负责人梁建煌分享，介绍爱奇艺如何基于 Apache Flink 技术打造实时计算平台，并通过业务应用案例分享帮助用户了解 Apache Flink 的技术特点及应用场景。

1. 含义 和Java中的Map一样，多个Key-Value的组合。 2. 场景 什么样的数据，适合使用map类型来存储呢？这里列举了几个我在开发中实际用到的场景。 2.1 数量不固定的多个KeyValue 这类，本身就是Map类型的数据。

Apache Kylin社区于日前宣布：Apache Kylin v2.5.1 正式发布！Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力，支持对超大规模数据进行亚秒级查询。

主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。

E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装，方便用户使用SQL语言进行Spark流式分析开发。

主要介绍Apache Spark 2.4版本内置Image Data Source数据源

目前，国内（华人）近 30 位 Apache Member 中，有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献，不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展，更活跃在多个开源项目，持续为开源社区做贡献。

Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化，也增加了更多的功能，比如扩展 DDL、内置消息格式解析、扩展 UDX 等，使得 Flink 能够在滴滴的业务场景中发挥更大的作用。

本文以流式数据入库的场景为基础，介绍引入 Iceberg 作为落地格式和嵌入 Flink sink 的收益，并分析了当前可实现的框架及要点。

人工智能应用场景中，Flink 在包括特征工程，在线学习，在线预测等方面都有一些独特优势，为了更好的支持人工智能的使用场景，Flink 社区以及各个生态都在努力。本文将介绍近期 Flink 在人工智能生态系统中的工作进展。

使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理，同时Spark Streaming SQL提供的时间窗口函数可以将事件时间按照一定的时间区间对数据进行统计操作。 本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例，介绍如何使用Spark Streaming SQL对事件时间进行操作。

3 月 26 日，Apache 官方博客宣布其成立 21 周年，博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

直接上干货！3000 字以上长文，细节拉满，把核心功能、使用技巧和实测结论全给大家摆明白，读完你就知道这款 “安卓机通用 AI 语音工具"——煎饺App它为何能打破硬件壁垒？它接下来，咱们就深度拆解煎饺 App—— 先给大家扒清楚它的使用逻辑，附上“操作演示”和“🚀快速上手不踩坑 : 4 条核心操作干货(必看)”，跟着走零基础也能快速上手；后续再用真实实测数据，正面硬刚煎饺 App的语音助手口令效果——创建京东「牛奶自动下单神器」口令 ，从修改口令、识别准确率到场景实用性，逐一测试不掺水，最后，再和豆包 AI 手机语音助手的普通版——豆包App对比测试下，简单地谈谈煎饺App的能力边界在哪？

Apache Spark系列技术直播第六讲 【 What's New in Apache Spark 2.4? 】 Abstract(简介): This talk will provide an overview of the major features and enhancements in Spark 2.

Flink 在机器学习这个领域发力较晚，社区版没有一个完整的机器学习算法库可以用，Alink[1]是目前 Flink 生态圈相对比较完整的机器学习算法库，Alink 也在往 Flink 社区贡献的路上。今天我主要讲的就是如何在 Zeppelin 里使用 Alink。

本文介绍如何使用Office Tool Plus在Windows 11系统上快速、免费安装和激活Office。首先，下载并解压Office Tool Plus，启动后选择“Microsoft 365企业应用版”并设置为简体中文，点击“开始部署”。安装完成后，可通过两种方法激活Office：一是使用命令框输入特定指令，二是通过KMS激活。推荐使用KMS服务器（如kms.loli.beer）进行激活。此外，若之前安装过Office，需先清除激活信息和旧版本残留文件，以确保新安装顺利进行。

本文由阿里巴巴技术专家贺小令（晓令）分享，主要介绍 Apache Flink 新场景 OLAP 引擎，内容分为以下四部分：背景介绍、Flink OLAP 引擎、案例介绍、未来计划。

5月16日，2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

5月16日，2020 首场 Meetup 重磅上线。一如既往，本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家为您现场直播，让您足不出户，有直播看、有干货学、有奖品拿～

测试<br />数据源:<br />数据大小:328 KB<br />字段数量:4<br />使用组件:过滤与映射,SQL脚本,读数据表,JOIN<br />

基于用户画像和消费行为的商品推荐<br />数据源:购物数据<br />数据大小:184 KB<br />字段数量:4<br />使用组件:归一化,过滤与映射,SQL脚本,缺失值填充,读数据表,JOIN,类型转换<br />

在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接，系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。

本文首先介绍了向量的概念及其表示方法，随后详细解释了向量间的点乘运算及计算公式。接着通过几个典型角度展示了正弦（sin）值的计算方法，并简要提及了余弦定理。文章进一步探讨了切线斜率的概念，将其定义为曲线上某点y/x的值，并举例说明。导数部分解释了导数作为函数在某点斜率的意义，以及它是如何衡量输入变化引起输出变化的方向与速率的。此外，还讨论了基本初等函数的导数公式。对数(log)和自然对数(ln)的概念被引入，包括它们的定义及计算方式。接着，文章解释了根号表示的意义，即寻找哪个数的平方等于给定数值。

本人小白，初次学习PAI,欢迎和大家一起交流学习这个PAI学习。阿里API直播课程的“手把手在线直播实操：机器学习PAI教你如何品酒”，我这边也就是学习一下。<br />数据源:<br />数据大小:96.1 KB<br />字段数量:12<br />使用组件:归一化,拆分,SQL脚本,读数据表<br />

test<br />数据源:<br />数据大小:1.36 MB<br />字段数量:25<br />使用组件:分箱,样本稳定指数(PSI),评分卡训练,拆分,评分卡预测,读数据表<br />

E-MapReduce的产品能力介绍，通过EMR来构建高效的云上大数据平台，优化云上的使用成本，更快的计算效率。