搭建Gateway向E-MapReduce集群提交作业

ECM功能上线北京region，用户可以通过EMR-3.2.0版本创建新集群体验，ECM提供组件的配置修改/起停等操作

总理政府工作报告：加强大数据发展和新一代人工智能研发应用。即将发布的 JDK 10 有 109 项新特性，你喜欢哪些？微软宣布在机器翻译方面取得突破，中翻英可达人类水平。推特爆款：谷歌大脑工程师的深度强化学习劝退文。

Mars 能利用并行和分布式技术，加速 Python 数据科学栈，包括 numpy、pandas 和 scikit-learn。同时，也能轻松与 TensorFlow、PyTorch 和 XGBoost 集成。

优异的自动化创建集群让小伙伴专心于业务开发，不再纠结于hadoop、spark版本，按需集群按小时计费模式替小伙伴们极大节省了开支，可以50个节点执行1小时，也可以3个节点执行5小时，非常灵活。可以保留更多精力和成本用于业务开发和维护，而把集群运维/存储问题托管给阿里云。

随着“云计算”、“互联网”、“物联网”的快速发展，大数据（Big Data）也吸引了越来越多的人关注，成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”，“大数据”显然已经成为新一代“网红”。

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型，大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者。

很多人在决定是否看一部电影之前都会去豆瓣看下评分作为参考，看完电影也会给一个自己的分数。每个人对每个商品或者电影或是音乐都有一个心理的分数，这个分数标明用户是否对这个内容满意。作为内容的提供方，如果可以预测出每个用户对于内容的心理分数，就能更好的理解用户，并给用户提供好的内容推荐。

首届 Apache Flink 极客挑战赛发布，聚焦机器学习与计算性能两大热门赛题，提供 Apache Flink 强大的大数据计算平台与 Intel Analytics Zoo 深度学习计算平台，帮助参赛队伍实现机器学习的实践应用，完成计算性能的优化挑战。

背景及目的 本文结果都是在SQL标准语义模式下的推导结果，希望大家都能够按照标准的SQL语义来写SQL，这样才能保证后续SQL的可移植性。 SQL概述 MaxCompute SQL适用于海量数据（GB、TB、EB级别），离线批量计算的场合。

什么是流式机器学习， 机器学习模型获取途径， 系统演示

9 月 7 日，Apache Flink Meetup 上海站，上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容，并有 Demo 演示环节。

heracles压测平台介绍 Heracles音译为赫拉克勒斯或意译为大力神.希腊语：Ηρακλής，Hēraklēs，引申自Hēra“赫拉”和kleos“荣耀”，也即赫拉的荣耀 背景 搜索和推荐的应用越来越多的时候,我们常常面临着下面几个问题: 如何能随时的了解每个应用的最大容量,当前资源可支.

Apache Flink 作为业界公认为最好的流计算引擎，不仅仅局限于做流处理，而是一套兼具流、批、机器学习等多种计算功能的大数据引擎，以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级，并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。

很多用户对MaxCompute多租户数据安全体系感兴趣，我们将对其进行系统介绍。

MaxCompute不断去开拓，去挑战。以少年心，成英雄梦，算别人不能算之规模，唯愿天下没有难算的数据。

因为MaxCompute提供的系统函数有限，所以平台提供了强大的自定义函数(UDF)来进行复杂的数据处理，因为MaxCompute的沙箱机制，所以解析JSON日志串的时候需要使用GSON来进行解析，本例中原始数据可能是从其他DB通过数据集成同步到MaxCompute平台上的，所以MaxComput.

介绍大数据处理引擎Spark的特点，以及它的技术栈

云作为前沿科技的集大成者，除了可以提供便利的计算、存储基础设施之外，还可以提供丰富的数据智能能力，通过已知的数据来挖掘未知的深层信息。例如通过阿里云的大数据计算平台MaxCompute可以帮助科学家进行海量数据的处理，通过机器学习PAI可以轻松调用各种算法模型，来确定天体类型，甚至分析温度、空气成分等信息。

在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。

Alibaba Cloud's BigBench on MaxCompute expands that capacity to 100 TB for the first time in the world, which is also the first benchmark to be based on public cloud services.

本地大数据服务是否进入消失倒计时？云平台大数据服务最终到底会趋向多云、混合云还是单一公有云？集群规模增大，上云成本将难以承受是误区还是事实？InfoQ 将就上述问题对阿里云智能通用计算平台负责人关涛进行了专访。

使用split_size优化的ODPS SQL的场景

Relational Cache的强大功能赋予了Spark更多的可能，通过Relational Cache，用户可以提前将任意关系型数据（Table/View/Dataset）cache到任意Spark支持的DataSource中，并支持灵活的cache数据组织方式，基于此，Relational Cache可以在诸多应用场景中帮助用户加速Spark数据分析。

日常工作中，企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。

作者：杨国英 十年前，马云、马化腾和李彦宏坐在一起开会聊起它，马化腾说为时过早，李彦宏说没有新意，只有马云说，如果我们不做，将来会死掉！为了做它，整个公司几乎吵到分裂！ 然而十年后的今天，它已经成为新一代大国重器，中国最硬核的技术，与美国巨头抗衡的唯一中国力量。

## CPU 结构简介 ### CPU 指令结构 * 下表列出了CPU关键技术的发展历程以及代表系列，每一个关键技术的诞生都是环环相扣的，处理器这些技术发展历程都围绕着如何不让“CPU闲下来”这一个核心目标展开。

1. 含义 类似于Java中的array。有序、可重复。 2. 场景 什么样的数据，适合使用array类型来存储呢？这里列举了几个我在开发中实际用到的场景。 2.1 标签类的数据 为什么说标签类数据适合使用array类型呢？（1）标签一般是一个只有key、没有value的结构；（2）标签的数量（枚举值个数）会非常多；（3）标签的变化会比较频繁；（4）标签会过期；因此，比起“创建多个字段”、“使用指定分隔符分隔的字符串”、“使用map”等方法，使用array是更合适的。

阿里云大数据计算平台开发者版2019年3月推出，MaxCompute正在成为开发者的免费大数据平台。 今天，MaxCompute在企业构建自己的数据处理平台实践中起到了至关重要的作用，我们特别精选了企业的真实实践案例：从最大的兴趣社群平台小打卡；到90后、00后喜欢的克拉克拉；从互联网金融的典型天弘基金；到耳熟能详的二手车平台人人车……为你带来了超多的MaxCompute玩法。

本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具，本文将为大家介绍MMA工具的功能、技术架构和实现原理，再通过实际操作MMA，演示将Hive数据迁移到MaxCompute。

Apache Arrow从Spark 2.3版本开始被引入，通过列式存储，zero copy等技术，JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow以及Spark中的使用方法。

本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。

数字时代，中国已经成为世界互联网的中心，小影（海外版称作为VivaVideo，后简称VivaVideo）作为国内首批短视频出海企业，借助统一的云计算平台快速实现全球业务的线上部署，已经让每一行代码都获得全球化的能力。

2018 Elastic Meetup南京交流会,来自Elastic的工程师曾勇对Elastic进行了讲述，Elastic是世界领先的开源提供商，是一个世界领先的软件开发商。曾勇主要对Elasticsearch、kibana、logstash/Beats、X-Pack里的一些功能进行了介绍。

本文为 Flink Weekly 的第四期，由 Forward Xu 整理，主要内容包括：Flink 1.10 版本的发布测试，SQL catalog 读取关系数据库 schema 的相关建议以及 Flink Forward 旧金山的演讲邀请。

在刚刚发布的 ApacheFlink 1.10 中，PyFlink 添加了对 Python UDFs 的支持。这意味着您可以从现在开始用 Python 编写 UDF 并扩展系统的功能。此外，本版本还支持 Python UDF 环境和依赖管理，因此您可以在 UDF 中使用第三方库，从而利用 Python 生态丰富的第三方库资源。

本文所有的实战演练都将在 Flink SQL CLI 上执行，全程只涉及 SQL 纯文本，无需一行 Java/Scala 代码，无需安装 IDE。