很多用户对MaxCompute多租户数据安全体系感兴趣，我们将对其进行系统介绍。

DII4J是DII for Java的简称，是DII平台提供的一种Java插件的运行机制，在Java插件中，用户可以获取与C++插件完全一致的能力。

随着网络和存储硬件向着高吞吐低延迟的方向不断发展，存储计算分离成为了集团的一个重要技术方向，在节约成本、简化运维、提高混布能力有着重要的作用。本文将介绍搜索在线服务的存储计算分离架构设计与一些为了降低延迟、提高性能的努力。

资讯： 阿里巴巴成立达摩院，三年1000亿旨在创造颠覆性基础技术 10 月 11 日，2017 杭州·云栖大会开幕。会上，阿里巴巴集团首席技术官张建锋宣布阿里巴巴成立全球研究院达摩院，进行基础科学和颠覆式技术创新研究，并将在未来 3 年投入 1000 亿元进行基础科学研发。

在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。

MaxCompute不断去开拓，去挑战。以少年心，成英雄梦，算别人不能算之规模，唯愿天下没有难算的数据。

我们在使用进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加大数据开发套件进行任务调度运维过程中遇到的常见问题，供大家参考~

本文由趣头条数据平台负责人王金海分享，主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景。

本地大数据服务是否进入消失倒计时？云平台大数据服务最终到底会趋向多云、混合云还是单一公有云？集群规模增大，上云成本将难以承受是误区还是事实？InfoQ 将就上述问题对阿里云智能通用计算平台负责人关涛进行了专访。

Relational Cache的强大功能赋予了Spark更多的可能，通过Relational Cache，用户可以提前将任意关系型数据（Table/View/Dataset）cache到任意Spark支持的DataSource中，并支持灵活的cache数据组织方式，基于此，Relational Cache可以在诸多应用场景中帮助用户加速Spark数据分析。

使用split_size优化的ODPS SQL的场景

作者：杨国英 十年前，马云、马化腾和李彦宏坐在一起开会聊起它，马化腾说为时过早，李彦宏说没有新意，只有马云说，如果我们不做，将来会死掉！为了做它，整个公司几乎吵到分裂！ 然而十年后的今天，它已经成为新一代大国重器，中国最硬核的技术，与美国巨头抗衡的唯一中国力量。

开源大数据周刊-2018年08月10日 第96期

阿里云大数据计算平台开发者版2019年3月推出，MaxCompute正在成为开发者的免费大数据平台。 今天，MaxCompute在企业构建自己的数据处理平台实践中起到了至关重要的作用，我们特别精选了企业的真实实践案例：从最大的兴趣社群平台小打卡；到90后、00后喜欢的克拉克拉；从互联网金融的典型天弘基金；到耳熟能详的二手车平台人人车……为你带来了超多的MaxCompute玩法。

随着 Flink 在流式计算的应用场景逐渐成熟和流行，如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具，所以 Flink 针对于批计算也以 SQL 为主要接口。

大数据的未来就像在沙子里淘金

PAI-STUDIO在支持OSS数据源的基础上，增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据，本教程将提供完整数据和代码供大家测试。

原文链接: [https://www.kdnuggets.com/2019/06/spark-nlp-getting-started-with-worlds-most-widely-used-nlp-library-enterprise.html) 译者：辰石，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

2018 Elastic Meetup南京交流会,来自Elastic的工程师曾勇对Elastic进行了讲述，Elastic是世界领先的开源提供商，是一个世界领先的软件开发商。曾勇主要对Elasticsearch、kibana、logstash/Beats、X-Pack里的一些功能进行了介绍。

本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。

本文介绍了实时计算的购买和部署，以及子账户的操作该产品的权限授予操作。

本文汇总数据集成到MaxCompute的各种最佳实践，希望可以帮助到正在或者即将使用MaxCompute的企业和开发者们。 也欢迎您将有关MaxCompute数据集成的实践分享出来，分享方法可扫码加入钉钉群，联系钉钉群主即可。

目前企业的数仓建设大多是离线一套，实时一套。业务要求低延时的使用实时数仓；业务复杂的使用离线数仓。架构十分复杂，需要使用很多系统和计算框架，这就要求企业储备多方面的人才，导致人才成本较高，且出了问题难以排查，终端用户也需要熟悉多种语法。

普通群容量已满足不了Spark群众日益增长的热情，因此我们做了一个重要的决定，将全部群成员转移到企业群

Apache Flink China Meetup北京站来啦～

菜鸟数据&规划部高级数据技术专家贾元乔从数据模型、数据计算、数据服务等几个方面介绍了菜鸟供应链数据团队在实时数据技术架构上的演进，以及在供应链场景中典型的实时应用场景和 Flink 的实现方案。

本文将简单介绍EMR提供的一个流式SQL调试工具。

2019大数据技术公开课第一季《技术人生专访》来袭，本季将带领开发者们探讨大数据技术，分享不同国家的工作体验。本文整理自阿里巴巴计算平台事业部高级技术吴刚的专访，将为大家介绍Apache ORC开源项目、主流的开源列存格式ORC和Parquet的区别以及MaxCompute选择ORC的原因。

云数据库HBase公测开始 EMR产品价格全面优惠，价格和ECS自建一致

我们都知道，在 MaxCompute Console 里，可以使用下面的命令来列出运行完成的 instance 列表。 show p|proc|processlist [from <yyyy-MM-dd>] [to <yyyy-MM-dd>] [-p <project>] [-limit <nu...

Apache Spark系列技术直播--第四讲 机器学习介绍与Spark MLlib实践 直播时间：2018.12.06 19:00 - 20:00 主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家 内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。

本文是基于对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。

资讯 谷歌重磅开源强化学习框架Dopamine谷歌推出了一款全新的开源强化学习框架 Dopamine，该框架基于 TensorFlow，主打灵活性、稳定性、复现性，能够提供快速的基准测试。 整合AI和数据科学新利器：基于Apache Spark的Hydrogen项目以往数据集的准备以及模型的训练工作是分开的，这两部分工作相当于存在两套系统中。

本文授权转载自“硅谷洞察”（微信公众号ID: Guigudiyixian) 版权归“硅谷洞察”所有，未经许可不得二次转载 在很多人的印象里，去市场或超市买水产海鲜，谈不上是一件多么享受的事情。但这两年突然爆红的盒马鲜生，则颠覆了人们的这种印象。

原文链接 https://www.infoworld.com/article/3405443/the-data-lake-is-becoming-the-new-data-warehouse.html?upd=1561666042410 译者：诚历，阿里巴巴计算平台事业部EMR团队技术专家，目前从事大数据存储以及Spark相关方面的工作。

Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。

谈下这次参加中国hadoop技术峰会的收获，两天大约听了20场次，上午的是必听的，下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群，特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表，复杂点可能会涉及到一些机器学习和

主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。

E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装，方便用户使用SQL语言进行Spark流式分析开发。

本文介绍SQL Pivot以及如何使用该功能