方便和辅助 MaxCompute 开发人员使用 Java / Python SDK 方式进行日常代码的开发工作。

通过《MaxCompute安全管理-基础篇》了解到MaxCompute和DataWorks的相关安全模型、两个产品安全方面的关联，以及各种安全操作后，本篇主要给出一些安全管理案例，给安全管理的成员作为参考。

        作为搜索的用户，我觉得最关心的是两个方面：一是召回的结果是否符合预期，二是召回结果的排序是否符合预期。OpenSearch作为一个搜索服务提供平台，在这两个方面我们提供了一定机制方便用户定制自己的召回和排序逻辑。

blink测试团队成立一年多的时间，从无到有，逐步建立起完整的blink测试体系，从代码质量到集成测试再到预发测试，全方位保障blink质量，取得了显著的成果。

Flink入坑指南系列文章，从实际例子入手，一步步引导用户零基础入门实时计算/Flink，并成长为使用Flink的高阶用户。本文属个人原创，仅做技术交流之用，笔者才疏学浅，如有错误，欢迎指正。 什么是view（视图）：视图无非就是存储在数据库中并具有名字的 SQL 语句，或者说是以预定义的 SQL 查询的形式存在的数据表的成分。

在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。

资讯 警惕大数据成了互联网的“PX项目” 新年伊始 BAT 三家关于数据安全的新闻就成功的吸引了公众的目光，也引发了公众对于大公司收集并使用用户数据的担忧。这篇文章比较客观的分析了公众的忧虑，以及互联网公司如何使用这些数据，可以说是一个很好数据安全的科普。

Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。

1月14日，英特尔人工智能大会（AIDC 2018）在北京国贸酒店举行。这是英特尔第三次在中国举行人工智能大会，也是第一次专门面向开发者和技术社区。大会上，英特尔发布了Neural Compute Stick 2（神经计算棒二代），英特尔还展示了如何以底层计算能力赋能百度、腾讯、阿里、微软等合作伙伴，共同推进AI与物联网发展。

本文中，来自阿里云搜索推荐技术团队的三秋为大家介绍了阿里云智能推荐AIRec产品的技术架构、核心功能，并与大家分享了使用阿里云智能推荐AIRec的实际案例以及技术场景。

外媒文章称，阿里云在英国大区设立数据中心，进一步为欧洲市场提供服务。这也意味着，阿里云与亚马逊云服务（AWS）、微软云服务（Azure）和谷歌在欧洲的竞争即将加剧。

在本篇文章中你可以学到： Spark MLLib包中的GBDT使用方式 模型的通过保存、加载、预测 PipeLine ML包中的GBDT

很多开发者希望利用Lightning的特性开发数据应用，本文将结合示例介绍Java和Python如何连接访问Lightning进行应用开发。内容包括通过Java的JDBC、druid方式连接访问Lightning，Python通过pyscopg2、pyodbc访问Lightning。

云上Hadoop之最佳实践

在阿里云双11访谈之数据智能专场中，阿里云交互设计师梓铭、阿里云人工智能资深产品运营席嘉和阿里云DataV资深产品运营苇如为大家简单分享了数据智能的应用，介绍了阿里云新近发布的产品ET城市大脑以及它所用到的技术支撑和在其他领域的应用，最后还介绍了双11的具体优惠活动。

[阿里云E-MapReduce动态] E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642；并支持job failover 资讯 2017年数据领域的八大发展趋势 在2017年数据社区将会有大量的机会出现，并伴随一些危机性的挑战，

之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言，MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包，例如 oss2 依赖的 crcmod，PyPI 并未提供 Wheel 包，因而需要自行打包。

本文将介绍Java / Python UDF 如何使用新建工程，添加代码，打包，上传资源包和注册方法，对初次接触的用户提供帮助。

距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。

示例程序 强连通分量 在有向图中，如果从任意一个顶点出发，都能通过图中的边到达图中的每一个顶点，则称之为强连通图。一张有向图的顶点数极大的强连通子图称为强连通分量。此算法示例基于 parallel Coloring algorithm。

内容化已经成为淘宝近几年发展的重点，我们可以在手机淘宝APP（以下简称手淘）上看到很多不同的内容形式和内容型导购产品，例如，“有好货”中的以单个商品为主体的富文本内容，“必买清单”中的清单，即围绕一个主题来组织文本和商品的长图文型内容，等等。

阿里云在上月中，就将MaxCompute大数据计算服务向香港市场开放上线，此前该服务已先后于中国大陆及新加坡推出。 阿里巴巴集团旗下电子商务平台最大特点及优势，在于其平台上的人工智能及大数据处理能力，可以洞察消费者的需要，并因不同人的偏好而提供个性化设定，大大提升消费者体验，并可为商家反馈重要的市场数据，从而精准去计划市场策略。

“对于创业公司来讲，如果不能在业务端快速行动，机会转瞬即逝。”汇合营销CTO欧阳明如是说。“数加的按需计费避免了资源空闲，从年初的对比来看，数加在满足同等业务需求基础上能够减少一半的支出，有效地节约了成本开支，帮助创业型企业快速成长。

利用MaxCompute InformationSchema和阿里云交易和账单管理API 实现MaxCompute费用对账分摊统计一、需求场景分析非常多的用户选择MaxCompute按量付费模式构建自己的数据平台，利用MaxCompute按量付费模型极大地减少不必要的费用支持，仅为实际运行的作业付费。

总理政府工作报告：加强大数据发展和新一代人工智能研发应用。即将发布的 JDK 10 有 109 项新特性，你喜欢哪些？微软宣布在机器翻译方面取得突破，中翻英可达人类水平。推特爆款：谷歌大脑工程师的深度强化学习劝退文。

转载wangshen主要是大数据应用方向早上第一个听了IBM 企业海量数据以及全面云数据服务实践，主要介绍 了IBM 云计算的应用场景，主要是介绍IBM 在云数据服务方面的应用，主要是分享了几个客户案例.

Mars 能利用并行和分布式技术，加速 Python 数据科学栈，包括 numpy、pandas 和 scikit-learn。同时，也能轻松与 TensorFlow、PyTorch 和 XGBoost 集成。

本文整理自talkingdata云架构师徐蓓的分享，介绍了Spark On Kubernetes在TalkingData的实践。

优异的自动化创建集群让小伙伴专心于业务开发，不再纠结于hadoop、spark版本，按需集群按小时计费模式替小伙伴们极大节省了开支，可以50个节点执行1小时，也可以3个节点执行5小时，非常灵活。可以保留更多精力和成本用于业务开发和维护，而把集群运维/存储问题托管给阿里云。

随着数据爆炸式的增长，我们正被各种数据包围着。从海量的历史、实时数据中寻找规律，从而为决策者提供科学的依据，是大部分企业面临的问题。大数据分析给企业带来的不仅是数据的实时分析和可视化展现，更重要的是，通过对已有数据以及实时所产生数据的海量信息进行分析，它将引领企业进入预测性的商业时代。

很多人在决定是否看一部电影之前都会去豆瓣看下评分作为参考，看完电影也会给一个自己的分数。每个人对每个商品或者电影或是音乐都有一个心理的分数，这个分数标明用户是否对这个内容满意。作为内容的提供方，如果可以预测出每个用户对于内容的心理分数，就能更好的理解用户，并给用户提供好的内容推荐。

一、背景介绍 以往在处理用户投诉或者开发过程中遇到的（特定商品在淘宝搜索中搜不到，排序靠后，价格不正确，打标不准，结果不准确等）问题或线上故障时，分析定位此类问题的过程非常繁琐： 根据用户或者搜索标识提交ODPS离线任务，捞取用户的搜索日志信息； 人工构造搜索串，重新请求引擎得到搜索复现数据； 解.

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型，大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者。

spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...

在本文中，将介绍数据湖的一些主要方面，帮助读者理解为什么它对企业非常重要。

首届 Apache Flink 极客挑战赛发布，聚焦机器学习与计算性能两大热门赛题，提供 Apache Flink 强大的大数据计算平台与 Intel Analytics Zoo 深度学习计算平台，帮助参赛队伍实现机器学习的实践应用，完成计算性能的优化挑战。

背景及目的 本文结果都是在SQL标准语义模式下的推导结果，希望大家都能够按照标准的SQL语义来写SQL，这样才能保证后续SQL的可移植性。 SQL概述 MaxCompute SQL适用于海量数据（GB、TB、EB级别），离线批量计算的场合。

DatwWorks终于升级2.0了，心情万分激动之余，又有一丝担忧。因为，没法再创建新的旧版工作流了。。。新版抛弃了“工作流”这个概念，引入了“业务流程”和“解决方案”两个新的概念。于是，作为团队Leader，我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。

什么是流式机器学习， 机器学习模型获取途径， 系统演示

小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天，我再举例说明一下如何使用Spark SQL进行流式应用的开发。