阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析，为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展，同时预测了Spark 3.0即将重磅发布的新功能。

5月，MaxCompute提供全表扫描的设置操作，可允许或禁止全表扫描；支持OSS上的Hive文件格式；支持OSS压缩格式GZIP。。。更多新功能新体验，欢迎阅读本文了解。

先前，我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用，本文将介绍 Mars 已实现的分布式执行架构，欢迎大家提出意见。 架构 Mars 提供了一套分布式执行 Tensor 的库。

云栖社区开源大数据专题回顾、后Hadoop时代圆桌讨论、Hadoop上云的冰与火、Flink的未来、城市大脑、大数据时代几个关键问题剖析

MaxCompute实现预付费项目自动续费。

飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

前情提要 美剧《硅谷》大家想必都没怎么看过，大家可能都不知道人工智能识别热狗曾是硅谷最赚钱的技术之一。去年 HBO 发布了官方的 Not Hotdog 应用，支持 iOS 和 Android 平台，据说是用 TensorFlow、Keras 和 React Native 打造的，但是源码没有公开。

1. 发展历程         Hippo是搜索事业部调度系统团队自研的支撑集团内外多个BU搜索与推荐体系和阿里云上Opensearch/ES等的调度系统，经过了5年的快速发展，提供了可靠、简单、低成本的资源及应用托管方案，通过自动化运维、机器合池、智能弹性调度、混部和在离线统一调度等手段解决成本和效率的问题。

本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。 衣二三作为亚洲最大的共享时装平台，MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢？程异丁通过衣二三数据体系架构，从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助力衣二三构建智能化运营工具的。

去年开始涉足人工智能技术应用于证券投资领域的研究，将近两年的研究实践，发现公开资料上很多关于人工智能（AI）对证券投资业发展影响的文章都存在几个明显的思维误区：①一个是对人工智能的认识有误。人工智能是个广域笼统的概念，但基石是机器学习，以机器学习算法构建逻辑和规则为基石的人工智能与自动化程序软件及通过数据回测构建起来的以固定逻辑运行的量化投资模型是完全不同的事物，区别就好比活鸡和模型鸡，需要明白自动化软件不是人工智能，国内大多数所谓智能投顾其实还不是真正意义上的人工智能投顾；②另一个是曲解了人工智能在证券投资行业的应用。

投稿你与DataV的“爱恨情仇”就有机会获得丰富的奖品！

利用ajdk实现jvm虚拟化，实现容器业务方案的热部署和资源隔离

2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴高级技术专家吴永明为大家分享了MaxCompute，基于Serverless的高可用大数据服务，以及MaxCompute低计算成本背后的秘密。

blink测试团队成立一年多的时间，从无到有，逐步建立起完整的blink测试体系，从代码质量到集成测试再到预发测试，全方位保障blink质量，取得了显著的成果。

机器学习PAI 可视化建模 Tensorflow升级通知！请PAI Tensorflow用户注意查收邮件！

爱学习的你的国庆最佳选择

在阿里云双11访谈之数据智能专场中，阿里云交互设计师梓铭、阿里云人工智能资深产品运营席嘉和阿里云DataV资深产品运营苇如为大家简单分享了数据智能的应用，介绍了阿里云新近发布的产品ET城市大脑以及它所用到的技术支撑和在其他领域的应用，最后还介绍了双11的具体优惠活动。

之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言，MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包，例如 oss2 依赖的 crcmod，PyPI 并未提供 Wheel 包，因而需要自行打包。

内容化已经成为淘宝近几年发展的重点，我们可以在手机淘宝APP（以下简称手淘）上看到很多不同的内容形式和内容型导购产品，例如，“有好货”中的以单个商品为主体的富文本内容，“必买清单”中的清单，即围绕一个主题来组织文本和商品的长图文型内容，等等。

利用MaxCompute InformationSchema和阿里云交易和账单管理API 实现MaxCompute费用对账分摊统计一、需求场景分析非常多的用户选择MaxCompute按量付费模式构建自己的数据平台，利用MaxCompute按量付费模型极大地减少不必要的费用支持，仅为实际运行的作业付费。

活动时间：2018年12月16日13:30-17:00 活动地点：杭州市余杭区文一西路998号未来科技城海创园4幢801C 主办单位：阿里云、袋鼠云、云栖社区 主题介绍： 主题一、Spark优化实践-13：30 - 14：30阿里云E-MapReduce-王道远介绍阿里云EMR中Spark计算引擎所包含的一系列额外优化工作，包括SmartShuffle、file skip index等。

本文整理自talkingdata云架构师徐蓓的分享，介绍了Spark On Kubernetes在TalkingData的实践。

很多人在决定是否看一部电影之前都会去豆瓣看下评分作为参考，看完电影也会给一个自己的分数。每个人对每个商品或者电影或是音乐都有一个心理的分数，这个分数标明用户是否对这个内容满意。作为内容的提供方，如果可以预测出每个用户对于内容的心理分数，就能更好的理解用户，并给用户提供好的内容推荐。

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型，大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者。

小米业务线众多，从信息流，电商，广告到金融等覆盖了众多领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。

Graphical Model通常应用在问题本身带有多个相互联系的变量的场景，并提供了一种基于图的表达方式让你去建模这些联系从而挖掘潜在的因果关系。在本文中，我们创新性地将概率图模型应用到了淘宝平台收藏作弊行为检测的任务中，取得了远超传统分类模型的结果（Top1%记录中召回60%的作弊行为）。

heracles压测平台介绍 Heracles音译为赫拉克勒斯或意译为大力神.希腊语：Ηρακλής，Hēraklēs，引申自Hēra“赫拉”和kleos“荣耀”，也即赫拉的荣耀 背景 搜索和推荐的应用越来越多的时候,我们常常面临着下面几个问题: 如何能随时的了解每个应用的最大容量,当前资源可支.

阿里云E-MapReduce动态 阿里云HBase支持PB级别的分布式数据库即将开始公测 资讯 云时代的大数据存储-云HBase 纵观数据库发展的几十年，从网状数据库、层次数据库到RDBMS数据库，在最近几年的NewSQL的兴起，加上开源的运动，再加上云的特性，可以说是日新月异。

口红，尿不湿，代码；撒娇，卖萌，撕叉；烈焰红唇倾斜45度角写代码；我爱你，你用知性保持着最致命的吸引力！

DII4J是DII for Java的简称，是DII平台提供的一种Java插件的运行机制，在Java插件中，用户可以获取与C++插件完全一致的能力。

因为MaxCompute提供的系统函数有限，所以平台提供了强大的自定义函数(UDF)来进行复杂的数据处理，因为MaxCompute的沙箱机制，所以解析JSON日志串的时候需要使用GSON来进行解析，本例中原始数据可能是从其他DB通过数据集成同步到MaxCompute平台上的，所以MaxComput.

MaxCompute不断去开拓，去挑战。以少年心，成英雄梦，算别人不能算之规模，唯愿天下没有难算的数据。

在Struct Streaming中增加了支持sql处理流数据，在sql包中单独处理，其中StreamExecution是下面提到两处流处理的基类，这个流查询在数据源有新数据到达时会生成一个QueryExecution来执行并将结果输出到指定的Sink（处理后数据存放地）中。

本文向您详细介绍如何将 Hadoop Hive 数据迁移到阿里云MaxCompute大数据计算服务上。

## CPU 结构简介 ### CPU 指令结构 * 下表列出了CPU关键技术的发展历程以及代表系列，每一个关键技术的诞生都是环环相扣的，处理器这些技术发展历程都围绕着如何不让“CPU闲下来”这一个核心目标展开。

作者：杨国英 十年前，马云、马化腾和李彦宏坐在一起开会聊起它，马化腾说为时过早，李彦宏说没有新意，只有马云说，如果我们不做，将来会死掉！为了做它，整个公司几乎吵到分裂！ 然而十年后的今天，它已经成为新一代大国重器，中国最硬核的技术，与美国巨头抗衡的唯一中国力量。