Hippo是搜索调度团队根据搜索、推荐、广告等业务特点从2013年开始打造并逐步完善的一套分布式调度系统，支持了集团内外多个事业部的搜索、推荐、广告等相关业务。2017双11期间，搜索在离线混部实现了全时段无干预无降级稳定运行，提供了搜索双11所有TF模型离线批次训练所需资源，并在2017/11/10晚上23点因为离线训练集群负载过高首次在混部上不间断运行了超过2万core的双11实时训练流程并一直在稳定运行。

实时业务处理的需求越来越多，也有各种处理方案，比如storm，spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

在票选最美云上大数据暨大数据技术峰会上，来自江苏佰腾科技有限公司的许鹏通过介绍佰腾专利大数据平台的演化、上云前后的平台结构和任务处理流程，为大家分享了专利大数据的云上裂变之路，解释了非专业人士也能进行专利信息的检索与统计，即专利信息的大众化。

MaxCompute客户端工具是阿里云大数据计算服务MaxCompue产品官方客户端工具，通过客户端工具可以连接MaxCompute项目，完成包括数据管理、数据上下传、作业执行、用户及授权管理等各项操作。

专利信息的『大数据』与其它领域的『大数据』多少有些不同，虽然全球专利信息的总量仅在1亿多条，但是每条专利信息要分析获取的数据维度目前就多达200多项，实际处理的数据量在百亿级别。

目前网站的一些业务数据存在了数据库中，这些数据往往需要做进一步的分析，如：需要跟一些日志数据关联分析，或者需要进行一些如机器学习的分析。在阿里云上，目前E-Mapreduce可以满足这类进一步分析的需求。

昨天，DataWorks推出了PYODPS任务类型，集成了Maxcompute的Python SDK，可在DataWorks的PYODPS节点上直接编辑Python代码操作Maxcompute，也可以设置调度任务来处理数据，提高数据开发效率。

最重要的是采用阿里云数加，东润环能将所有精力都放在业务上，节省了自建机房在学习成本、开发成本、管理成本、投入机房资源和运维成本的总成本，“相比自建Hadoop物理集群，使用阿里云数加MaxCompute的总成本有较大降低，应用开发效率有很大提高。”东润环能技术研发部总监王云如是说。

峰值期间，汇合营销每天需要收集、分析和存储20多亿条的访客浏览轨迹；同时，还需要根据用户需求在亿级日志表中做秒级查询。

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。

实际问题 很多大数据计算产品，都对用户提供了SQL API，比如Hive, Spark, Flink等，那么SQL作为传统关系数据库的查询语言，是应用在批查询场景的。Hive和Spark本质上都是Batch的计算模式(在《Apache Flink 漫谈系列 - 概述》我们介绍过Spark是Micr.

本文将为您介绍如何对数据随机取出数据的前 N 条数据。 示例数据 目前的数据，如下表所示： empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.

前言     在《数据库系统中的Code Generation技术介绍》一文中，我们阐述了代码的CPU执行效率对于大规模分布式OLAP系统的重要性。现在简单总结如下： OLAP系统中查询往往比较复杂，比如多表Join, 各种聚合函数以及窗口函数，其中涉及大量的Hash计算（比如采用Hash

启信宝的企业数据范围广、维度多，覆盖8000万以上的企业， 19个产业链，95个细分行业，100个以上企业数据维度，企业覆盖率达98%以上。

绝大多数人对阿里云的定位仍是国内市场最大的IaaS提供商。不过，随着国内人工智能市场在2016年迎来爆发，阿里开始在人工智能领域发力，阿里云的这一角色正在悄然转变。 布局AI领域，阿里云扛起阿里人工智能大旗 虽然阿里不是BAT三座山头中在人工智能领域的声势最旺的那个（百度躺枪），但事实上阿里从2015年也已经开始了人工智能领域的布局。

11月1日，阿里云宣布大数据计算服务MaxCompute在北京和马来西亚同日开服。这是阿里云首次将其大数据计算服务在国内和海外双节点同时开服，特别是在马来西亚数据中心全球开放2天后，MaxCompute即开服马来西亚，意味着大数据计算产品正在市场和业务的呼唤下加速全球化拓展步伐。

一文快速了解MaxCompute 很多刚初次接触MaxCompute的用户，面对繁多的产品文档内容以及社区文章，往往很难快速、全面了解MaxCompute产品全貌。同时，很多拥有大数据开发经验的开发者，也希望能够结合自身的背景知识，将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射，以快速寻找或判断MaxCompute是否满足自身的需要，并结合相关经验更轻松地学习和使用产品。

计算的价值绝不止计算本身，而是让本不会说话的数据发声。 从玛雅历法到圆周率，从万有引力定律到二进制，从固化的物体到虚拟的思维都由数据注入。阿里云大数据计算服务MaxCompute以技术驱动产品，用计算力让数据发声。

Mars 是一个基于矩阵的统一分布式计算框架，在之前的文章中已经介绍了 Mars 是什么， 以及 Mars 分布式执行 ，而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么，这几乎取决于你想做什么，因为 Mars 作为底层运算库，实现了 numpy 70% 的常用接口。

当前emr最新版本2.1.1没有kafka组件，需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。

转载自xingbao各位好，这是介绍阿里云伏羲(fuxi)调度器系列文章的第四篇，今天主要介绍NoedLabel的调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似，定位于分布式系统中资源管理与分配的角色：一个典型的资源分配流程图如下所示： 作为调度器，目前FuxiM

通过MaxCompute UDF来给海量数据的每一行产生唯一的id

本文作者拖雷（陈吉平），袋鼠云CEO ，国内最早一批Oracle ACE Director，前阿里巴巴研究员，先后担任嗨淘、无线事业部、数据事业部资深总监，生活服务事业部总经理，以及阿里云事业群总裁助理。

聊什么 上一篇《Apache Flink 漫谈系列 - JOIN算子》我们对最常见的JOIN做了详尽的分析，本篇介绍一个特殊的JOIN，那就是JOIN LATERAL。JOIN LATERAL为什么特殊呢，直观说因为JOIN的右边不是一个实际的物理表，而是一个VIEW或者Table-valued Funciton。

2018年9月21～22日，在以“驱动数字科技”为主题的云栖大会上，阿里巴巴搜索事业部特别推出了“搜索推荐专场”，“推荐与搜索引擎AI·OS专场”，深度参与了这场科技盛宴。   阿里巴巴推荐与搜索引擎平台支持了包括淘宝、天猫、菜鸟、优酷以及海外电商在内的整个阿里集团的推荐与搜索业务，引导成交占据了集团GMV的绝大部分份额。

什么是Table API 在《Apache Flink 漫谈系列(08) - SQL概览》中我们概要的向大家介绍了什么是好SQL，SQL和Table API是Apache Flink中的同一层次的API抽象，如下图所示： Apache Flink 针对不同的用户场景提供了三层用户API,最下层ProcessFunction API可以对State，Timer等复杂机制进行有效的控制，但用户使用的便捷性很弱，也就是说即使很简单统计逻辑，也要较多的代码开发。

本文我们将通过对有同样数据量、表结构除分区列其他都一模一样的表,从查询计算、写入、删除数据几个简单操作进行对比，了解MaxCompute分区表和非分区表在使用上有什么差异。 在介绍之前，需要大家先了解MaxCompute分区的概念。

分布式系统中，Shuffle是重操作之一，直接影响到了SQL运行时的效率。Join、Aggregate等操作符都需要借助Shuffle操作符，确保相同数据分发到同一机器或Instance中，才可以进行Join、Aggregate操作。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 本文为您介绍实时计算在无线数据分析中的应用。阿里云实时计算可以为无线App的数据分析场景实时化助力，帮助您做到实时化分析手机AP的各项指标，包括App版本分布情况、Crash检测和等。

2017年4月11日晚，在西安举行的架构体系的顶级会议ASPLOS（面向编程语言和操作系统的架构支持会议，Architectural Support for Programming Languages and Operating Systems）公布了最佳论文、最有影响力论文和 Test of Time 几项大奖。

更丰富的组件、更多的模板、更有智能设计AI马良加持，更多功能邀请你体验！

Spark Operator浅析 本文介绍Spark Operator的设计和实现相关的内容. Spark运行时架构 经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.

资讯 大数据，让国防交通民用运力装上智慧大脑战争年代，人民群众推着小推车踊跃支前。如今，在大数据支持下，国防交通民用运力动员会发生怎样的变化？ AI玩虐人工！“Magic”世界杯集锦“炫”出新高度2017年12月26日，新华社向全球发布了中国第一个媒体人工智能平台——媒体大脑1.0，引起海内外广泛关注。

New PForDelta算法介绍 倒排索引的数据包括docid, term frequency, term position等，往往会占用很大的磁盘空间，需要进行压缩。压缩算法需要考虑两点：压缩效果和解压缩效率。

在大数据应用场景下经常有数据文件的迁移工作，如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下，如何用工具快速对比文件。

给大家介绍一个使用场景，可以将E-MapReduce的Hadoop作业和文件存储（NAS）结合在一起，发挥分布式存储和分布式计算在一起的威力

有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢，MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景，做一些示例。

网聚宝基于阿里云数加及基础云服务等产品，向客户提供全域大数据SaaS应用，向二次开发者、集成商及合作伙伴提供PaaS API以及DaaS API，从而为客户、合作伙伴、集成商、二次开发者进行全面的大数据赋能。