我是一个技术男，同样也是个汽车爱好者，上个月买了辆的宝马，却发现路上的“宝马越来越多”(⊙﹏⊙)b ...... 我喜欢钻研技术，也喜欢钻研汽车，最近研究了一下数据可视化，发现用datav可以玩出一些花样，这次就分享一下我做汽车数据大屏的经验。

在大数据时代，要想个性化实现业务的需求，还是得操纵各类的大数据软件，如：hadoop、hive、spark等。笔者（阿里封神）混迹Hadoop圈子多年，经历了云梯1、ODPS等项目，目前base在E-Mapreduce。在这，笔者尽可能梳理下hadoop的学习之路。

大家好，我是门德亮，现在在优酷数据中台做数据相关的事情。很荣幸，我正好见证了优酷从没有MaxCompute到有的这样一个历程，因为刚刚好我就是入职优酷差不多5年的时间，我们正好是在快到5年的时候，去做了从Hadoop到MaxCompute的这样一个升级。

在2016年10月的云栖社区在线培训上，来自阿里云大数据事业部的秦续业分享了《双剑合壁——Python和大数据计算平台的结合实战》。他主要介绍了数据分析和机器学习的方法、DataFrame整体架构以及基础API、前端、后端、机器学习的具体实现方法。

去年 6 月份在流利说提离职后，leader 问我为什么要走。我说，流利说有很健全的数据处理基础设施，但这不是所有的公司都会有的条件，所以我想看看在一个基建不全的创业公司我是否也可以像现在一样做的好。

本文用到的 阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps 简介 Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。

1.背景介绍 搜索引擎的出现大大降低了人们寻找信息的难度，已经深入到生活与工作的方方面面，简单列举几个应用如下： 互联网搜索，如谷歌，百度等； 垂直搜索，如淘宝、天猫的商品搜索； 站内搜索，各个内容网站提供的站内搜索服务； 企业内部搜索，员工查询企业内部信息； 广告投放，根据投放上下文检索出对应的广告主和广告内容； 搜索引擎的关键是让用户找到其所需信息，其整体架构如下： 从图示可知，一个搜索引擎从大的方面来看主要包括两部分，一部分是提供在线的搜索服务，一部分要把原始数据已离线的方式建立索引，建立索引是信息可搜索的前提。

介然（李金波），阿里云高级技术专家，现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历，对系统架构、数据架构拥有丰富的实战经验，曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施，数仓开发和实施都是基于传统的

分享内容 介绍了ODPS SQL的基于mapreduce是如何实现的及一些使用小技巧，回顾了mapreduce各个阶段可能产生的问题及相应的处理方法，同时介绍了一些应对数据倾斜的处理方法，最后介绍了一些关于数据集构造、特征选择的技巧帮助减少资源利用。

目前Aliyun E-MapReduce支持了zeppelin和hue，在Aliyun E-MapReduce集群上可以很方便的使用zeppelin和hue。本文将详细介绍如何在Aliyun E-MapReduce玩转Zeppelin和Hue！

票选最美云上大数据暨大数据技术峰会上，阿里云飞天一部计算平台高级专家无庸为大家带来题为“高可用大数据计算服务如何持续发布和演进”的演讲。本文先对MaxCompute架构进行了介绍，接着重点介绍在大数据计算服务下，高可用服务持续改进和发布的工具，包括Playback工具、Flighting工具和灰度上线、细粒度回滚等。

(本实验会用到流式机器学习算法，正处于邀测状态，需要申请开通)PAI地址：https://data.aliyun.com/product/learn流式机器学习算法申请：https://data.aliyun.com/paionlinelearning打开新闻客户端，往往会收到热点新闻推送相关的内容。

本次分享内容主要包括三部分：（一）分布式存储系统应该具备的能力；（二）阿里云分布式存储系统盘古的介绍；（三）分布式系统技术展望。

很多农民因为缺乏资金，在每年耕种前会向相关机构申请贷款来购买种地需要的物资，等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据，包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型，通过这个模型来预测受贷人的还款能力。

母亲是老师反而会对孩子的学习成绩造成不利影响？能上网的家庭，孩子通常能取得较好的成绩？影响孩子成绩的最大因素居然是母亲的学历？本文通过机器挖掘算法和中学真实的学生数据为您揭秘影响中学生学业的关键因素有哪些。

本文描述了淘宝搜索算法AI技术团使用强化学习算法在淘宝的环境中怎么解决实际的业务问题的以及一些研究探索。

日前，一位署名为“傲海”的阿里云工程师在云栖社区发布了一篇分析北京雾霾成因的文章。作者通过机器学习算法分析发现，北京重度雾霾天的出现同大气中二氧化氮的含量存在强相关性。 人们很早就知道硫酸盐是雾霾形成的重要原因。住宅及发电厂的燃煤释放大量二氧化硫，随后转化为硫酸颗粒造成污染。但困扰科学家的是，二氧

本文为您介绍如何基于阿里云实时计算快速搭建实时推荐系统。

### 背景 Google 将在2020年**2月4号**发布的 Chrome 80 版本（schedule：[https://www.chromestatus.com/features/schedule](https://www.

Ha3是阿里巴巴搜索团队开发的搜索引擎平台，它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能其中应用非常广泛的一种场景就是日志分析。在日志类型数据的清洗转换过程中把IP地址转换为归属地又是极为常见的一种场景。

先说Hadoop 什么是Hadoop？ Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。

在之前的文章中，我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章，本文将在第一篇的基础上更进一步，主要探讨如何监视与网络相关的指标，从而识别背压等因素带来的影响，或找出吞吐量和延迟的瓶颈所在。

本文介绍了时间序列数据的特点和主流的技术分类，以及Elasticsearch在时序数据库场景下的技术特点。

Presto架构 Presto查询引擎是一个Master-Slave的架构，由一个Coordinator节点，一个Discovery Server节点，多个Worker节点组成，Discovery Server通常内嵌于Coordinator节点中。Coordinator负责解析SQL语句，生

概述：大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。 任何规模的企业，每时每刻都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的

hive是hadoop集群最常用的数据分析工具，只要运行sql就可以分析海量数据。初学者在使用hive时，经常会遇到各种问题，不知道该怎么解决。 本文是hive实践系列的第一篇，以E-MapReduce集群环境为例，介绍常见的hive执行异常，定位和解决方法，以及hive日志查看方法。

美甲帮APP目前有几百万的用户，然而不同用户喜好和动机不同，譬如是想提升美甲技艺，还是想通过美甲图片选款，或者是想在商城里购买美甲产品，如何挖掘用户需求并以此进行精准化营销或个性化推荐，提升客户体验同时又可以增加收入，这些都是美甲帮最关注的问题。

本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

阿里云Elasticsearch集成了Elastic Stack商业版的X-Pack组件包，包括安全、告警、监控、报表生成、图分析、机器学习等组件，用户可以开箱即用。本文将对X-Pack 的Graph组件功能进行详细解读。

很多用户经常被MaxCompute收费所困扰，比如执行了一条 select xxx from yyy 然后扣费1元 ，不知道如何查询到明细，也无法做优化。 接下来，我来教大家学习如何通过控制台消费功能查看你在MaxCompute（DataWorks/Studio）中的每一条SQL/MR计算、存储、下载的消费明细。

AI·OS（Online Serving），大数据深度学习在线服务体系，由我们工程、算法、效率的同事们砥砺十年而成，支撑起海内外阿里电商全部的搜索和推荐业务，时刻置身大数据主战场，引导成交占据集团大盘主体；此外，作为中台技术中坚，AI·OS已是包括电商、阿里云、优酷、菜鸟、盒马、钉钉等等在内全集团的基础设施；更为重要的是，AI·OS体系的云产品矩阵服务于全球开发者，今年预期在数千万级的营收规模。

摘要：2017云栖大会机器学习平台PAI专场，阿里巴巴高级技术专家陈绪带来千亿特征流式学习在大规模推荐排序场景的应用的演讲。主要从电商个性化推荐开始谈起，进而描述了技术挑战和PAI解决方案，重点分享了鲲鹏框架和算法调优，最好作了简要总结。

本文PDF摘自袋鼠云CTO宁海元于10月13日在2016年杭州云栖大会上发表的《基于数加的大数据仓库解决方案》。

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。

机构测算，2016年中国公有云市场份额为150亿元左右，阿里云占据将近40%市场份额，一骑绝尘。

本文将为您介绍如何对数据随机取出数据的前 N 条数据。 示例数据 目前的数据，如下表所示： empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.