我是一个技术男，同样也是个汽车爱好者，上个月买了辆的宝马，却发现路上的“宝马越来越多”(⊙﹏⊙)b ...... 我喜欢钻研技术，也喜欢钻研汽车，最近研究了一下数据可视化，发现用datav可以玩出一些花样，这次就分享一下我做汽车数据大屏的经验。

发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。

Elasticsearch作为大数据场景下搜索和分析的引擎，广泛应用于实时数据分析等场景。本文作者梳理了从MySQL准实时同步数据到Elasticsearch的实操步骤，帮助开发者理解和快速上手。

1.数据仓库简介 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。

大家在平时开发过程中经常遇到作业（SQL、MR等）执行慢的原因，今天带大家一起学习自排查方法。 1、wait wait ，job querying 遇到这个提示，就是资源出现了排队，如果你是后付费用户，那就是整个后付费的共享池已经没有富余的资源了，要等前一个作业处理完。

阿里云Elastisearch集成了可视化工具Kibana，用户可以使用Kibana的开发工具便捷的查询和分析存储在Elastisearch中的数据。除了柱状图、线状图、饼图、环形图等经典可视化功能外，还拥有地理位置分析、数据图谱分析、时序数据分析等高级功能。

在2016年10月的云栖社区在线培训上，来自阿里云大数据事业部的秦续业分享了《双剑合壁——Python和大数据计算平台的结合实战》。他主要介绍了数据分析和机器学习的方法、DataFrame整体架构以及基础API、前端、后端、机器学习的具体实现方法。

新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式，消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标，完全由机器智能化实现。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提

据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4万亿GB)，这一数据量是2013年的10倍。正在“爆炸式”增长的数据的潜在巨大价值正在被发掘，它有可能成为商业世界的“新能源”，变革我们的生产，影响我们生活。当我们面对如此庞大的数据之时，如果我们不能有序、有结构的进行分类组织

 想用阿里云数加·大数据计算服务（MaxCompute），但是现在数据还在hadoop上，怎么办？   别烦恼，跟着我们走，来一次MaxCompute零基础数据迁移之旅～Let’s Go！

背景 每年的双十一除了“折扣”，全世界（特别是阿里人）都关注的另一个焦点是面向媒体直播的“实时大屏”（如下图所示）。包括总成交量在内的各项指标，通过数字维度展现了双十一狂欢节这一是买家，卖家及物流小二一起创造的奇迹！ 双十一媒体直播大屏 这一大屏背后需要实时处理海量的庞大电商系统各个模块产生的

本文用到的 阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps 简介 Kettle是一款开源的ETL工具，纯java实现，可以运行于Windows, Unix, Linux上运行，提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑。

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

从今天开始，小编会为大家陆续解读MaxCompute常见问题，帮助大家快速上手MaxCompute，玩转大数据计算平台。

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

今天继续谈阿里的这本书，包括数据服务平台、数据挖掘平台、数据建模、数据管理及数据应用，希望于你有启示。 1、数据服务平台 数据服务平台可以叫数据开放平台，数据部门产出海量数据，如何能方便高效地开放出去，是我们一直要解决的难题，在没有数据服务的年代，阿里的数据开放的方式简单、粗暴，一般是直接将数据导出给对方，我想，现在大多公司的开放应该也是如此吧，虽然PaaS喊了这么多年，但真正成就的又有几个？ 即使如阿里，在数据开放这个方向上的探索和实践，至今也有7个年头了，任何关于数据开放毕其功于一役的做法都将失败，任何一次数据开放的改进都是伴随着对于业务理解的深入而成长起来的。

MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。欢迎加入钉钉交流群11782920。

新版发布功能上线，新增「大屏快照」功能！ 发布分享 链接设置 分享链接 ​ 打开「发布分享」按钮之后，会随机生成一个分享链接，此链接每次打开之后都会变更，上一次的分享链接随即失效且不能恢复到历史分享链接。

阿里云实时计算产品案例&解决方案汇总页

《逐云》第三期，我们拍了阿里巴巴通用计算平台负责人关涛，记录了他的学生时代，以及为什么从美回国来到阿里巴巴做通用计算平台，以及他对未来的展望。

本文描述如何在凑单场景突破找相似、发现惊喜的同时做到成交翻倍，实现体验和数据上的双赢。

JindoFS 是云原生的文件系统，可以提供OSS 超大容量以及本地磁盘的性能

亲爱的同学们，福利来临！随着机器学习领域的发展越来越火，阿里云机器学习PAI为广大机器学习爱好的学生提供免费的一站式算法平台，该平台提供上百种算法，并且兼容TensorFlow、Caffe、MXNET等深度学习框架，学生们还可以免费使用M40 GPU卡，这么好的福利到哪里去领呢？ 点击开通机器学习PAI：https://data.

介然（李金波），阿里云高级技术专家，现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历，对系统架构、数据架构拥有丰富的实战经验，曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施，数仓开发和实施都是基于传统的

我们提出了Dataflow模型，并详细地阐述了它的语义，设计的核心原则，以及在实践开发过程中对模型的检验。

本文主要介绍阿里巴巴-搜索事业部算法团队上半年在智能内容生成方向工作的一些实践和思考。

TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的 TopN 不同于批处理的 TopN，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算 TopN 排行榜，然后当排行榜发生变化时，发出更新后的排行榜。

本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同，图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件，包括K-Core、最大联通子图、标签传播聚类等。

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态。 本文的目标是解释Join重排这个特性的基础概念和算法，如果想快速了解并在MaxCompute上使用这个特性，请直接跳到“总结”。

背景 [PyODPS DataFrame]http://pyodps.readthedocs.io/zh_CN/latest/) 提供了类似 pandas 的接口，来操作 ODPS 数据，同时也支持在本地使用 pandas，和使用数据库来执行。

据介绍，MaxCompute（大规模分布式的数据计算平台）是国内最早自研的大数据计算平台之一，主要应用于大规模数据处理场景。目前，这项源自浙江、解决世界级难题的成果已拥有EB（百京）级别的数据存储能力、百PB（千兆）级的单日计算能力。

作者简介：   　　范伦挺 　　阿里巴巴 基础架构事业群-技术专家 　　花名萧一，2010年加入阿里巴巴，现任阿里巴巴集团大数据计算平台运维负责人。团队主要负责阿里巴巴各类离在线大数据计算平台（如MaxCompute、AnalyticDB、StreamComput

我们从大数据的特征说起，谈到了大数据的价值，再聊什么时候做，谁去做，选择什么平台，最后聊到了怎么做的问题。通过对一些真实的场景分析，了解了大数据的全貌。

基本架构 RDS -> SLS -> Spark Streaming -> Spark HDFS 上述链路主要包含3个过程： 如何把 RDS 的 binlog 收集到 SLS。 如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。

PyODPS，拥有对于Python用户传统的数据分析和机器学习愉快的体验，包括了DataFrame框架和机器学习模块，它们类似于pandas+scikit-learn，能用它们进行数据分析、绘图、机器学习等等。

通过简单的几步配置，教你如何快速实现MaxCompute的数据可视化

自97年成立至今已接近20年，在前十六七年 明源云主要跑在传统ERP软件轨道上，4年前世界变了，云计算&移动互联网来了，两个最大的行业变量，如果不做出改变就可能被颠覆。因此，明源云决定开辟新战场，用互联网的方式来做地产行业。

最近在做DMP，负责设计一套标签管理系统。在对现有标签进行整理的过程中，整理出了这套东西。 0. 标签的定义：标签分类学(Taxonomy) 对于标签(tag)，很难列出一个公认的定义，指明这个概念的种差与属概念。所以为了把握这个概念，就需要采取定义另一种办法：分类与枚举。 我们要解决的第一个

问题概述 使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。

摘要：在2017年云栖大会•北京峰会的大数据专场中，来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中，李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题；然后，他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者，特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发，简单了解在MaxCompute做大数据ETL过程，同时了解一些MaxCompute SQL和常用数据库SQL的基本区别。