阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

兰州拉面都拥抱大数据了，此刻我只想问，黄焖鸡、麻辣烫和沙县小吃，你们还在等什么？

发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。

在10月19日的云栖社区在线培训上，来自盘古团队的吴洋分享了《盘古：飞天分布式存储系统实践》。他主要从以下三个方面进行了分享：盘古是什么？盘古是用来解决什么问题的？盘古是怎么解决问题的？他主要介绍了盘古的分布式系统架构和设计理念。

移动端的以图搜图是一代又一代的图像人，搜索人的梦想。从90年代开始，学术界，工业界做了很多的努力和尝 试。拍立淘-以图搜图，从14年正式立项开始，通过算法/工程/产品的不断打磨，以及兄弟部门的紧密合作，在业务指标的增长的同时，沉淀下来了业界领先的图搜算法。

大家好，我是门德亮，现在在优酷数据中台做数据相关的事情。很荣幸，我正好见证了优酷从没有MaxCompute到有的这样一个历程，因为刚刚好我就是入职优酷差不多5年的时间，我们正好是在快到5年的时候，去做了从Hadoop到MaxCompute的这样一个升级。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端，然后分天、分小时的展开数据分析作业，分析结果再导入数据库和报表系统，最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍，整个过程中数据量庞大，且计算复杂，这对云平台的大数据能力、生态完整性和开放性提

据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4万亿GB)，这一数据量是2013年的10倍。正在“爆炸式”增长的数据的潜在巨大价值正在被发掘，它有可能成为商业世界的“新能源”，变革我们的生产，影响我们生活。当我们面对如此庞大的数据之时，如果我们不能有序、有结构的进行分类组织

 想用阿里云数加·大数据计算服务（MaxCompute），但是现在数据还在hadoop上，怎么办？   别烦恼，跟着我们走，来一次MaxCompute零基础数据迁移之旅～Let’s Go！

从今天开始，小编会为大家陆续解读MaxCompute常见问题，帮助大家快速上手MaxCompute，玩转大数据计算平台。

随着互联网数据规模的爆炸式增长，如何从海量的历史、实时 数据中快速获取有用信息，变得越来越具有挑战性。搜索是获取信息最高效的途径之一，因此也是各类网站、应用的基础标配功能。开发者想在自己的产品中实现搜索功能一般都是基于某个开源搜索系统(如ElasticSearch、Solr、Sphinx

玩转数据系列文章通过简单地案例搭建，介绍如何通过阿里云机器学习平台进行数据挖掘。

梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前，它就获得了黎瑞刚华人文化近1亿美元投资，旗下《微辣》栏目总播放量已经超过4亿，并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件，在视频领域异军突起，不仅让内人士在感叹梨视频内容生产力之强大的同时，也诧异于是谁在

介然（李金波），阿里云高级技术专家，现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历，对系统架构、数据架构拥有丰富的实战经验，曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施，数仓开发和实施都是基于传统的

PyODPS 提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理，本文主要介绍如何使用 PyODPS 执行笛卡尔积的操作。 笛卡尔积最常出现的场景是两两之间需要比较或者运算。

HIVE被很广泛的使用，使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论，从问题描述、mapjion原理以及产生该问题的原因，解决方案做一下介绍，最后对该问题进行了进一步的思考，希望对解决该类问题的朋友有所帮助。

TopN 是统计报表和大屏非常常见的功能，主要用来实时计算排行榜。流式的 TopN 不同于批处理的 TopN，它的特点是持续的在内存中按照某个统计指标（如出现次数）计算 TopN 排行榜，然后当排行榜发生变化时，发出更新后的排行榜。

(本实验会用到流式机器学习算法，正处于邀测状态，需要申请开通)PAI地址：https://data.aliyun.com/product/learn流式机器学习算法申请：https://data.aliyun.com/paionlinelearning打开新闻客户端，往往会收到热点新闻推送相关的内容。

以前一篇博客，从宏观描述了云梯1当时整体生态，年底了，笔者再梳理下软件栈，主要以开源软件为主，闭源不谈。大数据发展至今，开源软件层出不穷，也去解决了不同的问题，笔者试图去弄清楚这些，分门别类，后面也可以参照下。由于笔者知识面有限，难免会出现一些偏颇，不全，不正确，还请指正。后面也会有很多新的软件出现

很多农民因为缺乏资金，在每年耕种前会向相关机构申请贷款来购买种地需要的物资，等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据，包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型，通过这个模型来预测受贷人的还款能力。

预聚合是高性能分析中的常用技术，通过预先聚合降低纬度，从而在查询时大幅减少计算量，提升响应速度。本文介绍了 spark-alchemy 这个开源库中的 HyperLogLog 这一个高级功能，并且探讨它是如何解决大数据中数据聚合的问题。

自97年成立至今已接近20年，在前十六七年 明源云主要跑在传统ERP软件轨道上，4年前世界变了，云计算&移动互联网来了，两个最大的行业变量，如果不做出改变就可能被颠覆。因此，明源云决定开辟新战场，用互联网的方式来做地产行业。

在2017年杭州云栖大会上，阿里云宣布大数据计算服务MaxCompute将于10月18日在德国法兰克福正式开服。通过MaxCompute2.0全新一代的人工智能系统，阿里云将携手更多欧洲本地合作伙伴建立科技生态，驱动当地云计算和大数据的发展，将中国先进的云计算推广至海外，在人工智能、深度学习等领域实现突破创新。

摘要：在2017年云栖大会•北京峰会的大数据专场中，来自阿里云的高级技术专家李雪峰带来了主题为《金融级别大数据平台的多租户隔离实践》的演讲。在分享中，李雪峰首先介绍了基于传统IaaS单租户架构做隔离时面临的问题；然后，他重点分享了MaxCompute PaaS层面的多租户的架构以及MaxCompute在安全隔离方面的具体实践。

日志是大规模集群管理系统中非常关键的部分，服务器上的各种日志数据可以帮助我们回答如运维、开发、运营、客服、安全等问题。SLS提供一个从日志采集、过滤、处理、聚合到在线查询的日志处理平台，满足各种日志处理分析需求。本文以用户选用SLS搭建一个端对端的日志服务为例进行详解，并解析其功能背后的技术架构。

本文描述了淘宝搜索算法AI技术团使用强化学习算法在淘宝的环境中怎么解决实际的业务问题的以及一些研究探索。

一，前面的话 表和列的统计信息对CBO的结果有着极大地影响，能够高效和准确的收集统计信息是极其重要的。但高效和准确是矛盾的，更准确的统计信息往往需要更多的计算，我们能做的是在高效和准确之间找到更好的平衡。

如今大数据和机器学习已经有了很大的结合，在机器学习里面，因为计算迭代的时间可能会很长，开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内置原生支持 GPU 和 FPGA 了。

本文为您介绍如何基于阿里云实时计算快速搭建实时推荐系统。

最近在做日志采集相关的开发，了解了flume原理和实现，转载一篇文章，一起学习。

1. 假设我们在MaxCompute中有两张表，其中一张表是存用户基本信息，另一张表是存用户的地址信息等，表数据假设如下： user_basic_info: id name 1 a 2 b 3 c

很高兴在这里宣布我们的新项目：Mars，一个基于张量的统一分布式计算框架。我们已经在 Github 开源：https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言了，如今，在数据科学计算、机器学习、以及深度学习领域，Python 越来越受欢迎。

最近阿里巴巴分享了《阿里巴巴数据中台实践》这个PPT（自行搜索原始文章），对于数据中台的始作俑者，还是要怀着巨大的敬意去学习的，因此仔细的研读了，希望能发现一些不一样的东西。 读这些专业的PPT，实际是非常耗时的，你需要把这些PPT外表的光鲜扒光，死抠上面的每一个字去理解底下隐藏的含义，然后跟你的已有知识体系去对比，看看是否有助于完善自己的认知，对于自己不理解的，还需要经常去检索相关的文档。

引言 在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产生快，实时性强，数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需要。流计算的出现，就是为了更好地解决这类数据在处理过程中遇到的问题。

传统的搜索文本相关性模型，如BM25通常计算Query与Doc文本term匹配程度。由于Query与Doc之间的语义gap, 可能存在很多语义相关，但文本并不匹配的情况。为了解决语义匹配问题，出现很多LSA，LDA等语义模型。

本文介绍了三种HBase数据写入的方法（1种多线程，2种mapreduce），并介绍了各类性能调优的方法

本手册为杭州阿里云MVP Workshop《云计算·大数据：海量日志数据分析与应用》的《数据分析展现：可视化报表及嵌入应用》篇而准备。主要阐述如何使用BDP个人版制作报表，将前面几个实验处理分析得来的数据进行有效的展现和洞察。

Ranger支持对Hive数据的脱敏处理(Data Masking)，它对`select`的返回结果进行脱敏处理，对用户屏蔽敏感信息。

本文介绍了时间序列数据的特点和主流的技术分类，以及Elasticsearch在时序数据库场景下的技术特点。

为了验证字符串中是否包含中文汉字，今天为大家提供一个自动判断中文字符的MaxCompute UDF，下载地址见附件。 效果如下： MaxCompute UDF代码如下： package com.

机器学习PAI通过声音数据分辨男女（含语音特征提取相关数据和代码）

5月底MaxCompute开启大数据计算技术共享计划，第一季，为大数据爱好者和企业客户带来了MaxCompute数据开发实战的四次主题分享，有1500多名用户线上参加了共享季直播。7月24日，MaxCompute开启第二季技术公开课，近6000名大数据爱好者和企业客户参加了第二季的5次主题直播，越来越多的大数据专家、技术牛人、爱好者参与到我们的技术共享活动中来，让我们一起玩大数据如烹小鲜吧。

概念 大数据开发套件(Data IDE) 是阿里云数加重要的Paas平台产品，是”DataWorks”中最重要的核心组件。提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态(二维码在文章末尾)。