概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。   由于 MaxCompute是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。

如何通过DataWorks数据同步功能，将Hadoop数据同步到阿里云Elasticsearch上，并进行搜索分析。

传统的运维人员通常只面对几十或者上百台的服务器，但在大规模分布式集群中，运维人员面临工作任务明显不同。本文分别阐述服务器数量激增，要求提升全局掌控能力，如何实现系统的自我保护和自动化恢复，大规模与精细化平衡，以及需要开发和运维更加紧密合作等方面，通过对真实数据进行分析和预测，将判断失误概率降到最低。

       自从4月1日，中共中央、国务院印发通知，决定设立河北雄安新区之后，这个无名小城就一夜爆红。雄安新区规划范围涉及河北省雄县、容城、安新3县及周边部分区域，地处北京、天津、保定腹地，是继深圳经济特区和上海浦东新区之后又一具有全国意义的新区。

案例与解决方案汇总页：阿里云实时计算产品案例&解决方案汇总 一. 背景介绍 如<利用blink+MQ实现流计算中的延时统计问题>一文中所描述的场景，我们将其简化为以下案例：实时流的数据源结构如下： 物流订单号 支付时间 仓接单时间 仓出库时间 LP1 2018-08-01 08:00 ...

阿里云MVP曾勇撰写的《ELK运维监控入门实战》系列，以Elasticsearch中文社区网站运维监控体系搭建作为案例，讲解了ELK监控系统的相关原理和技术实现，可作为对ELK感兴趣的同学的入门级文章。本篇作为第一篇，介绍了项目背景和技术架构。

一，背景与概述    复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。

“令人惊喜的是，利用阿里云的数加平台，我们差不多一个多月就搭建好了大数据平台，并且可以通过图形化的界面快速的开发，几个开发人员很快的掌握，甚至我们把阿里云的开发端给了业务部门，他们一些稍微资深一点的业务人员也可以使用，所以我们初步估计了一下，给我们节省的价值至少是千万级的。

Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面也可以减少资源的消耗(网络/IO/CPU等)，在同样的资源的情况下可以支撑更多的查询。

对抗神经网络模型(GANs)作为当下最火的神经网络模型 使用GANs我们可以还原图像原始颜色 可以还原马赛克: 可以把漫画变成真实图像 可以把文字变成图像 还可以进行视频下一帧预测.

“数加对于创业公司来说是一个非常好的平台，可以在有限的投入下，充分地享受到阿里云已经有的技术和经验，站在巨人肩膀上，从而少走弯路。针对海量数据进行处理，也是一个特别有优势的地方。

 本次走访地点为阿里云大厦，由阿里巴巴集团投资建设，这也是阿里集团的南方总部、国际运营总部和商业云计算研发中心。 T4栋大堂 3楼接待台 分享：剖析阿里云  阿里云深圳分公司总经理何为先生（清华大学97级电子系）对阿里云进行了全面的介绍，并就阿里云对计算的定义、产品体系、差异化的核心能力及优秀案例进行了分享。

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。 这要求风控系统一定要有实时性。

聊什么 在《Apache Flink 漫谈系列 - SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统.

一、总览 一个游戏/系统的业务数据分析，总体可以分为图示的几个关键步骤：   1、数据采集：通过SDK埋点或者服务端的方式获取业务数据，并通过分布式日志收集系统，将各个服务器中的数据收集起来并送到指定的地方去，比如HDFS等；（注：本文Demo中，使用flume，也可选用logstash、Flue.

本文列举了Flume采集网站日志到MaxCompute的一些常见问题，欢迎大家补充；

实际问题 很多大数据计算产品，都对用户提供了SQL API，比如Hive, Spark, Flink等，那么SQL作为传统关系数据库的查询语言，是应用在批查询场景的。Hive和Spark本质上都是Batch的计算模式(在《Apache Flink 漫谈系列 - 概述》我们介绍过Spark是Micr.

本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。

新闻分类是文本挖掘领域较为常见的场景。目前很多媒体或是内容生产商对于新闻这种文本的分类常常采用人肉打标的方式，消耗了大量的人力资源。本文尝试通过智能的文本挖掘算法对于新闻文本进行分类。无需任何人肉打标，完全由机器智能化实现。<br />数据源:网络爬取新闻数据<br />数据大小:261 KB<br />字段数量:3<br />使用组件:过滤与映射,SQL脚本,读数据表,增加序号列,类型转换<br />

近两年来，大数据发展浪潮席卷全球。研究机构IDC预测，全球大数据与分析市场规模将由2015年的1220亿美元，在5年间成长超过50%，并在2019年底达到1870亿美元的规模。

前言     在《数据库系统中的Code Generation技术介绍》一文中，我们阐述了代码的CPU执行效率对于大规模分布式OLAP系统的重要性。现在简单总结如下： OLAP系统中查询往往比较复杂，比如多表Join, 各种聚合函数以及窗口函数，其中涉及大量的Hash计算（比如采用Hash

本文将为您介绍如何对数据随机取出数据的前 N 条数据。 示例数据 目前的数据，如下表所示： empno ename job sal 7369 SMITH CLERK 800.0 7876 SMITH CLERK 1100.

本周包括 全景洞察大数据全貌、数据分析师的职业规划、打造智能聊天机器人、E-Mapreduce的相关实践及动态、最近值得关注的大数据会议。

人工智能千千万，没法落地都白干。 自从上次老司机用神经网络训练了热狗识别模型以后，群众们表示想看一波更加接地气，最好是那种能10分钟上手，一辈子受用的模型。 这次，我们就通过某著名电商公司的公开数据集，在阿里云大数据生态之下快速构建一个基于协同过滤的推荐系统！

E-MapReduce是构建于阿里云ECS弹性虚拟机之上，利用开源大数据生态系统，包括但不限于Hadoop、Spark、Hbase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。我们提供的软件基本都是开源的软件，会有一些性能的优化，但是绝对不引入任何不兼容的改动。

大家好，这里和大家分享的是DataWorks数据集成中测试连通性失败的排查思路。与测试连通性成功与否的相关因素有很多，本文按照多个因素逐步排查，最终解决问题，希望大家以后再遇到此类问题，请参考此文，相信能够顺利解决您的问题。

HiveServer2支持多种认证方式，通过`hive.server2.authentication`参数来设置，包括`nosasl, none, ldap, kerberos, pam, custom` 本文介绍如何在E-MapReduce中使用LDAP配置HiveServer的认证。

绝大多数人对阿里云的定位仍是国内市场最大的IaaS提供商。不过，随着国内人工智能市场在2016年迎来爆发，阿里开始在人工智能领域发力，阿里云的这一角色正在悄然转变。 布局AI领域，阿里云扛起阿里人工智能大旗 虽然阿里不是BAT三座山头中在人工智能领域的声势最旺的那个（百度躺枪），但事实上阿里从2015年也已经开始了人工智能领域的布局。

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从odps到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。   那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数据会回滚重新写入，如果再次写入失败，就会报脏数据的错误导致任务失败。

什么是数据脱敏 又称数据漂白、数据去隐私化或数据变形。是对核心业务数据中敏感的信息，进行变形、转换、混淆，使得对业务数据中的身份、组织等隐私敏感信息进行去除或掩盖，以保护数据能被合理、安全地利用。

本实验通过大数据开发套件的整库迁移功能，快速将 MySQL 数据整库迁移到 MaxCompute，从而提升工作效率、降低用户使用成本。

MaxCompute（原ODPS）有一套自己的MapReduce编程模型和接口，简单说来，这套接口的输入输出都是MaxCompute中的Table，处理的数据是以Record为组织形式的，它可以很好地描述Table中的数据处理过程，然而与社区的Hadoop相比，编程接口差异较大。Hadoop用户如果

阿里巴巴分布式调度系统被命名为“伏羲”，主要负责管理集群的机器资源和调度并发的计算任务，为上层分布式应用提供稳定、高效、安全的资源管理和任务调度服务。本文将向读者展示阿里是如何使用伏羲来对5000节点集群进行调度与性能优化的。

计算的价值绝不止计算本身，而是让本不会说话的数据发声。 从玛雅历法到圆周率，从万有引力定律到二进制，从固化的物体到虚拟的思维都由数据注入。阿里云大数据计算服务MaxCompute以技术驱动产品，用计算力让数据发声。

Mars 是一个基于矩阵的统一分布式计算框架，在之前的文章中已经介绍了 Mars 是什么， 以及 Mars 分布式执行 ，而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么，这几乎取决于你想做什么，因为 Mars 作为底层运算库，实现了 numpy 70% 的常用接口。

MaxCompute Studio 2.8.2 新版本，主要新增可视化建表、保存/查看历史job日志、查看历史执行sql脚本，重点优化Editor性能解决大脚本文件实时编译卡顿问题等等~

本文收录了一些MaxCompute MapReduce优化策略。