大数据计算 MaxCompute

数加·大数据开发套件目前支持任务调度周期有五种：天、周、月、分钟、小时。本文将介绍这五种周期的配置和调度形态。 调度规则——调度任务是否能运行起来要满足的条件： 上游任务实例是否都运行成功。若所有上游任务实例都运行成功则触发任务进入等待时间状态。

有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢，MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景，做一些示例。

大数据开发过程中常遇到不同运行周期的任务进行依赖，常见**天任务依赖小时任务**、**小时任务依赖分钟任务**。那么如何通过大数据开发套件开发这两种场景呢？ 本文将从这两个场景出发，结合调度依赖/参数/调度执行等，介绍不同周期调度依赖的最佳操作实践。

大家在使用大数据计算服务MaxCompute时，最头疼就是我现在已有的数据如何快速上云？我的日志数据如何采集到MaxCompute上？等等。。。具体详见《MaxCompute（原ODPS）开发入门指南——数据上云篇》。

DT时代，越来越多的企业应用数据步入云端。与传统Hadoop相比，阿里云数加MaxCompute(原名ODPS)向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者，特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发，简单了解在MaxCompute做大数据ETL过程，同时了解一些MaxCompute SQL和常用数据库SQL的基本区别。

根据《MaxCompute（原ODPS）开发入门指南——计量计费篇》的了解，大家清楚了MaxCompute可以做什么，计费模式如何，想必大家也开通了MaxCompute想进行一次POC，但是大家遇到第一个问题一定是我的数据如何上云？

数加就是阿里云专业搞大数据各种神器的产品大家族其实技术型产品也没辣么难懂，一层各种形式计算完给到二层做数据展现&算法加工，三层通过各种算法延展粗各种数据应用.您买间屋也行，买一层可以，要是高兴买整栋楼都随您意！

最近有朋友问，客户在香港ECS上搭建的MySQl，大概有100GB以上的数据，能否通过MaxCompute做海量数据分析，我的回答是YES！ 但客户担心香港与大陆之前数据连通性问题，我的回答依然是YES！ 为了让更多个客户不再困扰，笔者做了一份教程，可以通过大数据开发套件中的经典网络进行同步数据

我们的集群规模不断地在加大， 与此同时我们却有着不同的感受，明显感觉到了各种任务的运行效率都在变低，其中AllOrNothing这类任务表现尤为明显

本文把我通过Flunetd，把数据上传到DataHub的配置过程记录下来，希望对大家在配置中能有帮助。

根据John Matherly的说法，不适当地配置HDFS服务器——主要是Hadoop安装——将会泄露超过5PB的信息。John Matherly是用于发现互联网设备的搜索引擎Shodan的创始人。 这位专家说，他发现了4487个HDFS服务器实例，这些服务器可通过公共IP地址获得，而且不需要身份验证。

写这篇文之前想起一个段子：“你在干嘛？”“我在王健林这儿跟马云谈生意。”“说人话！”“我在万达广场逛无聊了坐着拿手机淘宝……” 所以，本来开篇想说上周到马云那里聊了会最新的云计算技术，想想还是不那么得瑟，老实交代吧，上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加大数据开发套件进行数据同步过程中遇到的常见问题，供大家参考~

我们在使用进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加大数据开发套件进行任务调度运维过程中遇到的常见问题，供大家参考~

最近，经常有客户咨询如何低成本搭建高性能的海量数据搜索引擎，比如实现公众号检索、影讯检索等等。由于客户的数据在阿里云上，所以希望找到云上解决方案。笔者开始调研一些云上产品，很多人向我推荐了OpenSearch，所以花了点时间好好研究了下，用过之后发现效果不错，自带分词、云数据库同步功能，在研究过程中也发现了一些问题，分享给大家。

本次分享内容主要包括三部分：（一）分布式存储系统应该具备的能力；（二）阿里云分布式存储系统盘古的介绍；（三）分布式系统技术展望。

本次培训讲座是由阿里巴巴创新中心·优客工场（天津于家堡）和天津云顶云科技有限公司联合举办，由阿里云大数据高级认证讲师——宋亚奇博士主讲，旨在通过对大数据及阿里云数加平台的介绍，帮助天津市企业更好的理解大数据，以及更合理有效的利用数据资源促进公司业务发展。

本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。

来自阿里云IDST褚崴为大家带来分布式机器学习平台方面的内容，主要从大数据的特点和潜在价值开始讲起，然后介绍阿里的业务场景中常用到的机器学习算法，以及阿里采用的分布式机器学习框架，最后介绍了PAI算法平台，一起来看下吧。

   很多人问，大数据是什么。一个时尚的技术名词，一个互联网时代的标志。给人高端大气上档次的感觉，很多公司不说自己有大数据都不好意思跟别人谈业务。那我就谈谈我的一些看法来结合阿里云的数加大数据产品比较粗俗的介绍下大数据到底是什么。

我们在进行大数据开发过程中，会遇到各种问题，本文将定期收集整理一些在使用阿里云数加 MaxCompute 和 大数据开发套件 过程中遇到的常见问题，供大家参考~

MaxCompute(原ODPS）的概念 海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.(官方文档有这里就不多做介绍了)官方文档链接 优势 用户不必关心分布式计算细节，从而达到分析大数据的目的。

在云栖社区主办的云栖计算之旅第5期–大数据与人工智能分享中，阿里云计算平台高级专家薛明为大家深入地介绍了阿里云大数据IDE–MaxCompute Studio，并对于其特性和背后的技术思想进行了讲解。

本文主要用自定义的ECS来调度来解网络不可达的问题。通过使用脚本模式来解因为网络不可达导致的向导模式无法配置的问题。

一，背景与概述    复杂系统的灾难恢复是个难题，具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台，是自主研发的大数据解决方案，其规模和稳定性在业界都是领先的。

2017年4月11日晚，在西安举行的架构体系的顶级会议ASPLOS（面向编程语言和操作系统的架构支持会议，Architectural Support for Programming Languages and Operating Systems）公布了最佳论文、最有影响力论文和 Test of Time 几项大奖。

“在原来自建的环境里进行一个维度的数据处理大约需要 2-3天时间，而使用数加平台处理相同数据只需要 3-6 个小时。这些效率的提升可以缩短数据分析应用产品的研发周期，并能更好的提高这些产品的需求符合度。

机构测算，2016年中国公有云市场份额为150亿元左右，阿里云占据将近40%市场份额，一骑绝尘。

随着大数据技术的蓬勃发展，现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢？ 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

       自从4月1日，中共中央、国务院印发通知，决定设立河北雄安新区之后，这个无名小城就一夜爆红。雄安新区规划范围涉及河北省雄县、容城、安新3县及周边部分区域，地处北京、天津、保定腹地，是继深圳经济特区和上海浦东新区之后又一具有全国意义的新区。

随着互联网、云计算、物联网、社交网络等技术的兴起和普及，全球数据的增长快于任何一个时期，可以称作是爆炸性增长。收集大量数据，并在数据中发现趋势，能使企业能够更快、更平稳、更有效地发展。然而，大数据对许多企业和数据专业人员来说，它仍然很难理解，那么，什么是大数据分析?如何利用阿里云数加平台进行海量数据分析，帮助企业更好地利用数据资源?“天德π客”众创空间特举办本期论坛——“基于阿里云的大数据实践——海量日志分析”，邀请华北电力大学电力系统及其自动化博士，阿里云大数据高级认证讲师宋亚奇主讲。

在使用大数据开发套件时最常用的就是数据同步模块，工单里最常见的问题就是其中数据同步的问题，这里总结一些常见一些从odps到其他数据源的同步任务报错案例，主要是日志中出现数据回滚写入的问题。   那首先看下日志中数据回滚的原因，当数据写入rds或者hybridDB等一些支持事务的数据库中，数据批量写入，一旦由于各种原因没有写入成功，这个批次的数据会回滚重新写入，如果再次写入失败，就会报脏数据的错误导致任务失败。

“C-Tech Awards 2016最具价值大奖评选”活动已经正式结束。从2016年12月22日线上征集至今，活动获得各大技术行业企业的高度关注，现已有来自国内外的近400家企业参与到了本次评选活动中，并提交了全面的产品简介和创新点解析。

 本次走访地点为阿里云大厦，由阿里巴巴集团投资建设，这也是阿里集团的南方总部、国际运营总部和商业云计算研发中心。 T4栋大堂 3楼接待台 分享：剖析阿里云  阿里云深圳分公司总经理何为先生（清华大学97级电子系）对阿里云进行了全面的介绍，并就阿里云对计算的定义、产品体系、差异化的核心能力及优秀案例进行了分享。

相比于v.1.9.1，MaxCompute JDBC v.2.2在易用性、性能以及兼容性方面都有了更好的提升，本文将对其改进与差别做一下简要的说明。

欢迎下载：https://yq.aliyun.com/attachment/download/?id=1489

随着信息化的推进，大数据已成为社会生活和工业生产不可或缺的基础资源。有效管理和利用大数据，提升大数据应用效率迫在眉睫。加强大数据标准化顶层设计，逐步完善标准体系，把数据“管好”“用好”。 2017年3月18日， 2017大数据标准化论坛在北京成功召开。

2017年3月18日， 2017大数据标准化论坛在北京成功召开。本次论坛由工业和信息化部信息化和软件服务业司和国家标准化管理委员会工业标准二部指导，中国电子技术标准化研究院和全国信标委大数据标准工作组共同主办。

云栖大会成都峰会大数据Workshop入口

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《流数据处理：通过StreamSQL分析用户行为》篇所需。主要帮助现场学员熟悉并掌握阿里云流计算StreamCompute的操作和使用。

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《实时数据分析：海量日志数据多维透视》篇所需。主要帮助现场学员熟悉并掌握阿里云数加·分析型数据库AnalyticDB的操作和使用。

本手册为云栖大会Workshop之《在线用户行为分析：基于流式计算的数据处理及应用》场的《流数据采集：日志流数据解析及上传》篇所需。主要帮助现场学员熟悉并掌握阿里云DataHub的操作和使用。

阿里云MVP Meetup Workshop入口