大数据计算 MaxCompute

本手册为云栖大会Workshop《云计算·大数据：海量日志数据分析与应用》的《数据采集：日志数据上传》篇而准备。主要为保障各位学员在workshop当天能够顺畅进行动手实操，那么本节为学员掌握阿里云数据采集的操作和使用。

DT时代，人们比以往任何时候都收集到更多的数据。据IDC报告，预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)，这一数据量是2011年的22倍！正在“爆炸式”增长的数据，其潜在巨大价值有待发掘。

随着业务的发展壮大，数据量持续增加。集群变大，实时计算硬件资源消耗也变大。集群的维护成本不断增加,。大数据计算服务MaxCompute帮我们省去了这些维护成本。让我们更加专注于业务，专注让数据产生价值。

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上，来自明源云的刘峥分享了整个的地产行业的趋势以及探索应用实践。他主要从行业趋势和应用实践两个方面进行了分享。他详细的分享了数据管理平台DMP平台的基础层、画像层、算法层、展示层的架构设计，并通过应用场景诠释了大数据在地产行业的作用。

前几天，PyODPS发布了0.7版本，这篇文章给大家介绍下PyODPS新版本带来的重要特性。 之前也有若干篇文章介绍过了，我们PyODPS DataFrame是延迟执行的，在调用立即执行的方法，比如execute、persist等之前，都只是构建了表达式。

为了方便用户云上分析大数据的需求，报警分析云上集成解决方案提供了一系列的数据分析产品，可以帮助各类客户快速轻松地构建和部署大数据分析应用。

在票选最美云上大数据暨大数据技术峰会上，来自江苏佰腾科技有限公司的许鹏通过介绍佰腾专利大数据平台的演化、上云前后的平台结构和任务处理流程，为大家分享了专利大数据的云上裂变之路，解释了非专业人士也能进行专利信息的检索与统计，即专利信息的大众化。

在票选最美云上大数据暨大数据技术峰会上，来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手，延伸到DTS、Logstash、DataX等官方/开源软件，向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据，分享最后还介绍了如何在Python和R语言中使用MaxCompute。

本手册为阿里云MVP Meetup Workshop之《云计算·大数据：海量日志数据分析与应用》场的前提准备条件所需。

票选最美云上大数据暨大数据技术峰会上，阿里云飞天一部高级专家振禹为大家带来题为“MaxCompute SQL 现状与展望”的演讲。本文重点解析了MaxCompute SQL 现状，详细介绍了各种功能，其中包括编译器用户友好功能、复杂类型、CTE、参数化视图和SEMI JION等，接着说明了MaxCompute SQL即将完成与推进中的功能，最后作了简要总结。

票选最美云上大数据暨大数据技术峰会上，阿里云飞天一部计算平台高级专家无庸为大家带来题为“高可用大数据计算服务如何持续发布和演进”的演讲。本文先对MaxCompute架构进行了介绍，接着重点介绍在大数据计算服务下，高可用服务持续改进和发布的工具，包括Playback工具、Flighting工具和灰度上线、细粒度回滚等。

“令人惊喜的是，利用阿里云的数加平台，我们差不多一个多月就搭建好了大数据平台，并且可以通过图形化的界面快速的开发，几个开发人员很快的掌握，甚至我们把阿里云的开发端给了业务部门，他们一些稍微资深一点的业务人员也可以使用，所以我们初步估计了一下，给我们节省的价值至少是千万级的。

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上，来自小红唇的王洋分享了数加平台上小红唇的大数据实践。他对数据仓储解决方案和搜索引擎进行了详细介绍。通过算法平台应用的基于视频元信息的回归、近义词、业务总线三个案例具体介绍了数加平台的大数据应用实践。

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上，来自上海云贝网络科技有限公司的 首席架构师-刘立兼 分享了基于阿里云产品，如何构建一个大数据系统，以及系统如何在实际的业务过程中帮助客户提升价值。他主要从客户价值、产品线、服务、数据中心、基础设施、数据采集服务六个方面进行了实践分享。

回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上，阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享，钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。

回顾大数据技术领域大事件，最早可追溯到06年Hadoop的正式启动，而环顾四下，围绕着数据库及数据处理引擎，业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上，阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑：基于代价的优化器》的分享，为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。

摘要： 目前我国物流业保持较快增长，但还是存在一些问题：物流成本高、效率低，条块分割严重（自营物流、规模小、技术落后、标准不统一）、基础设施相对滞后（物流基础设施之间不衔接、不配套），对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.

本文作者拖雷（陈吉平），袋鼠云CEO ，国内最早一批Oracle ACE Director，前阿里巴巴研究员，先后担任嗨淘、无线事业部、数据事业部资深总监，生活服务事业部总经理，以及阿里云事业群总裁助理。

“最早是新业务要做，但是买服务器来不及，管理员没到位，而且新业务的成本很高，是否能成功也是未知，因此明源决定采用阿里云，等资金和人到位再搬到自己内部。然而就是这种误打误撞，却让明源抓住了一个很好的机会走在了正确的轨道上。

3月9日14点，业内首个结合技术与应用的在线大数据技术峰会即将展开，届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。较为有看点的是： 最深入的实践：本次在线峰会上，6个阿里规模的大数据实践将被深入分享，包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。

今年年初，Oracle发布了一份大数据变化趋势报告，报告中指出，越来越多的企业将用户分析甚至是企业应用同大数据加以结合。从AI支持型应用到Megabox等数据流客户端，各家企业都将迎来自己的大数据转型及下一代数据驱动型应用。

乍一看标题会以为是不是作者写错了怎么会有从MaxCompute到MaxCompute迁移数据的场景呢在实际使用中已经有客户遇到了这种场景比如两个网络互通的专有云环境之间数据迁移、公共云数加DataIDE上两个云账号之间数据迁移、还有网络不通的两个MaxCompute项目数据迁移等等下面我们逐个场景介绍。

6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面，与大家探讨大数据如何最快落地到实践。

过去的2016年，政府、行业以及大众对大数据的认知有了更进一步提升，但是大数据的应用落地及价值体现还是处在初级阶段，大数据如何促进创新创业，带来新的经济增量，如何推动传统行业转型升级，如何实现商业价值在2017年将会受到更多关注，尤其是以大数据为基石的人工智能应用将会驱动着“AI+”的发展。

2016年10月13日，马云在阿里云栖大会上首提“新零售、新制造、新金融、新技术、新资源”的“五新”概念，并指出线上线下加上现代物流合在一起，才能真正创造出新的零售； 2017年2月10日，刘强东在京东开年大会上，不停强调“新技术”，并且描绘其对于在金融、物流、服务领域等应用，结合其去年刘强东

作者简介：   　　范伦挺 　　阿里巴巴 基础架构事业群-技术专家 　　花名萧一，2010年加入阿里巴巴，现任阿里巴巴集团大数据计算平台运维负责人。团队主要负责阿里巴巴各类离在线大数据计算平台（如MaxCompute、AnalyticDB、StreamComput

云栖社区启动了“票选最美云上大数据”活动，为用户带来了10+行业的实际大数据应用，同时得票TOP 4的企业更将与6位阿里大数据技术大牛一起，于3月9日线上“大数据技术峰会”为大家全面解析大数据技术与应用。

企查查终端所有企业工商信息均实时同步更新，汇集了目前国内市场中的80个产业链，8000个行业，6000个市场以及8000多万家企业数据。

2月21日下午，美国权威科学杂志《麻省理工科技评论》(MIT Technology Review)发布2017年全球十大突破性技术榜单。在与Google、微软、IBM等科技巨头的较量中，阿里巴巴分别入选“强化学习”和“刷脸支付”两大突破性技术榜单。

目前人人都在谈大数据，谈DT时代，但是，大数据是什么，每个人都有自己的一个看法，好比盲人摸象，每个都认为自己摸到是真正的大象。我也担心我所看到的，只是大数据的冰山一角，毕竟，将引领整个人类下一次变革的大数据，不是几篇文章就能说清楚的。

“对于创业公司来讲，如果不能在业务端快速行动，机会转瞬即逝。”汇合营销CTO欧阳明如是说。“数加的按需计费避免了资源空闲，从年初的对比来看，数加在满足同等业务需求基础上能够减少一半的支出，有效地节约了成本开支，帮助创业型企业快速成长。

“数加对于创业公司来说是一个非常好的平台，可以在有限的投入下，充分地享受到阿里云已经有的技术和经验，站在巨人肩膀上，从而少走弯路。针对海量数据进行处理，也是一个特别有优势的地方。

“最早是新业务要做，但是买服务器来不及，管理员没到位，而且新业务的成本很高，是否能成功也是未知，因此明源决定采用阿里云，等资金和人到位再搬到自己内部。然而就是这种误打误撞，却让明源抓住了一个很好的机会走在了正确的轨道上。

从98年成立至今的18年中，网鱼累计签约门店已接近900家，已拥有超过830万会员，2016年网鱼网咖共服务了3300多万人次，服务范围覆盖全国100多个城市，现在网鱼网咖已走出国门，在加拿大、澳大利亚、新加坡等国家开设多家门店。

专利信息的『大数据』与其它领域的『大数据』多少有些不同，虽然全球专利信息的总量仅在1亿多条，但是每条专利信息要分析获取的数据维度目前就多达200多项，实际处理的数据量在百亿级别。

近两年来，大数据发展浪潮席卷全球。研究机构IDC预测，全球大数据与分析市场规模将由2015年的1220亿美元，在5年间成长超过50%，并在2019年底达到1870亿美元的规模。

免费开通大数据服务：https://www.aliyun.com/product/odps 　2017 年 1 月 22 日，中国科学院国家天文台与阿里云正式成立“天文大数据联合研究中心”。 中国科学院国家天文台与阿里云在京举办了合作协议签字暨研究中心揭牌活动。

美甲帮APP目前有几百万的用户，然而不同用户喜好和动机不同，譬如是想提升美甲技艺，还是想通过美甲图片选款，或者是想在商城里购买美甲产品，如何挖掘用户需求并以此进行精准化营销或个性化推荐，提升客户体验同时又可以增加收入，这些都是美甲帮最关注的问题。

启信宝的企业数据范围广、维度多，覆盖8000万以上的企业， 19个产业链，95个细分行业，100个以上企业数据维度，企业覆盖率达98%以上。

当前日交易笔数为百万级，目前已经积累了海量交易数据。如何在经过客户授权的情况下利用数据为客户赋能，并带来额外附加价值，从而提高客户黏性，Ping++亟需搭建可靠、稳定的大数据平台。

自97年成立至今已接近20年，在前十六七年 明源云主要跑在传统ERP软件轨道上，4年前世界变了，云计算&移动互联网来了，两个最大的行业变量，如果不做出改变就可能被颠覆。因此，明源云决定开辟新战场，用互联网的方式来做地产行业。

峰值期间，汇合营销每天需要收集、分析和存储20多亿条的访客浏览轨迹；同时，还需要根据用户需求在亿级日志表中做秒级查询。

城市车辆逐年增长，道路通行关系市民生活，也考验城市管理者智慧。除了加大基础设施投入，杭州对大数据的分析和应用成为治堵新发力点。在路网规划、精确治堵、科学调配资源等方面，都能看到“城市大脑”和大数据发挥的“智慧”作用。

随着“云计算”、“互联网”、“物联网”的快速发展，大数据（Big Data）也吸引了越来越多的人关注，成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”，“大数据”显然已经成为新一代“网红”。

“很多企业对一些新事物的接受速度不够快，这不能怪我们的企业家，这其实是因为我们整个市场要做这样的转型，这本身就是一个比较复杂和需要下定决心的事情。”PTC（美国参数软件公司）全球副总裁兼中国区总裁寿宇澄这样评价中国工业企业对转型的犹疑态度。

近日，国家发改委公布大数据国家工程实验室名单，由阿里云参与的“工业大数据应用技术国家工程实验室”和“大数据系统软件国家工程实验室”均获批复认定，分别是工业大数据应用及大数据系统软件领域的唯一国家级工程实验室。

免费开通大数据服务：https://www.aliyun.com/product/odps 阿 里巴巴集团董事局主席马云，在2016年10月云栖大会上首次提到“五新”的趋势，分别是新零售、新金融、新制造、新技术和新能源。

免费开通大数据服务：https://www.aliyun.com/product/odps 　在过去的一年中，语音识别再次取得非常大的突破。IBM、微软等多家机构相继推出了自己的 Deep CNN 模型，提升了语音识别的准确率；Residual/Highway 网络的提出使我们可以把神经网络训练的更加深。