摘要：在阿里云双11访谈MaxCompute专场中，MaxCompute资深运营专家祎休为大家简单介绍了阿里云的MaxCompute平台的基本情况，并且为大家分享了MaxCompute如何帮助用户快速架构大数据仓库的。
以下内容根据访谈视频整理而成。
MaxCompute简介
简单来说，MaxCompute就是一项大数据的计算服务，它能够为企业提供快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
从ODPS到MaxCompute
2009年阿里云正式成立，那时最开始的愿景就是做一个统一的数据平台。2010年，ODPS正式投入生产，阿里金融成为了当时ODPS的第一个客户。之后ODPS开始稳定运行和处理线上的数据和业务。2012年的时候，整个阿里巴巴集团的数据都要进行统一的存储和计算，也就是说此时ODPS承担了整个集团数据的存储和计算任务。2013年的时候，ODPS单个集群的规模已经达到了5000台，这在国内甚至整个业界都是处于领先地位的。随后ODPS平台开始逐渐成熟，开始支撑“双11”海量数据的处理，以及开始支持包括天猫、阿里金融以及集团物流业务的创新。在2016年，ODPS开始适应国际化，在性能、存储等各方面都进行了提升，ODPS也改名为MaxCompute，目前MaxCompute已经发展到2.0版本。在本次的分享中也会为大家介绍MaxCompute 2.0版本的新特性和新功能。
MaxCompute的应用场景
MaxCompute的主要应用场景在总体上可以分为以下三种：
大家之前可能接触过数据仓库的相关概念，这里提到的是大数据仓库除了具备传统数据仓库面向主题的、反映历史的特性之外，也会有一些像支持多种计算模型等新特性。
MaxCompute成功应用的客户案例
MaxCompute在传统行业、互联网行业以及初创公司中都有很多成功应用的案例，比如墨迹天气、集团内的菜鸟网络、蚂蚁金服等，外部的新浪微博、ofo小黄车、美柚、天弘基金、众安保险以及金立手机等都在使用MaxCompute做自己的大数据服务。接下来重点分享一下墨迹天气基于MaxCompute构建自己的大数据仓库的案例。
其实阿里云所有的大数据产品都是在集团内稳定运行2个月以上的时间才能对外提供服务的。墨迹天气是如何基于MaxCompute构建自己的数据仓库体系的呢？首先，墨迹天气是一个天气查询软件，它每天会产生大量的日志，大概会达到2TB的量级。墨迹天气的日志大概包括两种：第一种是用户查询天气情况的访问日志，另外一种就是每个人、每个地区针对每个用户不同的推荐广告产生的日志。总体而言，会通过一些开源的工具将这些产生的日志数据采集到MaxCompute上来，做一些离线的加工和处理以及数据管理，最终将数据回流到业务应用系统中，再去做一些报表应用。这样我们可以实时地或者离线地观测到用户的使用情况，并且以此来优化算法模型，进而对于用户进行更为精准的营销。所以墨迹天气的广告团队和天气业务团队的总体推荐效率和精准程度都有了大幅度的提升，而单纯从成本上来看，墨迹天气通过使用MaxCompute节省了70%的计算和存储成本，从洞察力以业务优化这些运营效率上来看，也得到了大幅度的提升。
MaxCompute的强数据安全
对于企业用户而言，大数据资产的安全性是非常重要的。所以让用放心使用也成为了MaxCompute所关注的一个重点。之前云栖大会上，用户也提到现在数据上云其实是最安全的，实际上现在数据存在云上的安全性要好于本地存储。在传统的一些大数据计算服务上，可能只需要用户名和密码就可以登录进来并提交一些作业运行，可以拉取数据、获取数据。而MaxCompute提供了一些访问的追溯方式，所以在MaxCompute上会有一个统一的认证要求，每次进行请求的时候都会有一个accessID和Key。当这些在系统中验证成功之后，用户才可以提交自己的作业，进而做更多的访问。从中可以看出，从数据访问到最终的数据加工和处理，都能够实时地通过实名认证体现出用户的真实身份。在数据安全的粒度方面也更加细化，MaxCompute提供了两种数据安全授权模式，ACL和Policy，这两种授权模式能够保证数据的安全性。当用户需要一个表的权限时需要进行申请，审核通过之后就会拥有这个表的权限。更多的在安全行业或者金融行业，对于一些字段级的数据也有很高的要求，而MaxCompute的权限粒度能够支持到列级别。另外MaxCompute还有一些跨租户的访问控制，比如在集团内天猫或者蚂蚁金服以及菜鸟等各个部门都相当于一个租户，那么这些租户之间的数据要想做到数据不搬家和可用不可见，就需要实现多租户的模型下对于用户进行授权。通常情况下将表或者更多的函数以打包的方式去申请权限，当申请权限之后可以在自己的Project下面获取到项目空间对应的表或者函数的权限。此外，当项目空间存在上下游关系，就可以将下游或者上游的Project设置为可信的，这样数据就可以流入到其他的Project，进而进行分析。
MaxCompute的发展
在国内，阿里云最近在华东二(上海)以及华南一(深圳)的数据中心已经开服，在欧洲中部的法兰克福、亚太东南比如新加坡以及日本的数据中心等也相继开服。随着阿里云在海内外的数据中心的不断部署，MaxCompute也在紧跟着进行国际化。
目前MaxCompute已经发展到了2.0版本，相比MaxCompute 1.0版本已经有了大幅度的提升和改进。在计算和存储的性能和成本上都得到了大幅度的提升，此外MaxCompute 2.0还引进了NewSQL，加大了对于一些生态的支持以及处理能力的提升。更多的就是改进了多集群的相互支持，数据可以在不同的集群之间进行互通，同时也会支持一些容灾的方案。此外，MaxCompute也会支持更加丰富的多种的计算模型，比如SQL等计算模型。在生态方面，MaxCompute 2.0也做了很多努力，比如能够将Hadoop上的MR的SQL方便快捷地迁移到MaxCompute上来，在这些方面MaxCompute团队做了很多性能优化和提升，也希望能够让集团内和集团外的用户享受到技术的红利。
在云栖大会上阿里巴巴集团副总裁周靖人也宣布了MaxCompute在性能评测中打破了好几个世界第一记录，比如将统一测试规模从之前的10TB提升到100TB，计算引擎的QPM上也达到了7830以上，而且MaxCompute还是在公有云上做的这些事情，以上这些都是业内领先的。而且MaxCompute的性能提升不仅在体现编译上，还体现在SQL计算性能上，大家可以在官网或者云栖社区上找到更多的详细文章。
MaxCompute的“双11”特惠
双11第一波，红包领不停，点击看详情：https://promotion.aliyun.com/ntms/act/pre20171111.html
MaxCompute全攻略集：https://yq.aliyun.com/articles/78108
MaxCompute简介
简单来说，MaxCompute就是一项大数据的计算服务，它能够为企业提供快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。
从ODPS到MaxCompute
2009年阿里云正式成立，那时最开始的愿景就是做一个统一的数据平台。2010年，ODPS正式投入生产，阿里金融成为了当时ODPS的第一个客户。之后ODPS开始稳定运行和处理线上的数据和业务。2012年的时候，整个阿里巴巴集团的数据都要进行统一的存储和计算，也就是说此时ODPS承担了整个集团数据的存储和计算任务。2013年的时候，ODPS单个集群的规模已经达到了5000台，这在国内甚至整个业界都是处于领先地位的。随后ODPS平台开始逐渐成熟，开始支撑“双11”海量数据的处理，以及开始支持包括天猫、阿里金融以及集团物流业务的创新。在2016年，ODPS开始适应国际化，在性能、存储等各方面都进行了提升，ODPS也改名为MaxCompute，目前MaxCompute已经发展到2.0版本。在本次的分享中也会为大家介绍MaxCompute 2.0版本的新特性和新功能。
MaxCompute的应用场景
MaxCompute的主要应用场景在总体上可以分为以下三种：
- 基于MaxCompute搭建企业的大数据仓库
- 机器学习
- 基于加工后的数据实现个性化推荐
大家之前可能接触过数据仓库的相关概念，这里提到的是大数据仓库除了具备传统数据仓库面向主题的、反映历史的特性之外，也会有一些像支持多种计算模型等新特性。
MaxCompute成功应用的客户案例
MaxCompute在传统行业、互联网行业以及初创公司中都有很多成功应用的案例，比如墨迹天气、集团内的菜鸟网络、蚂蚁金服等，外部的新浪微博、ofo小黄车、美柚、天弘基金、众安保险以及金立手机等都在使用MaxCompute做自己的大数据服务。接下来重点分享一下墨迹天气基于MaxCompute构建自己的大数据仓库的案例。
其实阿里云所有的大数据产品都是在集团内稳定运行2个月以上的时间才能对外提供服务的。墨迹天气是如何基于MaxCompute构建自己的数据仓库体系的呢？首先，墨迹天气是一个天气查询软件，它每天会产生大量的日志，大概会达到2TB的量级。墨迹天气的日志大概包括两种：第一种是用户查询天气情况的访问日志，另外一种就是每个人、每个地区针对每个用户不同的推荐广告产生的日志。总体而言，会通过一些开源的工具将这些产生的日志数据采集到MaxCompute上来，做一些离线的加工和处理以及数据管理，最终将数据回流到业务应用系统中，再去做一些报表应用。这样我们可以实时地或者离线地观测到用户的使用情况，并且以此来优化算法模型，进而对于用户进行更为精准的营销。所以墨迹天气的广告团队和天气业务团队的总体推荐效率和精准程度都有了大幅度的提升，而单纯从成本上来看，墨迹天气通过使用MaxCompute节省了70%的计算和存储成本，从洞察力以业务优化这些运营效率上来看，也得到了大幅度的提升。
MaxCompute的强数据安全
对于企业用户而言，大数据资产的安全性是非常重要的。所以让用放心使用也成为了MaxCompute所关注的一个重点。之前云栖大会上，用户也提到现在数据上云其实是最安全的，实际上现在数据存在云上的安全性要好于本地存储。在传统的一些大数据计算服务上，可能只需要用户名和密码就可以登录进来并提交一些作业运行，可以拉取数据、获取数据。而MaxCompute提供了一些访问的追溯方式，所以在MaxCompute上会有一个统一的认证要求，每次进行请求的时候都会有一个accessID和Key。当这些在系统中验证成功之后，用户才可以提交自己的作业，进而做更多的访问。从中可以看出，从数据访问到最终的数据加工和处理，都能够实时地通过实名认证体现出用户的真实身份。在数据安全的粒度方面也更加细化，MaxCompute提供了两种数据安全授权模式，ACL和Policy，这两种授权模式能够保证数据的安全性。当用户需要一个表的权限时需要进行申请，审核通过之后就会拥有这个表的权限。更多的在安全行业或者金融行业，对于一些字段级的数据也有很高的要求，而MaxCompute的权限粒度能够支持到列级别。另外MaxCompute还有一些跨租户的访问控制，比如在集团内天猫或者蚂蚁金服以及菜鸟等各个部门都相当于一个租户，那么这些租户之间的数据要想做到数据不搬家和可用不可见，就需要实现多租户的模型下对于用户进行授权。通常情况下将表或者更多的函数以打包的方式去申请权限，当申请权限之后可以在自己的Project下面获取到项目空间对应的表或者函数的权限。此外，当项目空间存在上下游关系，就可以将下游或者上游的Project设置为可信的，这样数据就可以流入到其他的Project，进而进行分析。
MaxCompute的发展
在国内，阿里云最近在华东二(上海)以及华南一(深圳)的数据中心已经开服，在欧洲中部的法兰克福、亚太东南比如新加坡以及日本的数据中心等也相继开服。随着阿里云在海内外的数据中心的不断部署，MaxCompute也在紧跟着进行国际化。
目前MaxCompute已经发展到了2.0版本，相比MaxCompute 1.0版本已经有了大幅度的提升和改进。在计算和存储的性能和成本上都得到了大幅度的提升，此外MaxCompute 2.0还引进了NewSQL，加大了对于一些生态的支持以及处理能力的提升。更多的就是改进了多集群的相互支持，数据可以在不同的集群之间进行互通，同时也会支持一些容灾的方案。此外，MaxCompute也会支持更加丰富的多种的计算模型，比如SQL等计算模型。在生态方面，MaxCompute 2.0也做了很多努力，比如能够将Hadoop上的MR的SQL方便快捷地迁移到MaxCompute上来，在这些方面MaxCompute团队做了很多性能优化和提升，也希望能够让集团内和集团外的用户享受到技术的红利。
在云栖大会上阿里巴巴集团副总裁周靖人也宣布了MaxCompute在性能评测中打破了好几个世界第一记录，比如将统一测试规模从之前的10TB提升到100TB，计算引擎的QPM上也达到了7830以上，而且MaxCompute还是在公有云上做的这些事情，以上这些都是业内领先的。而且MaxCompute的性能提升不仅在体现编译上，还体现在SQL计算性能上，大家可以在官网或者云栖社区上找到更多的详细文章。
MaxCompute的“双11”特惠
MaxCompute也希望将更多的技术红利释放给生态的开发者。大家可以在官网上了解到，MaxCompute产品有两种付费模式，一种是预付费，另外一种是后付费版本。在“双11”期间，针对于这些两种版本都会有一些促销活动，比如在预付费版本中，只要用户购买三个月以上的，包括新购、续费以及升级在内，将会享受总体75折、上限30万的优惠，新老客户都可以同时享用；而对于后付费的版本，用户可以50万购买8.5折储值卡、20万可以购买28万的储值卡、10万可以购买13万的储值卡，1万可以购买1.15万储值卡，这些优惠活动在阿里云“双11”的详情页上都可以看到，所以大家可以抓紧“双11”的优惠活动赶紧买买买。
双11第一波，红包领不停，点击看详情：https://promotion.aliyun.com/ntms/act/pre20171111.html
欢迎加入“数加·MaxCompute购买咨询”钉钉群（群号： 11782920）进行咨询，群二维码如下：
