MaxCompute（原ODPS）开发入门指南
写在最前面
>>>进入了解更多>>>阿里云数加·MaxCompute大数据计算服务.
近期介绍大量数据上云用户关于MaxCompute的一些问题，现就MaxCompute产品线的一些工具栈可以和大家进行交流，也欢迎大家拍砖和来扰，一起学习一起进步！也希望能够在帮助到大家！
系列文章会涉及到的内容
- 0.MaxCompute概述：是什么？可以做什么？收费模式？
- 1.数据上云工具介绍：Log、Logstash、Flume、Fluentd、DataX等
- 2.MaxCompute开发工具：Data IDE和MaxCompute Studio
- 3.数据分析展现工具概述：Quick BI
MaxCompute概述
MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。
MaxCompute是什么
MaxCompute 是面向大数据处理的云计算服务，主要提供结构化和非结构化数据的存储和计算服务，
是阿里巴巴云计算整体解决方案中最核心的主力产品之一。
在分析海量数据场景下，由于单台服务器的处理能力限制，数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求，且不易维护。使用分布式模型，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型。MaxCompute 的目的是为用户提供一种便捷的分析处理海量数据的手段。用户可以不必关心分布式计算细节，从而达到分析大数据的目的。
MaxCompute 已经在阿里巴巴集团内部得到大规模应用，例如：大型互联网企业的数据仓库和 BI 分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。
进入https://www.aliyun.com/solution/customer选择大数据，了解更多MaxCompute用户案例。
MaxCompute可以做什么
从产品设计角度，MaxCompute 主要面向三类大数据处理场景：基于SQL 构建大规模数据仓库和企业BI 系统，基于MapReduce 和BSP 的分布式编程模型开发大数据应用，基于统计和机器学习算法开发大数据统计模型和数据挖掘。在后面“典型场景”一节将会给出这些场景的应用实例。
从服务角度，MaxCompute 采用抽象的作业处理框架将不同场景的各种计算任务统一在同一个平台之上，共享安全、存储、数据管理和资源调度，为来自不同用户需求的各种数据处理任务提供统一的编程接口和界面。MaxCompute 这种集成多种不同大数据处理应用场景的设计思想领先于业界同类云计算产品，为大数据应用开发提供一个非常强大的平台。
MaxCompute怎么收费？
关于MaxCompute的收费问题也是大家近期最为关心的话题，下面为大家一一解答。更多关于计量计费说明。
目前，MaxCompute以项目project为计费单元，对project内的数据存储、计算（目前只是SQL）、数据下载（走公网收费）进行收费，计费周期都是当天出前一天的账单。
数据存储-收费
- 0< 存储量 < 512MB: 收取当前项目0.01元费用。
- 存储量 > 512MB:
| 基础价格 | 大于100GB部分 | 大于1TB部分 | 大于10TB部分 | 大于100TB部分 | 1PB以上部分 |
|---|---|---|---|---|---|
| 0.0192元/GB/天 | 0.0096元/GB/天 | 0.0084元/GB/天 | 0.0072元/GB/天 | 0.006元/GB/天 | 请通过工单联系我们 |
例如用户某个项目的存储为50TB，则每天收取的费用为：
100GB*0.0192元/GB/天 --基础价格
+（1024-100）GB*0.0096元/GB/天 --大于100GB部分价格
+（10240-1024）GB*0.0084元/GB/天 --大于1TB部分价格
+（50*1024-10240）GB*0.0072元/GB/天 --大于10TB部分价格
=383.12元/天由于MaxCompute会对原始数据进行压缩，那么计费依据也是按照压缩后的数据量进行计算，一般压缩比在5倍左右。
计算计费（后付费/预付费）
- 后付费：以作业实际消耗量作为统计指标，在执行后进行收费。
所谓按I/O后付费是指：用户每执行一条SQL作业，MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。
一次SQL计算费用 = 计算输入数据量（SQL语句实际扫描数据量） SQL复杂度 SQL价格(0.3元/GB)，其中复杂度一般先统计SQL语句中的关键字再进行折算，也可以使用cost sql 进行估算。
SQL关键字个数 = Join个数 + Group By个数 + Order By个数 + Distinct个数 + 窗口函数个数 + max(insert into个数-1, 1)
在Data IDE中会针对每个SQL在执行前会进行一次计算消费的预估，如下图：
- 预付费：包年包月购买CU方式，10CU起售。
1CU = 1CPU + 4GB内存，售价为 150元/月。
下载计费
对于公网或者跨Region的数据下载，MaxCompute将按照下载的数据大小进行计费（也就是说数据下载走内网模式且在当前region内是不计费的）。计费公式为：
一次下载费用 = 下载数据量 * 下载价格
针对不同网络环境（访问 MaxCompute 及其 Tunnel 服务的连接地址）的收费模式详细说明如下：
| 区域 | 网络 | MaxCompute服务连接 | MaxCompute tunnel连接 | 下载是否收费 |
|---|---|---|---|---|
| 华东1 | 公网 | http://service.odps.aliyun.com/api | http://dt.odps.aliyun.com | 是 |
| 华东1 | 经典网络 | http://odps-ext.aliyun-inc.com/api | http://dt-ext.odps.aliyun-inc.com | 否 |
| 华东1 | VPC | http://odps-ext.aliyun-inc.com/api | http://dt-ext.odps.aliyun-inc.com | 是 |
| 华东2 | 公网 | http://service.odps.aliyun.com/api | http://dt.odps.aliyun.com | 是 |
| 华东2 | 经典网络 | http://odps-ext.aliyun-inc.com/api | http://dt.eu13.odps.aliyun.com | 否 |
| 华东2 | VPC | http://odps-ext.aliyun-inc.com/api | http://dt-ext.eu13.odps.aliyun-inc.com | 否 |
| 华北2 | 公网 | http://service.odps.aliyun.com/api | http://dt.odps.aliyun.com | 是 |
| 华北2 | 经典网络 | http://odps-ext.aliyun-inc.com/api | http://dt-ext.nu16.odps.aliyun-inc.com | 否 |
| 华北2 | VPC | http://odps-ext.aliyun-inc.com/api | http://dt-ext.nu16.odps.aliyun-inc.com | 否 |
| 其他 | 公网 | http://service.odps.aliyun.com/api | http://dt.odps.aliyun.com | 是 |
| 其他 | 经典网络 | http://odps-ext.aliyun-inc.com/api | http://dt-ext.odps.aliyun-inc.com | 否 |
| 其他 | VPC | 不支持，需要用户走公网访问 | 不支持，需要用户走公网访问 | -- |
- 如上述还不能帮助到大家，大家可以进入计量计费详细说明进行了解。也可以通过如下钉钉扫码方式进入，咨询我们的售前工程师。
