• 关于

    odps sql join

    的搜索结果

回答

Map设置set odps.sql.mapper.cpu=100作用:设定处理map task每个instance的cpu数目,默认为100。[50,,800]之间调整 set odps.sql.mapper.memory=1024作用:设定map task每个instance的memory大小,单位M,默认1024M。[256,12288]之间调整 set odps.sql.mapper.merge.limit.size=64作用:设定控制文件被合并的最大阈值,单位M,默认64M。用户可以通过控制这个变量,从而达到对map端输入的控制。[0,Integer.MAX_VALUE]之间调整 set odps.sql.mapper.split.size=256作用:设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的控制。[1,Integer.MAX_VALUE]之间调整 Join设置set odps.sql.joiner.instances=-1作用: 设定Join task的instance数量,默认为-1。[0,2000]之间调整 set odps.sql.joiner.cpu=100作用: 设定Join task每个instance的cpu数目,默认为100。[50,800]之间调整 set odps.sql.joiner.memory=1024作用:设定Join task每个instance的memory大小,单位为M,默认为1024M。[256,12288]之间调整 Reduce设置set odps.sql.reducer.instances=-1作用: 设定reduce task的instance数量,默认为-1。[0,2000]之间调整 set odps.sql.reducer.cpu=100作用: 设定处理reduce task每个instance的cpu数目,默认为100。[50,800]之间调整 set odps.sql.reducer.memory=1024作用: 设定reduce task每个instance的memory大小,单位M,默认1024M。[256,12288]之间调整 Udf设置set odps.sql.udf.jvm.memory=1024作用: 设定UDF jvm heap使用的最大内存,单位M,默认1024M。[256,12288]之间调整 set odps.sql.udf.timeout=600作用:设置UDF超时时间,默认为600秒,单位秒。[0,3600]之间调整 set odps.sql.udf.python.memory=256作用:设定UDF python 使用的最大内存,单位M,默认256M。[64,3072]之间调整 set odps.pypy.enabled=true/false作用:python性能优化,设置true后,odps sql都会使用odps-pypy执行python udf/udtf。false 为回到老引擎 set odps.sql.udf.optimize.reuse=true/false作用:开启后,相同的UDF函数表达式,只计算一次,可以提高性能,默认为true。 set odps.sql.udf.strict.mode=false/true作用:true为金融模式和false为淘宝模式,控制有些函数在遇到脏数据时是返回NULL还是抛异常,true是抛出异常,false是返回null。 正则优化odps.sql.udf.regexp.optimize=true/false作用:基于google re2的正则表达式引擎,对正则表达式相关函数进行了优化,true为开启 Mapjoin设置set odps.sql.mapjoin.memory.max=512作用:设置mapjoin时小表的最大内存,默认512,单位M,[128,2048]之间调整 动态分区设置set odps.sql.reshuffle.dynamicpt=true/false作用:(1)false:不会产生倾斜(2)true:合并小文件。默认为true 数据倾斜设置set odps.sql.groupby.skewindata=true/false作用:开启group by优化 set odps.sql.skewjoin=true/false作用:开启join优化,必须设置odps.sql.skewinfo 才有效 set odps.sql.skewinfo作用:设置join优化具体信息,格式 set odps.sql.skewinfo=skewed_src:(skewed_key)[("skewed_value")]例子:针对单个字段单个倾斜数值set odps.sql.skewinfo=src_skewjoin1:(key)[("0")] explain select a.key c1, a.value c2, b.key c3, b.value c4 from src a join src_skewjoin1 b on a.key = b.key;针对单个字段多个倾斜数值set odps.sql.skewinfo=src_skewjoin1:(key)[("0")("1")] explain select a.key c1, a.value c2, b.key c3, b.value c4 from src a join src_skewjoin1 b on a.key = b.key; Map设置set odps.sql.mapper.cpu=100作用:设定处理map task每个instance的cpu数目,默认为100。[50,,800]之间调整 set odps.sql.mapper.memory=1024作用:设定map task每个instance的memory大小,单位M,默认1024M。[256,12288]之间调整 set odps.sql.mapper.merge.limit.size=64作用:设定控制文件被合并的最大阈值,单位M,默认64M。用户可以通过控制这个变量,从而达到对map端输入的控制。[0,Integer.MAX_VALUE]之间调整 set odps.sql.mapper.split.size=256作用:设定一个map的最大数据输入量,单位M,默认256M。用户可以通过控制这个变量,从而达到对map端输入的控制。[1,Integer.MAX_VALUE]之间调整 Join设置set odps.sql.joiner.instances=-1作用: 设定Join task的instance数量,默认为-1。[0,2000]之间调整 set odps.sql.joiner.cpu=100作用: 设定Join task每个instance的cpu数目,默认为100。[50,800]之间调整 set odps.sql.joiner.memory=1024作用:设定Join task每个instance的memory大小,单位为M,默认为1024M。[256,12288]之间调整 Reduce设置set odps.sql.reducer.instances=-1作用: 设定reduce task的instance数量,默认为-1。[0,2000]之间调整 set odps.sql.reducer.cpu=100作用: 设定处理reduce task每个instance的cpu数目,默认为100。[50,800]之间调整 set odps.sql.reducer.memory=1024作用: 设定reduce task每个instance的memory大小,单位M,默认1024M。[256,12288]之间调整 Udf设置set odps.sql.udf.jvm.memory=1024作用: 设定UDF jvm heap使用的最大内存,单位M,默认1024M。[256,12288]之间调整 set odps.sql.udf.timeout=600作用:设置UDF超时时间,默认为600秒,单位秒。[0,3600]之间调整 set odps.sql.udf.python.memory=256作用:设定UDF python 使用的最大内存,单位M,默认256M。[64,3072]之间调整 set odps.pypy.enabled=true/false作用:python性能优化,设置true后,odps sql都会使用odps-pypy执行python udf/udtf。false 为回到老引擎 set odps.sql.udf.optimize.reuse=true/false作用:开启后,相同的UDF函数表达式,只计算一次,可以提高性能,默认为true。 set odps.sql.udf.strict.mode=false/true作用:true为金融模式和false为淘宝模式,控制有些函数在遇到脏数据时是返回NULL还是抛异常,true是抛出异常,false是返回null。 正则优化odps.sql.udf.regexp.optimize=true/false作用:基于google re2的正则表达式引擎,对正则表达式相关函数进行了优化,true为开启 Mapjoin设置set odps.sql.mapjoin.memory.max=512作用:设置mapjoin时小表的最大内存,默认512,单位M,[128,2048]之间调整 动态分区设置set odps.sql.reshuffle.dynamicpt=true/false作用:(1)false:不会产生倾斜(2)true:合并小文件。默认为true 数据倾斜设置set odps.sql.groupby.skewindata=true/false作用:开启group by优化 set odps.sql.skewjoin=true/false作用:开启join优化,必须设置odps.sql.skewinfo 才有效 set odps.sql.skewinfo作用:设置join优化具体信息,格式 set odps.sql.skewinfo=skewed_src:(skewed_key)[("skewed_value")]例子:针对单个字段单个倾斜数值set odps.sql.skewinfo=src_skewjoin1:(key)[("0")] explain select a.key c1, a.value c2, b.key c3, b.value c4 from src a join src_skewjoin1 b on a.key = b.key;针对单个字段多个倾斜数值set odps.sql.skewinfo=src_skewjoin1:(key)[("0")("1")] explain select a.key c1, a.value c2, b.key c3, b.value c4 from src a join src_skewjoin1 b on a.key = b.key;
1608391764105511 2019-12-02 01:13:40 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 Alias命令 Alias功能主要为了满足在不修改代码的前提下,在MapReduce或自定义函数(UDF) 代码中,通过某个固定的资源名读取不同资源(数据)的需求。 命令格式如下: alias <alias>=<real>; 行为说明如下: 为资源创建别名。 示例如下: ADD TABLE src_part PARTITION (ds='20121208') AS res_20121208; ADD TABLE src_part PARTITION (ds='20121209') AS res_20121209; ALIAS resName=res_20121208; jar -resources resName -libjars work.jar -classpath ./work.jar com.company.MainClass args ...; // 作业一 ALIAS resName=res_20121209; jar -resources resName -libjars work.jar -classpath ./work.jar com.company.MainClass args ...; // 作业二上面的资源别名 resName在两个作业里引用到不同的资源表,代码可以不做修改也能读取到不同的数据。 Set 命令格式如下: set <KEY>=<VALUE> 行为说明如下: 您可以使用set命令设置MaxCompute或用户自定义的系统变量影响MaxCompute的行为。 目前,MaxCompute支持的系统变量,如下所示: --MaxCompute SQL及新版本Mapreduce支持的Set命令 set odps.sql.allow.fullscan= --设置是否允许对分区表进行全表扫描,false不允许,true为允许。 set odps.stage.mapper.mem= --设置每个map worker的内存大小,单位是M,默认值1024M。 set odps.stage.reducer.mem= --设置每个reduce worker的内存大小,单位是M,默认值1024M。 set odps.stage.joiner.mem= --设置每个join worker的内存大小,单位是M,默认值1024M。 set odps.stage.mem = --设置MaxCompute 指定任务下所有worker的内存大小。优先级低于以上三个set key,单位M,无默认值。 set odps.stage.mapper.split.size= -- 修改每个map worker的输入数据量,即输入文件的分片大小,从而间接控制每个map阶段下worker的数量,单位M,默认值256M。 set odps.stage.reducer.num= --修改每个reduce阶段worker数量,无默认值。 set odps.stage.joiner.num= --修改每个join阶段worker数量,无默认值。 set odps.stage.num= --修改MaxCompute 指定任务的所有阶段的worker的并发度,优先级低于以上三者,无默认值。 set odps.sql.type.system.odps2= -- 默认为false,SQL(Create、select、insert等操作)中涉及到新数据类型(TINYINT、SMALLINT、 INT、 FLOAT、VARCHAR、TIMESTAMP BINARY)时需要设置为true。 Show Flags 命令格式如下: show flags; --显示Set设置的参数 行为说明如下: 运行Use Project命令会清除掉Set命令设置的配置。 SetProject 命令格式如下: setproject <KEY>=<VALUE>; 行为说明如下: 您可以使用setproject命令设置Project属性。 例如,以下示例是设置允许全表扫描的方法。 setproject odps.sql.allow.fullscan = true; 当不指定<KEY>=<VALUE>时,显示当前Project的属性配置。命令格式如下:setproject; --显示setproject设置的参数 Project属性的详细说明如下: 属性名称 设置权限 属性描述 取值范围 odps.sql.allow.fullscan ProjectOwner 项目是否允许全表扫描 true(允许)/false(禁止) odps.table.drop.ignorenonexistent 所有用户 当删除不存在的表时,是否报错。true时不报错 true(不报错)/false odps.security.ip.whitelist ProjectOwner 指定访问Project的IP白名单 ip列表,逗号分隔 odps.table.lifecycle ProjectOwner optional:创建表时,lifecycle子句为可选,如果用户不设置 生命周期,则此表永久有效。mandatory:lifecycle子句为必 选。inherit:如果用户不指定生命周期,该表的生命周期为 odps.table.lifecycle.value的值。 optional /mandatory/inherit odps.table.lifecycle.value ProjectOwner 默认的生命周期值 1 ~ 37231(默认) odps.instance.remain.days ProjectOwner Instance信息保留时间 3 ~ 30 READ_TABLE_MAX_ROW ProjectOwner Select语句返回给客户端的数据条数 1~10000 odps.security.ip.whitelist示例 MaxCompute支持Project级别的IP白名单。 说明 设置IP白名单后,只有白名单列表中的IP(console或者SDK所在的出口IP)能够访问这个Project。 设置IP白名单后,您需要等待五分钟后才会生效。 如果您误操作,将自己屏蔽,请通过提工单向阿里云技术支持寻求帮助。 白名单中IP列表的表示格式有三种。 单纯IP:例如101.132.236.134。 子网掩码:100.116.0.0/16。 网段:101.132.236.134-101.132.236.144。 这三种格式可以写在同一个命令中,用逗号分割。 例如,以下为命令行工具设置IP白名单的方法: setproject odps.security.ip.whitelist=101.132.236.134,100.116.0.0/16,101.132.236.134-101.132.236.144; IP白名单清空后,MaxCompute就认为Project关闭了白名单功能。 setproject odps.security.ip.whitelist=; 计量预估(Cost SQL命令) 命令格式如下: cost sql <SQL Sentence>; 行为说明如下: 预估出一条SQL的计量信息,包含输入数据的大小、UDF个数以及SQL复杂等级。 说明 该信息不能够作为实际计费标准,仅具有参考意义。 示例如下: odps@ $odps_project >cost sql select distinct project_name, user_name from meta.m_security_users distribute by project_name sort by project_name; ID = 20150715113033121gmsbjxl1 Input:65727592 Bytes UDF:0 Complexity:1.0
2019-12-01 23:10:57 0 浏览量 回答数 0

回答

odps 支持多表关联操作,但是不支持 join 笛卡尔积关联。支持left outer join (左连)等关联。具体的方法和例子,您可以参考https://help.aliyun.com/document_detail/48950.html中下方关联。大体的sql关联逻辑不是odps特有,和标准sql类似。您的这个逻辑大致可以如下select a.xx, b.xx, c.xx from tb_tmp a left outer join tb _tmp2 b on a.id=b.id left outer join tb _tmp3 c on b.id=c.id and a.id=c.id
琴瑟 2019-12-02 00:01:01 0 浏览量 回答数 0

万券齐发助力企业上云,爆款产品低至2.2折起!

限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

回答

你说的多张表关联查询是指类似sql的join吗?表格存储本身不支持这样的查询。可以通过odps或者emr提供的sql能力来做到。odps和emr都可以直接读取表格存储上的数据。
好慢 2019-12-02 03:15:23 0 浏览量 回答数 0

问题

如何解决使用ODPS聚合函数时执行结果爆炸问题

如何解决使用 ODPS聚合函数时执行结果爆炸问题 知途网 是阿里云在线学习平台,教学答疑中为大家提供使用阿里云产品遇到问题的解决方案,下面 知途网 将为大家讲解一下,如何解决使用 O...
patricia 2019-12-01 21:15:20 7684 浏览量 回答数 2

问题

odps sql 子查询再联表查询时,报错!

SELECT a.*, round(a.count / b.count, 2) AS count_percent , round(a.amount / b.amount, 2) AS amount_percentFROM (SELECT C...
zhanggc 2019-12-01 19:39:20 4222 浏览量 回答数 2

回答

这个方案可行的;性能应该还行。另一个实现比较快的可行方案是,新建一个odps表存对应的字典;使用odps-sql的join操作,就能实现源数据的标准化;如果字典表比较小的话,还可以通过maojion去优化执行效率。
jeff.w@87 2019-12-02 01:15:43 0 浏览量 回答数 0

回答

ODPS的SQL和Hive类似,和ANSI SQL有区别,可以参考下Programming Hive这本书Join相关的章节。 如果实现把B表中包含在A表中的记录排除掉,也就是A - B,可以使用left outer join,将(join key) is null的记录挑出来。
jxu 2019-12-02 03:11:50 0 浏览量 回答数 0

问题

ODPS的使用性能比RDS的差,什么原因?

问:ODPS(Maxcomput)是自带存储功能的。其中的BI报表功能可以使用RDS、ADS、ECS以及ODPS存储的数据进行计算,但对比下来,ODPS的明显比ADS的慢...
福利达人 2019-12-01 21:27:11 3799 浏览量 回答数 2

问题

ODPS大讲堂之SQL更新于4月28日凌晨

今天总算闲了一些,给同学们介绍些ODPS的基本知识吧。先从SQL开始说起。 一些基本的语法我就不介绍了,同学们可以参考SQL部分的文档: ddl: create table/view, drop t...
halcyon 2019-12-01 21:51:22 16532 浏览量 回答数 5

问题

MaxCompute百问集锦(持续更新20171011)

大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效...
隐林 2019-12-01 20:19:23 38430 浏览量 回答数 18

回答

语法结构 --set set odps.sql.type.system.odps2=true; [set odps.stage.reducer.num=xxx;] [...] --ddl create table table1 xxx; [create table table2 xxx;] [...] --dml @var1 := SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table3 [WHERE where_condition]; @var2 := SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table4 [WHERE where_condition]; @var3 := SELECT [ALL | DISTINCT] var1.select_expr, var2.select_expr, ... FROM @var1 join @var2 on ...; INSERT OVERWRITE|INTO TABLE [PARTITION (partcol1=val1, partcol2=val2 ...)] SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM @var3; [@var4 := SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var1 UNION ALL | UNION SELECT [ALL | DISTINCT] var1.select_expr, var.select_expr, ... FROM @var2; CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name AS SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM var4;] [...]
LiuWH 2020-03-19 22:43:29 0 浏览量 回答数 0

问题

MaxCompute最佳实践:修改不兼容SQL实战

MaxCompute 开发团队近期已经完成了  MaxCompute2.0灰度升级。新升级的版本完全拥抱开源生态,支持更多的语言功能,带来更快的运行速度,同时新版本会执行更严格的语法检测࿰...
行者武松 2019-12-01 22:09:22 4078 浏览量 回答数 0

问题

关于mapjoin的问题

select /* + mapjoin(a) */     A.artist_id,A.ds,datediff(day,max(tianchi_songs.publish_time),A.ds) as timediff from (...
唐吉 2019-12-01 21:34:56 4762 浏览量 回答数 3

问题

ODPS学习文档官方6月20日更新

6月19日升级包括的内容有: * 解决MapReduce在Shuffle数据时写出NULL数据抛异常的问题; * MapReduce允许用户设置JVM内存,防止读取Resource时内存撑爆...
halcyon 2019-12-01 21:52:04 22182 浏览量 回答数 18

回答

MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全提交一个SQL语句,发送 RESTful 请求给HTTP服务器HTTP 服务器做用户认证。认证通过后,请求就会以 Kuafu通信协议方式发送给 Worker。Worker判断该请求作业是否需要启动Fuxi Job。如果不需要,本地执行并返回结果。如果需要,则生成一个 instance, 发送给 Scheduler。Scheduler把instance信息注册到 OTS,将其状态置成 Running。Scheduler 把 instance 添加到 instance 队列。Worker把 Instance ID返回给客户端。倾斜问题则一般是数据本身的问题,常见的数据倾斜是怎么造成的?Shuffle的时候,将各个节点上相同的key拉取到某个节点的一个task进行处理,比如按照key进行聚合或join等操作,如果某个key对应的数据量特别大的话,就会发生数据倾斜现象。数据倾斜就成为了整个task运行时间的短板。触发shuffle的常见算子:distinct、groupBy、join等。要解决数据倾斜的问题,首先要定位数据倾斜发生在什么地方,首先是哪个stage,直接在D2 UI上看就可以,查看数据是否倾斜了logview--odps task--detail--stage--longtail根据stage日志,判断出数据倾斜发生在哪个算子上。根据倾斜发生的阶段,我们又可以把它们分为map倾斜,reduce倾斜,join倾斜通常来说,对于倾斜现象,我们首先查看导致数据倾斜的key的数据分布情况,接下来大概有几种处理方案:1:过滤数据过滤掉某些脏数据,比如说是否可以去掉null,去掉某些条件对应的值2:加大并行度给任务添加处理资源,加大instance的数量,暴力3:对数据进行拆分,分而治之如果大表join小表,我们可以用mapjoin,将小表cache进内存二次分发,加上随机前缀(数据膨胀),拆分数据集为热点+非热点再进一步处理大表join超大表,还可以考虑bloomfilter4:组合使用上述方法,组合使用5:修改业务实在没有进步空间,从业务上过滤数据
萧宇@52 2019-12-01 23:54:35 0 浏览量 回答数 0

问题

MaxCompute常见问题:SQL常见问题

如何更新和删除数据?MaxCompute 执行SQL报错:提示If you really want to perform this join, try mapjoin原来没有指定分区,可以增加或更改分区吗...
行者武松 2019-12-01 22:09:50 1190 浏览量 回答数 0

问题

MaxCompute快速入门:运行SQL

大多数用户对 SQL 的语法并不陌生,简单地说,MaxCompute SQL 就是用于查询和分析 MaxCompute 中的大规模数据。目前 SQL 的主要功能可以概括如下:   支持各类运算符。通...
行者武松 2019-12-01 22:01:39 1282 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:11:01 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:10:59 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。
2019-12-01 23:11:00 0 浏览量 回答数 0

问题

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20210409)

产品简介 什么是MaxCompute呢? https://developer.aliyun.com/ask/289579 使用MaxCompute需要什么专业技能? https://developer.aliyun.co...
亢海鹏 2020-05-29 15:10:00 42262 浏览量 回答数 34

问题

MaxCompute产品定价:计量计费说明

MaxCompute 中,需要计费的操作如下所示: 存储计费:按照存储在 MaxCompute 的数据的容量大小进行阶梯计费。计算计费:MaxCompute 分按量后付费和按 CU 预...
行者武松 2019-12-01 22:01:17 1662 浏览量 回答数 0

问题

分析型数据库发展历史/Release Note是什么?

版本变更历史(Release Note) V2.3.4(2017-09-12) 变更 Cache Table配置项类型cacheTableRowlimit;变更 MasterConfig中mqNetworkPart...
nicenelly 2019-12-01 21:24:52 1080 浏览量 回答数 0

问题

分析型数据库发展历史/Release Note是什么?

版本变更历史(Release Note) V2.3.4(2017-09-12) 变更 Cache Table配置项类型cacheTableRowlimit;变更 MasterConfig中mqNetworkPart...
nicenelly 2019-12-01 21:08:38 1273 浏览量 回答数 0

问题

MaxCompute最佳实践:计算长尾调优

长尾问题是分布式计算里最常见的问题之一,也是典型的疑难杂症。究其原因,是因为数据分布不均,导致各个节点的工作量不同,整个任务就需要等最慢的节点完成才能完成。 处理这类问题的思路就是把工...
行者武松 2019-12-01 22:09:25 1223 浏览量 回答数 0

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT