AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

大数据上云第一课：（1）MaxCompute授权和外表操作躲坑指南

2020-01-09 2124
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
简介： 本文主要针对于在使用MaxCompute开发过程中，对MaxCompute账号授权、外部表操作及元数据查询等相关问题做一个简单的介绍。

一、子账号创建、AK信息绑定
如果您是第一次使用子账号登录数加平台和使用DataWorks，需要确认以下信息：
• 该子账号所属主账号的企业别名。
• 该子账号的用户名和密码。
• 该子账号的AccessKey ID和AccessKey Secret。
• 确认主账号已经允许子账号启用控制台登录。
• 确认主账号已经允许子账号自主管理AccessKey。
1、子账号创建
（1）创建子账号
（2）绑定AK信息
（3）DataWorks给定角色
（1）使用阿里云账号（主账号）登录RAM控制台。
（2）在左侧导航栏的人员管理菜单下，单击用户。
（3）单击新建用户。
（4）输入登录名称和显示名称。
（5）在访问方式区域下，选择控制台密码登录。
（6）单击确认。

说明：
（1）单击添加用户，可一次性创建多个RAM用户。
（2）RAM用户创建完成后，务必保存用户名和登录密码，并将其告知子账号。

2、创建RAM子账号的访问密钥
访问密钥对开发人员在DataWorks中创建的任务顺利运行非常重要，该密钥区别于登录时填写的账号和密码，主要用于在阿里云各产品间互相认证使用权限。因此主账号需要为子账号创建AccessKey。创建成功后，请尽可能保证AccessKey ID和AccessKey Secret的安全，切勿让他人知晓，一旦有泄漏的风险，请及时禁用和更新。运行密钥AK包括AccessKey ID和AccessKey Secret两部分。如果云账号允许RAM用户自主管理AccessKey，RAM用户也可以自行创建AccessKey。
为子账号创建AccessKey的操作如下所示。
（1）在左侧导航栏的人员管理菜单下，单击用户。
（2）在用户登录名称/显示名称列表下，单击目标RAM用户名称。
（3）在用户AccessKey 区域下，单击创建新的AccessKey。
（4）单击确认。

说明：
首次创建时需填写手机验证码。
AccessKeySecret只在创建时显示，不提供查询，请妥善保管。若AccessKey泄露或丢失，则需要创建新的AccessKey，最多可以创建2个AccessKey。

3、给RAM子账号授权
如果您需要让子账号能够创建DataWorks工作空间，需要给子账号授予AliyunDataWorksFullAccess权限。
（1）在左侧导航栏的人员管理菜单下，单击用户。
（2）在用户登录名称/显示名称列表下，找到目标RAM用户。
（3）单击添加权限，被授权主体会自动填入。
（4）在左侧权限策略名称列表下，单击需要授予RAM用户的权限策略。
（5）单击确定。
（6）单击完成。

说明：在右侧区域框，选择某条策略并单击×，可撤销该策略。

二、子账号生产环境创建函数、访问资源授权，OSS外部表授权
1、账号生产环境创建函数、访问资源授权
子账号登录DataWorks控制台之后，单击工作空间管理，成员管理给该子账号一个相应的角色。各角色对应的权限可以在工作空间管理界面的权限列表查看。此处添加的成员角色对生产环境是隔离的。下面介绍一下生产环境创建函数、访问资源授权。
（1）创建一个新的角色，给角色授权。


创建角色:create role worker;
角色指派:grant worker TO ram$建伟MaxCompute:banzhan;（ram$建伟MaxCompute:banzhan为RAM账号）
对角色授权:grant CreateInstance, CreateResource, CreateFunction, CreateTable, List ON PROJECT wei_wwww TO ROLE worker;

（2）创建UDF函数。

CREATE FUNCTION banzha_udf as 'com.aliyun.udf.test.UDF_DEMO' using '1218.jar';

前提条件是已经上传1818.jar包。资源上传结合搬站第一课视频。
2、OSS访问授权
MaxCompute需要直接访问OSS的数据，前提是需要您将OSS的数据相关权限赋给MaxCompute的访问账号。如果没有进行相应授权创，创建外部表会发现报错如下：
image.png
此时需要我们授权去访问OSS
授权方式有两种：
（1）当MaxCompute和OSS的Owner是同一个账号时，可以直接登录阿里云账号后，单击此处完成一键授权。一键授权，我们可以在访问控制给改子账号添加管理对象存储服务（OSS）权限（AliyunOSSFullAccess）。
（2）自定义授权
a.新增一个RAM角色oss-admin
b.修改角色策略内容设置

--当MaxCompute和OSS的Owner是同一个账号，设置如下。
{
"Statement": [
{
"Action": "sts:AssumeRole",
"Effect": "Allow",
"Principal": {
"Service": [
    "odps.aliyuncs.com"
]
}
}
],
"Version": "1"
}


--当MaxCompute和OSS的Owner不是同一个账号，设置如下。
{
"Statement": [
{
"Action": "sts:AssumeRole",
"Effect": "Allow",
"Principal": {
"Service": [
    "MaxCompute的Owner云账号id@odps.aliyuncs.com"
]
}
}
],
"Version": "1"
}

c.授予角色访问OSS必要的权限AliyunODPSRolePolicy

{
"Version": "1",
"Statement": [
{
"Action": [
"oss:ListBuckets",
"oss:GetObject",
"oss:ListObjects",
"oss:PutObject",
"oss:DeleteObject",
"oss:AbortMultipartUpload",
"oss:ListParts"
],
"Resource": "*",
"Effect": "Allow"
}
]
}
--可自定义其它权限。

d.将权限AliyunODPSRolePolicy授权给该角色。
三、OSS外部表创建指引
1、外部表创建的语法格式介绍
（1）外部表创建示例：

CREATE EXTERNAL TABLE IF NOT EXISTS fc_rcfile
(   `id` int,  
    `name` string
)
PARTITIONED BY ( `time_ds` string)
ROW FORMAT SERDE  
'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'  
STORED AS RCFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/fc_rcfile/';

（2）LOCATION说明
LOCATION必须指定一个OSS目录，默认系统会读取这个目录下所有的文件。
建议您使用OSS提供的内网域名，否则将产生OSS流量费用。
访问OSS外部表，目前不支持使用外网Endpoint。
目前STORE AS单个文件大小不能超过3G，如果文件过大，建议split拆分。
建议您OSS数据存放的区域对应您开通MaxCompute的区域。由于MaxCompute只有在部分区域部署，我们不承诺跨区域的数据连通性。

OSS的连接格式为oss://oss-cn-shanghai-internal.aliyuncs.com/Bucket名称/目录名称/。目录后不要加文件名称，以下为错误用法。
http://oss-odps-test.oss-cn-shanghai-internal.aliyuncs.com/Demo/  -- 不支持http连接。
https://oss-odps-test.oss-cn-shanghai-internal.aliyuncs.com/Demo/ -- 不支持https连接。
oss://oss-odps-test.oss-cn-shanghai-internal.aliyuncs.com/Demo -- 连接地址错误。
oss://oss://oss-cn-shanghai-internal.aliyuncs.com/oss-odps-test/Demo/vehicle.csv  
-- 不必指定文件名。

（3）外部表创建格式说明
语法格式与Hive的语法相当接近，但需注意以下问题。

a.STORED AS关键字，在该语法格式中不是创建普通非结构化外部表时用的STORED BY关键字，这是目前在读取开源兼容数据时独有的。STORED AS后面接的是文件格式名字，例如ORC/PARQUET/RCFILE/SEQUENCEFILE/TEXTFILE等。
b.外部表的column schemas必须与具体OSS上存储的数据的schema相符合。
c.ROW FORMAT SERDE：非必选选项，只有在使用一些特殊的格式上，比如TEXTFILE时才需要使用。
d.WITH SERDEPROPERTIES：当关联OSS权限使用STS模式授权时，需要该参数指定odps.properties.rolearn属性，属性值为RAM中具体使用的Role的Arn的信息。您可以在配置STORED AS <file format>的同时也通过<serde class>说明file format文件格式。

以ORC文件格式为例，如下所示。
CREATE EXTERNAL TABLE [IF NOT EXISTS] <external_table>
(<column schemas>)
[PARTITIONED BY (partition column schemas)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH SERDEPROPERTIES ('odps.properties.rolearn'='${roleran}'
STORED AS ORC
LOCATION 'oss://${endpoint}/${bucket}/${userfilePath}/'

e.不同file format对应的serde class如下：
• ALIORC: com.aliyun.apsara.serde.AliOrcSerDe
• SEQUENCEFILE: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
• TEXTFILE: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
• RCFILE: org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe
• ORC: org.apache.hadoop.hive.ql.io.orc.OrcSerde
• ORCFILE: org.apache.hadoop.hive.ql.io.orc.OrcSerde
• PARQUET: org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
• AVRO: org.apache.hadoop.hive.serde2.avro.AvroSerDe

（4）用Arn、AK两种认证方式建外表示例
a.用RAM中具体使用的Role的Arn的信息创建外部表
当关联OSS权限使用STS模式授权时，需要该参数指定odps.properties.rolearn属性，属性值为RAM中具体使用的Role的Arn的信息。

WITH SERDEPROPERTIES ('odps.properties.rolearn'='${roleran}'

示例如下：

CREATE EXTERNAL TABLE IF NOT EXISTS fc_csv
(
vehicleId string,
recordId string,
patientId string,
calls string,
locationLatitute string,
locationLongtitue string,
recordTime string,
direction string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES
    ('separatorChar'=',',
    'odps.properties.rolearn'='acs:ram::1928466352305391:role/oss-admin'
    )
STORED AS TEXTFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-odps-bucket/extra_test/fc_csv';

b.明文AK创建外部表（不推荐使用这种方式）
如果不使用STS模式授权，则无需指定odps.properties.rolearn属性，直接在Location传入明文AccessKeyId和AccessKeySecret。
Location如果关联OSS，需使用明文AK，写法如下所示。


LOCATION 'oss://${accessKeyId}:${accessKeySecret}@${endpoint}/${bucket}/${userPath}/'

示例如下：

CREATE EXTERNAL TABLE IF NOT EXISTS fc_csv1
(
vehicleId string,
recordId string,
patientId string,
calls string,
locationLatitute string,
locationLongtitue string,
recordTime string,
direction string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES
    ('separatorChar'=',',
    'odps.properties.rolearn'='acs:ram::1928466352305391:role/oss-admin'
    )
STORED AS TEXTFILE
-- LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-odps-bucket/extra_test/fc_csv';
LOCATION 'oss://LTAI4FfgVEQQwsNQ*******:J8FGZaoj2CMcunFrVn1FrL*****wM@oss-cn-beijing-internal.aliyuncs.com/oss-odps-bucket/extra_test/fc_csv';

2、创建 Rcfile 类型的外部表
（1）查询HIVE表schema

show create table fc_rcfile;**

结果如下：

CREATE TABLE `fc_rcfile`(
`id` int,  
`name` string)
PARTITIONED BY (  
`time_ds` string)
ROW FORMAT SERDE  
'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'  
STORED AS INPUTFORMAT  
'org.apache.hadoop.hive.ql.io.RCFileInputFormat'  
OUTPUTFORMAT  
'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
'hdfs://emr-header-1.cluster-138804:9000/user/hive/warehouse/extra_demo.db/fc_rcfile'

（2）在MaxCompute创建外部表

CREATE EXTERNAL TABLE IF NOT EXISTS fc_rcfile
(  `id` int,  
`name` string)
PARTITIONED BY ( `time_ds` string)
ROW FORMAT SERDE  
'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe'  
STORED AS RCFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/fc_rcfile/';

（3）添加分区

alter table fc_rcfile ADD PARTITION (time_ds = '20191209') ;
alter table fc_rcfile ADD PARTITION (time_ds = '20191210') ;
alter table fc_rcfile ADD PARTITION (time_ds = '20191211') ; 批量创建分区可参数使用MMA工具

（4）查询数据

select * from fc_rcfile where time_ds = '20191209' ;
select * from fc_rcfile where time_ds = '20191210' ;
select * from fc_rcfile where time_ds = '20191211' ;

3、创建Json类型的外部表
（1）创建Json类型的外部表

CREATE EXTERNAL TABLE `student`(
`student` map<string,string> COMMENT 'from deserializer',  
`class` map<string,string> COMMENT 'from deserializer',  
`teacher` map<string,string> COMMENT 'from deserializer')
COMMENT '学生课程信息'
ROW FORMAT SERDE  
'org.apache.hive.hcatalog.data.JsonSerDe'  
STORED AS TEXTFILE
LOCATION
'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/student'

（2）在对应的OSS控制台bucket上传Json文件数据。
（3）查询外部表的数据
报错信息如下所示：
image.png
解决办法：需要设置开启hive兼容的flag。

set odps.sql.hive.compatible=true;

重新查询数据即可正确返回Json数据。
image.png
以下是在Hive中查询的数据，可以看到这两处数据是一致的。
image.png
4、创建CSV格式的外部表
（1）创建CSV格式的外部表

 建表语句示例如下：
CREATE EXTERNAL TABLE IF NOT EXISTS fc_csv
(
vehicleId string,
recordId string,
patientId string,
calls string,
locationLatitute string,
locationLongtitue string,
recordTime string,
direction string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES
    ('separatorChar'=','
    )
STORED AS TEXTFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/fc_csv';

（2）查询数据

set odps.sql.hive.compatible=true;
select *  from fc_csv;

不加Hive兼容的flag设置会发现有如下报错信息：

FAILED: ODPS-0123131:User defined function exception - internal error - Fatal Error Happended

image.png
image.png
5、创建压缩格式的外部表
创建外部表时列分隔符需要使用field.delim。选择delimiter会报错或数据没有按照预期的分割符去分割。以下分别按照两种方式去创建外部表。
需要设置以下说明的属性flag。
image.png
（1）创建外部表

a.列分隔符定义为：delimiter

drop TABLE if exists oss_gzip;
CREATE EXTERNAL TABLE IF NOT EXISTS  `oss_gzip` (
`userid` string,
`job` string,
`education` string,
`region` string
) 
PARTITIONED BY (dt STRING COMMENT '日期')
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ( 
'delimiter'='\t',
'odps.text.option.gzip.input.enabled'='true', 
'odps.text.option.gzip.output.enabled'='true'
)
STORED AS TEXTFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/gzipfile/';

查询数据的时候会发现数据并没有按照我们的分隔符去进行分割，如下图所示：
image.png
image.png

b.列分隔符定义为：field.delim

drop TABLE if exists oss_gzip2;
CREATE EXTERNAL TABLE IF NOT EXISTS  `oss_gzip2` (
`userid` string,
`job` string,
`education` string,
`region` string
) 
PARTITIONED BY (dt STRING COMMENT '日期')
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ( 
'field.delim'='\t',
'odps.text.option.gzip.input.enabled'='true', 
'odps.text.option.gzip.output.enabled'='true'
)
STORED AS TEXTFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/gzipfile/';

image.png
image.png

注意：在进行列分隔符定义时使用field.delim，不可以使用delimiter

6、创建存在新数据类型的外部表
当外部表创建字段涉及新数据类型时，需要开启新类型flag。

set odps.sql.type.system.odps2=true;

否则会报如下错误：
image.png

set odps.sql.type.system.odps2=true ;
drop TABLE if exists oss_gzip3;
CREATE EXTERNAL TABLE IF NOT EXISTS  `oss_gzip3` (
`userid` FLOAT ,
`job` string,
`education` string,
`region` VARCHAR(20)
) 
PARTITIONED BY (dt STRING COMMENT '日期')
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ( 
'field.delim'='\t',
'odps.text.option.gzip.input.enabled'='true', 
'odps.text.option.gzip.output.enabled'='true'
)
STORED AS TEXTFILE
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/oss-huabei2/jianwei/flag_file/';

添加对应的分区：
alter table oss_gzip3 add if NOT EXISTS  partition(dt='20191224');

查询数据：
select * from oss_gzip3  where dt='20191224';

四、利用Information Schema元数据查看project、table的操作行为以及费用计算
1、主账号安装package
开始使用前，需要以Project Owner身份安装Information Schema的权限包，获得访问本项目元数据的权限。
以下错误是没有安装对应的Information Schema的权限包和子账号没有相关的权限
image.png
安装Information Schema的权限包方式有如下两种：
（1）在MaxCompute命令行工具（odpscmd）中执行如下命令。

odps@myproject1>install package information_schema.systables;

（2）在DataWorks中的数据开发 > 临时查询中执行如下语句。

install package information_schema.systables;

2、给子账号授权

grant read on package information_schema.systables to role worker;

3、查询元数据信息

select * from information_schema.tasks_history limit 20;

image.png
TASKS_HISTORY字段列信息如下：
image.png
image.png
4、通过 TASKS_HISTORY 计算SQL费用
SQL任务按量计费：您每执行一条SQL作业，MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生，并在第二天做一次性的计费结算。

开发者版SQL计算任务的计费公式为：
一次SQL计算费用 = 计算输入数据量 * 单价（0.15元/GB）

标准版SQL计算任务的计费公式为：
一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * 单价（0.3元/GB）

按量付费一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * 单价（0.3元/GB）

计算输入数据量：指一条SQL语句实际扫描的数据量，大部分的SQL语句有分区过滤和列裁剪，所以一般情况下这个值会远小于源表数据大小。
在 information_schema.tasks_history中字段input_bytes为实际扫描的数据量也就是我们的计算输入数据量。字段complexity为sql复杂度。所以我们可以根据以下公式来计算SQL费用。

一次SQL计算费用 = input_bytes * complexity * 单价（0.3元/GB）

欢迎加入“MaxCompute开发者社区2群”,点击链接MaxCompute开发者社区2群申请加入或扫描以下二维码加入。

image.png

文章标签：
大数据开发治理平台 DataWorks
函数计算
对象存储
云原生大数据计算服务 MaxCompute
分布式计算
SQL
数据安全/隐私保护
对象存储
HIVE
数据格式
开发者
MaxCompute
DataWorks
JSON
关键词：
云原生大数据计算服务 MaxCompute大数据
云原生大数据计算服务 MaxCompute MaxCompute
云原生大数据计算服务 MaxCompute外表
云原生大数据计算服务 MaxCompute授权
大数据云原生大数据计算服务 MaxCompute外表
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始，十ー年里一直支持阿里巴巴集团内部数据中台的建设，2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks，承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标 &nbsp;通过讲师的详细讲解与实际演示，学员可以一边学习一边进行实际操作，可以深入了解DataWorks各大模块的使用方式和具体功能，让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解，加深对阿里云大数据产品体系的理解与认识。 适合人群 &nbsp;企业数据仓库开发人员 &nbsp;大数据平台开发人员 &nbsp;数据分析师 &nbsp;大数据运维人员 &nbsp;对于大数据平台、数据中台产品感兴趣的开发者
刘-建伟
目录
相关文章
土木林森
|
1月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台，支持海量数据的存储与计算，适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面，确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序，用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
土木林森
92 1
格格的阿里云
|
3月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
格格的阿里云
141 2
格格的阿里云
|
3月前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
格格的阿里云
135 1
格格的阿里云
|
3月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
格格的阿里云
54 1
郑小健
|
3月前
|
SQL 存储 分布式计算
MaxCompute 入门：大数据处理的第一步
【8月更文第31天】在当今数字化转型的时代，企业和组织每天都在产生大量的数据。有效地管理和分析这些数据变得至关重要。阿里云的 MaxCompute（原名 ODPS）是一个用于处理海量数据的大规模分布式计算服务。它提供了强大的存储能力以及丰富的数据处理功能，让开发者能够快速构建数据仓库、实时报表系统、数据挖掘等应用。本文将介绍 MaxCompute 的基本概念、架构，并演示如何开始使用这一大数据处理平台。
郑小健
541 0
土木林森
|
3月前
|
SQL 分布式计算 大数据
"大数据计算难题揭秘：MaxCompute中hash join内存超限，究竟该如何破解？"
【8月更文挑战第20天】在大数据处理领域，阿里云的MaxCompute以高效稳定著称，但复杂的hash join操作常导致内存超限。本文通过一个实例解析此问题：数据分析师小王需对两个共计300GB的大表进行join，却遭遇内存不足。经分析发现，单个mapper任务内存默认为2GB，不足以支持大型hash表的构建。为此，提出三种解决方案：1) 提升mapper任务内存；2) 利用map join优化小表连接；3) 实施分而治之策略，将大表分割后逐一处理再合并结果。这些方法有助于提升大数据处理效率及稳定性。
土木林森
85 0
有路有乔-六月
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量，引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量，引领未来趋势
有路有乔-六月
179 0
yuanzhengme
|
6天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么？
数据架构 ODPS 是什么？
yuanzhengme
51 7
小Lee
|
6天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
小Lee
16 2
土木林森
|
18天前
|
数据采集 监控 数据管理
数据治理之道：大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展，数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理，包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理，为企业数据治理提供参考。
土木林森
62 1
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    阿里云开源离线同步工具DataX3.0介绍
  • 2
    大数据环境下该如何优雅地设计数据分层
  • 3
    odps是什么?
  • 4
    Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 5
    【转载】时隔一年多，我又用起了 Superset
  • 6
    MaxCompute常见错误汇总（更新ing）
  • 7
    混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践
  • 8
    如何有效降低大数据平台安全风险
  • 9
    【逐云】阿里“水电煤”背后的人物故事
  • 10
    【直击深圳云栖大会大数据专场】陈鹏宇分享主题—数加：迈向数据智能之路
  • 1
    【赵渝强老师】Spark SQL的数据模型：DataFrame
    26
  • 2
    【赵渝强老师】Spark生态圈组件
    28
  • 3
    青否数字人声音克隆算法升级，16个超真实直播声音模型免费送！
    50
  • 4
    PHP 弱类型变量的实现原理
    41
  • 5
    阿里云与传智教育联合直播：深度解析MaxFrame，探索量化交易新纪元
    201
  • 6
    CDGA|信息差不再是障碍：数据治理新策略
    77
  • 7
    云栖实录 | MaxCompute 迈向下一代的智能云数仓
    256
  • 8
    OceanBase CTO杨传辉谈AI时代下数据库技术的创新演进路径！
    82
  • 9
    MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
    84
  • 10
    使用静态IP时出现“代理检测失败”的原因是什么？
    131

    • 相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践

    • 相关实验场景

    更多
  • 阿里云数据库产品实验室
  • 数据湖构建DLF快速入门
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • 基于MaxCompute的热门话题分析
  • 灵活弹性的PolarDB Serverless确保数据业务持续在线
    • 下一篇
    阿里云OSS设置跨域访问