大数据ACP总结(一)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

刚刚顺利苟过了阿里ACP, 主要复习策略是多次熟悉阿里云提供大数据官方教程,官方文档,并对核心环境做总结。

社区关于复习提纲的内容以及比较详细了,这里梳理下存在关键细节的考点,也给大家一些参考。

关键数字:

  • 单表分区层级最多6级。单表分区数最多允许60000个分区。一次查询最多查询分区数为10000个分区。
  • MaxCompute支持上传的单个资源大小上限为500MB,
  • 当使用Select语句屏显时,目前最多只能显示10000行结果
  • 单个SQL中最多可以写256路输出,
  • MaxCompute在MapJoin中最多支持指定8张小表,否则报语法错误。如果使用MapJoin,则所有小表占用的内存总和不得超过512MB。
  • 名称的长度不超过128字节。一张表最多允许60000个分区,单表的分区层次不能超过6级。注释内容是长度不超过1024字节的有效字符串
  • 表的最大列数为1200列。

sql语法:

Q:在 MaxCompute SQL 执行过程中,报错为Table xx has n columns, but query has m columns。

A:MaxCompute SQL 使用 INSERT INTO/OVERWRITE TABLE XXX SELECT 插入数据时,需要保证 SELECT查询出来的字段和插入的表的字段,包括顺序、字段类型都能匹配,当然总的字段数量上也要能对的上。

目前 MaxCompute 不支持指定插入表中某几个字段,其他字段为 NULL 或者其他默认值的情况,您可以在 SELECT 的时候设置成 NULL,例如:SELECT ‘a’,NULL FROM XX。

Q:用insert into…values...语句插入表记录报错,请问如何向 MaxCompute 表中插入记录?

A:向 MaxCompute 表中插入记录的操作步骤如下:

创建一个表, 例如 dual 表。语句如下:

createtabledual(cntbigint);
insertintotabledualselectcount(*) as cnt from dual;

执行完上述语句便生成了一张有 1 条记录的 dual 表。
执行下述语句,即可向 MaxCompute 表中插入记录。

insert into table xxxx select 1,2,3 from dual;

Q:用insert into partition时,如果分区不存在,如何操作

A: 用insert into partition时,如果分区不存在,如何会自动创建分区

  • 分布式环境下,使用动态分区功能的SQL中,单个进程最多只能输出512个动态分区,否则会引发运行时异常。
  • 动态生成的分区值不允许为NULL,也不支持含特殊字符和中文,否则会引发运行时异常FAILED: ODPS-0123031:Partition exception - invalid dynamic partition value: province=xxx。
  • 如果目标表有多级分区,在运行INSERT语句时允许指定部分分区为静态,但是静态分区必须是高级分区
  • MaxCompute 1.0在进行动态分区时,如果分区列的类型与对应SELECT列表中列的类型不严格一致,会发生报错。MaxCompute 2.0则支持隐式类型转换。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
大数据
阿里云大数据ACA和ACP题库
来源周周的奇妙编程:https://developer.aliyun.com/profile/pmur6hy3nphhs
2903 2
|
存储 分布式计算 数据可视化
阿里云大数据ACA及ACP复习题(541~550)
最近事务繁忙确实没有时间整理,题库的话也剩的不多了,最后再更新几期吧,主要是现在时间不太够,又得忙着备考ACE,后面准备整点ACE的选择题和实操题。
|
分布式计算 数据可视化 数据挖掘
阿里云大数据ACA及ACP复习题(531~540)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,因为是纯手工整理解析所以可能出现答案打错的情况,题库是能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
SQL 分布式计算 大数据
阿里云大数据ACA及ACP复习题(511~520)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,因为是纯手工整理解析所以可能出现答案打错的情况,题库是能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
存储 分布式计算 大数据
阿里云大数据ACA及ACP复习题(501~510)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,因为是纯手工整理解析所以可能出现答案打错的情况,题库是能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
机器学习/深度学习 运维 分布式计算
阿里云大数据ACA及ACP复习题(491~500)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,因为是纯手工整理解析所以可能出现答案打错的情况,题库是能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
存储 分布式计算 供应链
阿里云大数据ACA及ACP复习题(521~530)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,因为是纯手工整理解析所以可能出现答案打错的情况,题库是能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
运维 监控 大数据
阿里云大数据ACA及ACP复习题(481~490)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,因为是纯手工整理解析所以可能出现答案打错的情况,题库是能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
分布式计算 算法 大数据
阿里云大数据ACA及ACP复习题(371~380)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)
|
存储 机器学习/深度学习 分布式计算
阿里云大数据ACA及ACP复习题(471~480)
本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)