MaxCompute使用常见问题总结

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: Maxcompute常见问题的总结,方便广大用户可以快速排查问题

计费相关

存储计费:按照存储在 MaxCompute 的数据的容量大小进行阶梯计费。

计算计费:MaxCompute 分按量后付费和按 CU 预付费两种计算计费方式。

按量后付费:按量后付费方式针对 SQL 任务和 MapReduce 任务进行计费。

SQL 任务按量后付费:即 SQL 任务按 I/O 后付费。

MapReduce 按量后付费:即 MapReduce 任务按量进行计费。

按 CU 预付费:此方式仅在阿里云大数据平台提供。

下载计费: MaxCompute 将按照下载的数据大小进行计费
注意是对公网下载收费,内网下载不收费
参考https://help.aliyun.com/document_detail/27989.html?spm=5176.doc45389.6.560.LYjhcl

SQL语法和标准sql区别

1,无事务控制
2,暂时不支持update/delete
3,不支持修改字段类型,不支持删除字段
4,不支持 select from 多表
5,其他hive对标函数,官方文档没有的暂时不支持
更多参考
https://help.aliyun.com/document_detail/50985.html?spm=5176.doc27862.6.757.lSC74f

SQL限制

select 最大显示10000行
想导出大于10000行参考
https://help.aliyun.com/document_detail/53093.html?spm=5176.7751065.6.751.iLm6hF
2,string字段最大8M
更多其他限制参考
https://help.aliyun.com/document_detail/51823.html?spm=5176.doc53093.6.618.R37r8p

java沙箱限制类问题

用户经常问:
本地测试正常,在提交到odps后失败,代码一毛一样
https://help.aliyun.com/document_detail/27967.html?spm=5176.doc51823.6.647.Rt0efa
原因:
处于安全考虑,对一些第三方jar包做了限制
一般是fastjson这个包比较常见,
由于java沙箱限制,对一些第三方jar包由限制,fastjson的jar包被限制因为安全沙箱的原因无法使用。
https://help.aliyun.com/document_detail/27967.html
建议用gson
import com.google.gson.Gson;这个包试下
其他的jar的限制用户遇到类似报错可以提交工单咨询

下图是常见报错例子
image.png

没有启用新类型flag

若想使用新数据类型,需在 SQL 语句前加语句:set odps.sql.type.system.odps2=true;
目前情况是需要加这个set,后续会省掉
https://help.aliyun.com/document_detail/27821.html?spm=5176.doc27967.6.546.XhnAGU
新数据类型,以及新函数、函数返回值是新数据类型都需要set
如果没有set,报错现象
com.aliyun.odps.OdpsException: ODPS-0130071:[1,8] Semantic analysis exception - function or view udtf_recom cannot be resolved
找不到函数或者方法

oss和ots外部表创建,查询失败

1,检查是否按照文档授权
https://help.aliyun.com/document_detail/45389.html?spm=5176.doc27821.6.691.5g0yGt
2,报错类似
DDL syntax error:ODPS-0130071:Semantic analysis exception - unrecognized option 'EXTERNAL'.
检查:是否引用了新类型,也需要set
3,如果建表后查询失败
检查用户oss或者ots数据量是否巨大,
oss的object数量是否很多
单个object是否很大
参考文档 https://www.atatech.org/articles/67977 理解
报错例子 没有授权
image

客户端odpscmd 报错

连接客户端/访问域名先看下域名
https://help.aliyun.com/document_detail/34951.html?spm=5176.doc48950.6.572.58H50H
项目名称
Ak信息
如果报错找不到java类什么的
一般是客户端java环境(暂时不支持java9),建议java 7和8

任务运行比较慢

1,如果是按量付费,请提交工单,如果是预付费,可以先看下cu对应的项目是否有大量作业或者比较大的作业,长期没有执行完。
可以使用主账户执行命令: TOP INSTANCE;这种方式查看当前正在运行的任务(在客户端(版本为0.29.0或以上)运行。)
下载最新版本的客户端: https://help.aliyun.com/document_detail/27804.html?
您也可以通过这个工具查看项目下运行任务的状态
https://yq.aliyun.com/articles/247739?spm=5176.8091938.0.0.7Sf007
如果是预付费cu用户可以使用这个工具查看cu使用情况
https://help.aliyun.com/document_detail/66565.html?spm=a2c4g.11186623.6.713.QARDJv
2,数据倾斜
https://help.aliyun.com/document_detail/51020.html?spm=5176.doc34951.6.754.iMKNUT

有对大数据技术感兴趣的,可以加笔者(已从阿里离职)的微信 wx4085116
目前开了一个大数据线上培训班。有兴趣的加我。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
6月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
存储 SQL 缓存
使用实践:Hologres对接MaxCompute常见问题排查
本文总结了Hologres对接MaxCompute时的常见问题与处理方法。
3325 3
使用实践:Hologres对接MaxCompute常见问题排查
|
6月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之将MaxCompute方法设置成永久如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
|
6月前
|
数据采集 分布式计算 DataWorks
DataWorks常见问题之dataworks引用maxcompute资源失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
SQL 编解码 分布式计算
【MaxCompute 常见问题】 UDF
查看资源信息 假设资源名称为 pyudf_test.py,在 odpscmd 客户端执行 desc resource pyudf_test.py;,或在 datastudio 中新建 SQL 节点后输入 desc resource pyudf_test.py;执行。
【MaxCompute 常见问题】 UDF
|
SQL 分布式计算 Hadoop
【大数据】Sqoop使用常见问题
【大数据】Sqoop使用常见问题
564 0
|
存储 分布式计算 DataWorks
【MaxCompute 常见问题】 MaxCompute Spark
如何将开源 Spark 代码迁移到 Spark on MaxCompute?分以下三种情形: 作业无需访问 MaxCompute 表和 OSS。您的 Jar 包可直接运行,具体步骤请参见搭建开发环境。注意,对于 Spark 或 Hadoop 的依赖必须设成 provided。
【MaxCompute 常见问题】 MaxCompute Spark
|
SQL JSON 分布式计算
【MaxCompute 常见问题】 外部表
使用 OSS 外部表怎么样将多个小文件,输出为一个文件? 查看 Logview 日志,看 SQL 的执行计划,看最后一个是 Reducer 还是 Joiner, 如果是 Reducer 则设置参数为 set odps.stage.reducer.num=1, 如果是 Joiner,则设置为 set odps.stage.joiner.num =1。
【MaxCompute 常见问题】 外部表
|
存储 SQL 分布式计算
【MaxCompute 常见问题】 产品计费
MaxCompute如何计费? MaxCompute 是以 project 为计费单元,计费项包括存储、计算、数据下载三类。 当我们开通 MaxCompute 服务时都会碰见一个问题,如何选择自己的计费方式,怎么估算?
【MaxCompute 常见问题】 产品计费
|
SQL 数据采集 分布式计算
大数据常见问题:数据倾斜
大数据常见问题:数据倾斜
大数据常见问题:数据倾斜

相关产品

  • 云原生大数据计算服务 MaxCompute