MaxCompute操作报错合集之在MaxCompute中加载自定义函数SURPATH_UPPER时出现了问题,如何解决

简介: MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

问题一:大数据计算MaxCompute恢复分区表的某个历史分区报错?

大数据计算MaxCompute恢复分区表的某个历史分区报错?

Catalog Service Failed, ErrorCode: 105, Error Message: ODPS-0110061: Failed to run ddltask - Restore table failed because: Timemachine feature is not supported for schema evolved table



参考答案:

这个错误是因为MaxCompute不支持恢复已演化的表。您可以尝试以下方法解决这个问题:

  1. 如果您需要恢复历史分区,可以考虑使用其他数据存储服务,如阿里云OSS、阿里云HDFS等。
  2. 如果您确实需要恢复已演化的表,可以考虑在MaxCompute中创建一个新的表,然后将历史分区的数据导入到新表中。具体操作步骤如下:
  1. 创建一个新的表,结构与原表相同。
  2. 将历史分区的数据导出为CSV文件或其他格式。
  3. 将导出的数据导入到新表中。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566768



问题二:大数据计算MaxCompute作业设置了出错自动重跑,间隔2分钟,重跑3次这样合理吗?

大数据计算MaxCompute作业设置了出错自动重跑,间隔2分钟,重跑3次这样合理吗?如果重跑第一次的时候,人工干预停止了第一次重跑作业,后面2次自动重跑还会起来吗?



参考答案:

只要中途手动终止的 我理后面都不会触发重跑。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566752



问题三:大数据计算MaxCompute 自定义函数报这个错?

大数据计算MaxCompute Semantic analysis exception - class com.surpath.mc.common.SurpathUpper for user defined function SURPATH_UPPER cannot be loaded from any resources;自定义函数报这个错?



参考答案:

当前MaxCompute内的资源里没有class com.surpath.mc.common.SurpathUppe这个类,检查下自定义函数类所在的资源,是否以及上传到MaxCompute上,并且已经提交。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566607



问题四:大数据计算MaxCompute我的odps任务中途总是会失败一次,报错如下,帮忙看看是为什么?

大数据计算MaxCompute我的odps任务中途总是会失败一次,报错如下,帮忙看看是为什么?

{"t":"SERVICE_MODE","a":{"f":{"odps.service.mode":"off"}},"d":"ODPS-0010000:System internal error - Service mode falling back to batch mode to rerun due to AllOrNothingResourceWaitTimeout"}

https://logview.aliyun.com/logview?h=http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api&p=bigdata_poc_zj&i=20231101014706341gxqm24hxk9&token=ZFV2Q0hRZWE3WVArMWVBSEhKNjI5RC9paXpnPSxPRFBTX09CTzpwNF8yMDM0NjAwOTM5NjkyNzgyNjksMTcwMTM5NTIyNix7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvYmlnZGF0YV9wb2NfemovaW5zdGFuY2VzLzIwMjMxMTAxMDE0NzA2MzQxZ3hxbTI0aHhrOSJdfV0sIlZlcnNpb24iOiIxIn0=&



参考答案:

任务整体是成功的,过程中是online job失败后,回退到了offline。报错也是回退的时候报的我理解。Fuxi Job的两种作业类型:Online Job(service mode)和Offline Job。对于Offline的作业而言,当每次提交作业时在Fuxi上都会有一个环境准备的时间,针对大数据量并且不需要返回查询结果的作业比较合适,而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式,也是online,首先会有一个服务去预先申请计算一些资源并加载出来,比如会预先分配一 万个nstance,当有作业提交时会根据作业规模分配一些Instance进行执行,这样就省去环境准备的时间,所以就会比较快。online不等资源且不保证成功。如果service mode失败,比如instance个数超过1000,或者运行超过10分钟,就会退回以Offline模式重跑。可以set odps.service.mode=off;这样就直接跑完了,不会再跑online



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566598



问题五:大数据计算MaxCompute其他两个set命令也是,一起跑就报错?

大数据计算MaxCompute其他两个set命令也是,一起跑就报错?these commands can not run without other normal command: ['setproject odps.sql.hive.compatible=false']



参考答案:

set odps.sql.type.system.odps2=true;

set odps.sql.decimal.odps2=true;

set odps.sql.hive.compatible=false;

SELECT sequence(1, 5);



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566596

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
分布式计算 DataWorks 调度
oss数据同步maxcompute报错
在使用阿里云DataWorks同步OSS数据至MaxCompute时,遇到“Input is not in the .gz format”的报错。问题源于目标目录中存在一个空文件,导致同步时识别错误。
|
分布式计算 Java MaxCompute
ODPS MR节点跑graph连通分量计算代码报错java heap space如何解决
任务启动命令:jar -resources odps-graph-connect-family-2.0-SNAPSHOT.jar -classpath ./odps-graph-connect-family-2.0-SNAPSHOT.jar ConnectFamily 若是设置参数该如何设置
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之如何解决datax同步任务时报错ODPS-0410042:Invalid signature value
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
SQL 分布式计算 MaxCompute
SQL开发问题之对于ODPS中的UNION操作,执行计划的问题如何解决
SQL开发问题之对于ODPS中的UNION操作,执行计划的问题如何解决
314 7
|
分布式计算 资源调度 DataWorks
MaxCompute操作报错合集之出现“查询运行日志失败”的报错,一般是什么导致的
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
246 3
|
分布式计算 大数据 数据处理
MaxCompute操作报错合集之编写UDF(用户自定义函数)时,报错:找不到主类,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
348 1
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之写入ODPS目的表时遇到脏数据报错,该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
572 0
|
分布式计算 DataWorks NoSQL
DataWorks操作报错合集之遇到报错:failed: ODPS-0130071:[1,36] Semantic analysis exception,该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
691 0
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之新建MAXComputer数据源时,如何解决报错ODPS-0420095: Access Denied
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
369 14

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute