MaxCompute操作报错合集之在MaxCompute中加载自定义函数SURPATH_UPPER时出现了问题,如何解决

简介: MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

问题一:大数据计算MaxCompute恢复分区表的某个历史分区报错?

大数据计算MaxCompute恢复分区表的某个历史分区报错?

Catalog Service Failed, ErrorCode: 105, Error Message: ODPS-0110061: Failed to run ddltask - Restore table failed because: Timemachine feature is not supported for schema evolved table



参考答案:

这个错误是因为MaxCompute不支持恢复已演化的表。您可以尝试以下方法解决这个问题:

  1. 如果您需要恢复历史分区,可以考虑使用其他数据存储服务,如阿里云OSS、阿里云HDFS等。
  2. 如果您确实需要恢复已演化的表,可以考虑在MaxCompute中创建一个新的表,然后将历史分区的数据导入到新表中。具体操作步骤如下:
  1. 创建一个新的表,结构与原表相同。
  2. 将历史分区的数据导出为CSV文件或其他格式。
  3. 将导出的数据导入到新表中。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566768



问题二:大数据计算MaxCompute作业设置了出错自动重跑,间隔2分钟,重跑3次这样合理吗?

大数据计算MaxCompute作业设置了出错自动重跑,间隔2分钟,重跑3次这样合理吗?如果重跑第一次的时候,人工干预停止了第一次重跑作业,后面2次自动重跑还会起来吗?



参考答案:

只要中途手动终止的 我理后面都不会触发重跑。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566752



问题三:大数据计算MaxCompute 自定义函数报这个错?

大数据计算MaxCompute Semantic analysis exception - class com.surpath.mc.common.SurpathUpper for user defined function SURPATH_UPPER cannot be loaded from any resources;自定义函数报这个错?



参考答案:

当前MaxCompute内的资源里没有class com.surpath.mc.common.SurpathUppe这个类,检查下自定义函数类所在的资源,是否以及上传到MaxCompute上,并且已经提交。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566607



问题四:大数据计算MaxCompute我的odps任务中途总是会失败一次,报错如下,帮忙看看是为什么?

大数据计算MaxCompute我的odps任务中途总是会失败一次,报错如下,帮忙看看是为什么?

{"t":"SERVICE_MODE","a":{"f":{"odps.service.mode":"off"}},"d":"ODPS-0010000:System internal error - Service mode falling back to batch mode to rerun due to AllOrNothingResourceWaitTimeout"}

https://logview.aliyun.com/logview?h=http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api&p=bigdata_poc_zj&i=20231101014706341gxqm24hxk9&token=ZFV2Q0hRZWE3WVArMWVBSEhKNjI5RC9paXpnPSxPRFBTX09CTzpwNF8yMDM0NjAwOTM5NjkyNzgyNjksMTcwMTM5NTIyNix7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvYmlnZGF0YV9wb2NfemovaW5zdGFuY2VzLzIwMjMxMTAxMDE0NzA2MzQxZ3hxbTI0aHhrOSJdfV0sIlZlcnNpb24iOiIxIn0=&



参考答案:

任务整体是成功的,过程中是online job失败后,回退到了offline。报错也是回退的时候报的我理解。Fuxi Job的两种作业类型:Online Job(service mode)和Offline Job。对于Offline的作业而言,当每次提交作业时在Fuxi上都会有一个环境准备的时间,针对大数据量并且不需要返回查询结果的作业比较合适,而对小数据量并且实时作业要求比较高的作业是不合适的。所以Fuxi提供为什么ServiceMode这种准实时的作业形式,也是online,首先会有一个服务去预先申请计算一些资源并加载出来,比如会预先分配一 万个nstance,当有作业提交时会根据作业规模分配一些Instance进行执行,这样就省去环境准备的时间,所以就会比较快。online不等资源且不保证成功。如果service mode失败,比如instance个数超过1000,或者运行超过10分钟,就会退回以Offline模式重跑。可以set odps.service.mode=off;这样就直接跑完了,不会再跑online



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566598



问题五:大数据计算MaxCompute其他两个set命令也是,一起跑就报错?

大数据计算MaxCompute其他两个set命令也是,一起跑就报错?these commands can not run without other normal command: ['setproject odps.sql.hive.compatible=false']



参考答案:

set odps.sql.type.system.odps2=true;

set odps.sql.decimal.odps2=true;

set odps.sql.hive.compatible=false;

SELECT sequence(1, 5);



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/566596

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之在使用MaxCompute的Java SDK创建函数时,出现找不到文件资源的情况,是BUG吗
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
26 0
|
1天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之要增加MaxCompute的自定义资源,该怎么操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
1天前
|
分布式计算 DataWorks Oracle
DataWorks操作报错合集之DataWorks ODPS数据同步后,timesramp遇到时区问题,解决方法是什么
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
27 0
|
1天前
|
分布式计算 DataWorks 数据管理
DataWorks操作报错合集之DataWorks中udf开发完后,本地和在MaxCompute的工作区可以执行函数查询,但是在datawork里报错FAILED: ODPS-0130071:[2,5],是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
28 0
|
1天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
25 0
|
1天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之在DataWorks数据集成中,但是预览ODPS源数据库为空,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
28 0
|
1天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之在DataWorks中使用ODPS SQL时遇到"该文件对应引擎实例已失效,请重新选择可用的引擎实例"的错误提示”,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
36 0
|
1天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之在 DataWorks 中的 ODPS UDF(User-Defined Function,用户自定义函数)中,支持不定长参数如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
15 0
|
1天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之阿里云DataWorks专有云环境下,上传MaxCompute的UDF(用户自定义函数)的JAR包的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
1天前
|
分布式计算 DataWorks Java
DataWorks操作报错合集之dataworks 同步es数据到maxcompute 遇到报错:获取表列信息失败如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
25 0

热门文章

最新文章