MaxCompute异常问题之请求头异常如何解决

本文涉及的产品
函数计算FC,每月15万CU 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: MaxCompute异常涉及到在使用阿里云MaxCompute大数据计算服务时遇到的各种错误和问题;本合集将提供针对MaxCompute异常的分析和解决方案,帮助用户处理数据处理、分析任务中的异常情况。

问题一:在大数据计算MaxCompute中,通过UDF调用异常(其他使用http调用正常)。报错怎么办?

请教一下,场景:函数计算中使用SDK执行HTTP函数,增加签名调用,在使用java的fc_open20210406这个包的时候,调用com.aliyun.fc_open20210406.Client的InvokeHTTPTrigger方法。在MaxCompute中通过UDF调用异常(其他使用http调用正常)。报错:java.lang.NoSuchMethodError: com.aliyun.tea.okhttp.OkHttpClientBuilder.buildOkHttpClient()Lokhttp3/OkHttpClient;

确定上传的udf.jar包中包含okhttp3库参考代码地址:https://help.aliyun.com/zh/fc/developer-reference/use-sdks-to-execute-http-trigger-functions-7#p-83l-1ty-qio 怀疑fc_open20210406包和MaxCompute的UDF有些地方不兼容,想问问有什么解决办法吗



参考答案:

加上这个set odps.sql.udf.java.classloader.separate=true; 一起执行一下试试 打开这个flag将会优先在用户的jar包当中load类(child first),load不到才会到odps的依赖中找



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/576804?spm=a2c6h.13066369.question.1.4e5d24efrmmOp7&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@576804._.ID_576804-RL_MaxCompute%E5%BC%82%E5%B8%B8-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_0



问题二:DataWorks更新或添加函数文件getregion失败,错误信息:发生MaxCompute异常?

DataWorks更新或添加函数文件getregion失败,错误信息:发生MaxCompute异常。异常错误码:InvalidParameter,异常信息:ODPS-0420031: Invalid xml in HTTP request body - Error resource format.?odps-0420031: Invalid xml in HTTP request body - Error resource format.



参考答案:

Error resource format.-----list resources; 有返回这个资源么 另外看下函数引用资源是咋配置的


关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/531851?spm=a2c6h.13066369.question.4.4e5d24efvUhHX8&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@531851._.ID_531851-RL_MaxCompute%E5%BC%82%E5%B8%B8-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_1



问题三:这种MaxCompute异常咋回事啊?

这种MaxCompute异常咋回事啊? FAILED: ODPS-0010000:System internal error - fuxi job failed, caused by: Waiting for shuffle input timeout after 180 seconds, at [Odps/basestone_20230303002023516ghnlph0tix4_SQL_0_1_0_job_0/R2_1#1_0]



参考答案:

SQL前先加这个flag 临时绕过,重新执行一下。set odps.sql.enable.bubble.execution=false;



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/490181?spm=a2c6h.13066369.question.5.4e5d24efjV9OXe&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@490181._.ID_490181-RL_MaxCompute%E5%BC%82%E5%B8%B8-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_3



问题四:大数据计算MaxCompute的任务费用异常 我才账单里面导出了明细 可以帮我通过计量信息编号 查出是什么任务吗?

大数据计算MaxCompute的任务费用异常 我才账单里面导出了明细 可以帮我通过计量信息编号 查出是什么任务吗?


参考答案:

可以。 计量信息编号就是SQL的instance id

https://help.aliyun.com/zh/maxcompute/use-cases/analyze-the-usage-records-of-maxcompute-bills?spm=a2c4g.11186623.0.i0#concept-zyb-qvp-pgb



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/568744?spm=a2c6h.13066369.question.4.4e5d24efHwCCnZ&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@568744._.ID_568744-RL_MaxCompute%E5%BC%82%E5%B8%B8-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_4



问题五:大数据计算MaxCompute看后续的日志文件中提示请求头异常?

大数据计算MaxCompute在调用python的sdk接口进行数据上传时会出现odps的响应状态为400的情况,看后续的日志文件中提示请求头异常?请问这种问题怎么排查问题并解决呢?这是错误的响应结果odps.errors.ODPSError: 400: Tag: TUNNEL Endpoint: http://dt.odps.aliyun.com

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">

400 Bad Request


Sorry for the inconvenience.


Please report this message and include the following information to us.


Thank you very much!

URL:http://dt.odps.aliyun.com/projects/wnl_odps_adreq/tables/gt_dwd_ump_log_uapp_event_json_di?uploadid=2023101307151314d9d90b015d06f0&partition=ds%3D20231006&blockid=0&arrow=&curr_project=wnl_odps_adreq

Server:rshd07236.cloud.et2

Date:2023/10/13 07:17:44



Powered by Tengine/2.5.3_20210817194811


tengine


更正一下,后续日志应该是我没权限查看,请问如何分析这种情况


参考答案:

在连接MaxCompute时,endpoint设置的哪个

上面的问题一般是网络原因,换成对应region的endpoint。你这是公共endpoint



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/562062?spm=a2c6h.13066369.question.5.4e5d24efwVdNLB&scm=20140722.S_community@@%E9%97%AE%E7%AD%94@@562062._.ID_562062-RL_MaxCompute%E5%BC%82%E5%B8%B8-LOC_search~UND~community~UND~item-OR_ser-V_3-P0_5

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
4月前
|
SQL 分布式计算 大数据
MaxCompute操作报错合集之运行DDL任务时出现异常,具体错误是ODPS-0110061,该如何处理
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
110 3
|
5月前
|
分布式计算 DataWorks NoSQL
DataWorks操作报错合集之出现报错“odps-0123055:用户脚本异常-Traceback(最后一次调用)”,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
存储 分布式计算 大数据
MaxCompute操作报错合集之通过UDF调用异常(其他使用http调用正常)。报错:java.lang.NoSuchMethodError:是什么导致的
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
6月前
|
数据采集 SQL 监控
大数据清洗的艺术:有效处理缺失值、异常值与重复数据
【4月更文挑战第8天】本文探讨了大数据清洗的三个关键环节:缺失值处理、异常值识别与处理、重复数据消除。在处理缺失值时,涉及识别、理解原因、选择删除、填充或保留策略,并进行结果验证。异常值识别包括统计方法、业务规则和可视化检查,处理策略包括删除、修正和标记。重复数据的识别基于主键和关键属性,处理策略有删除、合并和哈希,处理后需持续监控。数据清洗是一门艺术,需要结合统计学、编程技能和业务理解。
1686 2
|
6月前
|
SQL 弹性计算 分布式计算
Dataphin常见问题之执行 ODPS Sql 时抛出异常如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
6月前
|
SQL 分布式计算 API
MaxCompute异常问题之报错User not in whitelist in this region如何解决
MaxCompute异常涉及到在使用阿里云MaxCompute大数据计算服务时遇到的各种错误和问题;本合集将提供针对MaxCompute异常的分析和解决方案,帮助用户处理数据处理、分析任务中的异常情况。
|
6月前
|
SQL 分布式计算 Java
MaxCompute异常问题之插入语法异常如何解决
MaxCompute异常涉及到在使用阿里云MaxCompute大数据计算服务时遇到的各种错误和问题;本合集将提供针对MaxCompute异常的分析和解决方案,帮助用户处理数据处理、分析任务中的异常情况。
|
6月前
|
SQL 分布式计算 MaxCompute
MaxCompute异常问题之运行语句异常如何解决
MaxCompute异常涉及到在使用阿里云MaxCompute大数据计算服务时遇到的各种错误和问题;本合集将提供针对MaxCompute异常的分析和解决方案,帮助用户处理数据处理、分析任务中的异常情况。
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
10天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
88 7
下一篇
无影云桌面