MaxCompute操作报错合集之SQL脚本设置参数set odps.mapred.reduce.tasks=18;没有生效,是为什么

简介: MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

问题一:大数据计算MaxCompute遇到这个错误,帮忙看看?

大数据计算MaxCompute遇到这个错误

{"name":"Invariant Violation","stack":"Invariant Violation: Minified React error #31; visit https://reactjs.org/docs/error-decoder.html?invariant=31&args[]=ChunkLoadError%3A%20Loading%20chunk%2079%20failed.%0A(error%3A%20https%3A%2F%2Fg.alicdn.com%2Falishu%2Fdatastudio%2F79.2baaf2d67512c4b211d5.js)&args[]= for the full message or use the non-minified dev environment for full errors and additional helpful warnings. \n at pb (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:12:454)\n at n (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:13:221)\n at Ac (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:70:369)\n at Ff (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:74:34)\n at u (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:76:145)\n at https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:80:149\n at N (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:90:3)\n at hi (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:105:408)\n at Qg (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:144:293)\n at Rg (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:145:168)"}


参考回答:

这个错误信息表明在使用MaxCompute(也称为阿里云大数据计算服务ODPS)的某个Web界面(可能是DataStudio或类似的大数据开发工具)时,遇到了一个与React相关的运行时错误。具体来说,这个错误是React框架在尝试加载一个名为"79"的代码块时失败了。错误代码#31是React内部的一个错误码,通常与代码分割(code splitting)和动态加载组件有关。

这里的错误信息 "Loading chunk 79 failed." 表示React在尝试异步加载一个JavaScript模块时失败了。这可能是因为网络问题、服务器问题、或者模块文件本身不存在。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603361


问题二:大数据计算MaxCompute在dataworks 中 以脚本方式编写SQL,帮忙看看?

大数据计算MaxCompute在dataworks 中 以脚本方式编写SQL,在最上面定义了变量,在下面无法引用,如下:

@getdate := '2024-03-07';

select @getdate;

@7thDate := dateadd(date '@getdate', -6, 'dd');

FAILED: ODPS-0130071:[1,8] Semantic analysis exception - variable @getdate cannot be resolved


参考回答:

@getdate := '2024-03-07';

@7thDate := dateadd(date (@getdate), -6, 'dd');

select @7thDate;

这样执行


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603354


问题三:大数据计算MaxCompute这个报错是指 查询表的时候 没有指定分区 不能进行全表扫描 是吗?

大数据计算MaxCompute中FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(Orange_CDM,dwd_ord_cashflow_sgq_detail_da) is full scan with all partitions, please specify partition predicates. 这个报错是指 查询表的时候 没有指定分区 不能进行全表扫描 是吗 ? 但是我sql里是指定分区了 会是其他什么问题吗?


参考回答:

select* 了吧

加flag跟SQL一起执行。

set odps.sql.allow.fullscan=true;


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603345


问题四:大数据计算MaxCompute看了 ali 的技术文档,执行好像报错了,能帮忙看下吗?

大数据计算MaxCompute看了 ali 的技术文档,说可以按照以下语句创建 hudi 格式的 外部表, 但是执行好像报错了 能帮忙看下吗~ 感谢。 好像说是不支持FAILED: ODPS-0130071:[3,1] Semantic analysis exception - STORED AS INPUTFORMAT 'org.apache.hudi.hadoop.HoodieParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' is not supported for external table?


参考回答:


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603339


问题五:大数据计算MaxCompute中SQL脚本设置参数,为什么不生效?

大数据计算MaxCompute中SQL脚本设置参数set odps.mapred.reduce.tasks=18;为什么不生效?


参考回答:

有执行的logview嘛https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i39#concept-2278178 


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603330

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
572 9
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1921 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
2181 1
|
人工智能 分布式计算 大数据
探索 ODPS:大数据时代的得力助手
在大数据蓬勃发展、 AI 技术席卷各行业的当下,阿里云 ODPS 作为大数据平台体系,凭借其强大的功能和广泛的应用,为众多从业者和企业带来了深远的影响。我有幸深入使用 ODPS,从中收获颇丰。
334 0
|
SQL JSON 分布式计算
ODPS SQL ——列转行、行转列这回让我玩明白了!
本文详细介绍了在MaxCompute中如何使用TRANS_ARRAY和LATERAL VIEW EXPLODE函数来实现列转行的功能。
|
SQL 分布式计算 MaxCompute
一种基于ODPS SQL的全局字典索引分布式计算思路
本文提供一种能充分利用分布式计算资源来计算全局字典索引的方法,以解决在大数据量下使用上诉方式导致所有数据被分发到单个reducer进行单机排序带来的性能瓶颈。
|
SQL 存储 分布式计算
MaxCompute SQL 与传统 SQL 的异同
【8月更文第31天】随着大数据处理的需求日益增长,传统的 SQL 数据库已经无法满足海量数据的分析需求。MaxCompute(又名 ODPS,Open Data Processing Service)是阿里云提供的大数据处理平台,它提供了 SQL 接口,使得用户可以通过熟悉的 SQL 语法来处理大规模的数据集。然而,由于 MaxCompute 设计初衷是为了处理 PB 级别的数据,因此其 SQL 与传统的 SQL 存在一些差异。本文将探讨 MaxCompute SQL 与标准 SQL 的异同,并介绍 MaxCompute SQL 的一些特殊功能。
790 0
|
12月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
726 14
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1183 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute