MaxCompute操作报错合集之SQL脚本设置参数set odps.mapred.reduce.tasks=18;没有生效,是为什么

简介: MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。

问题一:大数据计算MaxCompute遇到这个错误,帮忙看看?

大数据计算MaxCompute遇到这个错误

{"name":"Invariant Violation","stack":"Invariant Violation: Minified React error #31; visit https://reactjs.org/docs/error-decoder.html?invariant=31&args[]=ChunkLoadError%3A%20Loading%20chunk%2079%20failed.%0A(error%3A%20https%3A%2F%2Fg.alicdn.com%2Falishu%2Fdatastudio%2F79.2baaf2d67512c4b211d5.js)&args[]= for the full message or use the non-minified dev environment for full errors and additional helpful warnings. \n at pb (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:12:454)\n at n (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:13:221)\n at Ac (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:70:369)\n at Ff (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:74:34)\n at u (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:76:145)\n at https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:80:149\n at N (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:90:3)\n at hi (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:105:408)\n at Qg (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:144:293)\n at Rg (https://g.alicdn.com/code/lib/react-dom/16.8.6/umd/react-dom.production.min.js:145:168)"}


参考回答:

这个错误信息表明在使用MaxCompute(也称为阿里云大数据计算服务ODPS)的某个Web界面(可能是DataStudio或类似的大数据开发工具)时,遇到了一个与React相关的运行时错误。具体来说,这个错误是React框架在尝试加载一个名为"79"的代码块时失败了。错误代码#31是React内部的一个错误码,通常与代码分割(code splitting)和动态加载组件有关。

这里的错误信息 "Loading chunk 79 failed." 表示React在尝试异步加载一个JavaScript模块时失败了。这可能是因为网络问题、服务器问题、或者模块文件本身不存在。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603361


问题二:大数据计算MaxCompute在dataworks 中 以脚本方式编写SQL,帮忙看看?

大数据计算MaxCompute在dataworks 中 以脚本方式编写SQL,在最上面定义了变量,在下面无法引用,如下:

@getdate := '2024-03-07';

select @getdate;

@7thDate := dateadd(date '@getdate', -6, 'dd');

FAILED: ODPS-0130071:[1,8] Semantic analysis exception - variable @getdate cannot be resolved


参考回答:

@getdate := '2024-03-07';

@7thDate := dateadd(date (@getdate), -6, 'dd');

select @7thDate;

这样执行


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603354


问题三:大数据计算MaxCompute这个报错是指 查询表的时候 没有指定分区 不能进行全表扫描 是吗?

大数据计算MaxCompute中FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(Orange_CDM,dwd_ord_cashflow_sgq_detail_da) is full scan with all partitions, please specify partition predicates. 这个报错是指 查询表的时候 没有指定分区 不能进行全表扫描 是吗 ? 但是我sql里是指定分区了 会是其他什么问题吗?


参考回答:

select* 了吧

加flag跟SQL一起执行。

set odps.sql.allow.fullscan=true;


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603345


问题四:大数据计算MaxCompute看了 ali 的技术文档,执行好像报错了,能帮忙看下吗?

大数据计算MaxCompute看了 ali 的技术文档,说可以按照以下语句创建 hudi 格式的 外部表, 但是执行好像报错了 能帮忙看下吗~ 感谢。 好像说是不支持FAILED: ODPS-0130071:[3,1] Semantic analysis exception - STORED AS INPUTFORMAT 'org.apache.hudi.hadoop.HoodieParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' is not supported for external table?


参考回答:


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603339


问题五:大数据计算MaxCompute中SQL脚本设置参数,为什么不生效?

大数据计算MaxCompute中SQL脚本设置参数set odps.mapred.reduce.tasks=18;为什么不生效?


参考回答:

有执行的logview嘛https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i39#concept-2278178 


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/603330

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
7月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
332 9
|
7月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1462 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
1912 1
|
9月前
|
人工智能 分布式计算 大数据
探索 ODPS:大数据时代的得力助手
在大数据蓬勃发展、 AI 技术席卷各行业的当下,阿里云 ODPS 作为大数据平台体系,凭借其强大的功能和广泛的应用,为众多从业者和企业带来了深远的影响。我有幸深入使用 ODPS,从中收获颇丰。
202 0
|
SQL JSON 分布式计算
ODPS SQL ——列转行、行转列这回让我玩明白了!
本文详细介绍了在MaxCompute中如何使用TRANS_ARRAY和LATERAL VIEW EXPLODE函数来实现列转行的功能。
|
SQL 分布式计算 MaxCompute
一种基于ODPS SQL的全局字典索引分布式计算思路
本文提供一种能充分利用分布式计算资源来计算全局字典索引的方法,以解决在大数据量下使用上诉方式导致所有数据被分发到单个reducer进行单机排序带来的性能瓶颈。
|
SQL 存储 分布式计算
我在淘宝写SQL|ODPS SQL 优化总结
本文结合作者多年的数仓开发经验,结合ODPS平台分享数据仓库中的SQL优化经验。
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之未保存的ODPS SQL语句该如何找回
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
230 2
|
6月前
|
存储 JavaScript Java
(Python基础)新时代语言!一起学习Python吧!(四):dict字典和set类型;切片类型、列表生成式;map和reduce迭代器;filter过滤函数、sorted排序函数;lambda函数
dict字典 Python内置了字典:dict的支持,dict全称dictionary,在其他语言中也称为map,使用键-值(key-value)存储,具有极快的查找速度。 我们可以通过声明JS对象一样的方式声明dict
411 1
|
9月前
|
存储 缓存 JavaScript
Set和Map有什么区别?
Set和Map有什么区别?
638 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    开通oss服务