大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?
如果在开发环境中配置MaxCompute参数进行调度,但参数解析不出来,可能需要检查并确保您已正确配置相关参数。首先,在数据流程中找到MaxCompute节点,然后打开并编写您的SQL语句。接下来点击"调度配置"来设置您的调度参数。所有配置完成后,保存并关闭该节点以启动运行。此外,您可以点击"高级运行"来测试是否可以通过这种方式解析参数。
请注意,MaxCompute Studio是阿里巴巴提供的大数据开发工具,它基于MaxCompute的强大计算和存储能力,支持百万级别任务的稳定调度系统的在线开发。如果您在使用过程中遇到任何问题,也可以尝试使用此工具。同时,对于Spark环境,做好开发环境搭建前的准备,如安装JDK等软件是必要的。
MaxCompute的配置参数解析需要依赖于MaxCompute的SDK。在开发环境中,可能需要先创建一个MaxCompute实例,并使用MaxCompute的SDK来连接和操作这个实例
如果在开发环境中遇到参数解析不出来的情况,你可以参考以下几种解决方案:
错误码:ODPS-0123031:ODPS partition exception
https://help.aliyun.com/zh/maxcompute/user-guide/odps-0123031?spm=a2c4g.11186623.0.i19
错误1:maximum 60000 partitions allowed
错误信息示例
ODPS-0123031:ODPS partition exception - maximum 60000 partitions allowed
错误描述
每张MaxCompute的分区表最多允许存在 60000 个分区,此限制无法调整。
解决方案
当某张表超出 60000 个分区时,你可以通过以下方式解决:
1)通过设置表生命周期,系统自动删除过期的分区数据与分区,详情请参考生命周期操作。
2)您可以合并历史分区数据,例如把历史一个的数据合并成一个分区,详情可以参考合并分区。
3)您可以通过拆表,把历史分区数据备份到备份表,把历史分区从当前表删除,请参考删除分区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。