开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?

大数据计算MaxCompute配置参数在开发环境进行调度,参数解析不出来,这是需要额外做什么配置吗?6d03eb789e065616b61e3d2a549ded2d.png

展开
收起
真的很搞笑 2023-11-05 10:10:31 673 0
5 条回答
写回答
取消 提交回答
  • 如果在开发环境中配置MaxCompute参数进行调度,但参数解析不出来,可能需要检查并确保您已正确配置相关参数。首先,在数据流程中找到MaxCompute节点,然后打开并编写您的SQL语句。接下来点击"调度配置"来设置您的调度参数。所有配置完成后,保存并关闭该节点以启动运行。此外,您可以点击"高级运行"来测试是否可以通过这种方式解析参数。

    请注意,MaxCompute Studio是阿里巴巴提供的大数据开发工具,它基于MaxCompute的强大计算和存储能力,支持百万级别任务的稳定调度系统的在线开发。如果您在使用过程中遇到任何问题,也可以尝试使用此工具。同时,对于Spark环境,做好开发环境搭建前的准备,如安装JDK等软件是必要的。

    2023-11-06 11:28:19
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    MaxCompute的配置参数解析需要依赖于MaxCompute的SDK。在开发环境中,可能需要先创建一个MaxCompute实例,并使用MaxCompute的SDK来连接和操作这个实例

    2023-11-05 15:47:40
    赞同 展开评论 打赏
  • 如果在开发环境中遇到参数解析不出来的情况,你可以参考以下几种解决方案:

    1. 检查您的参数设置是否有误,例如,您是否将参数写错了地方或者使用了错误的参数名。
    2. 在创建表的时候启用JSON类型,这样就可以在MaxCompute中使用JSON类型的列或数据。
    3. 检查您的参数类型是否正确。确保JSON_EXTRACT函数的参数是JSON类型的数据。
    4. 手动添加流程参数,并确保它们的格式和值都正确无误。
    5. 检查您是否将所有的必要参数都设置好了,如果您遗漏了一些参数,那么MaxCompute可能无法正确解析它们。
    2023-11-05 15:35:14
    赞同 展开评论 打赏
  • 错误码:ODPS-0123031:ODPS partition exception

    https://help.aliyun.com/zh/maxcompute/user-guide/odps-0123031?spm=a2c4g.11186623.0.i19

    错误1:maximum 60000 partitions allowed
    错误信息示例
    ODPS-0123031:ODPS partition exception - maximum 60000 partitions allowed

    错误描述
    每张MaxCompute的分区表最多允许存在 60000 个分区,此限制无法调整。

    解决方案
    当某张表超出 60000 个分区时,你可以通过以下方式解决:

    1)通过设置表生命周期,系统自动删除过期的分区数据与分区,详情请参考生命周期操作。

    2)您可以合并历史分区数据,例如把历史一个的数据合并成一个分区,详情可以参考合并分区。

    3)您可以通过拆表,把历史分区数据备份到备份表,把历史分区从当前表删除,请参考删除分区。

    2023-11-05 11:42:06
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载

    相关镜像