开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute想问下 FAILED: Metering data 这是什么原因?

问题1:大数据计算MaxCompute想问下 FAILED: Metering data exceed max value. Input: 21.143704GB, Complexity: 4.0, Max Value: 40
这是什么原因?
问题2:这个必须odpscmd上面执行吗

展开
收起
真的很搞笑 2023-07-25 17:57:46 387 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    "FAILED: Metering data" 是 MaxCompute 中的一种错误提示,通常是由于 Metering(计量)数据统计出现异常导致的。Metering 数据用于统计 MaxCompute 使用情况和计算资源占用情况等信息,包括计算资源的使用量、计算作业的执行时间、数据读写量等。在 MaxCompute 中,Metering 数据是一种基于计量的计费方式,可以根据实际使用情况来计算费用。

    通常情况下,"FAILED: Metering data" 错误并不会影响 MaxCompute 的正常使用。这种错误通常是由于 Metering 数据的统计和记录出现了异常或者延迟,导致该错误提示出现。如果您遇到这种错误,可以尝试等待一段时间,或者联系 MaxCompute 的技术支持人员来解决问题。

    2023-07-29 09:03:55
    赞同 展开评论 打赏
  • 问题1:当在MaxCompute中遇到错误消息 "FAILED: Metering data exceed max value. Input: 21.143704GB, Complexity: 4.0, Max Value: 40"时,这表示您的作业消耗的资源超过了最大限制。具体原因和解决方法如下:

    • Input: 这是指您作业的输入数据大小,根据错误消息,输入数据大小为 21.143704GB。
    • Complexity: 这是指作业的计算复杂度,用于衡量作业的计算资源消耗情况,根据错误消息,复杂度为 4.0。
    • Max Value: 这是指MaxCompute集群的资源配额或用户的资源限制中设置的最大值,根据错误消息,最大值为 40。

    要解决此问题,您可以考虑以下几种方法:

    1. 增加资源配额:尝试增加作业的资源配额,包括内存和计算资源,在提交作业时指定更多的资源。可以通过调整作业级别的参数或配置文件来实现,以便满足作业的需求。
    2. 优化作业逻辑和数据处理方式:审查和优化作业代码和逻辑,以减少资源消耗。可以使用合适的算法、数据结构和技术来减少计算和存储开销。此外,还可以考虑使用分区和分批处理等方式来降低计算复杂度和资源消耗。
    3. 联系MaxCompute支持团队:如果以上方法无法解决问题,建议与MaxCompute的支持团队联系。他们可以帮助进一步分析错误信息并提供针对性的建议和支持。

    问题2:不一定必须在odpscmd上执行,您可以使用MaxCompute SDK(如Java、Python等)或其他支持MaxCompute的工具来提交作业和执行相应的操作。odpscmd是MaxCompute的命令行工具之一,方便进行交互式操作和任务提交,但您也可以通过编程方式使用SDK来实现类似的功能。

    2023-07-28 18:33:19
    赞同 展开评论 打赏
  • 回答1:看报错像是超限制了,可以在odpscmd执行一下setproject 看看打印的结果中截图中的参数是多少,超了没有。0c81309762eeb7f4bc3e1c34d71b81c9.png
    关于单SQL消费限制的文档详情,可以看一下这里:https://help.aliyun.com/zh/maxcompute/product-overview/consumption-control?spm=a2c4g.11186623.0.0.36d972a4Fmv2KW#concept-2349452
    回答2:sql 节点也可以。得这样写
    setproject;
    select 1;

    然后去看打印的日志里,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-25 18:12:36
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载