大数据计算MaxCompute中调哪个设置？
大数据计算MaxCompute中Metering data exceed max value. Input: 21.146105GB, Complexity: 2.0, Max Value: 40
调哪个设置？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
公众号：网络技术联盟站，InfoQ签约作者，阿里云社区签约作者，华为云 云享专家，BOSS直聘 创作王者，腾讯课堂创作领航员，博客+论坛：https://www.wljslmz.cn，工程师导航：https://www.wljslmz.com
这个错误信息表示在MaxCompute中，某个操作的计费数据超过了最大值限制。具体来说，输入的数据量为21.146105GB，复杂度为2.0，而最大值为40。
要解决这个问题，可以考虑以下几个设置：
调整输入数据的大小：如果可能的话，可以尝试减小输入数据的大小，以减少计费数据的量。可以通过优化查询语句、使用分区表等方式来减少数据量。
调整复杂度：复杂度是指执行操作所需的计算资源和时间。可以尝试优化查询语句或调整任务的配置参数，以降低复杂度并减少计费数据的量。
2023-10-20 09:15:52赞同 展开评论 -
这个错误提示表示输入的数据量超过了最大值限制。在大数据计算MaxCompute中，可以通过调整以下设置来解决这个问题：
增加最大数据量限制：将最大值从40GB增加到更大的数值，例如60GB或80GB。这可以通过修改配置文件或使用命令行参数来实现。
减少输入数据的大小：如果可能的话，可以尝试减小输入数据的大小，以使其不超过最大值限制。这可以通过压缩数据、删除不必要的列或进行采样等方法来实现。
优化算法复杂度：如果输入数据的复杂性较高，可以考虑优化算法的复杂度，以减少计算资源的需求。这可能需要重新设计算法或使用更高效的数据处理工具。
2023-10-19 15:49:37赞同 展开评论 -
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
根据您提供的错误信息，似乎是由于Metering data超过最大值导致的。Metering data是指MaxCompute资源使用情况的度量值，包括计算资源、存储资源和网络资源等。MaxCompute会根据Metering data限制您的资源使用量，以确保资源的有效利用。如果您的Metering data超过最大值，您可能需要调整您的资源使用策略或增加资源使用量。具体的操作方法可能会因版本和具体需求的不同而有所不同，建议查阅MaxCompute的官方文档或咨询阿里云的技术支持团队。
2023-10-19 13:47:23赞同 展开评论 -
2023-10-19 07:44:06赞同 展开评论
-
除非要改表结构，比如 hash cluster 表且查询条件能够命中 cluster by 的 column 过滤，能够减少一些输入，要不然输入数据还是这么大。
放松单SQL的费用限制，如果用户想跑这条SQL，需要调高SQL费用限制。
--参考阿里云产品文档。
2023-10-19 07:14:32赞同 展开评论
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。