大数据计算MaxCompute使用一个udf调接口，可以调整什么设置实现吗？
大数据计算MaxCompute使用一个udf调接口，想用多个instance一起跑，可以调整什么设置实现吗？-- SET odps.stage.num= 10;
-- set odps.stage.reducer.num =30;
-- set odps.sql.reducer.instances=30;
-- set odps.sql.mapper.split.size=1;
-- set odps.stage.mapper.split.size = 1;尝试了这些都不行http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=micro_dw_dev&i=20240102061303730g6tcw2dz8pk&token=Nkw5ckZvMy9EK3liempTZDhGVWJqYVA1azhRPSxPRFBTX09CTzpwNF8yMDc0NzQ3ODg1MTk3NDMwMTQsMTcwNjc2Nzk4NCx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvbWljcm9fZHdfZGV2L2luc3RhbmNlcy8yMDI0MDEwMjA2MTMwMzczMGc2dGN3MmR6OHBrIl19XSwiVmVyc2lvbiI6IjEifQ==
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在MaxCompute中，要使用多个instance一起运行UDF调接口，可以尝试调整以下设置：
- 增加
odps.stage.num的值，以增加并行度。例如，将其设置为20或更高。 - 增加
odps.stage.reducer.num的值，以增加Reducer的数量。例如，将其设置为60或更高。 - 增加
odps.sql.reducer.instances的值，以增加SQL任务的Reducer实例数量。例如，将其设置为60或更高。 - 增加
odps.sql.mapper.split.size和odps.stage.mapper.split.size的值，以增加Mapper和Stage的分割大小。例如，将其设置为2或更高。
请注意，这些设置可能需要根据实际情况进行调整，以达到最佳性能。同时，确保您的MaxCompute账户具有足够的配额来支持这些设置。
2024-01-09 14:09:03赞同 展开评论 打赏 - 增加
-
看SQL，flag没有生效。
set odps.sql.mapper.split.size ，此回答整理自钉群“MaxCompute开发者社区2群”2024-01-09 13:34:27赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
