大数据计算MaxCompute这个是logview,麻烦你帮忙看一下?

问题1:大数据计算MaxCompute这个是logview,麻烦你帮忙看一下?
问题2:set odps.sql.reshuffle.dynamicpt=false;
set odps.instance.priority=0;
SET odps.stage.reducer.num = 2000;
SET odps.stage.joiner.num = 2000;现在是这些

展开
收起
真的很搞笑 2023-07-30 15:34:36 106 分享 版权
2 条回答
写回答
取消 提交回答
  • 问题1:关于MaxCompute的logview,请提供更具体的信息或问题,以便我能够更好地帮助你。你可以描述一下你遇到的问题、错误信息或需要查看的日志内容,我将尽力提供相应的解答。

    问题2:这些是一些MaxCompute的配置参数设置。具体含义如下:

    • set odps.sql.reshuffle.dynamicpt=false;:禁用动态分区(Dynamic Partition)重洗操作,在某些复杂查询中会减少洗牌开销,但可能会导致性能下降。
    • set odps.instance.priority=0;:设置作业实例的优先级,较低的优先级可能会受到高优先级作业的影响。
    • SET odps.stage.reducer.num = 2000;:设置每个作业阶段的Reducer数量,决定了并行计算的程度。
    • SET odps.stage.joiner.num = 2000;:设置每个作业阶段的Joiner数量,用于处理Join操作时的并行计算。

    这些配置参数可以根据具体需求进行调整。请注意,调整这些参数需要谨慎,并且在实际使用中需要根据数据量、作业复杂度和集群资源等因素进行权衡和测试。

    2023-07-31 18:21:39
    赞同 展开评论
  • 回答1:设置reduce和join的worker数量可以再加一些。数据量确实也有点大。
    回答2:这两个可以再加一些。
    因为执行时间比较长的阶段就是在join阶段和reduce阶段。,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-30 15:59:29
    赞同 展开评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

还有其他疑问?
咨询AI助理