开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教一下大数据计算MaxCompute,我使用的公共资源池,看到任务运行时候的instance并行?

问题1:请教一下大数据计算MaxCompute,我使用的公共资源池,看到任务运行时候的instance并行数量最大是1200,请问这个有办法调大嘛?
问题2:dw项目:inf_data
mc项目:inf_data_platform
跑udf,udf的耗时较长,所以拆小块儿数据来执行,提高并行度换取运行时间

展开
收起
cuicuicuic 2023-07-11 17:42:26 60 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在MaxCompute中,公共资源池是一种资源分配和管理方式,可以实现多个项目或用户共享同一套计算资源,提高资源利用率和计算效率。当使用公共资源池运行MaxCompute任务时,您可以通过查看任务的日志信息来了解任务的运行情况和资源使用情况,包括任务的instance并行数、CPU使用率、内存使用率等。
    具体操作步骤如下:
    登录阿里云管理控制台,进入MaxCompute服务管理页面。
    在MaxCompute服务管理页面中,选择需要查看任务日志的项目,进入项目详情页。
    在项目详情页中,选择“任务”选项卡,即可查看该项目下所有的MaxCompute任务。
    在任务列表中,选择需要查看的任务,单击右侧的“查看日志”按钮,即可查看该任务的详细日志信息。
    在任务日志页面中,您可以查看任务的启动时间、结束时间、运行状态等基本信息,还可以查看任务的instance并行数、CPU使用率、内存使用率等详细信息。需要注意的是,任务日志信息可能会有一定的滞后,具体延迟时间取决于任务的大小和执行时间。

    2023-07-29 13:08:41
    赞同 展开评论 打赏
  • 在大数据计算MaxCompute中,可以通过公共资源池来管理和分配计算资源。在公共资源池中,可以设置并行度(Parallelism)来控制任务的执行并发度。

    实例(Instance)并行是指在MaxCompute中同时运行的作业实例数量。作业实例是作业被分割成的较小的任务单元,每个实例可以在集群中的不同节点上并行执行以提高计算效率。

    您可以通过以下方式来设置任务的并行度和实例并行:

    1. 作业提交时指定并行度:在提交作业时,可以通过在SQL语句中设置SET odps.sql.parallelism=<value>来指定作业的并行度。这个值会影响作业实例的数量,从而决定作业的并发度。

    2. 表级别的并行度设置:在创建表时,可以使用TBLPROPERTIES子句为表设置并行度。例如,TBLPROPERTIES ('parallelism'='<value>')。这将确定使用该表进行计算时的默认并行度。但请注意,作业提交时指定的并行度优先于表级别设置。

    需要注意的是,并行度的设置是根据作业类型和数据量等因素进行调整的。过低的并行度可能导致作业执行效率较低,而过高的并行度则可能导致资源浪费。因此,需要根据任务的特点和需求进行合理的调整。

    2023-07-28 21:40:08
    赞同 展开评论 打赏
  • 回答1:project name发我一下吧,我先看一下,另外为什么会超过1200?instance数量过多也会影响效率
    这是限制项。没办法改变。
    你可以增加map阶段的数据输入量。
    odps.stage.mapper.split.size
    https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i2#concept-2278178
    回答2:instance多也不一定会快,instance太多的话需要等待资源拉起,还要初始化,此回答整理自钉群“MaxCompute开发者社区1群”

    2023-07-11 18:00:00
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载
    大数据&AI实战派 第2期 立即下载