开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在大数据计算MaxCompute中,调度资源组是默认了公共调度资源吗?

我想咨询下,使用SDK调用MaxCompute时,调度资源组是默认了公共调度资源吗?

展开
收起
崔问问 2023-12-03 22:26:14 51 0
4 条回答
写回答
取消 提交回答
  • 在使用SDK调用MaxCompute时,默认情况下是不会指定调度资源组的。如果没有显式地指定调度资源组,MaxCompute会将作业提交到默认的公共调度资源组中运行。

    公共调度资源组是MaxCompute集群中预先定义的一组资源,供所有用户和项目使用。它通常具有适当的资源配额和优先级,以满足大多数作业的需求。

    如果您希望为特定的作业或任务指定特定的调度资源组,可以通过SDK提供相应的接口来设置。具体的方法取决于您使用的具体的MaxCompute SDK和编程语言。

    以下是一个示例代码片段,展示了如何在Java中使用MaxCompute SDK指定调度资源组:

    import com.aliyun.odps.Odps;
    import com.aliyun.odps.account.Account;
    import com.aliyun.odps.account.AliyunAccount;
    import com.aliyun.odps.task.SQLTask;
    
    public class MaxComputeExample {
        public static void main(String[] args) {
            String accessKeyId = "<your-access-key-id>";
            String accessKeySecret = "<your-access-key-secret>";
            String project = "<your-project-name>";
            String sql = "<your-sql-statement>";
            String resourceGroup = "<your-resource-group>";
    
            Account account = new AliyunAccount(accessKeyId, accessKeySecret);
            Odps odps = new Odps(account);
            odps.setDefaultProject(project);
    
            SQLTask task = new SQLTask();
            task.setQuery(sql);
            task.setResourceGroupName(resourceGroup);
    
            try {
                task.run(odps);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
    
    2023-12-04 19:09:31
    赞同 展开评论 打赏
  • 在使用SDK调用MaxCompute时,调度资源组的设置取决于你的具体配置。在MaxCompute中,Quota组(Quota)是计算资源池,为计算作业提供所需计算资源(CPU及内存)。你可以根据计算作业对计算资源的需求,指定匹配的Quota,助力你高效使用计算资源。

    2023-12-04 15:04:39
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    使用MaxCompute的SDK调用时,调度资源组并不是默认为公共调度资源。调度资源组是需要用户根据需求购买的,例如,可以选择包年包月的独享调度资源组或按量付费的公共调度资源组,并支付相应的资源组费用。如果PyODPS任务需要访问特殊的网络环境(如VPC网络或IDC网络中的数据源或服务等),那么建议使用独享调度资源组,以保证网络的稳定性和数据的安全性。此外,MaxCompute的资源主要有两类:存储资源和计算资源。其中,计算资源用于运行SQL、MR等任务,而配额组(Quota)是MaxCompute的计算资源池,为MaxCompute中的计算作业提供所需计算资源(CPU及内存)。因此,当规划使用MaxCompute时,还需要评估并规划好存储资源和计算资源的使用情况。

    2023-12-04 13:26:51
    赞同 展开评论 打赏
  • 调度资源组是DataWorks上的概念,本地sdk调MaxCompute的话和资源组不挂钩哈。SQL task之类的会底层走绑定project的quota来进行计算。此回答整理自钉钉群:MaxCompute开发者社区1群

    2023-12-04 08:04:57
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载