开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

在大数据计算MaxCompute中,这么操作是不是也没有调度资源的概念?

https://help.aliyun.com/zh/maxcompute/user-guide/use-kettle-to-schedule-maxcompute-jobs?spm=a2c4g.11186623.0.0.30424ec9aPHhZG 使用Kettle调度MaxCompute做调度任务,是不是也没有调度资源的概念?但是没看到有相关配置调度资源的参数,在dataworks里,调度都有那个资源组选项的。会不会涉及dataworks那个调度资源计费302d2584ba2a6fa3502850a4c3ec8de4.png
167bdcf9b788e8429bfd01f1711dce9b.png

展开
收起
崔问问 2023-12-03 22:26:12 57 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Kettle是一款开源的ETL工具,可以在Windows、Unix和Linux上运行,提供图形化的操作界面,并通过拖拽控件的方式方便地定义数据传输的拓扑结构。通过MaxCompute Kettle插件,可以实现数据流出或流入MaxCompute。

    对于你的第一个问题,MaxCompute支持通过Kettle实现作业调度。而MaxCompute的特有概念是资源(Resource),如果您想使用MaxCompute的自定义函数(UDF)或者MapReduce功能需要依赖资源来完成。所以,Kettle调度MaxCompute作业时,应该是涉及到资源的使用的。

    然而,从搜索结果中并未发现关于在Kettle的MaxCompute插件中配置调度资源的具体信息。所以在使用Kettle调度MaxCompute作业时,对于资源的使用和管理可能需要额外注意。

    2023-12-04 16:58:47
    赞同 展开评论 打赏
  • 在MaxCompute中,确实存在调度资源的概念。MaxCompute的资源主要包括存储资源和计算资源(包含CPU和内存)。这些资源用于存储MaxCompute的库表数据,以及运行SQL、MR等任务。

    在MaxCompute中,Quota组(Quota)是计算资源池,为MaxCompute中的计算作业提供所需计算资源(CPU及内存)。你可以根据计算作业对计算资源的需求,指定匹配的Quota,以高效使用计算资源。

    然而,你提到的使用Kettle调度MaxCompute做调度任务,这主要是通过DataWorks进行的。在DataWorks中,调度任务会消耗一定的计算资源,但这个资源消耗并不会直接体现在Quota的分配和管理上。在DataWorks中,调度资源是通过资源组(Resource Group)来管理的,每个资源组都会有一个固定的计算资源(CPU和内存)分配给其下的调度任务。

    总的来说,虽然MaxCompute和DataWorks都提供了资源管理功能,但它们之间的资源管理和调度方式可能会有所不同。在使用Kettle调度MaxCompute做调度任务时,你可能需要关注DataWorks中的资源组管理,而不是直接在MaxCompute中进行资源调度。

    2023-12-04 15:10:05
    赞同 展开评论 打赏
  • kettle也需要用资源吧。用的应该是本地机器的资源。不会。你都没用DataWorks调度,肯定没有调度的费用。此回答整理自钉钉群:MaxCompute开发者社区1群

    2023-12-04 08:03:37
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载