开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute任务是说执行引擎是maxcompute的那些节点任务吗?

大数据计算MaxCompute任务是说执行引擎是maxcompute的那些节点任务吗?比如odpssql?Pyodps算吗?DI节点算吗?

展开
收起
真的很搞笑 2023-10-18 23:56:40 83 0
5 条回答
写回答
取消 提交回答
  • 月移花影,暗香浮动

    MaxCompute执行引擎包括了多个节点任务,这些任务是MaxCompute的基本计算单元。例如,ODPS SQL是一种节点任务,用于执行SQL语句。MapReduce也属于节点任务,它是一种分布式计算模型。此外,数据集成作业和数据分析作业也是MaxCompute中的数据开发作业类型。

    2023-10-20 10:58:01
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    对的,阿里云大数据计算MaxCompute任务执行引擎包括odpssql、Pyodps和DI节点等。MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制。在MaxCompute中,SQL、Spark和Mapreduce任务在执行时会被实例化,以MaxCompute实例(下文简称为实例或Instance)的形式存在。实例会经历运行(Running)和结束(Terminated)两个阶段。同时,DataWorks基于云原生大数据计算服务MaxCompute轻松构建离线数仓分析系统;MaxCompute通过DataWorks采用可视化方式,进行任务工作流的配置、周期性调度执行及元数据管理,保障数据生产及管理的高效稳定。

    2023-10-19 21:38:04
    赞同 展开评论 打赏
  • 在MaxCompute中,任务通常指的是由用户提交并执行的SQL或Python脚本。这些任务会被调度执行,并在后台由MaxCompute的执行引擎进行处理。

    执行引擎是MaxCompute中的一个核心组件,它负责处理用户的SQL和Python脚本。MaxCompute提供了多种执行引擎,包括ODPSSQL、PyODPS和DI节点等。

    • ODPSSQL是MaxCompute的内置SQL执行引擎,它主要用于处理SQL任务。

    • PyODPS是一个Python库,它提供了一个Python接口,让用户可以使用Python编程语言来操作MaxCompute。PyODPS的任务会在MaxCompute的PyODPS执行引擎中执行。

    • DI节点是一种特殊的任务,它可以被用来创建和维护MaxCompute的数据模型。DI节点的任务会在MaxCompute的DI执行引擎中执行。

    所以,可以说,MaxCompute的任务是由MaxCompute的执行引擎处理的。但是,具体的执行引擎会根据任务的类型(SQL、Python或DI)和用户的配置来选择。

    2023-10-19 15:42:41
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中,执行引擎是MaxCompute的那些节点任务,包括ODPS SQL、Python、Java等。这些任务都会在MaxCompute的集群中运行,并由MaxCompute的调度器来管理和调度。
    ODPS SQL任务是使用ODPS SQL语言来处理数据的任务。这些任务会使用MaxCompute的执行引擎来运行,并且可以使用MaxCompute的SQL API来管理和调度这些任务。
    Python任务是使用Python语言来处理数据的任务。这些任务会使用MaxCompute的执行引擎来运行,并且可以使用MaxCompute的Python API来管理和调度这些任务。
    Java任务是使用Java语言来处理数据的任务。这些任务会使用MaxCompute的执行引擎来运行,并且可以使用MaxCompute的Java API来管理和调度这些任务。
    DI节点任务是使用MaxCompute的数据集成功能来处理数据的任务。这些任务会使用MaxCompute的执行引擎来运行,并且可以使用MaxCompute的数据集成API来管理和调度这些任务。

    2023-10-19 13:38:31
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载