开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

DataWorks支持的任务类型都有什么?

DataWorks支持的任务类型都有什么?

展开
收起
邂逅青青 2024-08-08 10:08:41 39 0
1 条回答
写回答
取消 提交回答
  • 数据类型有挺多的
    比如数据集成任务:

    离线同步任务:支持单表同步至单表、分库分表同步至单表,适用于周期性全量或增量数据同步。

    实时同步任务:处理单表或整库的增量数据实时同步,支持特定DDL操作的正常处理或异常策略配置。

    全增量同步任务:结合离线与实时同步,支持复杂网络环境下的数据同步,涵盖多种数据同步场景和配置能力。
    实时计算任务运行与管理:

    支持对 EMR Spark Streaming 及 EMR Streaming SQL 类型的任务进行运维管理,关注任务的运行时长、类型、引擎类型与实例等,并可进行启动、终止、下线及监控设置等操作。

    数据开发(DataStudio)中的节点类型:

    数据集成同步类节点:用于离线或实时数据同步,支持在界面直接创建。
    引擎计算类节点:封装了MaxCompute、Hologres、E-MapReduce等多种计算引擎,支持周期性调度任务。
    通用类节点:如do-while、for-each、分支节点等,用于复杂逻辑处理

    其实DataWorks任务管理体系挺全面的,推荐使用哈
    image.png

    参考文档

    2024-08-30 17:57:38
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载